DE112019005650T5

DE112019005650T5 - Fahrerassistenzsystem und -verfahren

Info

Publication number: DE112019005650T5
Application number: DE112019005650.6T
Authority: DE
Inventors: Yun-Tae Lee; Joon-Seok Chae; Young-ki Lee
Original assignee: Samsung Electro Mechanics Co Ltd
Current assignee: Samsung Electro Mechanics Co Ltd
Priority date: 2018-11-13
Filing date: 2019-11-12
Publication date: 2021-08-12
Also published as: US11858528B2; WO2020101127A1; KR20210077651A; US20210229697A1; CN112272632A; WO2020101328A1

Abstract

Ein Fahrassistenzsystem und -Verfahren werden bereitgestellt. Das Fahrassistenzsystem dient als Schnittstelle zu einem einzelnen Fahrzeug und umfasst: ein Kamerasystem, das Bildinformationen über die Umgebung des Fahrzeugs erzeugt; eine Fahrzeugsteuerung, die Fahrinformationen über das Fahrzeug erzeugt; und einen Kommunikations-Port. Das Fahrassistenzsystem umfasst ein Fahrassistenzterminal und/oder eine Mobilvorrichtung, die mit dem Kommunikations-Port verbunden sind, Bildinformation(en) und/oder Fahrinformation(en) unter Verwendung des Kommunikations-Ports erfasst (erfassen) und wenigstens einen Teil eines Fahrprogramms für das Fahrassistenzterminal und/oder die Mobilvorrichtung auf Grundlage eines Bildes und/oder von Fahrinformation(en) ausführt (ausführen), um das Fahrzeug in Bezug auf eine oder mehrere Hilfsfahrten und/oder autonome Operationen des Fahrzeugs durch ein Steuersignal zu steuern, das vom Fahrassistenzterminal oder der Mobilvorrichtung erzeugt und dem Fahrzeug zur Verfügung gestellt wird.

Description

Technischer Bereich
Die vorliegende Offenbarung betrifft ein Fahrerassistenzsystem und Verfahren.
Hintergrund
Autonome oder selbstfahrende Fahrzeuge bzw. halbautonome oder assistierte Fahrzeuge werden zunehmend eingesetzt, um Fahreffizienz und Fahrkomfort sowie eine Reduzierung der Verkehrsunfälle zu erreichen. Um solche autonomen/selbstfahrenden oder halbautonomen/unterstützten Fahroperationen zu implementieren, werden bei verschiedenen Implementierungen in Bezug auf die Steuerung solcher Fahrzeuge verschiedene Fragen behandelt, von der bloßen Information des Fahrers über eine Fahrerfahrung bis hin zur Bereitstellung von Fahrassistenzfunktionen, bei denen eine oder mehrere der Funktionen Bremsen, Beschleunigen und/oder Lenken selektiv gesteuert werden können, während der Fahrer diese überwachen muss, wobei diese Fahrassistenzfunktionen Spurhaltewarnungen oder Ausweichmanöver umfassen können, Kollisionsvermeidung oder automatische Notbremsung oder Warnung vor dem toten Winkel, während noch weitere voll automatisierte Implementierungen aufweisen, bei denen das Fahrzeug zusätzlich oder alternativ das Führen des Fahrzeugs übernimmt und der Fahrgast nur auf Anforderung des Fahrzeugs das Fahren ausführen muss, oder noch weitere voll automatisierte Implementierungen, bei denen das Fahrzeug keine Fahrfunktionen vom Fahrgast verlangt, oder sogar, wenn das Fahrzeug kein Lenkrad und kein Beschleunigungs- und Bremspedal umfasst. Solche Fahrzeugimplementierungen können solche verschiedenen Fähigkeiten der Informationsdienste, der Fahrunterstützung, des halbautonomen, autonomen und vollständig autonomen Fahrens durch entsprechende Fahrprogramme in Fahrzeugen bereitstellen, um solche verschiedenen Ebenen der Information, Unterstützung und/oder Autonomie zu implementieren. Daher haben viele Automobilhersteller, Nicht-Automobilhersteller und nichtherstellende Unternehmen und Institutionen verschiedene Fahrprogramme für diese unterschiedlichen Informations-, Assistenz- und/oder Autonomieebenen bzw. durch ein fortgeschrittenes Fahrerassistenzsystem (ADAS) entwickelt.
Auch wenn die Fahrzeughersteller zwar Automobile mit technischen Konfigurationen hergestellt haben oder angeben, dass sie solche herstellen werden, die die konstruktive Fähigkeit aufweisen, Informationen oder andere Rückmeldungen zu liefern und Beschleunigung, Bremsen, Lenkung usw. zu steuern, die vollständig auf elektronischen Steuersignalen basieren, waren dieselben Hersteller bisher nur langsam in der Lage, solche Fähigkeiten durch die Fahrzeuge mittels so unterschiedlicher Fahrprogramme zu implementieren, beispielsweise ohne einen Hersteller, der ein kommerziell erhältliches Fahrzeug mit einem autonomen Fahrprogramm in einem Fahrzeug herstellt, um völlig autonomes Fahren zu realisieren. So können solche Fahrzeuge zwar die physischen Fähigkeiten für solche automatisierten und assistierenden/informativen Implementierungen durch verschiedene Steuersignale aufweisen, da diese Fahrzeuge ohne solche autonomen Fahrprogramme oder ohne verschiedene Assistenz- oder Informationsprogramme freigeschaltet werden, aber die Nutzer konnten bisher bei der Benutzung solcher Fahrzeuge ein völlig autonomes Fahren erleben und/oder verschiedene assistierende und/oder informative Dienste erfahren, oder sie können an das geschlossene System oder das proprietäre Fahrprogramm des Automobilherstellers gebunden sein, das nur eine begrenzte Autonomie und/oder assistierende/informative Dienste in Bezug auf das Fahrzeug ermöglicht, beispielsweise wenn das Fahrzeug die konstruktive oder fertigungstechnische Fähigkeit aufweist, solche unterstützenden und/oder informativen Dienste und die Steuerung aller Fahrkomponenten beispielsweise auf Grundlage entsprechender Steuersignale zu leisten, aber das autonome Fahrprogramm des Fahrzeugherstellers dem Fahrer nur begrenzte Informationen über den Fahrzustand ermöglicht, wenn das Fahrzeug bei alternativer Programmierung viele andere Informations-/Fahrwerksfunktionen und einige, mehr oder vollständig autonome Steuerungen des Fahrzeuges hätte leisten können. Darüber hinaus stellen solche Hersteller in der Regel nach der Herstellung des Fahrzeugs keine Aktualisierungen solcher Fahrprogramme zur Verfügung, beispielsweise wenn zusätzliche oder alternative informative, unterstützende und/oder auf Autonomie basierende Funktionen verfügbar werden.
Offenbarung
Technische Lösung
Diese Zusammenfassung soll in vereinfachter Form eine Auswahl von Konzepten vorstellen, die weiter unten in der Ausführlichen Beschreibung näher beschrieben werden. Diese Zusammenfassung dient weder dazu, Schlüsselmerkmale oder wesentliche Eigenschaften des beanspruchten Gegenstands zu identifizieren, noch ist sie als Hilfe bei der Bestimmung des Umfangs des beanspruchten Gegenstands gedacht.
In einem allgemeinen Aspekt umfasst ein Fahrerassistenzsystem zur Zusammenarbeit mit einem separaten Fahrzeug, das ein Kamerasystem, das Bildinformationen einer Peripherie des Fahrzeugs erzeugt, eine Fahrzeugsteuerung, die Fahrinformationen des Fahrzeugs erzeugt, und einen Kommunikations-Port umfasst, ein Fahrunterstützungs-Terminal mit einem oder mehreren Prozessoren, die so konfiguriert sind, dass sie mit dem Kommunikations-Port verbunden werden können, um die Bildinformation und/oder die Fahrinformation unter Verwendung des Kommunikations-Ports zu erhalten, um wenigstens einen Teil eines Fahrprogramms des Fahrunterstützungs-Terminals auszuführen, basierend auf dem Bild und/oder der Fahrinformation, um das Fahrzeug in Bezug auf eine oder mehrere Fahrunterstützungs- und/oder autonome Operationen des Fahrzeugs durch Steuersignalisierung zu steuern, die vom Fahrunterstützungs-Informationsgenerator erzeugt und dem Fahrzeug zur Verfügung gestellt wird.
Das Fahrprogramm des Fahrunterstützungs-Terminals kann ein Fahrassistenzprogramm und/oder ein autonomes Fahrprogramm umfassen.
Die Fahrzeugsteuerung kann so konfiguriert werden, dass sie ein Fahrzeug-Fahrprogramm ausführt, das ein Fahrassistenzprogramm und/oder ein autonomes Fahrzeug-Fahrprogramm umfasst, das in einem Speicher des Fahrzeugs gespeichert ist, um das Fahrzeug zu steuern.
Der eine oder mehrere Prozessoren des Fahrunterstützungs-Terminals können des Weiteren konfiguriert werden, um zu bestimmen, welches der Fahrassistenzprogramme des Fahrassistenzprogramms des Fahrunterstützungs-Terminals und des Fahrzeug-Fahrassistenzprogramms des Fahrzeug-Fahrprogramms ein Fahrassistenzprogramm der höchsten ADAS-Stufe ist, und/oder zu bestimmen, welches des autonomen Fahrprogramms des Fahrunterstützungs-Terminals und des autonomen Fahrzeug-Fahrprogramms des Fahrzeug-Fahrprogramms ein autonomes Fahrassistenzprogramm der höchsten ADAS-Stufe ist, und das so konfiguriert ist, dass es das autonome Fahrassistenzprogramm der höchsten ADAS-Stufe und/oder das autonome Fahrprogramm der höchsten ADAS-Stufe ausführt, um das Fahrzeug in Bezug auf die eine oder mehrere Fahrunterstützungs- und/oder autonome Operationen des Fahrzeugs zu steuern.
Der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals können des Weiteren konfiguriert werden, um eine erste Bestimmung durchzuführen, welche Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals ein höheres Funktionalitätslevel aufweisen als entsprechende Funktionalitäten des Fahrzeug-Fahrprogramms, um eine zweite Bestimmung durchzuführen, welche Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals nicht durch das Fahrzeug-Fahrprogramm bereitgestellt werden, und/oder um eine dritte Bestimmung durchzuführen, welche Funktionalitäten des Fahrzeug-Fahrprogramms nicht durch das Fahrprogramm des Fahrunterstützungs-Terminals bereitgestellt werden, und konfiguriert, um implementierte Fahrassistenzprogramm-Funktionalitäten durch das Fahrzeug zu steuern, indem selektiv, wie durch das Fahrunterstützungs-Terminal gesteuert, das Fahrprogramm des Fahrunterstützungs-Terminals und das Fahrzeug-Fahrassistenzprogramm basierend auf einer oder einer beliebigen Kombination der ersten Bestimmung, der zweiten Bestimmung und der dritten Bestimmung implementiert werden, um das Fahrzeug in Bezug auf die eine oder mehrere Fahrassistenz- und/oder autonome Operationen durch das Fahrzeug zu steuern.
Das Fahrerassistenzsystem kann des Weiteren eine mobile Vorrichtung mit einem oder mehreren Prozessoren aufweisen, die so konfiguriert sind, dass sie wenigstens einen Teil eines Fahrprogramms der mobilen Vorrichtung ausführen, einschließlich eines Fahrassistenzprogramms der mobilen Vorrichtung und/oder eines autonomen Fahrprogramms der mobilen Vorrichtung, das auf der Bildinformation und/oder der Fahrinformation basiert, um das Fahrzeug in Bezug auf den einen oder die mehreren Fahrassistenz- und/oder autonomen Vorgänge durch das Fahrzeug zu steuern, und der eine oder die mehreren Prozessoren der mobilen Vorrichtung oder der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals können des Weiteren so konfiguriert sein, dass sie bestimmen, welcher des Fahrassistenzprogramms des Fahrprogramms des Fahrunterstützungs-Terminals, das Fahrassistenzprogramm der Mobilvorrichtung und das Fahrzeug-Fahrassistenzprogramm des Fahrzeug-Fahrprogramms ein Fahrassistenzprogramm des höchsten ADAS-Levels sind und/oder bestimmen, welches des autonomen Fahrprogramms des Fahrprogramms des Fahrunterstützungs-Terminals, des autonomen Fahrprogramms der Mobilvorrichtung und des autonomen Fahrprogramms des Fahrzeug-Fahrprogramms ein autonomes Fahrprogramm des höchsten ADAS-Levels ist, und so konfiguriert sind, dass sie das Fahrassistenzprogramm des höchsten ADAS-Levels und/oder das autonome Fahrprogramm des höchsten ADAS-Levels ausführen, um das Fahrzeug in Bezug auf die eine oder mehrere Fahrunterstützungs- und/oder autonome Operationen des Fahrzeugs zu steuern.
Das Fahrerassistenzsystem kann des Weiteren eine Mobilvorrichtung mit einem oder mehreren Prozessoren aufweisen, die so konfiguriert sind, dass sie wenigstens einen Teil eines Fahrprogramms für Mobilvorrichtungen ausführen, einschließlich eines Fahrassistenzprogramms für Mobilvorrichtungen und/oder eines autonomen Fahrprogramms für Mobilvorrichtungen, das auf den Bildinformationen und/oder den Fahrinformationen basiert, um das Fahrzeug in Bezug auf die eine oder mehreren Fahrassistenz- und/oder autonomen Operationen des Fahrzeugs zu steuern, und der eine oder die mehreren Prozessoren der Mobilvorrichtung oder der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals können des Weiteren konfiguriert werden, um eine erste Bestimmung durchzuführen, welche Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals und Funktionalitäten des Geräteantriebsprogramms der Mobilvorrichtung ein höheres Funktionalitäts-Level aufweisen als entsprechende Funktionalitäten des Fahrzeug-Fahrprogramms, eine zweite Bestimmung durchzuführen, welche Funktionalitäten des Fahrunterstützungs-Terminals und des Geräteantriebsprogramms der Mobilvorrichtung nicht durch das Fahrzeug-Fahrprogramm bereitgestellt werden, und/oder eine dritte Bestimmung durchzuführen, welche Funktionalitäten des Fahrzeug-Fahrprogramms nicht durch das Fahrunterstützungs-Terminal und das Geräteantriebsprogramm der Mobilvorrichtung bereitgestellt werden, und konfiguriert ist, um implementierte Fahrprogramm-Funktionalitäten durch das Fahrzeug zu steuern, indem selektiv, wie durch das Fahrunterstützungs-Terminal oder die Mobilvorrichtung gesteuert, das Fahrprogramm des Fahrunterstützungs-Terminals, das Antriebsprogramm der Mobilvorrichtung und das Fahrzeug-Fahrprogramm basierend auf einer oder irgendeiner Kombination der ersten Bestimmung, der zweiten Bestimmung und der dritten Bestimmung implementiert werden.
Wenn die selektive Implementierung des Fahrprogramms des Fahrunterstützungs-Terminals, des Fahrprogramms der Mobilvorrichtung und des Fahrzeug-Fahrprogramms auf Grundlage einer oder einer beliebigen Kombination der ersten Bestimmung, der zweiten Bestimmung und der dritten Bestimmung die Auswahl zwischen entsprechenden Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals und des mobilen Fahrprogramms umfassen kann, wobei der eine oder die mehreren Prozessoren der Mobilvorrichtung oder der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals konfiguriert werden können, um aus diesen entsprechenden Funktionalitäten eine Funktionalität auszuwählen, die eine vorbestimmte größere Funktionalität aufweist.
Der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals können des Weiteren konfiguriert werden, um eine erste Bestimmung durchzuführen, welche Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals und Funktionalitäten eines Fahrprogramms einer Mobilvorrichtung, einer Mobilvorrichtung in Kommunikation mit dem Fahrunterstützungs-Terminal, ein höheres Funktionalitäts-Level aufweisen als entsprechende Funktionalitäten des Fahrzeug-Fahrprogramms, um eine zweite Bestimmung durchzuführen, welche Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals und des Fahrprogramms der Mobilvorrichtung nicht durch das Fahrzeug-Fahrprogramm bereitgestellt werden, und/oder eine dritte Bestimmung durchzuführen, welche Funktionalitäten des Fahrzeug-Fahrprogramms nicht durch das Fahrprogramm des Fahrunterstützungs-Terminals und das Fahrprogramm der Mobilvorrichtung bereitgestellt werden, und konfiguriert, um implementierte Fahrprogramm-Funktionalitäten durch das Fahrzeug zu steuern, indem selektiv, wie durch das Fahrunterstützungs-Terminal gesteuert, das Fahrprogramm des Fahrunterstützungs-Terminals, das Fahrprogramm der Mobilvorrichtung und das Fahrzeug-Fahrprogramm basierend auf einer oder einer Kombination der ersten Bestimmung, der zweiten Bestimmung und der dritten Bestimmung implementiert werden, um das Fahrzeug in Bezug auf das eine oder mehrere unterstützende Fahren und/oder autonome Operationen durch das Fahrzeug zu steuern.
Das Fahrerassistenzsystem kann des Weiteren die Mobilvorrichtung umfassen, wobei die Mobilvorrichtung einen oder mehrere Prozessoren und einen Speicher aufweist, der das Fahrassistenzprogramm der Mobilvorrichtung speichert, einschließlich eines Fahrassistenzprogramms der Mobilvorrichtung und/oder eines autonomen Fahrprogramms der Mobilvorrichtung.
Wenn die selektive Implementierung des Fahrprogramms des Fahrunterstützungs-Terminals, des Fahrprogramms der Mobilvorrichtung und des Fahrzeug-Fahrprogramms auf Grundlage einer oder einer beliebigen Kombination der ersten Bestimmung, der zweiten Bestimmung und der dritten Bestimmung die Auswahl zwischen entsprechenden Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals und des mobilen Fahrprogramms umfassen kann, wobei der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals so konfiguriert werden können, dass sie aus diesen entsprechenden Funktionalitäten eine Funktionalität auswählen, die eine vorbestimmte größere Funktionalität aufweist.
Der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals können des Weiteren konfiguriert werden, um zu bestimmen, welches des Fahrunterstützungsprogramms des Fahrprogramms des Fahrunterstützungs-Terminals, eines Mobilvorrichtungs-Fahrunterstützungsprogramms eines Fahrprogramms einer Mobilvorrichtung in Kommunikation mit dem Fahrunterstützungs-Terminal und des Fahrzeug-Fahrunterstützungsprogramms des Fahrzeug-Fahrprogramms ein Fahrunterstützungsprogramm der höchsten ADAS-Stufe ist und/oder welches des autonomen Fahrprogramms des Fahrprogramms des Fahrunterstützungs-Terminals, ein autonomes Fahrassistenzprogramm der Mobilvorrichtung des Fahrprogramms der Mobilvorrichtung und das autonome Fahrprogramm des Fahrzeug-Fahrprogramms ein autonomes Fahrassistenzprogramm der höchsten ADAS-Stufe sind und so konfiguriert sind, dass sie das autonome Fahrassistenzprogramm der höchsten ADAS-Stufe und/oder das autonome Fahrassistenzprogramm der höchsten ADAS-Stufe ausführen, um das Fahrzeug in Bezug auf die eine oder mehrere Fahrassistenz- und/oder autonome Operationen des Fahrzeugs zu steuern.
Das Fahrerassistenzsystem kann des Weiteren die Mobilvorrichtung umfassen, wobei die Mobilvorrichtung einen oder mehrere Prozessoren und einen Speicher aufweist, der das Fahrassistenzprogramm der Mobilvorrichtung speichert, einschließlich des Fahrassistenzprogramms der Mobilvorrichtung und des autonomen Fahrprogramms der Mobilvorrichtung.
Für die Erzeugung der Steuersignalisierung kann das Fahrassistenzprogramm so konfiguriert werden, dass es Fahrunterstützungs-Steuersignalisierung und Fahrunterstützungs-Informationen erzeugt, wobei die Fahrunterstützungs-Steuersignalisierung signalisiert, einen unterstützenden Fahrvorgang des Fahrzeugs zur Anzeige der Fahrunterstützungs-Informationen assistiv zu steuern.
Die Fahrinformation des Fahrzeugs kann Informationen umfassen, die den Fahrer anweisen, wenigstens eine der Funktionen Lenken, Bremsen und Beschleunigen des Fahrzeugs zu steuern.
Die Unterweisung des Fahrers kann eine Warnung vor der Hinderniserkennung und/oder die Anweisung des Fahrers zur Durchführung einer entsprechenden Hindernisvermeidungslenkung und/oder-bremsung, eine Heckkollisionswarnung und/oder die Anweisung des Fahrers zur Durchführung einer entsprechenden Heckkollisionsvermeidungsbremsung, eine Spurverlassenswarnung, die Anweisung des Fahrers zur Durchführung einer entsprechenden Spurverlassensberichtigung oder einer Wartungslenkung und/oder die Anweisung des Fahrers zu vorgeschlagenen Spurwechseln, die vom Antriebsprogramm bestimmt werden, umfassen.
Für die Erzeugung der Steuersignalisierung kann das Fahrassistenzprogramm so konfiguriert werden, dass es eine Steuersignalisierung zur Fahrassistenz erzeugt, wobei die Steuersignalisierung zur Fahrassistenz die Steuerung eines unterstützenden Fahrbetriebs des Fahrzeugs signalisieren kann, um wenigstens einen der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs unterstützend zu steuern.
Die Steuersignalisierung zur Steuerung des assistierenden Fahrbetriebs des Fahrzeugs zur assistierenden Steuerung von wenigstens einem der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs kann die Steuerung von wenigstens einem der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs zur erkannten Hindernisausweichhilfe, zur erkannten Heckkollisionsausweichhilfe, zur vorhergesagten und/oder erkannten Spurverlassenshilfe oder -behebung und/oder zum vom Fahrassistenzprogramm bestimmten assistierenden Fahrspurwechsel umfassen.
Die Steuersignalisierung zur Fahrunterstützungs-Steuerung kann eine Signalisierung zur Steuerung des Fahrunterstützungs-Fahrbetriebs des Fahrzeugs sein, um Fahrunterstützungs-Informationen anzuzeigen, die vom Fahrassistenzprogramm erzeugt werden und Informationen über wenigstens einen der unterstützend gesteuerten Lenk-, Brems- und Beschleunigungsvorgänge des Fahrzeugs anzeigen.
Das autonome Fahrassistenzprogramm kann so konfiguriert werden, dass es eine Fahrsteuerungssignalisierung erzeugt, wobei die Fahrsteuerungssignalisierung die Steuerung eines autonomen Fahrbetriebs des Fahrzeugs signalisieren kann, um wenigstens einen der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs ohne assistierende Steuerung durch den Fahrer zu steuern.
Die Generierung der Steuersignalisierung kann die Durchführung einer oder einer beliebigen Kombination von zwei oder mehreren Vorhersagen für verdeckte Objekte, eine Spurwechselbestimmung, eine Fußgängererkennung, eine Straßenwechselerkennung und eine Verkehrszeichenerkennung sowie die Generierung der Steuersignalisierung auf Grundlage der Ergebnisse der Durchführung umfassen.
Der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals können einen oder mehrere Künstliche-Intelligenz-Prozessoren umfassen, die so konfiguriert sind, dass sie aus einem Speicher des Fahrerassistenzsystems ein oder mehrere Künstliche-Intelligenz-Modelle laden und das eine oder die mehreren Künstliche-Intelligenz-Modelle implementieren, um eine beliebige oder eine beliebige Kombination von zwei oder mehr der Vorhersage verdeckter Objekte, der Bestimmung des Spurwechsels, der Erkennung von Fußgängern, der Erkennung von Fahrbahnwechseln und der Erkennung von Verkehrszeichen sowie die Generierung der Steuersignalisierung auf Grundlage der Leistungsergebnisse durchzuführen.
Der eine oder die mehreren Künstliche-Intelligenz-Prozessoren können einen oder mehrere neuromorphe Prozessoren umfassen, und das eine oder die mehreren Künstliche-Intelligenz-Modelle können entsprechende Neuro-Netzwerk-Modelle sein.
Der eine oder die mehreren Prozessoren können so konfiguriert werden, dass sie eine Nachbearbeitung der erhaltenen Bildinformationen und/oder anderer Bildinformationen durchführen, die durch das Modell des Fahrunterstützungs-Terminals erhalten wurden, und der eine oder die mehreren Prozessoren können einen oder mehrere Künstliche-Intelligenz-Prozessoren umfassen, wobei die Ausführung zumindest des Teils des Antriebsprogramms die Ausführung eines oder mehrerer neuronaler Netzmodelle umfassen kann, vorausgesetzt, dass die erhaltenen Bildinformationen und/oder die nachbearbeiteten anderen Bildinformationen nachbearbeitet werden.
Der eine oder die mehreren Prozessoren können so konfiguriert werden, dass sie eine Nachbearbeitung der erhaltenen Bildinformationen und/oder anderer Bildinformationen, die durch das Modell des Fahrunterstützungs-Terminals erhalten wurden, durchführen, und der eine oder die mehreren Prozessoren können einen oder mehrere Prozessoren mit künstlicher Intelligenz umfassen, wobei der eine oder die mehreren Prozessoren so konfiguriert werden können, dass sie ein Navigationsprogramm unter Verwendung der nachbearbeiteten erhaltenen Bildinformationen und/oder der nachbearbeiteten anderen Bildinformationen implementieren, indem sie ein oder mehrere neuronale Netzwerkmodelle unter Verwendung des einen oder der mehreren Prozessoren mit künstlicher Intelligenz ausführen, sofern die nachbearbeiteten erhaltenen Bildinformationen und/oder die nachbearbeiteten anderen Bildinformationen bereitgestellt werden.
Der eine oder die mehreren Prozessoren können so konfiguriert werden, dass sie mit dem Kommunikations-Port verbunden werden, um die Fahrinformationen zu erhalten, und so konfiguriert werden, dass sie andere Bildinformationen von einer anderen, vom Fahrzeug getrennten Kamera erhalten, die mit dem Fahrunterstützungs-Terminal kommuniziert, und können zumindest den Teil des Antriebsprogramms ausführen, der auf den erhaltenen Fahrinformationen und den anderen Bildinformationen basiert.
Der eine oder die mehreren Bildprozessoren können so konfiguriert werden, dass sie aus den anderen Bildinformationen ein Bild einer Fahrzeugperipherie erzeugen, und so konfiguriert werden, dass sie das Bild der Fahrzeugperipherie dem Fahrzeug zur Anzeige durch das Fahrzeug zur Verfügung stellen.
Das Fahrunterstützungs-Terminal kann ein OBD-Anschlussterminal umfassen, und das Fahrunterstützungs-Terminal wird über das OBD-Anschlussterminal an den Kommunikations-Port angeschlossen.
Die Bildinformationen können vom Fahrzeug und/oder andere Bildinformationen können von einer vom Fahrzeug getrennten Kamera gewonnen werden, und der eine oder die mehreren Bildprozessoren können des Weiteren so konfiguriert werden, dass sie wenigstens ein Navigationsprogramm implementieren, das die Bildinformationen und/oder die anderen Bildinformationen sowie die Fahrinformationen verwendet.
Das Fahrunterstützungs-Terminal kann über eine USB-Terminalverbindung vom Typ C an den Kommunikations-Port angeschlossen werden.
Das Fahrunterstützungs-Terminal kann einen Speicher umfassen, der das Fahrassistenzprogramm und das autonome Fahrprogramm speichert, und der eine oder mehrere Prozessoren können eine neuronale Verarbeitungseinheit umfassen, die die Fahrunterstützungs-Informationen durch die Ausführung zumindest des Teils des Fahrprogramms erzeugt.
Die neuronale Verarbeitungseinheit kann einen Bildeingabeempfänger umfassen, in den ein von dem Kamerasystem erhaltenes Bild eingegeben wird, einen Bildvorprozessor, der so konfiguriert ist, dass er einen interessierenden Bildbereich aus der Bildeingabe in den Bildempfänger extrahiert, ein zielerkennendes neuronales Netzwerkmodell, das so implementiert ist, dass es ein Ziel in dem interessierenden Bild erkennt, und einen Fahrunterstützungs-Informationsgenerator, der so konfiguriert ist, dass er zumindest einen Teil des Fahrassistenzprogramms und/oder des autonomen Fahrprogramms in Bezug auf das erkannte Ziel ausführt.
Das Fahrerassistenzsystem kann des Weiteren eine mobile Vorrichtung mit einem oder mehreren Prozessoren aufweisen, die so konfiguriert sind, dass sie wenigstens einen Teil eines Fahrprogramms der mobilen Vorrichtung ausführen, einschließlich eines Fahrassistenzprogramms für die mobile Vorrichtung und/oder eines autonomen Fahrprogramms für die mobile Vorrichtung, das auf den Bildinformationen und/oder den Fahrinformationen basiert, um das Fahrzeug in Bezug auf die eine oder mehreren Fahrassistenz- und/oder autonomen Operationen des Fahrzeugs zu steuern, wobei der eine oder die mehreren Prozessoren der mobilen Vorrichtung oder der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals, kann des Weiteren konfiguriert werden, um zu bestimmen, welche des Fahrassistenzprogramms des Fahrunterstützungs-Terminals und des Fahrassistenzprogramms der Mobilvorrichtung ein autonomes Fahrassistenzprogramm der höchsten ADAS-Stufe sind, und/oder um zu bestimmen, welche des autonomen Fahrprogramms des Fahrprogramms des Fahrunterstützungs-Terminals und des autonomen Fahrprogramms der Mobilvorrichtung ein autonomes Fahrprogramm der höchsten ADAS-Stufe sind, und konfiguriert werden, um das Fahrassistenzprogramm der höchsten ADAS-Stufe und/oder das autonome Fahrprogramm der höchsten ADAS-Stufe auszuführen, um das Fahrzeug in Bezug auf die eine oder mehrere Fahrassistenz- und/oder autonome Operationen des Fahrzeugs zu steuern.
Das Fahrerassistenzsystem kann des Weiteren eine Mobilvorrichtung mit einem oder mehreren Prozessoren aufweisen, die so konfiguriert sind, dass sie wenigstens einen Teil eines Fahrprogramms für Mobilvorrichtungen ausführen, einschließlich eines Fahrassistenzprogramms für Mobilvorrichtungen und/oder eines autonomen Fahrprogramms für Mobilvorrichtungen, das auf dem Bild und/oder den Fahrinformationen basiert, um das Fahrzeug in Bezug auf die eine oder mehreren Fahrassistenz- und/oder autonomen Operationen des Fahrzeugs zu steuern, und der eine oder die mehreren Prozessoren der Mobilvorrichtung oder der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals können des Weiteren konfiguriert werden, um eine erste Bestimmung durchzuführen, welche Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals und welche Funktionalitäten des Fahrprogramms der Mobilvorrichtung ein höheres Funktionalitäts-Level aufweisen, eine zweite Bestimmung durchführen, welche Funktionalitäten des Fahrunterstützungs-Terminals nicht durch das Fahrunterstützungs-Terminal der Mobilvorrichtung bereitgestellt werden, und/oder eine dritte Bestimmung durchführen, welche Funktionalitäten des Fahrunterstützungs-Terminals der Mobilvorrichtung nicht durch das Fahrprogramm des Fahrunterstützungs-Terminals bereitgestellt werden, und konfiguriert ist, um implementierte Fahrprogramm-Funktionalitäten durch das Fahrzeug durch selektives Implementieren zu steuern, wie durch die Mobilvorrichtung oder das Fahrunterstützungs-Terminal gesteuert, das Fahrprogramm des Fahrunterstützungs-Terminals und das Fahrprogramm der Mobilvorrichtung, basierend auf einer oder einer Kombination der ersten Bestimmung, der zweiten Bestimmung und der dritten Bestimmung, um das Fahrzeug in Bezug auf die eine oder mehrere Fahrassistenz- und/oder autonome Operationen durch das Fahrzeug zu steuern.
In einem allgemeinen Aspekt umfasst ein Fahrassistenzverfahren zum Zusammenwirken mit einem Fahrzeug, das ein Kamerasystem, das Bildinformationen von einer Peripherie des Fahrzeugs erzeugt, eine Fahrzeugsteuerung, die Fahrinformationen des Fahrzeugs erzeugt, und einen Kommunikations-Port umfasst, durch eine vom Fahrzeug getrennte Vorrichtung eine Verbindung mit dem Kommunikations-Port, um die Bildinformationen und/oder die Fahrinformationen unter Verwendung des Kommunikations-Ports zu erhalten, wobei durch die Vorrichtung wenigstens ein Teil eines Geräteantriebsprogramms ausgeführt wird, ein Fahrassistenzprogramm und/oder ein autonomes Fahrprogramm eines Fahrunterstützungs-Terminals bzw. einer Mobilvorrichtung als die Vorrichtung umfasst, basierend auf den Bildinformationen und/oder den Fahrinformationen, und um das Fahrzeug in Bezug auf eine oder mehrere unterstützende Fahr- und/oder autonome Operationen durch das Fahrzeug durch Steuersignalisierung zu steuern, die durch das Fahrunterstützungs-Terminal oder die Mobilvorrichtung erzeugt wird, und um die erzeugte Steuersignalisierung an das Fahrzeug zu liefern, um das Fahrzeug in Bezug auf eine oder mehrere unterstützende Fahr- und/oder autonome Operationen durch das Fahrzeug zu steuern.
Das Verfahren kann des Weiteren die Bestimmung umfassen, welches des Fahrassistenzprogramms des Geräteantriebsprogramms und jedes Fahrzeug-Fahrassistenzprogramms eines Fahrprogramms, das so konfiguriert ist, dass es durch das Fahrzeug implementiert wird, bei der Erzeugung der Steuersignalisierung durch das Fahrunterstützungs-Terminal oder die Mobilvorrichtung zu implementieren ist, und/oder die Bestimmung, welches des autonomen Fahrprogramms des Geräteantriebsprogramms und jedes Fahrzeug-Autonom-Fahrprogramms des Fahrprogramms, das so konfiguriert ist, dass es durch das Fahrzeug implementiert wird, bei der Erzeugung der Steuersignalisierung durch das Fahrunterstützungs-Terminal oder die Mobilvorrichtung zu implementieren ist.
Das Verfahren kann des Weiteren die Bestimmung umfassen, welche jeweiligen Funktionalitäten des Geräteantriebsprogramms und jedes Fahrzeugantriebsprogramms, das so konfiguriert ist, dass es durch das Fahrzeug implementiert werden kann, für die Erzeugung der Steuersignalisierung durch das Fahrunterstützungs-Terminal oder die Mobilvorrichtung zu implementieren sind.
In einem allgemeinen Aspekt umfasst ein Fahrerassistenzsystem zur Zusammenarbeit mit einem separaten Fahrzeug, das ein Kamerasystem, das Bildinformationen einer Peripherie des Fahrzeugs erzeugt, eine Fahrzeugsteuerung, die Fahrinformationen des Fahrzeugs erzeugt, und einen Kommunikations-Port umfasst, ein Smartphone mit einem oder mehreren Prozessoren, die so konfiguriert sind, dass sie wenigstens einen Teil eines Geräteantriebsprogramms für Mobilvorrichtungen ausführen, ein Fahrassistenzprogramm für Mobilvorrichtungen und/oder ein autonomes Fahrassistenzprogramm für Mobilvorrichtungen umfasst und in einem Speicher des Smartphones gespeichert ist, basierend auf den Bildinformationen und/oder den Fahrinformationen, und um das Fahrzeug in Bezug auf eine oder mehrere Fahrassistenz- und/oder autonome Operationen des Fahrzeugs durch Steuersignalisierung zu steuern, die vom Smartphone erzeugt und dem Fahrzeug zur Verfügung gestellt wird.
Die Fahrzeugsteuerung kann so konfiguriert werden, dass sie ein Fahrzeug-Fahrprogramm ausführt, das ein Fahrassistenzprogramm und/oder ein autonomes Fahrzeug-Fahrprogramm umfasst, das in einem Speicher des Fahrzeugs gespeichert ist, um das Fahrzeug zu steuern.
Der eine oder die mehreren Prozessoren des Smartphones können des Weiteren konfiguriert werden, um zu bestimmen, welches des Fahrassistenzprogramms der Mobilvorrichtung und des Fahrassistenzprogramms des Fahrzeugs ein autonomes Fahrassistenzprogramm der höchsten ADAS-Stufe ist, und/oder um zu bestimmen, welches des autonomen Fahrprogramms der Mobilvorrichtung und des autonomen Fahrprogramms des Fahrzeugs ein autonomes Fahrprogramm der höchsten ADAS-Stufe ist, und um das bestimmte autonome Fahrassistenzprogramm der höchsten ADAS-Stufe und/oder das bestimmte autonome Fahrprogramm der höchsten ADAS-Stufe auszuführen, um das Fahrzeug in Bezug auf die eine oder mehrere Fahrassistenz- und/oder autonome Operationen des Fahrzeugs zu steuern.
Der eine oder die mehreren Prozessoren des Smartphones können des Weiteren konfiguriert werden, um eine erste Bestimmung durchzuführen, welche Funktionalitäten des Fahrprogramms der Mobilvorrichtung ein höheres Funktionalitätslevel haben als entsprechende Funktionalitäten des Fahrzeugantriebsprogramms, um eine zweite Bestimmung durchzuführen, welche Funktionalitäten des Fahrprogramms der Mobilvorrichtung nicht vom Fahrzeugantriebsprogramm bereitgestellt werden, und/oder um eine dritte Bestimmung durchzuführen, welche Funktionalitäten des Fahrzeugantriebsprogramms nicht vom Fahrprogramm der Mobilvorrichtung bereitgestellt werden, und konfiguriert, um implementierte Fahrassistenzprogramm-Funktionalitäten durch das Fahrzeug zu steuern, indem selektiv, wie durch das Smartphone gesteuert, das Geräteantriebsprogramm für Mobilvorrichtungen und/oder das Fahrzeugantriebsprogramm basierend auf einer oder irgendeiner Kombination der ersten Bestimmung, der zweiten Bestimmung und der dritten Bestimmung implementiert wird, um das Fahrzeug in Bezug auf die eine oder mehrere Fahrassistenz- und/oder autonome Operationen durch das Fahrzeug zu steuern.
Zur Erzeugung der Steuersignalisierung kann das Fahrunterstützungs-Informationsprogramm der Mobilvorrichtung so konfiguriert werden, dass es Fahrunterstützungs-Informationen zur Steuerung eines unterstützenden Fahrbetriebs des Fahrzeugs erzeugt, um die Fahrunterstützungs-Informationen anzuzeigen.
Die Fahrinformation des Fahrzeugs kann Informationen umfassen, die den Fahrer anweisen, wenigstens eine der Funktionen Lenken, Bremsen und Beschleunigen des Fahrzeugs zu steuern.
Die Anweisung an den Fahrer kann eine Warnung vor der Hinderniserkennung und/oder die Anweisung an den Fahrer umfassen, eine entsprechende Hindernisvermeidungslenkung und/oder -bremsung durchzuführen, eine Heckkollisionswarnung bereitzustellen, den Fahrer anzuweisen, eine entsprechende Heckkollisionsvermeidungsbremsung durchzuführen, eine Spurverlassenswarnung bereitzustellen, den Fahrer anzuweisen, eine entsprechende Spurverlassensbehinderung oder eine Wartungslenkung durchzuführen, und/oder den Fahrer zu vorgeschlagenen Spurwechseln anzuweisen, die durch das Antriebsprogramm der Mobilvorrichtung bestimmt werden.
Für die Erzeugung der Steuersignalisierung durch das Smartphone kann das Fahrassistenzprogramm für Mobilvorrichtungen so konfiguriert werden, dass es eine Steuersignalisierung zur Fahrunterstützung erzeugt, wobei die Steuersignalisierung zur Fahrassistenz signalisiert, dass ein unterstützender Fahrvorgang des Fahrzeugs gesteuert wird, um wenigstens einen der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs unterstützend zu steuern.
Die Steuersignalisierung zur Steuerung des unterstützenden Fahrbetriebs des Fahrzeugs zur Steuerung von wenigstens einem der Lenk-, Brems- und Beschleunigungsvorgänge des Fahrzeugs kann die unterstützende Steuerung von wenigstens einem der Lenk-, Brems- und Beschleunigungsvorgänge des Fahrzeugs zur erkannten Hindernisumgehung, zur erkannten Vermeidung eines Heckaufpralls, zur vorhergesagten und/oder erkannten Spurverlassenshilfe oder -behebung und/oder zum unterstützenden Spurwechsel, der durch das Geräteantriebsprogramm bestimmt wird, umfassen.
Bei der Fahrunterstützungs-Steuersignalisierung kann es sich um eine Steuersignalisierung zur Steuerung des Fahrunterstützungs-Fahrbetriebs des Fahrzeugs handeln, um Fahrunterstützungs-Informationen anzuzeigen, die durch das Fahrassistenzprogramm der Mobilvorrichtung erzeugt werden und Informationen bezüglich wenigstens eines der unterstützend gesteuerten Lenk-, Brems- und Beschleunigungsvorgänge des Fahrzeugs anzeigen.
Für die Erzeugung der Steuersignalisierung durch das Smartphone kann das autonome Antriebsprogramm der Mobilvorrichtung so konfiguriert werden, dass es Antriebssteuersignalisierung erzeugt, wobei die Antriebssteuersignalisierung die Steuerung eines autonomen Fahrbetriebs des Fahrzeugs signalisieren kann, um wenigstens einen der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs ohne assistierende Steuerung durch den Fahrer zu steuern.
Die Generierung der Steuersignalisierung kann die Durchführung einer oder einer beliebigen Kombination von zwei oder mehreren Vorhersagen für verdeckte Objekte, eine Spurwechselbestimmung, eine Fußgängererkennung, eine Straßenwechselerkennung und eine Verkehrszeichenerkennung sowie die Generierung der Steuersignalisierung auf Grundlage der Ergebnisse der Durchführung umfassen.
Der eine oder die mehreren Prozessoren des Smartphones können einen oder mehrere Künstliche-Intelligenz-Prozessoren umfassen, die so konfiguriert sind, dass sie aus dem Speicher des Smartphones ein oder mehrere Künstliche-Intelligenz-Modelle laden und das eine oder die mehreren Künstliche-Intelligenz-Modelle so implementieren, dass sie eine oder eine beliebige Kombination von zwei oder mehreren der folgenden Funktionen ausführen: Vorhersage verdeckter Objekte, Bestimmung des Fahrspurwechsels, Erkennung von Fußgängern, Erkennung von Fahrbahnwechseln, Erkennung von Verkehrszeichen und Generierung von Steuersignalisierungen für das Fahren auf Grundlage der Leistungsergebnisse.
Der eine oder die mehreren Künstliche-Intelligenz-Prozessoren können einen oder mehrere neuromorphe Prozessoren umfassen, und das eine oder die mehreren Künstliche-Intelligenz-Modelle können entsprechende Neuro-Netzwerk-Modelle sein.
Der eine oder die mehreren Prozessoren können so konfiguriert werden, dass sie eine Verbindung mit dem Kommunikations-Port herstellen, um die Fahrinformationen zu erhalten, und um andere Bildinformationen von wenigstens einer Kamera zu erhalten, die vom Fahrzeug getrennt ist und mit dem Smartphone kommuniziert, und so konfiguriert werden, dass sie wenigstens den Teil des Geräteantriebsprogramms der Mobilvorrichtung ausführen, der wenigstens auf den erhaltenen Fahrinformationen und den anderen Bildinformationen basiert.
Die wenigstens eine Kamera kann eine im Smartphone enthaltene Kamera umfassen.
Der eine oder die mehreren Bildprozessoren können so konfiguriert werden, dass sie aus den anderen Bildinformationen ein Bild einer Peripherie des Fahrzeugs erzeugen, und so konfiguriert werden, dass das erzeugte Bild dem Fahrzeug zur Anzeige durch das Fahrzeug zur Verfügung gestellt wird.
In einem allgemeinen Aspekt umfasst ein Fahrerassistenzsystem zur Zusammenarbeit mit einem separaten Fahrzeug, das ein Kamerasystem, das Bildinformationen einer Peripherie des Fahrzeugs erzeugt, eine Fahrzeugsteuerung, die Fahrinformationen des Fahrzeugs erzeugt, und einen Kommunikations-Port umfasst, eine Mobilvorrichtung, die einen oder mehrere Prozessoren aufweist, die so konfiguriert sind, dass sie wenigstens einen Teil eines Geräteantriebsprogramms der Mobilvorrichtung ausführen, ein Fahrassistenzprogramm für Mobilvorrichtungen und/oder ein autonomes Fahrassistenzprogramm für Mobilvorrichtungen umfasst und in einem Speicher der Mobilvorrichtung gespeichert ist, basierend auf der Bildinformation und/oder der Fahrinformation, und um das Fahrzeug in Bezug auf eine oder mehrere Fahrassistenz- und/oder autonome Operationen des Fahrzeugs durch Steuersignalisierung, die von der Mobilvorrichtung erzeugt wird, zu steuern, und ein Fahrunterstützungs-Terminal, das so konfiguriert ist, dass es mit dem Kommunikations-Port verbunden werden kann, und das Kommunikations-Hardware umfasst, die so konfiguriert ist, dass sie die Bildinformation und/oder die Fahrinformation unter Verwendung des Kommunikations-Ports erhält, die erhaltene Bildinformation und/oder die Fahrinformation an die Mobilvorrichtung übermittelt und die erzeugte Steuersignalisierung an das Fahrzeug übermittelt, wobei die Mobilvorrichtung abnehmbar mit dem Fahrunterstützungs-Terminal verbunden und von diesem getrennt ist und Rechenfunktionalitäten umfasst, die sich von der Bereitstellung von Fahrunterstützung unterscheiden.
Die Fahrzeugsteuerung kann so konfiguriert werden, dass sie ein Fahrzeug-Fahrprogramm ausführt, das ein Fahrassistenzprogramm und/oder ein autonomes Fahrzeug-Fahrprogramm umfasst, das in einem Speicher des Fahrzeugs gespeichert ist, um das Fahrzeug zu steuern.
Der eine oder die mehreren Prozessoren der Mobilvorrichtung können des Weiteren konfiguriert werden, um zu bestimmen, welches des Fahrassistenzprogramms der Mobilvorrichtung und des Fahrzeug-Fahrassistenzprogramms ein autonomes Fahrassistenzprogramm der höchsten ADAS-Stufe ist und/oder zu bestimmen, welches des autonomen Fahrprogramms der Mobilvorrichtung und des autonomen Fahrprogramms des Fahrzeugs ein autonomes Fahrprogramm der höchsten ADAS-Stufe ist, und konfiguriert werden, um das bestimmte autonome Fahrassistenzprogramm der höchsten ADAS-Stufe und/oder das bestimmte autonome Fahrprogramm der höchsten ADAS-Stufe auszuführen, um das Fahrzeug in Bezug auf die eine oder mehrere Fahrassistenz- und/oder autonome Operationen des Fahrzeugs zu steuern.
Der eine oder die mehreren Prozessoren der Mobilvorrichtung können des Weiteren konfiguriert werden, um eine erste Bestimmung durchzuführen, welche Funktionalitäten des Fahrprogramms der Mobilvorrichtung ein höheres Funktionalitätslevel haben als entsprechende Funktionalitäten des Fahrzeugantriebsprogramms, um eine zweite Bestimmung durchzuführen, welche Funktionalitäten des Fahrprogramms der Mobilvorrichtung nicht durch das Fahrzeugantriebsprogramm bereitgestellt werden, und/oder um eine dritte Bestimmung durchzuführen, welche Funktionalitäten des Fahrzeugantriebsprogramms nicht durch das Fahrprogramm der Mobilvorrichtung bereitgestellt werden, und konfiguriert, um durch Steuerung der Mobilvorrichtung implementierte Fahrprogrammfunktionalitäten durch das Fahrzeug zu steuern, indem selektiv das Fahrprogramm der Mobilvorrichtung und das Fahrzeug-Fahrprogramm basierend auf einer oder einer beliebigen Kombination der ersten Bestimmung, der zweiten Bestimmung und der dritten Bestimmung implementiert werden, um das Fahrzeug in Bezug auf die eine oder mehrere Fahrassistenzprogramme und/oder autonome Operationen durch das Fahrzeug zu steuern.
Die Mobilvorrichtung kann ein Smartphone sein.
Das Fahrunterstützungs-Terminal kann des Weiteren ein drahtloses Leistungsübertragungsmodul und einen physischen Träger umfassen, wobei das drahtlose Leistungsübertragungsmodul innerhalb des physischen Trägers konfiguriert werden kann, um eine drahtlose Leistungsübertragung an die Mobilvorrichtung zu ermöglichen, die des Weiteren ein mobiles drahtloses Leistungsübertragungsmodul aufweisen kann, das zumindest für den Empfang von drahtlos übertragener Leistung konfiguriert ist.
Das Fahrunterstützungs-Terminal kann einen oder mehrere Prozessoren umfassen, die so konfiguriert sind, dass sie wenigstens einen Teil eines Fahrunterstützungs-Terminal-Fahrprogramms ausführen, einschließlich eines Fahrassistenzprogramms und/oder eines autonomen Fahrassistenzprogramms des Fahrunterstützungs-Terminals, das auf dem Bild und/oder den Fahrinformationen basiert, um das Fahrzeug in Bezug auf die eine oder mehreren Fahrassistenz- und/oder autonomen Operationen des Fahrzeugs zu steuern.
Das Fahrunterstützungs-Terminal kann des Weiteren so konfiguriert werden, dass es die Steuersignalisierung von der Mobilvorrichtung empfängt und die Steuersignalisierung an den Kommunikations-Port liefert, der über ein Controller Area Network (CAN) des Fahrzeugs an die Fahrzeugsteuerung für die Steuerung des Fahrzeugs in Bezug auf die eine oder mehrere Fahrunterstützungs- und/oder autonome Operationen des Fahrzeugs zu liefern ist.
Für die Erzeugung der Steuersignalisierung kann das Fahrunterstützungs-Informationsprogramm der Mobilvorrichtung so konfiguriert werden, dass es Fahrunterstützungs-Informationen erzeugt, um einen unterstützenden Fahrbetrieb des Fahrzeugs zur Anzeige der Fahrunterstützungs-Informationen zu steuern.
Die Fahrinformation des Fahrzeugs kann Informationen umfassen, die den Fahrer anweisen, wenigstens eine der Funktionen Lenken, Bremsen und Beschleunigen des Fahrzeugs zu steuern.
Die Anweisung an den Fahrer kann die Warnung vor der Hinderniserkennung und/oder die Anweisung an den Fahrer umfassen, eine entsprechende Hindernisvermeidungslenkung und/oder -bremsung durchzuführen, eine Heckkollisionswarnung auszugeben, den Fahrer anzuweisen, eine entsprechende Heckkollisionsvermeidungsbremsung durchzuführen, eine Spurverlassenswarnung auszugeben, den Fahrer anzuweisen, eine entsprechende Spurverlassensbeseitigung oder eine Erhaltungslenkung durchzuführen, und/oder den Fahrer zu vorgeschlagenen Spurwechseln anzuweisen, die durch das Antriebsprogramm bestimmt werden.
Für die Erzeugung der Steuersignalisierung durch die Mobilvorrichtung kann das Fahrassistenzprogramm der Mobilvorrichtung so konfiguriert werden, dass es eine Fahrassistenz-Steuersignalisierung erzeugt, wobei die Fahrassistenz-Steuersignalisierung die Steuerung eines assistierenden Fahrbetriebs des Fahrzeugs signalisieren kann, um wenigstens einen von Lenk-, Brems- und Beschleunigungsvorgängen des Fahrzeugs assistierend zu steuern.
Die Steuersignalisierung zur Steuerung des unterstützenden Fahrbetriebs des Fahrzeugs zur Steuerung von wenigstens einem der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs kann die unterstützende Steuerung von wenigstens einem der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs zur erkannten Hindernisausweichhilfe, zur erkannten Heckkollisionsausweichhilfe, zur vorhergesagten und/oder erkannten Spurverlassenshilfe oder -behebung und/oder zum durch das Fahrassistenzprogramm bestimmten unterstützenden Spurwechsel umfassen.
Bei der Fahrunterstützungs-Steuersignalisierung kann es sich um eine Steuersignalisierung zur Steuerung des Fahrunterstützungs-Fahrbetriebs des Fahrzeugs handeln, um Fahrunterstützungs-Informationen anzuzeigen, die durch das Fahrassistenzprogramm der Mobilvorrichtung erzeugt werden und Informationen bezüglich wenigstens eines der unterstützend gesteuerten Lenk-, Brems- und Beschleunigungsvorgänge des Fahrzeugs anzeigen.
Für die Erzeugung der Steuersignalisierung durch die Mobilvorrichtung kann das autonome Fahrassistenzprogramm der Mobilvorrichtung so konfiguriert werden, dass es eine Fahrsteuersignalisierung erzeugt, wobei die Fahrsteuersignalisierung die Steuerung eines autonomen Fahrbetriebs des Fahrzeugs signalisiert, um wenigstens einen der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs ohne assistierende Steuerung durch den Fahrer zu steuern.
Die Generierung der Steuersignalisierung kann die Durchführung einer oder einer beliebigen Kombination von zwei oder mehreren Vorhersagen für verdeckte Objekte, eine Spurwechselbestimmung, eine Fußgängererkennung, eine Straßenwechselerkennung und eine Verkehrszeichenerkennung sowie die Generierung der Steuersignalisierung auf Grundlage der Ergebnisse der Durchführung umfassen.
Der eine oder die mehreren Prozessoren der Mobilvorrichtung können einen oder mehrere Künstliche-Intelligenz-Prozessoren umfassen, die so konfiguriert sind, dass sie aus dem Speicher der Mobilvorrichtung ein oder mehrere Künstliche-Intelligenz-Modelle laden und das eine oder die mehreren Künstliche-Intelligenz-Modelle implementieren, um eine oder mehrere Kombinationen von zwei oder mehr der Vorhersage verdeckter Objekte, der Bestimmung des Spurwechsels, der Erkennung von Fußgängern, der Erkennung von Fahrbahnwechseln, der Erkennung von Verkehrszeichen und der Generierung der Steuersignalisierung für das Fahren basierend auf den Ergebnissen der Leistung durchzuführen.
Der eine oder die mehreren Künstliche-Intelligenz-Prozessoren können einen oder mehrere neuromorphe Prozessoren umfassen, und das eine oder die mehreren Künstliche-Intelligenz-Modelle können entsprechende Neuro-Netzwerk-Modelle sein.
Der eine oder die mehreren Prozessoren können so konfiguriert sein, dass sie Bildinformationen einer Mobilvorrichtung, einschließlich eines Bildes einer Peripherie des Fahrzeugs, auf Grundlage der Bildinformationen oder anderer Bildinformationen, die von der Mobilvorrichtung erhalten werden, erzeugen und dass sie zumindest den Teil des Geräteantriebsprogramms der Mobilvorrichtung auf Grundlage der erzeugten Bildinformationen der Mobilvorrichtung ausführen und/oder dass sie ein Navigationsprogramm auf Grundlage der erzeugten Bildinformationen der Mobilvorrichtung ausführen.
Die anderen Informationen können von einer Kamera erhalten werden, die in der Mobilvorrichtung enthalten ist.
Figurenliste

1 ist ein Blockdiagramm, das ein Fahrerassistenzsystem nach einer oder mehreren Ausführungsformen veranschaulicht.
2 ist ein Blockdiagramm, das ein Fahrerassistenzsystem nach einer oder mehreren Ausführungsformen veranschaulicht.
3 ist ein Blockdiagramm, das ein Fahrerassistenzsystem nach einer oder mehreren Ausführungsformen veranschaulicht.
4 und 5 sind Blockdiagramme, die Fahrerassistenzsysteme nach einer oder mehreren Ausführungsformen veranschaulichen.
6 ist ein Blockdiagramm, das ein Fahrerassistenzsystem nach einer oder mehreren Ausführungsformen veranschaulicht.
7 ist ein Blockdiagramm, das ein Fahrunterstützungs-Terminal nach einer oder mehreren Ausführungsformen darstellt.
8 ist ein Blockdiagramm, das ein Fahrunterstützungs-Terminal nach einer oder mehreren Ausführungsformen darstellt.
9 ist ein Diagramm, das eine Verbindungsbeziehung zwischen einem Fahrunterstützungs-Terminal und der Fahrzeugsteuerung nach einer oder mehreren Ausführungsformen darstellt.
10 ist ein perspektivisches Diagramm, das ein Fahrunterstützungs-Terminal nach einer oder mehreren Ausführungsformen darstellt.
11 ist ein Blockdiagramm, das eine Implementierung eines Antriebsprogramms mit einer NPU gemäß einer oder mehreren Ausführungsformen veranschaulicht. und
12A bzw. 12B sind ein Querschnittsdiagramm und ein Plandiagramm, die ein Fahrunterstützungs-Terminal nach einer oder mehreren Ausführungsformen darstellen.
13 ist ein Blockdiagramm, das ein Fahrerassistenzsystem nach einer oder mehreren Ausführungsformen veranschaulicht.
14 und 15 sind Diagramme, die eine von einem Bildprozessor durchgeführte Kalibrierungsoperation der vorliegenden Offenbarung veranschaulichen.
16 und 17 sind Diagramme, die eine Steuerung einer Kameraeinheit durch einen Künstliche-Intelligenz-Prozessor der vorliegenden Offenbarung veranschaulichen.

In den Zeichnungen und der ausführlichen Beschreibung beziehen sich die gleichen Referenzzahlen auf die gleichen Elemente. Die Zeichnungen sind möglicherweise nicht maßstabsgetreu, und die relative Größe, die Proportionen und die Darstellung der Elemente in den Zeichnungen können aus Gründen der Klarheit, Veranschaulichung und Bequemlichkeit übertrieben sein.
Modus der Erfindungen
Die folgende ausführliche Beschreibung soll den Lesenden helfen, ein umfassendes Verständnis der hier beschriebenen Verfahren, Apparate und/oder Systeme zu erlangen. Verschiedene Änderungen, Modifikationen und Äquivalente der hier beschriebenen Verfahren, Apparate und/oder Systeme werden jedoch erst nach dem Verständnis der Offenbarung dieser Anwendung sichtbar. Zum Beispiel sind die hierin beschriebenen Arbeitsabläufe lediglich Beispiele und nicht auf die hierin beschriebenen beschränkt, sondern können geändert werden, wie sich nach dem Verständnis der Offenbarung dieser Anwendung herausstellen wird, mit Ausnahme von Arbeitsabläufen, die notwendigerweise in einer bestimmten Reihenfolge ablaufen. Auch Beschreibungen von Merkmalen, die in der Technik bekannt sind, können aus Gründen größerer Klarheit und Prägnanz weggelassen werden.
Die hier beschriebenen Merkmale können in verschiedenen Ausführungsformen vorliegen und sind nicht so auszulegen, dass sie sich auf die hier beschriebenen Beispiele beschränken. Vielmehr sollen die hier beschriebenen Beispiele lediglich einige der vielen möglichen Arten der Implementierung der hier beschriebenen Verfahren, Apparate und/oder Systeme aufweisen, die sich nach dem Verständnis der Offenbarung dieser Anwendung zeigen werden. Es ist auch zu verstehen, dass die verschiedenen hierin beschriebenen Beispiele, obwohl durch verschiedene Abbildungen beschrieben, sich nicht gegenseitig ausschließen. Zum Beispiel können Strukturen, Formen und Größen, die in Bezug auf solche Beispiele beschrieben werden, in jedem der anderen Beispiele implementiert werden, ohne vom Geist und Umfang der vorliegenden Offenbarung abzuweichen. Des Weiteren umfassen die Beispiele solche mit verschiedenen Modifikationen von Positionen oder Anordnungen von Elementen, ohne vom Geist und Umfang der vorliegenden Offenbarung abzuweichen.
Darüber hinaus können zwar Begriffe wie „erste“ oder „zweite“ verwendet werden, um verschiedene Komponenten zu erklären, aber die Komponenten sind nicht auf die Begriffe beschränkt. Diese Begriffe sollten nur verwendet werden, um eine Komponente von einer anderen Komponente zu unterscheiden. Zum Beispiel kann ein „erster“ Bestandteil als „zweiter“ Bestandteil oder ähnlich bezeichnet werden, und der „zweite“ Bestandteil kann als „erster“ Bestandteil innerhalb des Geltungsbereichs des Rechts gemäß dem Konzept der vorliegenden Offenbarung bezeichnet werden.
Wie hier verwendet, sollen die Singularformen auch die Pluralformen umfassen, es sei denn, aus dem Kontext geht eindeutig etwas anderes hervor. Zum Beispiel sollen die Singularformen „ein“, „eine“ und „der/die/das“, wie sie hier verwendet werden, auch die Pluralformen umfassen, es sei denn, der Kontext lässt eindeutig etwas anderes erkennen. Es sollte des Weiteren verstanden werden, dass die Begriffe „umfassen“, „einschließen“ und/oder „aufweisen“, wenn sie in dieser Spezifikation verwendet werden, das Vorhandensein von angegebenen Merkmalen, ganzen Zahlen, Operationen, Elementen, Komponenten oder einer Kombination/Gruppe davon in einer beispielhaften Ausführungsform aufweisen, aber das Vorhandensein oder die Hinzufügung eines oder mehrerer anderer Merkmale nicht ausschließen, ganze Zahlen, Operationen, Elemente, Komponenten und/oder Kombinationen/Gruppen davon in alternativen Ausführungsformen, noch das Fehlen solcher angegebenen Merkmale, ganzen Zahlen, Operationen, Elemente, Komponenten und/oder Kombinationen/Gruppen in weiteren alternativen Ausführungsformen, es sei denn, der Kontext und das Verständnis der vorliegenden Offenbarung lässt etwas anderes vermuten. Darüber hinaus bedeutet die Verwendung des Begriffs „kann“ hier in Bezug auf ein Beispiel oder eine Ausführungsform, beispielsweise in Bezug darauf, was ein Beispiel oder eine Ausführungsform enthalten oder implementieren kann, dass wenigstens ein Beispiel oder eine Ausführungsform existiert, wenn ein solches Merkmal enthalten oder implementiert ist, während alle Beispiele und Ausführungsformen nicht darauf beschränkt sind.
Sofern hierin nicht anders definiert, weisen alle hierin verwendeten Begriffe, einschließlich technischer oder wissenschaftlicher Begriffe, die gleiche Bedeutung auf, wie sie im Allgemeinen von einem gewöhnlichen Fachmann auf dem Gebiet der Kunst in Übereinstimmung mit und nach einem Verständnis der vorliegenden Offenbarung verstanden werden. Begriffe, die in allgemein gebräuchlichen Wörterbüchern definiert sind, sollten so ausgelegt werden, dass sie Bedeutungen aufweisen, die mit den kontextuellen Bedeutungen in der betreffenden Kunst und der vorliegenden Offenbarung übereinstimmen, und sind, sofern hierin nicht anders definiert, nicht als ideale oder übermäßig formale Bedeutung zu verstehen.
1 ist ein Blockdiagramm, das ein Fahrerassistenzsystem nach einer oder mehreren Ausführungsformen veranschaulicht.
Unter Bezugnahme auf 1 kann ein Fahrerassistenzsystem eine Kameraeinheit 110, eine Fahrzeugsteuereinheit 120, eine Telematik-Steuereinheit 130, einen Kommunikations-Port 140 und ein Fahrunterstützungs-Terminal 200 umfassen.
Die Kameraeinheit 110, die Fahrzeugsteuereinheit 120, die Telematik-Steuereinheit 130 und der Kommunikations-Port 140 können Komponenten in einem Fahrzeug 100 sein, wie sie beispielsweise bei der Herstellung des Fahrzeugs 100 eingebaut werden. Das Fahrunterstützungs-Terminal 200 kann eine Hardware-Komponente sein, die danach beispielsweise selektiv mit dem Fahrzeug verbunden wird und die Konnektivität oder Konnektivität und physische Unterstützung für zusätzliche Vorrichtungen, wie beispielsweise Konnektivität und/oder physische Unterstützung für die unten diskutierte Mobilvorrichtung 300 Beispiel, die dadurch beispielsweise in Kommunikation mit dem Fahrunterstützungs-Terminal 200 und/oder der Fahrzeugsteuereinheit 120 stehen kann, bieten kann. Hier sind die Fahrzeugsteuereinheit 120, die telemetrische Steuereinheit 130, der Kommunikations-Port 140 und das Fahrunterstützungs-Terminal 200 jeweils Hardware-Geräte oder -Komponenten, beispielsweise wobei jedes der Geräte oder jede der Komponenten nur als Hardware implementiert sein kann, als Hardware (beispielsweise ein oder mehrere Prozessoren), die durch die Ausführung rechnerbasierter Befehle konfiguriert wird, oder als eine Kombination von Hardware und solcher Hardware, die durch die Ausführung rechnerbasierter Befehle konfiguriert wird, beispielsweise wobei es sich bei diesen Befehlen, wie des Weiteren weiter unten erläutert, um Befehle handeln kann, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren so konfigurieren, dass sie einen beliebigen, eine beliebige Kombination oder alle Operationen oder Verfahren der hier beschriebenen jeweiligen Geräte oder Komponenten implementieren. Darüber hinaus gibt es, obwohl die Vorrichtungen oder Komponenten gesondert gekennzeichnet sind, Beispiele, bei denen ihre jeweiligen Funktionen kollektiv durch eine einzige Vorrichtung oder Komponente implementiert werden oder bei denen die jeweiligen Funktionen in zwei oder mehreren alternativen Vorrichtungen oder Komponenten in beliebiger Kombination unterschiedlich kombiniert werden.
Die Kameraeinheit 110 kann am Fahrzeug montiert werden und kann einen äußeren Bereich um das Fahrzeug herum abbilden. Beispielsweise kann die Kameraeinheit 110 eine oder mehrere Kameras umfassen und ein Bild der Peripherie des Fahrzeugs erzeugen. Die Kameraeinheit 110 kann beispielsweise vier Kameras umfassen und kann einen vorderen Bereich, Seitenbereiche und einen hinteren Bereich des Fahrzeugs abbilden und ein Bild der Peripherie des Fahrzeugs erzeugen. Die Kameraeinheit 110 kann das erzeugte Bild an den Kommunikations-Port 140 liefern. Zusätzlich kann die Kameraeinheit 110 auch für eine oder mehrere Kameras und einen oder mehrere Prozessoren repräsentativ sein, die so konfiguriert sein können, dass sie eine Vorverarbeitung der aufgenommenen Bilder durchführen, beispielsweise Rauschreduzierung, Normalisierung der aufgenommenen Bilder oder anderweitige Bildverarbeitung der aufgenommenen Bilder oder Bildinformationen zur Verfügbarkeit vom oder Übertragung zum Kommunikations-Port 140 oder der Fahrzeugsteuereinheit 120, sowie in Beispielen für die Bildverarbeitung erfasster Bild- oder Bildinformationen in eine Form oder ein Format zur Eingabe in eine oder mehrere Künstliche-Intelligenz (Kl)-Komponenten oder prozessorimplementierte Modelle des Fahrunterstützungs-Terminals 200 (und/oder Mobilvorrichtung 300 der 4-6), wie beispielsweise eine neuromorphe Verarbeitungseinheit/Prozessor, die beispielsweise im Fahrunterstützungs-Terminal 200 (und/oder Mobilvorrichtung 300) enthalten ist, oder wo der eine oder die mehreren Prozessoren, beispielsweise eine CPU und/oder GPU, repräsentiert durch das Fahrunterstützungs-Terminal 200 (oder einen Prozessor, repräsentiert durch die Mobilvorrichtung 300), konfiguriert sind, um solche Modelle künstlicher Intelligenz zu implementieren, wie beispielsweise ein trainiertes neuronales Netzwerksystem, das trainiert werden kann, um Merkmale zu extrahieren oder Objekte oder Ziele aus bereitgestellten Bildinformationen zu erkennen, beispielsweise durch eine Reihe von Faltungsschichten, gefolgt von einer Reihe von Vorwärtskopplungsschichten, als nicht begrenzende Beispiele, und das des Weiteren konfiguriert werden kann, um Steuersignalausgaben basierend auf solchen extrahierten Merkmalen zu erzeugen, beispielsweise durch weiter trainierte Schichten des neuronalen Netzwerksystems. In anderen Beispielen, wie beispielsweise unten in Bezug auf 2-3 diskutiert, können eine oder mehrere solcher Bildvorverarbeitungsoperationen auch oder alternativ von einem Datenverarbeitungsmodul 150 durchgeführt werden.
So kann die Fahrzeugsteuereinheit 120 die elektronische Steuereinheit 121 und ein Karosseriesteuerungsmodul 122 umfassen und den Gesamtbetrieb des Fahrzeugs steuern.
Die elektronische Steuereinheit 121 kann Fahrinformationen einschließlich Reiseinformationen und Betriebsinformationen des Fahrzeugs erzeugen und kann einen Motor des Fahrzeugs in Übereinstimmung mit den erzeugten Reiseinformationen und Betriebsinformationen steuern.
Das Fahrzeug kann einen oder mehrere Sensoren umfassen, die einen Fahrzustand und einen Betriebszustand des Fahrzeugs erfassen, wie beispielsweise Geschwindigkeitssensoren, Lenksensoren, Bremssensoren, Beschleunigungssensoren, Rollsensoren, verschiedene Sensoren zur Positions- oder Wertanzeige der Antriebskomponenten sowie ein Temperatursensorbeispiel, das Temperaturinformationen erzeugen kann, die von der elektronischen Steuereinheit 121 berücksichtigt werden, um die Beschleunigung und/oder das Bremsen bei Temperaturen nahe oder unter dem Gefrierpunkt einzustellen, oder Wasser- oder Feuchtigkeitssensorbeispiele, die entsprechende Informationen erzeugen, die von der elektronischen Steuereinheit 121 berücksichtigt werden, um die Beschleunigung und/oder das Bremsen in bestimmten feuchten oder nassen Straßenumgebungen in ähnlicher Weise einzustellen. Die elektronische Steuereinheit 121 kann die Reiseinformation und die Betriebsinformation des Fahrzeugs aus solchen Beispielen von Messwerten erzeugen, die von einem oder mehreren Sensoren ausgegeben werden. Die elektronische Steuereinheit 121 kann mehrere Verwaltungsmodule umfassen, d.h. Prozessoren oder sonstige Computerhardware, und kann die von den gleichen Arten von Sensoren ausgegebenen Messwerte über ein einziges Verwaltungsmodul verwalten. In diesem Fall kann die elektronische Steuereinheit 121 die Bilder der mehreren Kameras der Kameraeinheit 110 durch ein erstes Verwaltungsmodul verwalten, während Informationen oder Signale von Umgebungssensoren wie Temperatur- oder Feuchtigkeitssensoren durch ein zweites Verwaltungsmodul verwaltet werden können, wobei jedes Verwaltungsmodul so konfiguriert ist, dass es die jeweils empfangenen Sensorinformationen verarbeitet und, wie oben besprochen, verschiedene Verarbeitungen der Sensordaten durchführt, um sie verschiedenen anderen Komponenten des Fahrzeugs zur Verfügung zu stellen, wie beispielsweise einem Kombiinstrument zur rein informativen Benachrichtigung eines Fahrers und/oder den vorgenannten Komponenten der künstlichen Intelligenz und/oder Modellen, die beispielsweise von der elektronischen Steuereinheit 121 implementiert werden.
Die elektronische Steuereinheit 121 kann die generierten Reiseinformationen und die Betriebsinformationen dem Kommunikations-Port 140 zur Verfügung stellen oder zur Verfügung stellen, ebenso wie andere Informationen bezüglich der Steuersignalisierung, die die elektronische Steuereinheit 121 für die Steuerung des Fahrzeugs durchführen kann oder für die die elektronische Steuereinheit 121 konfiguriert ist, einschließlich einer entsprechenden Steuersignalisierung von/für Informationen, fahrunterstützende Informationen und Steuerung und/oder andere autonome Fahrsteuerung, als nicht einschränkende Beispiele. Somit kann die elektronische Steuereinheit 121 Informationen über die aktuellen informativen, unterstützenden und/oder autonomen Merkmale oder Funktionalitäten des Fahrprogramms, die im Fahrzeug 100 enthalten sind, zur Verfügung stellen oder bereitstellen (und/oder von dem Fahrunterstützungs-Terminal 200 und/oder der Mobilvorrichtung 300 angefordert werden), beispielsweise wie sie zum Zeitpunkt der Herstellung ursprünglich in der elektronischen Steuereinheit 121 eingebettet waren, zum Vergleich, beispielsweise durch das Fahrunterstützungs-Terminal 200 und/oder die Mobilvorrichtung 300, mit den informativen, unterstützenden und/oder autonomen Merkmalen oder Funktionalitäten des im Fahrzeug 100 enthaltenen Fahrprogramms, und entweder das Fahrunterstützungs-Terminal 200 und/oder die Mobilvorrichtung 300 oder beide können bestimmen, ob die Ergänzung oder das Ersetzen eines solchen bestehenden Fahrprogramms der elektronischen Steuereinheit 121, beispielsweise mit dem Fahrprogramm/den Fahrprogrammen, das/die durch das Fahrunterstützungs-Terminal 200 und/oder die Mobilvorrichtung 300 implementiert wird/werden, oder ausgewählte Funktionalitäten davon.
Die Programminformationen oder andere Informationen können in ähnlicher Weise für den Kommunikations-Port 140 mit Positions- oder Ausrichtungsregistrierungsinformationen zur Verfügung gestellt oder bereitgestellt werden, die über die jeweiligen Standorte und/oder Konfigurationen oder Eigenschaften der Kameras oder Kamerasysteme der Kameraeinheit 110 und/oder ihre jeweiligen Sichtfelder (FOV) informieren, damit sie von einem Fahrprogramm des Fahrunterstützungs-Terminals 200 und/oder der Mobilvorrichtung 300 berücksichtigt werden können, um die empfangenen Bildinformationen sowohl für informative, unterstützende und autonome Fahrfunktionen ordnungsgemäß zu registrieren, beispielsweise da verschiedene Fahrzeuge unterschiedliche relative Positionen, Höhen, FOVs ihrer Kameras aufweisen, die beispielsweise während der Fahrzeugherstellung installiert werden. Das Fahrunterstützungs-Terminal 200 und/oder die Mobilvorrichtung 300 können auch so konfiguriert werden, dass sie mit einem entfernten Server kommunizieren, um solche verschiedenen fahrzeugspezifischen Informationen zu erhalten, damit die von den jeweiligen Kameras der Kameraeinheit 110 des Fahrzeugs 100 gelieferten Informationen richtig erwartet und genutzt werden können. Das Fahrunterstützungs-Terminal 200 und/oder die Mobilvorrichtung 300 können auch zusätzliche Variablen berücksichtigen, wie beispielsweise den gemessenen Reifendruck oder die vom Benutzer angegebene Nicht-OEM-Reifenmarke und -modell und -größe oder andere vom Benutzer eingegebene oder vom Fahrunterstützungs-Terminal 200 und/oder der Mobilvorrichtung 300 erkennbare Änderungen der Radaufhängung nach der Herstellung oder andere Änderungsinformationen, die beispielsweise von der Kameraeinheit 110 unter Verwendung von Informationen aus der Kameraeinheit 110 erfasst werden. In einem Beispiel, das die Mobilvorrichtung 300 und das Fahrunterstützungs-Terminal 200 umfasst, kann das Fahrunterstützungs-Terminal 200 und/oder die Mobilvorrichtung 300 auch eine vorbestimmte relative Positionsbeziehung aufweisen, beispielsweise basierend auf der physikalischen Unterstützungskonfiguration des Fahrunterstützungs-Terminals 200 und der Positionierung der Mobilvorrichtung 300 in Kontakt mit dem Fahrunterstützungs-Terminal 200. Hier kann der Benutzer in eine Benutzerschnittstelle des Fahrunterstützungs-Terminals 200 und/oder der Mobilvorrichtung 300 den Hersteller und das Modell der Mobilvorrichtung 300 eingeben, oder das Fahrunterstützungs-Terminal 200 kann diese lediglich von der Mobilvorrichtung 300 anfordern, oder die Mobilvorrichtung 300 kann diese in ähnlicher Weise selbst identifizieren, um den Standort der einen oder mehreren Kameras der Mobilvorrichtung 300 als zusätzliche Kameras zur Berücksichtigung durch das Fahrprogramm des Fahrunterstützungs-Terminals 200 und/oder der Mobilvorrichtung 300 zu registrieren. Informationen zu einem Fall oder einer Haut der Mobilvorrichtung 300 können ebenfalls vom Benutzer bestimmt oder auf ähnliche Weise eingegeben werden. In einem solchen Beispiel kann das Fahrunterstützungs-Terminal 200 seine Position relativ zum Fahrzeug 100 auf Grundlage von Informationen bestimmen, die von einer oder mehreren Kameras der Mobilvorrichtung 300 und Informationen von der Kameraeinheit 110 empfangen werden, und/oder der Benutzer kann solche Positionierungsinformationen in die Benutzerschnittstelle des Fahrunterstützungs-Terminals 200 und/oder der Mobilvorrichtung 300 eingeben, um die Positionen der Kameras der Mobilvorrichtung 300 (oder jeglicher alternativer oder zusätzlicher ergänzender Kameras) relativ zum Fahrzeug 100 und zu den Positionen der anderen Kameras der Kameraeinheit 110 als nicht einschränkende Beispiele zu registrieren.
Der Kommunikations-Port 140 kann einen On-Board-Diagnose-Port (OBD-Port) umfassen. Der OBD-Port kann in oder in der Nähe einer Konsole des Fahrzeugs angeordnet und für einen Fahrgast oder Fahrer zugänglich sein, um externe Geräte anzuschließen, wie beispielsweise typische Code-Lesegeräte, die von einem Mechaniker zur Diagnose von mechanischen oder elektrischen Fehlern oder Problemen in verschiedenen Komponenten des Fahrzeugs verwendet werden. Der Kommunikations-Port 140 kann mit einem solchen externen Gerät, das mit dem Kommunikations-Port 140 verbunden ist, und Komponenten des Fahrzeugs über eine Controller-Area-Network (CAN) -Kommunikation kommunizieren, oder eine Netzwerkschnittstelle zwischen einem solchen externen Gerät, das mit dem Kommunikations-Port 140 verbunden ist, und dem entsprechenden CAN-Netzwerk, das die Komponenten des Fahrzeugs wie abgebildet verbindet, bereitstellen, so dass das externe Gerät Informationen direkt von diesen Komponenten über das CAN-Netzwerk empfangen und/oder an diese senden kann. In einem Beispiel kann das CAN-Netz mehrere serielle Kommunikationen unter Verwendung desselben Kommunikationskanals bereitstellen, so dass mehrere Verkabelungen oder Kommunikationskanäle, die früher zwischen Komponenten in Fahrzeugen erforderlich waren, um verschiedene Informationen bereitzustellen oder zu übertragen, möglicherweise nicht mehr erforderlich sind, da die verschiedenen Informationen unter Verwendung desselben Kommunikationskanals bereitgestellt oder verfügbar gemacht werden können. Beispielsweise kann der Kommunikations-Port 140 über das CAN-Netzwerk mit der gesamten Kameraeinheit 110, der elektronischen Steuereinheit 121 und der Telematik-Steuereinheit 130 verbunden werden.
Das Karosseriesteuerungsmodul 122 kann in der Karosserie des Fahrzeugs enthaltene Bedienelemente umfassen. Zum Beispiel kann das Karosseriesteuerungsmodul 122 Scheibenwischer, Beleuchtung, elektrische Sitze, ein Schiebedach, eine Klimaanlage und ähnliches steuern.
Eine Telematik-Steuereinheit 130 kann ein drahtloses Kommunikationsmodul umfassen und kann eine drahtlose Kommunikation mit einem oder mehreren externen Geräten außerhalb des Fahrzeugs durchführen. Zum Beispiel kann die Telematik-Steuereinheit 130 so konfiguriert werden, dass sie wenigstens eine der folgenden Funktionen ausführt: zellulare Kommunikation, Wi-Fi-Kommunikation, Bluetooth-Kommunikation oder andere lokale, Nah- oder Fernfeldkommunikation, als nicht einschränkendes Beispiel. Die Telematik-Steuereinheit 130 kann Informationen über die äußere Umgebung des Fahrzeugs über zellulare Kommunikation empfangen und die empfangenen Informationen über die äußere Umgebung dem Fahrunterstützungs-Terminal 200 über Wi-Fi-Kommunikation zur Verfügung stellen, oder das Fahrunterstützungs-Terminal 200 (oder in Beispielen die Mobilvorrichtung 300) kann solche empfangenen Informationen über die äußere Umgebung anfordern und empfangen. Die Telematik-Steuereinheit 130 kann auch so konfiguriert werden, dass sie einen alternativen Kommunikationskanal mit dem Kommunikations-Port 140, beispielsweise alternativ zum OBD-Port, bereitstellt, so dass das Fahrunterstützungs-Terminal 200 (und/oder die Mobilvorrichtung 300) mit der elektronischen Steuereinheit 121 oder anderen Komponenten des Fahrzeugs über das CAN-Netzwerk interagieren kann.
Dementsprechend kann das Fahrunterstützungs-Terminal 200 an den Kommunikations-Port 140 angeschlossen werden und die in der elektronischen Steuereinheit 121 erzeugten Reiseinformationen und Betriebsinformationen des Fahrzeugs sowie die von der Kameraeinheit 110 aufgenommenen Bilder oder die oben genannten Ergebnisse der Bildvorverarbeitungs-Bildinformationen solcher aufgenommenen Bilder erhalten. Das Fahrunterstützungs-Terminal 200 kann auch als Kommunikationsvermittler oder Übersetzung/Umsetzung zwischen der oben genannten Mobilvorrichtung 300 und dem Kommunikations-Port 140 dienen.
Das Fahrunterstützungs-Terminal 200 kann ein erstes Verbindungsterminal (Type OBD) umfassen, das für den Anschluss an den Kommunikations-Port 140 konfiguriert ist. Beispielsweise kann das erste Anschlussterminal (Type OBD) ein Anschlussterminal vom Typ OBD umfassen.
Das Fahrunterstützungs-Terminal 200 kann auch oder alternativ dazu externe Umgebungsinformationen von der Telematik-Steuereinheit 130 empfangen sowie über den Kommunikationskanal zwischen der Telematik-Steuereinheit 130 und dem Kommunikations-Port 140 auf das CAN-Netzwerk zugreifen. Beispielsweise können das Fahrunterstützungs-Terminal 200 und die Telematik-Steuereinheit 130 über die jeweiligen Wi-Fi-Kommunikationsmodule Daten voneinander empfangen und untereinander übertragen. Zusätzlich kann das Fahrunterstützungs-Terminal 200 auch ein Kommunikationsmodul enthalten, beispielsweise das zellulare oder andere Funkkommunikation über ein weites Netzwerk bereitstellt, und externe Umgebungsinformationen von einem Remote-Server anfordern oder diese von der Mobilvorrichtung 300 in den unten aufgeführten Beispielen anfordern, wobei die Mobilvorrichtung 300 ein solches Kommunikationsmodul umfasst. Hier bezieht sich der Begriff Modul auf eine Hardware-Komponente. Als ein weiteres Beispiel können die Funktionen der Telematik-Steuereinheit 130 durch entsprechende Hardware des Kommunikations-Ports 140 implementiert werden, und das Fahrunterstützungs-Terminal 200 kann über solche WiFi-Kommunikation direkt mit dem Kommunikations-Port 140 verbunden werden.
In den hier aufgeführten Beispielen kann das Fahrunterstützungs-Terminal 200 an den Kommunikations-Port 140 angeschlossen werden und die Fahrinformationen und die Betriebsinformationen des Fahrzeugs erhalten und/oder die in der Kameraeinheit 110 erzeugten Bildinformationen oder entsprechende vorverarbeitete Bildinformationen erhalten, wobei die Beispiele nicht darauf beschränkt sind. In jedem der verschiedenen Beispiele hierin kann (können) ein Wi-Fi-Kommunikationsmodul (Wi-Fi-Kommunikationsmodule) in der Kameraeinheit 110 vorgesehen sein, beispielsweise in einem entsprechenden Verwaltungsmodul oder innerhalb jeder Kamera, und der Kommunikations-Port 140, und in diesem Fall kann das Fahrunterstützungs-Terminal 200 eine drahtlose Kommunikation mit der Kameraeinheit 110 und dem Kommunikations-Port 140 durchführen und die Fahrinformationen und die Betriebsinformationen des Fahrzeugs sowie die verschiedenen Bildinformationen erhalten. Wie oben angemerkt, ist die Kameraeinheit 110 repräsentativ für eine oder mehrere Kameras und/oder Kamerasysteme, wobei anzumerken ist, dass das Fahrerassistenzsystem in einigen Beispielen des Weiteren eine oder mehrere Kameras der oben genannten mobilen Vorrichtung 300 umfassen kann, die zusätzlich von dem Fahrunterstützungs-Terminal 200 oder der mobilen Vorrichtung 300 unterstützt, selektiv daran angebracht oder anderweitig in oder an dem Fahrzeug 100 montiert und drahtgebunden mit dem Fahrunterstützungs-Terminal 200 oder der mobilen Vorrichtung 300 verbunden oder drahtlos mit dem Fahrunterstützungs-Terminal 200 und/oder der mobilen Vorrichtung 300 verbunden sein kann, und zwar als nicht einschränkende Beispiele. Zum Beispiel kann (können) eine solche zusätzliche Kamera(n) mit dem Fahrunterstützungs-Terminal 200 oder der Mobilvorrichtung 300 über ein USB-Kabel und einen Anschluss des Fahrunterstützungs-Terminals 200 oder der Mobilvorrichtung 300 oder über einen proprietären Anschluss der Mobilvorrichtung 300 verbunden sein, als nicht einschränkende Beispiele.
Das Fahrunterstützungs-Terminal 200 ist so konfiguriert, dass es wenigstens ein Fahrprogramm speichern kann, das in verschiedenen Beispielen Fahrprogramme umfasst, die jeweils unterschiedliche Informationsebenen, Fahrassistenz und/oder Autonomie und/oder Programme, die unterschiedliche Informationen, Assistenz und/oder autonome Funktionalitäten innerhalb derselben Autonomieebene bereitstellen, umfassen, und kann die verschiedenen verfügbaren Bildinformationen, die von der Kameraeinheit 110, dem entsprechenden Verwaltungsmodul, der elektronischen Steuereinheit 121 oder anderweitig über das CAN-Netzwerk verfügbar sind, unterschiedlich berücksichtigen, z. B, auf die über den Kommunikations-Port 140 zugegriffen werden kann, sowie andere vorstehend genannte Beispielsensorinformationen, die Reiseinformationen und die Betriebsinformationen des Fahrzeugs, die über das CAN-Netz, beispielsweise über den Kommunikations-Port 140, erhalten werden, und die vorstehend genannten Informationen über die äußere Umgebung, die von der Telematik-Steuereinheit 130 erhalten werden können, um verschiedene Fahrunterstützungsinformationen und/oder Fahrsteuersignale für eine Beispielsstufe der autonomen Fahrsteuerung zu erzeugen. Das Fahrunterstützungs-Terminal 200 kann somit solche Informationen und/oder Fahrsteuersignale an den Kommunikations-Port 140 liefern/übertragen, der mit dem CAN-Netzwerk verbunden werden kann, um die jeweiligen unterschiedlichen Informationen an eine zentrale Informationsanzeigeeinheit des Fahrzeugs, das Kombiinstrument und/oder über Tongeneratoren zur akustischen Anzeige weiterzuleiten, um die Informationen dem Fahrer zur Verfügung zu stellen, und der in ähnlicher Weise mit dem CAN-Netzwerk verbunden werden kann, um die jeweiligen Fahrsteuersignale an die elektronische Steuereinheit 121 oder die entsprechenden gesteuerten Komponenten weiterzuleiten, beispielsweise durch Senden von Bremssteuersignalen an eine elektronische Bremssteuerung, um die Bremsen mit einer gesteuerten Intensität zu aktivieren (oder die Betätigung der Bremsen zu reduzieren), durch Senden von Gaspedalsteuersignalen an eine elektronische Gaspedalsteuerung, um das Gaspedal zu steuern oder anderweitig die Drosselklappe zu regeln, und durch Senden von Lenksteuersignalen an eine elektronische Lenksteuerung oder eine elektrische Servolenkung (EPS), um das Ausmaß und/oder die Geschwindigkeit von Änderungen an der Lenkung oder die Aufrechterhaltung einer aktuellen Lenksteuerung zu steuern. In elektrischen Fahrzeugbeispielen kann die Fahrsteuersignalisierung an separate Steuergeräte der verschiedenen Radmotoren, Bremsen sowie Lenksysteme übermittelt werden. Außerdem können in solchen Beispielen von Elektrofahrzeugen entsprechende gespeicherte Fahrprogramme solche informativen, unterstützenden und/oder anderen autonomen Steuerfunktionen auf Grundlage zusätzlicher Informationen von einem oder mehreren Batteriemodulen ausführen, beispielsweise um die Batterielebensdauer oder die Ladung des einen oder der mehreren Batteriemodule zu maximieren. Alternativ oder zusätzlich kann die unten diskutierte Mobilvorrichtung 300 in ähnlicher Weise ein solches Fahrprogramm speichern und solche Informationen und/oder Fahrsteuersignale erzeugen und an den Kommunikations-Port 140 oder die Telematik-Steuereinheit 130 direkt oder unter Verwendung des Fahrunterstützungs-Terminals 200 als Vermittler oder Übersetzer mit dem Fahrzeug bereitstellen/übertragen, beispielsweise wobei die Mobilvorrichtung 300 entweder eine Codierung von Anweisungen an das Fahrunterstützungs-Terminal 200 bereitstellt/überträgt, um die entsprechende Information und/oder Steuersignalisierung zu erzeugen, oder die Mobilvorrichtung 300 solche Informationen und/oder Steuersignalisierung erzeugt und an das Fahrunterstützungs-Terminal 200 bereitstellt/überträgt, das diese an den Kommunikations-Port 140 bereitstellt/überträgt. In dem Beispiel, in dem die Mobilvorrichtung 300 eine solche Codierung der Anweisungen für das Fahrunterstützungs-Terminal 200 bereitstellt, um die Informations- und/oder Steuersignalisierung zu erzeugen, empfängt das Fahrunterstützungs-Terminal 200 eine solche Codierung der Anweisungen, beispielsweise im Kommunikationsprotokoll zwischen dem Fahrunterstützungs-Terminal 200 und der Mobilvorrichtung 300, und erzeugt die Informations- und/oder Steuersignalisierung in der Form in einem Format, das mit dem CAN-Kommunikationsprotokoll des CAN-Netzwerks kompatibel ist, und stellt diese beispielsweise an den Kommunikations-Port 140 bereit/überträgt diese. Die Mobilvorrichtung 300 kann alternativ die Informations- und/oder Steuersignalisierung im Kommunikationsprotokoll zwischen dem Fahrunterstützungs-Terminal 200 und der Mobilvorrichtung erzeugen und weiterleiten, und das Fahrunterstützungs-Terminal 200 wandelt lediglich die Information und/oder die Steuersignalisierung in die Form und das Format um, die mit dem CAN-Netzwerk kompatibel sind, und überträgt/überträgt diese an den Kommunikations-Port 140, als nicht einschränkende Beispiele.
Dementsprechend kann das Fahrunterstützungs-Terminal 200 verschiedene erweiterte Fahrunterstützungsfunktionen für ein Fahrzeug bereitstellen, beispielsweise je nach dem Fahrprogramm, das im Fahrunterstützungs-Terminal 200 gespeichert ist (und/oder in der Mobilvorrichtung 300 gespeichert ist), wodurch beispielsweise ein fortschrittliches Fahrerassistenzsystem (ADAS) bereitgestellt wird.
Das Fahrunterstützungs-Terminal 200 in einem der hier aufgeführten Beispiele kann eine solche fortgeschrittene Fahrunterstützungsfunktionalität mit einem vorgegebenen, in einer ADAS-Norm vorgeschriebenen Niveau bieten. Gemäß den definierten Stufen 0 bis 5 der SAE J3016 von SAE International, die ursprünglich als Society of Automotive Engineers gegründet wurde, fährt der Fahrer beispielsweise während der SAE-Stufen 0 bis 2 immer dann, wenn eine Reihe von Fahrerunterstützungsfunktionen implementiert oder aktiviert ist, selbst wenn die Füße des Fahrers nicht auf den Pedalen stehen und der Fahrer nicht lenkt, da der Fahrer die Unterstützungsfunktionen ständig überwachen und je nach Bedarf lenken, bremsen oder beschleunigen muss, um die Sicherheit aufrechtzuerhalten. In SAE-Stufen 3-5 fährt der Fahrer nicht, wenn die Fahrerunterstützungsfunktionen implementiert oder aktiviert sind, selbst wenn der Fahrer „auf dem Fahrersitz“ sitzt, wobei in SAE-Stufe 3 der Fahrer fahren muss, wenn das Fahrzeug oder die Fahrerunterstützungsfunktionen dies erfordern, während in SAE-Stufen 4 und 5 die automatisierten Fahrfunktionen nicht erfordern, dass der Fahrer das Fahren übernimmt. Beginnend mit SAE-Stufe 0 umfassen die zuschaltbaren Fahrerunterstützungsfunktionen beispielsweise automatische Notbremsung, Warnung vor dem toten Winkel und Spurverlassenswarnung als nicht einschränkende Beispiele, und diese Funktionen beschränken sich auf die Bereitstellung von Warnungen und momentaner Unterstützung. Bei SAE-Stufe 1 können die Fahrerunterstützungsfunktionen, die eingeschaltet werden können, des Weiteren die Fahrspurzentrierung oder den adaptiven Tempomat umfassen, wenn diese Funktionen den Fahrer beim Lenken oder Bremsen/Beschleunigen unterstützen, im Vergleich zu SAE-Stufe 2, bei der die automatischen Fahrfunktionen des Weiteren gleichzeitig die Fahrspurzentrierung und den adaptiven Tempomat umfassen, und wenn diese Funktionen den Fahrer beim Lenken und Bremsen/Beschleunigen unterstützen. Bei SAE-Stufen 0-2 bieten die Fahrzeuge also Fahrerunterstützungsfunktionen, im Vergleich zu SAE-Stufen 3-5, bei denen die Fahrzeuge als Fahrzeuge mit automatischen Fahrfunktionen betrachtet werden. Bei SAE-Stufe 3 beispielsweise können automatisierte Fahrfunktionen Stau-Chauffeur als ein nicht einschränkendes Beispiel umfassen, und automatisierte Fahrfunktionen der SAE-Stufe 4 umfassen lokales fahrerloses Taxi, ebenfalls als ein nicht einschränkendes Beispiel, und sogar Beispielfahrzeuge, bei denen Pedale/Lenkrad eingebaut sein können oder nicht. Bei SAE-Stufen 3 und 4 können die automatischen Fahrfunktionen das Fahrzeug unter eingeschränkten Bedingungen fahren und funktionieren nur, wenn alle erforderlichen Bedingungen erfüllt sind. Die automatischen Fahrfunktionen der SAE-Stufe 5 können alle automatischen Fahrfunktionen der SAE-Stufe 4 umfassen, aber die automatischen Fahrfunktionen können überall und unter allen Bedingungen fahren. Eine andere Möglichkeit, solche SAE-Stufen abzugrenzen, sind die jeweiligen Bezeichnungen der Stufen, wie beispielsweise SAE-Stufe 0 als „keine Automatisierung“, SAE-Stufe 1 als „Fahrerassistenz“, SAE-Stufe 2 als „Teilautomatisierung“, SAE-Stufe 3 als „bedingte Automatisierung“, SAE-Stufe 4 als „hohe Automatisierung“ und SAE-Stufe 5 als „Vollautomatisierung“ bezeichnet. Während das obige Beispiel ADAS-Standardbeispiel SAE J3016 von SAE war, sind die Beispiele nicht darauf beschränkt. Der Einfachheit halber werden solche verschiedenen verfügbaren ADAS-Normen im Folgenden jedoch zusammenfassend einfach als ADAS-Norm oder als ADAS-Norm bezeichnet.
Dementsprechend kann das Fahrunterstützungs-Terminal 200 so konfiguriert werden, dass es in Abhängigkeit von dem im Fahrunterstützungs-Terminal 200 gespeicherten Fahrprogramm (oder der Mobilvorrichtung 300 in den Beispielen der 4-6) erweiterte Fahrunterstützungsfunktionen bietet.
Darüber hinaus kann das Fahrunterstützungs-Terminal 200 (und/oder Mobilvorrichtung 300) in verschiedenen Beispielen unterschiedliche Speicher- und Verarbeitungsfähigkeiten aufweisen. Ein Beispiel hierfür ist, dass das Fahrunterstützungs-Terminal 200 vorbeschränkt ist, um ein Fahrprogramm zu implementieren oder auszuführen, das eine erweiterte Fahrunterstützungsfunktionalität entsprechend der zweiten oder niedrigeren ADAS-Stufe bietet, wobei ein Verarbeitungsmodul des Fahrunterstützungs-Terminals 200 einen Speicher mit hoher Bandbreite (HBM) von 8 GB/512 Bit umfassen kann und eine Größe von 65 x 65 mm, eine Verarbeitungsgeschwindigkeit von 10 Peta-Fließkomma-Operationen pro Sekunde (10TFLOPS) und einen Leistungsanschluss von 4 Watt oder weniger aufweisen kann. Wie bereits erwähnt, kann dieses Beispiel Fahrunterstützungs-Terminal 200 (und/oder Mobilvorrichtung 300) auf Fahrprogramme beschränkt sein, die fortgeschrittene Fahrunterstützungsfunktionen der Stufen 2 und darunter bieten, d.h. nicht größer als Stufe 2, die eine Vorwärtskollisionswarnfunktion (FCW), eine Spurhalteassistenzfunktion (LDW), eine Spurhalteassistenzfunktion (LKA), eine Toter-Winkel-Warnfunktion (BSW), eine adaptive Geschwindigkeitsregelungsfunktion (ACC), eine Fahrstraßenerkennungsfunktion, eine Verkehrssignalerkennungsfunktion und dergleichen als nicht einschränkende Beispiele umfassen können.
In einem anderen Beispiel kann das Fahrunterstützungs-Terminal 200 (und/oder die Mobilvorrichtung 300) Speicher- und Verarbeitungsfähigkeiten aufweisen, die einer Vorbeschränkung des Fahrunterstützungs-Terminals 200 (und/oder der Mobilvorrichtung 300) entsprechen, um Fahrprogramme zu implementieren oder auszuführen, die eine erweiterte Fahrunterstützungsfunktionalität der dritten Ebene oder höher bieten, wobei ein Verarbeitungsmodul des Fahrunterstützungs-Terminals 200 einen Speicher mit hoher Bandbreite (HBM) von 32 GB/1024 Bit umfassen und eine Größe von 180 x 120 mm, eine Verarbeitungsgeschwindigkeit von 100 Peta-Gleitkomma-Operationen pro Sekunde (10TFLOPS) und einen Leistungsanschluss von 6 aufweisen kann. 6 Watt oder weniger. Wie bereits erwähnt, kann dieses Beispiel Fahrunterstützungs-Terminal 200 (und/oder Mobilvorrichtung 300) auf Fahrprogramme beschränkt sein, die fortgeschrittene Fahrunterstützungsfunktionen der dritten Stufe oder höher bieten, die in der ADAS-Norm vorgeschrieben sind und eine Funktion zur Vorhersage verdeckter Objekte, eine Spurwechselfunktion, eine Funktion zur Erkennung von Fußgängern, eine Funktion zur Erkennung von Straßenwechseln, eine Funktion zur Erkennung von Verkehrszeichen und Ähnliches umfassen können. Alternativ dazu kann in einem Beispiel mit dieser Beispiel-Speicher- und Verarbeitungskonfiguration oder einer Beispiel-Speicher- und Verarbeitungskonfiguration mit größeren Speicher- und Verarbeitungsfähigkeiten das Fahrunterstützungs-Terminal 200 (und/oder Mobilvorrichtung 300) nicht im Voraus festgelegt werden, welches Fahrprogramm ausgeführt oder implementiert werden kann, und kann somit jedes Fahrprogramm implementieren, das einer der nullten bis fünften Ebenen der ADAS-Norm entspricht.
Dementsprechend kann das Fahrunterstützungs-Terminal 200 ein Fahrassistenzprogramm umfassen, das ein Fahrassistenzprogramm und/oder ein autonomes Fahrprogramm umfassen kann. Wenn beispielsweise das Fahrunterstützungs-Terminal 200 (oder die Mobilvorrichtung 300), beispielsweise aufgrund der geringeren Speicher- und Verarbeitungsfähigkeiten des obigen Beispiels, auf die Bereitstellung fortgeschrittener Fahrunterstützungsfunktionen der zweiten oder niedrigeren Stufe der ADAS-Norm beschränkt ist, kann das Fahrunterstützungs-Terminal 200 (und/oder die Mobilvorrichtung 300) nur ein Fahrassistenzprogramm umfassen.
Alternativ kann in dem Fall, in dem das Fahrunterstützungs-Terminal 200 die größeren Speicher- und Verarbeitungsfunktionen aufweist und darauf beschränkt ist, erweiterte Fahrunterstützungsfunktionen der dritten oder höheren Stufe der ADAS-Norm bereitzustellen, oder das Fahrunterstützungs-Terminal 200 (und/oder Mobilvorrichtung 300) nicht auf eine bestimmte Stufe oder bestimmte Stufen der ADAS-Norm beschränkt ist, das Fahrassistenzprogramm, das das Fahrunterstützungs-Terminal 200 implementieren kann, entweder ein Fahrassistenzprogramm oder ein autonomes Fahrprogramm oder beides umfassen. In der nachfolgenden Beschreibung wird der Einfachheit halber ein Beispiel beschrieben, in dem das Fahrunterstützungs-Terminal 200 solche größeren Speicher- und Verarbeitungsfähigkeiten aufweist und in der Lage ist, Funktionalitäten sowohl eines Fahrassistenzprogramms als auch eines autonomen Fahrprogramms zu implementieren.
In einem Beispiel kann die elektronische Steuereinheit 121 eine solche Speicher- und Prozessorkonfiguration mit dem Beispiel niedrigere Speicher- und Verarbeitungsfähigkeiten für die Bereitstellung der erweiterten Fahrunterstützungsfunktionen der zweiten oder niedrigeren Ebene der ADAS-Norm umfassen, während das Fahrunterstützungs-Terminal 200 (und/oder die Mobilvorrichtung 300) die größeren Speicher- und Verarbeitungsfunktionen wenigstens der dritten oder höheren Ebene der ADAS-Norm aufweist und ein Fahrassistenzprogramm und/oder ein autonomes Fahrprogramm umfassen kann. Das Fahrunterstützungs-Terminal 200 (und/oder die Mobilvorrichtung 300) kann Informationen über die Fahrinformations-, Hilfs- und Steuermöglichkeiten der elektronischen Steuereinheit 121 anfordern oder anderweitig erhalten und kann selektiv, beispielsweise auf Grundlage der Benutzersteuerung oder automatisch die Informations-, Hilfs- und/oder Steuerfunktionalitäten der elektronischen Steuereinheit 121 auf Grundlage eines Vergleichs der Funktionalitäten des Fahrunterstützungs-Terminals 200 (oder der Mobilvorrichtung 300) mit den Funktionalitäten des Fahrprogramms der elektronischen Steuereinheit 121 ersetzen oder ergänzen, und wenn eine der Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals 200 (oder der Mobilvorrichtung 300) ein höheres ADAS-Niveau hat oder zusätzliche oder mehr Funktionen oder Merkmale als die entsprechenden Funktionalitäten des Fahrprogramms der elektronischen Steuereinheit 121 bietet, dann können diese Funktionalitäten der elektronischen Steuereinheit 121 durch die Fahrinformation und/oder Steuersignalisierung des Fahrunterstützungs-Terminals 200 (oder der Mobilvorrichtung 300) ersetzt werden. Wenn alternativ dazu das Fahrprogramm der elektronischen Steuereinheit 121 dieselben informativen oder unterstützenden Funktionalitäten wie das Fahrprogramm des Fahrunterstützungs-Terminals 200 (und/oder der Mobilvorrichtung 300) bietet, aber kein autonomes Fahrprogramm zur Verfügung stellt, und das Fahrprogramm des Fahrunterstützungs-Terminals 200 (und/oder der Mobilvorrichtung 300) ein autonomes Fahrprogramm umfasst, dann kann das Fahrprogramm der elektronischen Steuereinheit 121 durch das autonome Fahrprogramm des Fahrprogramms des Fahrunterstützungs-Terminals 200 (oder der Mobilvorrichtung 300) ergänzt werden.
So kann das Fahrunterstützungs-Terminal 200 (und/oder Mobilvorrichtung 300) ein Fahrassistenzprogramm anwenden, das ein Fahrassistenzprogramm und ein autonomes Fahrassistenzprogramm umfasst, die jeweils die von der Kameraeinheit 110 bereitgestellten Bildinformationen (oder die vorgenannten vorverarbeiteten Bildinformationen, beispielsweise von einem entsprechenden Verwaltungsmodul), die über den Kommunikations-Port 140 erhaltenen Reiseinformationen und Betriebsinformationen des Fahrzeugs sowie die von der Telematik-Steuereinheit 130 erhaltenen Informationen über die äußere Umgebung berücksichtigen und verschiedene Fahrassistenzinformationen und/oder Fahrkontrollsignale erzeugen können. Wie weiter unten erörtert wird, können sowohl das Fahrassistenzprogramm als auch das autonome Fahrprogramm ein oder mehrere Kl-Modelle umfassen, beispielsweise durch Implementierung von neuronalen Netzen oder andere Implementationen des maschinellen Lernens. Darüber hinaus können in Beispielen das Fahrassistenzprogramm und das autonome Fahrprogramm Verfahren oder Modelle der künstlichen Intelligenz gemeinsam nutzen, beispielsweise wenn eine Objekterkennung in Bezug auf betrachtete Bildinformationen unter Verwendung eines beispielhaft trainierten Objekterkennungsmodells eines neuronalen Netzes durchgeführt wird, das darauf trainiert ist, Informationen auszugeben, die sowohl vom Fahrassistenzprogramm als auch vom autonomen Fahrprogramm für jeweils unterschiedliche Funktionalitäten berücksichtigt werden, oder darauf trainiert ist, jeweils unterschiedliche Informationen auszugeben, die von den beiden unterschiedlichen Programmen jeweils berücksichtigt werden, beispielsweise wenn eine vom Fahrassistenzprogramm bereitgestellte Funktionalität auf Grundlage eines ersten Merkmals oder eines entsprechenden resultierenden Aspekts, einer Wahrscheinlichkeit, einer Klassifizierung usw. durchgeführt werden kann, eines Objekts in einem Bild ausgeführt werden kann und das autonome Fahrprogramm auf Grundlage eines zweiten Merkmals oder eines entsprechenden resultierenden Aspekts, einer Wahrscheinlichkeit, Klassifizierung usw. des Objekts im Bild ausgeführt werden kann. In einem solchen beispielhaft trainierten Objekterkennungsmodell eines neuronalen Netzes kann die Bildinformation in eine erste Schicht des neuronalen Netzes eingegeben werden und dann in eine Reihe von Faltungsschichten des neuronalen Netzes zur Merkmalsextraktion, gefolgt von einer Reihe von Feed-Forward-Schichten des neuronalen Netzes oder anderen wiederkehrenden, bidirektional wiederkehrenden Schichten des Langzeit-Kurzzeitspeichers (LSTM) usw., je nach der Zielsetzung, die für das Modell des neuronalen Netzes während des Trainings des Modells angestrebt wird, und der Funktionalität, die in Abhängigkeit von den Ergebnissen eines solchen neuronalen Netzes durchgeführt wird. Ein solches neuronales Netzmodell kann auch für mehrere Funktionalitäten verwendet werden, und mehrere solcher neuronaler Netzmodelle können gemeinsam für eine einzige Funktionalität verwendet werden. Obwohl oben Beispiele für das Modell der künstlichen Intelligenz mit verschiedenen neuronalen Netzwerkkonfigurationen aufgeführt sind, sind auch andere neuronale Netzwerkkonfigurationen und andere Modelle des maschinellen Lernens verfügbar, wobei zu beachten ist, dass die Beispiele nicht auf die hier aufgeführten Beispiele beschränkt sind.
Zum Beispiel kann das Fahrunterstützungs-Terminal 200 (oder die Mobilvorrichtung 300) periphere Hindernisse erkennen, indem es ein entsprechendes Modell der künstlichen Intelligenz als nicht einschränkendes Beispiel implementiert, das eine Entfernung zu dem erkannten peripheren Hindernis erkennen kann. Wenn der erkannte Abstand geringer ist als ein Referenzabstand, der auf einer Angabe des Modells der künstlichen Intelligenz basiert, kann das Fahrunterstützungs-Terminal 200 eine Kollisionswarnung ausgeben, in einem anderen Beispiel kann das Modell der künstlichen Intelligenz auch darauf trainiert werden, in einer solchen Situation ein Steuersignal zu erzeugen, um automatisch eine Notbremsung durchzuführen, oder eine solche Signalisierung kann auf Grundlage der Entschlossenheit, die Kollisionswarnung auszugeben, erzeugt werden. In einem anderen Beispiel kann das Modell der künstlichen Intelligenz alternativ auch darauf trainiert werden, das Steuersignal für eine solche Notbremsung zu erzeugen, wenn der erkannte Abstand kleiner als ein kürzerer Referenzabstand ist und/oder auf anderen berücksichtigten Faktoren beruht. Das Fahrunterstützungs-Terminal 200 kann beispielsweise unter Verwendung desselben oder eines anderen Modells der künstlichen Intelligenz erkennen, ob das Fahrzeug von einer Fahrspur abgewichen ist, und wenn das Fahrzeug von einer Fahrspur abgewichen ist, kann das Fahrunterstützungs-Terminal 200 feststellen, dass es eine Abfahrtswarnung ausgeben will, oder dieselbe kann automatisch durch die Bestimmung des Modells der künstlichen Intelligenz ausgegeben werden, und ebenso kann das Modell der künstlichen Intelligenz gleichzeitig auch Signale für die assistierende Fahrsteuerung ausgeben oder darauf trainiert werden, bei einer festgestellten größeren Fahrspurabweichung die Signale für die assistierende Fahrsteuerung auszugeben. Das Fahrunterstützungs-Terminal 200 kann Fußgänger um das Fahrzeug herum durch ein solches Modell der künstlichen Intelligenz zur Objekterkennung oder ein anderes Modell der künstlichen Intelligenz erkennen, das darauf trainiert werden kann, eine zukünftige Bewegungsroute von erkannten Fußgängern vorherzusagen, beispielsweise durch wiederkehrende oder bidirektional verbundene Schichten oder LSTM-Schichten oder ähnliche Funktionskomponenten des Modells der künstlichen Intelligenz, um das Fahren eines Benutzers zu unterstützen, und ähnlich wie oben das Modell der künstlichen Intelligenz auf die Vermeidung von Hindernissen trainiert werden kann, d.h, die vorausgesagten künftigen Fußgänger zu meiden und dementsprechend Steuersignale zur Steuerung der Lenkung, Beschleunigung und/oder Bremsung auszugeben, um den vorausgesagten künftigen Fußgängern auszuweichen, oder ein solches Ausweichen kann andernfalls durch das Fahrprogramm des Fahrunterstützungs-Terminals 200 gesteuert werden. Das Fahrunterstützungs-Terminal 200 kann ebenfalls in ähnlicher Weise durch gleiche oder entsprechende Modelle künstlicher Intelligenz eine Funktion des Beibehaltens und Wechsels einer Fahrspur unterstützen und kann das Fahren auf einer Kreuzung ohne Fahrspur, einer allgemeinen Straße, einer Geländestrecke usw. unterstützen, indem es Steuersignale an die elektronische Steuereinheit 121 ausgibt, um die elektronische Steuereinheit 121 zu steuern, um die entsprechenden Antriebskomponenten des Fahrzeugs entsprechend zu steuern, oder indem es solche Steuersignale direkt an die gesteuerten Antriebskomponenten des Fahrzeugs sendet.
Das Fahrunterstützungs-Terminal 200 (und/oder Mobilvorrichtung 300) kann anhand der Betriebsinformationen des Fahrzeugs einen Hinweis auf eine Fehlfunktion des Fahrzeugs ermitteln und dem Benutzer eine Ursache der Fehlfunktion sowie eine Lösung vorschlagen. Des Weiteren kann das Fahrunterstützungs-Terminal 200 (und/oder die Mobilvorrichtung 300) das Karosserie-Steuermodul 122 in Abhängigkeit von externen Umgebungsinformationen steuern, wie beispielsweise ein Beispiel, bei dem das Karosserie-Steuermodul 122 einen Betrieb der Klimaanlage des Fahrzeugs 100 auf Grundlage einer Innentemperatur steuern kann, die höher als ein erster Schwellenwert ist, während die Außentemperaturen höher als ein zweiter Schwellenwert sind.
Zusätzlich zu den so umfassten Prozessoren und Speichern ist das Fahrunterstützungs-Terminal 200 (und/oder die Mobilvorrichtung 300) repräsentativ für eine Anzeige- und Benutzerschnittstelle, die so gesteuert werden kann, dass sie einen bevorzugten Ort auf einer aktuellen Fahrtroute des Fahrzeugs in Abhängigkeit von vorgegebenen Reiseinformationen anzeigt und eine Analyse des Preises des bevorzugten Ortes und einen Reservierungsdienst und/oder eine Steueranzeige desselben für das Informationsanzeigesystem des Fahrzeugs 100 bereitstellt. Oben werden verschiedene Beispiele im Hinblick auf die Fähigkeiten und den Betrieb des Fahrunterstützungs-Terminals 200 und der Mobilvorrichtung 300 im Hinblick auf Fahrprogramme diskutiert, die im Fahrunterstützungs-Terminal 200 und der Mobilvorrichtung 300 gespeichert sein können. Ähnlich wie bei der Erörterung der Ergänzung und/oder des Ersetzens des Fahrassistenzprogramms der elektronischen Steuereinheit 121 können, wenn das Fahrunterstützungs-Terminal 200 die Mobilvorrichtung 300 physisch unterstützt und mit ihr kommuniziert, beispielsweise durch drahtlose Ladekommunikation, Bluetooth, Wi-Fi oder einen USB-Standard einer USB-Verkabelung oder eine andere proprietäre Verbindung dazwischen, die höchsten ADAS-Level-Funktionalitäten und/oder die Bereitstellung zusätzlicher oder größerer Funktionen zwischen den Fahrassistenzprogrammen und/oder den autonomen Fahrprogrammen zwischen der elektronischen Steuereinheit 121, dem Fahrunterstützungs-Terminal 200 und der Mobilvorrichtung 300 ausgewählt werden, beispielsweise durch einen Benutzer oder automatisch, und jede ausgewählte und/oder anderweitig automatisch ausgewählte höchste/größte Informations- und Hilfsfunktionalität und/oder autonome Fahrsteuerungsfunktionalität kann letztendlich bereitgestellt werden, und die nicht ausgewählten Informations- und Hilfsfunktionalitäten und/oder autonomen Fahrsteuerungsfunktionalitäten können beispielsweise nicht bereitgestellt werden. Die jeweilige Bewertung der Funktionalitäten in Fahrprogrammen kann beispielsweise so festgelegt werden, dass eine Funktionalität in einem Fahrprogramm, die eine höhere Bewertung als eine entsprechende Funktionalität in einem anderen Fahrprogramm aufweist, als die höchste oder größte Funktionalität angesehen werden kann. Außerdem kann, wie oben erwähnt, während das Fahrunterstützungs-Terminal 200 die im Beispiel niedrigere Speicher- und verarbeitungsfähige Prozessorkonfiguration für eine nullte bis zweite ADAS-Stufe aufweisen kann, kann die Mobilvorrichtung 300 die höhere Speicher- und verarbeitungsfähige Prozessorkonfiguration aufweisen und auf eine dritte bis fünfte ADAS-Stufe vorbegrenzt sein, so dass verschiedene Speicher-/Verarbeitungskonfigurationen parallel oder gleichzeitig mit ihren jeweiligen Fahrassistenzprogrammen durchgeführt werden können, so dass alle Stufen der Fahrassistenz und autonomen Steuerung bereitgestellt werden können, beispielsweise mit dem Fahrunterstützungs-Terminal 200, das ein Fahrassistenzprogramm implementiert, und der Mobilvorrichtung 300, die ein autonomes Fahrprogramm implementiert, wobei die entsprechenden Informationen und Steuersignale von dem Fahrunterstützungs-Terminal 200 (oder direkt von der Mobilvorrichtung 300 oder von der Mobilvorrichtung 300 über das Fahrunterstützungs-Terminal 200) an den Kommunikations-Port 140 geliefert werden und dann entweder über das CAN-Netzwerk direkt an entsprechende Komponenten oder direkt an die elektronische Steuereinheit 121 geliefert werden, um die gelieferten Informationen und die unterstützende und autonome Fahrsteuerung durch das Fahrunterstützungs-Terminal 200 und die Mobilvorrichtung 300 bereitzustellen. Ein weiteres Beispiel: Wenn das Fahrunterstützungs-Terminal 200 kein Fahrprogramm speichert oder ein Fahrprogramm mit nur geringer informativer oder assistierender Funktionalität speichert, dann kann nur ein Fahrassistenzprogramm mit höherer oder größerer Funktionalität und ein autonomes Fahrprogramm des Fahrprogramms der Mobilvorrichtung 300 implementiert werden, wobei das Fahrunterstützungs-Terminal 200 lediglich als Vermittler und Übersetzer fungiert, beispielsweise um die vorgenannten kodierten Steuerinformationen zu empfangen und diese in eine Form und ein Format umzuwandeln, die mit dem CAN-Netzwerk für die Kommunikation mit der elektronischen Steuereinheit 121 oder für die direkte Steuerung der Komponenten des Fahrzeugs kompatibel sind, oder lediglich als Vermittler zu fungieren, um solche Steuersignale von der Mobilvorrichtung 300 zu empfangen und an den Kommunikations-Port 140 weiterzuleiten, die bereits in der Form und dem Format des CAN-Netzwerks für die Kommunikation mit der elektronischen Steuereinheit 121 oder für die direkte Steuerung der Komponenten des Fahrzeugs vorliegen. In ähnlicher Weise darf in einem Beispiel das Fahrunterstützungs-Terminal 200 keine Verarbeitungsmöglichkeiten zur Implementierung eines Fahrprogramms umfassen und nur die Zwischenfunktion sowie eine Ladefunktion mit der Mobilvorrichtung 300, beispielsweise durch drahtloses Laden, ausführen.
2 ist ein Blockdiagramm, das ein Fahrerassistenzsystem nach einer oder mehreren Ausführungsformen veranschaulicht.
Ein Fahrerassistenzsystem in 2 kann dem in 1 dargestellten Fahrerassistenzsystem ähnlich sein, so dass sich überschneidende Beschreibungen nicht wiederholt und Unterschiede beschrieben werden.
Unter Bezugnahme auf 2 kann das Fahrerassistenzsystem des Weiteren ein Datenverarbeitungsmodul 150 umfassen. In 2 kann das Datenverarbeitungsmodul 150 eine in einem Fahrzeug 100 enthaltene Hardwarekomponente sein.
Eine Kameraeinheit 110 kann ein erhaltenes Bild an das Datenverarbeitungsmodul 150 liefern. Beispielsweise kann die Kameraeinheit 110 ein erzeugtes Bildsignal über eine LVDS-Schnittstelle (Low Voltage Differential Signaling) an das Datenverarbeitungsmodul 150 liefern.
Das Datenverarbeitungsmodul 150 kann an den Kommunikations-Port 140 angeschlossen werden und kann Reiseinformationen und Betriebsinformationen erhalten. Als Beispiel können der Kommunikations-Port 140 und das Datenverarbeitungsmodul 150 über das CAN-Netz miteinander verbunden werden, wobei anzumerken ist, dass die hier aufgeführten Beispiele zwar eine solche Verbindung zwischen Komponenten im Fahrzeug erörtern, die durch ein solches CAN-Netz mit CAN-Kommunikationsprotokollen bereitgestellt wird, die Beispiele jedoch nicht darauf beschränkt sind. Das Datenverarbeitungsmodul 150 kann beispielsweise ein von der Kameraeinheit 110 geliefertes Bild unter Verwendung der Reiseinformation und der Betriebsinformation verarbeiten.
Wenn das Datenverarbeitungsmodul 150 beispielsweise als Navigationsgerät in einem Fahrzeug eingesetzt wird, kann das Datenverarbeitungsmodul 150 ein Navigationsprogramm umfassen, und das Datenverarbeitungsmodul 150 kann das Navigationsprogramm auf das von der Kameraeinheit 110 gelieferte Bild und die von der elektronischen Steuereinheit 121 gelieferten Reiseinformationen anwenden, um Nachbearbeitungsdaten zu erzeugen. Das Datenverarbeitungsmodul 150 kann die Nachbearbeitungsdaten über ein Display und Lautsprecher des Fahrzeugs ausgeben.
Ein weiteres Beispiel: Wenn das Datenverarbeitungsmodul 150 ein Fahrassistenzprogramm umfasst, kann das Datenverarbeitungsmodul 150 das Fahrassistenzprogramm auf das von der Kameraeinheit 110 gelieferte Bild und die von der elektronischen Steuereinheit 121 gelieferten Fahrinformationen anwenden und Nachbearbeitungsdaten erzeugen.
Das Datenverarbeitungsmodul 150 kann die erzeugten Nachbearbeitungsdaten dem Kommunikations-Port 140 zur Verfügung stellen oder zur Verfügung stellen, und es kann das von der Kameraeinheit 110 gelieferte Bild dem Kommunikations-Port 140 zur Verfügung stellen oder zur Verfügung stellen.
Das Fahrunterstützungs-Terminal 200 kann so das Bild und/oder die Nachbearbeitungsdaten über den Kommunikations-Port 140 erhalten oder empfangen.
Das Fahrunterstützungs-Terminal 200 kann entscheiden, ob ein im Fahrunterstützungs-Terminal 200 gespeichertes Fahrprogramm angewendet werden soll, beispielsweise in Abhängigkeit von den im Datenverarbeitungsmodul 150 erzeugten Nachbearbeitungsdaten.
Wenn beispielsweise auf die im Datenverarbeitungsmodul 150 erzeugten Nachverarbeitungsdaten nur das Navigationsprogramm ohne ein Fahrassistenzprogramm des Fahrzeugs 100 angewendet wird, kann das Fahrunterstützungs-Terminal 200 auf die empfangenen Daten ein Fahrprogramm des Fahrunterstützungs-Terminals 200 anwenden, beispielsweise das entsprechende Fahrassistenzprogramm und das autonome Fahrprogramm des Fahrprogramms.
Wenn jedoch ein Fahrassistenzprogramm vom Fahrzeug, beispielsweise von der elektronischen Steuereinheit 121, auf die vom Datenverarbeitungsmodul 150 gelieferten Nachverarbeitungsdaten angewendet wird, darf das Fahrunterstützungs-Terminal 200 nur das autonome Fahrprogramm des Fahrprogramms des Fahrunterstützungs-Terminals 200 auf die empfangenen Daten anwenden. Mit anderen Worten, wenn das Fahrzeug ein Fahrassistenzprogramm auf die Nachverarbeitungsdaten anwendet, kann das Fahrunterstützungs-Terminal 200 in einem Beispiel nur ein autonomes Fahrprogramm auf die empfangenen Daten anwenden, ohne das Fahrassistenzprogramm anzuwenden, so dass eine Systemquelle effizient genutzt werden kann.
Selbst wenn das Fahrassistenzprogramm auf die Nachverarbeitungsdaten angewendet wird, kann das Fahrunterstützungs-Terminal 200 das Fahrassistenzprogramm des Datenverarbeitungs-Moduls 150 mit einem Fahrassistenzprogramm des Fahrunterstützungs-Terminals 200 vergleichen, und wenn eine Funktion des Fahrassistenzprogramms des Fahrunterstützungs-Terminals 200 verbessert wird oder zusätzliche Funktionalitäten gegenüber dem Fahrassistenzprogramm des Datenverarbeitungs-Moduls 150 bereitgestellt werden, kann das Fahrunterstützungs-Terminal 200 das Fahrassistenzprogramm auf die empfangenen Daten anwenden, beispielsweise die empfangenen Bild- oder verarbeiteten Bilddaten, unabhängig von den verarbeiteten Bilddaten, auf die das Fahrassistenzprogramm des Datenverarbeitungs-Moduls 150 angewendet wurde. In einem solchen Beispiel kann das Fahrunterstützungs-Terminal 200 auch solche Unterschiede bei den Funktionalitäten vorherbestimmen und dem Datenverarbeitungsmodul 150 eine Anweisung oder Steuersignalisierung geben, das Fahrassistenzprogramm des Datenverarbeitungsmoduls 150 nicht zu implementieren und lediglich die Bild- und/oder Bilddaten weiterzuleiten, die anderweitig vom Datenverarbeitungsmodul 150 verarbeitet wurden.
3 ist ein Blockdiagramm, das ein Fahrerassistenzsystem nach einer oder mehreren Ausführungsformen veranschaulicht.
Ein Fahrerassistenzsystem in 3 kann dem in 2 dargestellten Fahrerassistenzsystem ähnlich sein, so dass sich überschneidende Beschreibungen nicht wiederholt und Unterschiede beschrieben werden.
2 veranschaulicht ein Beispiel, bei dem ein Fahrunterstützungs-Terminal 200 direkt an einen Kommunikations-Port 140 angeschlossen ist. Unter Bezugnahme auf 3 kann das Fahrunterstützungs-Terminal 200 jedoch direkt an das Datenverarbeitungsmodul 150 angeschlossen werden und ein in einer Kameraeinheit 110 gewonnenes Bild, in einer elektronischen Steuereinheit 121 erzeugte Fahrinformation und Betriebsinformation eines Fahrzeugs sowie in einem Datenverarbeitungsmodul 150 erzeugte Nachbearbeitungsdaten erhalten.
Das Fahrunterstützungs-Terminal 200 und das Datenverarbeitungsmodul 150 können über ein zweites Verbindungsterminal (Type_C) miteinander verbunden werden. Das Fahrunterstützungs-Terminal 200 und das Datenverarbeitungsmodul 150 können jeweils ein zweites Verbindungsterminal (Type OBD) umfassen. Zum Beispiel können das Fahrunterstützungs-Terminal 200 und das Datenverarbeitungsmodul 150 über das USB-Verbindungsterminal Typ C miteinander verbunden werden.
Während die oben erwähnte Mobilvorrichtung 300 nicht in Bezug auf 2 und 3 diskutiert wurde, gilt diese Diskussion in ähnlicher Weise für das Fahrunterstützungsprogramm der Mobilvorrichtung 300 und ist auch auf die oben (und unten) genannten Beispiele der kooperativen Überlegungen des mit der Mobilvorrichtung 300 verbundenen Fahrunterstützungs-Terminals 200 anwendbar, wobei eines oder beide von Fahrunterstützungs-Terminal 200 und Mobilvorrichtung 300 ihre jeweiligen Fahrprogramme oder ausgewählte Komponenten und Funktionalitäten derselben speichern und entsprechend konfiguriert werden können.
4 und 5 sind Blockdiagramme, die ein Fahrerassistenzsystem nach einer oder mehreren Ausführungsformen veranschaulichen.
Ein Fahrerassistenzsystem in 4 und 5 kann dem in 1 bis 3 dargestellten Fahrerassistenzsystem ähnlich sein, so dass sich überschneidende Beschreibungen nicht wiederholt und Unterschiede beschrieben werden.
Unter Bezugnahme auf 4 kann die Kameraeinheit 110 im Beispiel in 1 oder die Kameraeinheit 110 und das Datenverarbeitungsmodul 150 in den Beispielen in 2 und 3 in unterschiedlichen Beispielen zusätzlich oder alternativ durch die Mobilvorrichtung 300, einschließlich eines Smartphones oder Tablets, implementiert werden. Die Mobilvorrichtung 300 und ein Kommunikations-Port 140 können durch drahtlose Kommunikation wie beispielsweise Wi-Fi-Kommunikation miteinander verbunden werden, wobei die Beispiele nicht darauf beschränkt sind. In jedem der hier angeführten Beispiele können die Mobilvorrichtung 300 und ein Kommunikations-Port 140 in ähnlicher Weise durch die oben erwähnte beispielhafte Controller Area Network (CAN) -Kommunikation drahtlos miteinander verbunden sein. Somit können die Funktionen der Kameraeinheit 110 oder der Kameraeinheit 110 und des Datenverarbeitungsmoduls 150 auch oder zusätzlich von einer Kamera und einem in der Mobilvorrichtung 300 eingesetzten Prozessor ausgeführt werden.
Unter Bezugnahme auf 4 kann ein Fahrunterstützungs-Terminal 200 über ein zweites Verbindungsterminal (Type_C) direkt mit der Mobilvorrichtung 300 verbunden werden. Bezüglich 5 kann ein Fahrunterstützungs-Terminal 200 über ein erstes Verbindungsterminal (Type OBD) direkt an den Kommunikations-Port 140 angeschlossen werden.
6 ist ein Blockdiagramm, das ein Fahrerassistenzsystem nach einer oder mehreren Ausführungsformen veranschaulicht.
Ein Fahrerassistenzsystem in 6 kann dem in 4 und 5 dargestellten Fahrerassistenzsystem ähnlich sein, so dass sich überschneidende Beschreibungen nicht wiederholt und Unterschiede beschrieben werden. Darüber hinaus gelten die Erörterungen in Bezug auf die 1-3 in Bezug auf das Fahrprogramm der Mobilvorrichtung 300 und das Fahrunterstützungs-Terminal 200 auch für das Fahrerassistenzsystem von 6.
Unter Bezugnahme auf 6 kann eine Mobilvorrichtung 300 im Beispiel von 6 somit die Funktionen und Funktionalitäten des in 4 und 5 dargestellten Fahrunterstützungs-Terminals 200 umfassen. Somit können die Funktionen und Funktionalitäten des in 4 und 5 dargestellten Fahrunterstützungs-Terminals 200, wie beispielsweise die Implementierung des Fahrprogramms des Fahrunterstützungs-Terminals 200 oder der Mobilvorrichtung 300, von einem oder mehreren in der Mobilvorrichtung 300 eingesetzten Prozessoren ausgeführt werden. Beispielsweise können in verschiedenen Beispielen der eine oder die mehreren Prozessoren die oben erwähnten unterschiedlichen Konfigurationen mit niedrigerem Speicher und Verarbeitungskapazität oder höheren Speicher- und Verarbeitungskapazitätskonfigurationen der jeweiligen nullten bis zweiten ADAS-Stufe bzw. der dritten bis fünften ADAS-Stufe aufweisen, oder der eine oder die mehreren Prozessoren können noch größere Speicher- und Verarbeitungskapazitätskonfigurationen als solche Diskussionen aufweisen und nicht auf eine bestimmte Fahrunterstützungs- oder autonome Fahrfunktionalitätsgruppierung von ADAS-Stufen beschränkt sein. Darüber hinaus können hier die Fahrprogrammfunktionen und -funktionalitäten durch eine CPU, NPU, GPU und/oder andere Prozessoren der Mobilvorrichtung 300 implementiert werden, wie beispielsweise ein Beispiel, bei dem ein beliebiger oder eine beliebige Kombination solcher Prozessoren entsprechende Befehle und/oder Künstliche-Intelligenz-Modelle lädt, beispielsweise als ein oder mehrere in neuronalen Netzen gespeicherte Parameter, und ein Software-Entwicklungs-Kit (SDK) und/oder eine Anwendungs-Programmierschnittstelle (API) verwendet, die es ermöglichen, ein Beispiel-Modell der künstlichen Intelligenz auf der Mobilvorrichtung 300 auszuführen. Das künstliche Modell kann beispielsweise in ein Modellkonvertierungswerkzeug eingegeben werden, um das Modell der künstlichen Intelligenz in ein Deep Learning Container (DLC)-Format zu konvertieren, das dann mit Hilfe von Optimierungswerkzeugen optimiert wird und eine Datei im Deep Learning Container-Format erzeugt, die beispielsweise von einer Anwendung der künstlichen Intelligenz ausgeführt werden kann. Als ein spezielleres Beispiel können die Modellkonvertierungswerkzeuge Teil(e) eines Neural Processing Engine (NPE) SDKs (beispielsweise einer Snapdragon Neural Processing Engine (SNPE)) sein, das solche Modelle künstlicher Intelligenz in ein Formular- und Dateiformat konvertieren kann, das von der NPE der Mobilvorrichtung 300 mit beschleunigter Laufzeitoperation mit einem oder mehreren Prozessoren der Mobilvorrichtung 300 ausgeführt werden kann, beispielsweise von einem oder mehreren Qualcomm Snapdragon-Prozessoren im SNPE-Beispiel. Eine solche Konvertierung kann durch die Mobilvorrichtung 300 oder durch ein Remote-Gerät oder einen Remote-Server durchgeführt und im konvertierten Format in der Mobilvorrichtung 300 zur selektiven Ausführung gemäß den Fahrprogrammanweisungen gespeichert und von der Mobilvorrichtung 300 ausgeführt werden. Ein weiteres Beispiel sind hierin enthaltene Beispielmodelle der Künstlichen-Intelligenz, die in verschiedenen Formaten wie CaffeEmit-, CNTK-, CoreML-, Keras-, MXNet-, ONNX-, PyTorch-, TensorFlow- und iOS-Formaten zur Ausführung durch einen oder mehrere solche Prozessoren der Mobilvorrichtung 300 erzeugt, als solche gespeichert oder in/aus diesen Formaten konvertiert werden können. In einem anderen oder zusätzlichen Beispiel kann eine Gerätetreiberebene durch das Betriebssystem der Mobilvorrichtung 300 implementiert werden, wobei das Künstliche-Intelligenz-Modell selektiv durch einen oder eine Kombination solcher Prozessoren durch Steuerung der Gerätetreiberebene ausgeführt wird, wie in einem Beispiel, das eine Huawei HiAi-Engine oder ein hetrogenes Computersystem (HiHCS) implementiert. In einem Beispiel kann die Mobilvorrichtung 300 sowohl mit einer Telematik-Steuereinheit 130 als auch mit einem Kommunikations-Port 140 über drahtlose Kommunikation, wie beispielsweise Wi-Fi-Kommunikation, verbunden sein und Informationen über das Fahrzeug 100 erhalten. Die besprochenen verfügbaren Konfigurationen und Fähigkeiten der Mobilvorrichtung 300, die hier in Bezug auf 6 besprochen werden, sind auch auf alle hierin enthaltenen Verweise auf solche Mobilvorrichtungen 300 in verschiedenen Beispielen anwendbar, die in Bezug auf einige oder alle anderen Abbildungen besprochen werden, und solche weiteren oder alternativen Erörterungen der verfügbaren Konfigurationen und Fähigkeiten, die mit diesen oder allen anderen Abbildungen besprochen werden, sind auch auf die Mobilvorrichtung 300 von 6 anwendbar.
7 ist ein Blockdiagramm, das das Fahrunterstützungs-Terminal nach einer oder mehreren Ausführungsformen darstellt.
Ein Fahrunterstützungs-Terminal 200 im Beispiel in 7 ist ein Terminal, das eine erweiterte Fahrunterstützungs-Funktion bieten kann, beispielsweise der zweiten ADAS-Stufe oder niedriger, und das Fahrassistenzprogramm des Fahrunterstützungs-Terminals 200 kann ein Fahrassistenzprogramm umfassen und dadurch beispielsweise eine Vorwärtskollisionswarnfunktion (FCW), eine Spurhalteassistenzfunktion (LDW), eine Spurhalteassistenzfunktion (LKA), eine Toter-Winkel-Warnfunktion (BSW), eine adaptive Geschwindigkeitsregelungsfunktion (ACC), eine Fahrbahnerkennungsfunktion, eine Verkehrszeichenerkennungsfunktion und ähnliches umfassen oder unterstützen.
Unter Bezugnahme auf 7 kann ein Fahrunterstützungs-Terminal 200 hierin als nicht einschränkende Beispiele einen Künstliche-Intelligenz-Prozessor 210, eine Speichereinheit 220, ein Kommunikationsmodul 230 und ein Kommunikations-Terminal 240 sowie des Weiteren einen Leistungsanschluss 250 umfassen.
Der Künstliche-Intelligenz-Prozessor 210 kann eine zentrale Verarbeitungseinheit 211 (CPU), eine neuronale Verarbeitungseinheit 212 (NPU) und eine Schnittstelle 213 umfassen. Zum Beispiel kann in der NPU 212 ein neuromorpher Prozessor enthalten sein. Die CPU 211, die NPU 212 und die Schnittstelle 213 können elektrisch miteinander verbunden sein. Die CPU 211 und der NPU 212 des Künstliche-Intelligenz-Prozessors 210 können über die Schnittstelle 213 mit dem Kommunikationsmodul 230, dem Kommunikations-Terminal 240 und dem Leistungsanschluss 250 verbunden werden.
Die Speichereinheit 220 kann das Fahrprogramm einschließlich eines Fahrassistenzprogramms speichern. Die Speichereinheit 220 kann eine Vielzahl von Speichern 221 und 222 umfassen, die das Fahrassistenzprogramm speichern. Die CPU 211 und die NPU 212 können jeweils an die Vielzahl der verschiedenen Speicher 221 und 222 angeschlossen werden. Dementsprechend können die CPU 211 und die NPU 212 bei Ausführung des Fahrassistenzprogramms, das in den Speichern 221 und 222 gespeichert ist, beispielsweise Fahrassistenzinformationen erzeugen. In einem Beispiel kann die Vielzahl der Speicher 221 und 222 jeweils als ein Speicher mit hoher Bandbreite (HBM) implementiert werden.
Das Kommunikationsmodul 230 kann ein Wi-Fi-Kommunikationsmodul umfassen und kann drahtlose Kommunikation mit einem oder mehreren externen Geräten durchführen. Beispielsweise kann das Kommunikationsmodul 230 eine drahtlose Kommunikation mit einer Telematik-Steuereinheit 130 eines Fahrzeugs sowie mit der Mobilvorrichtung 300 in einem der hier aufgeführten Beispiele durchführen. In jedem der verschiedenen hier aufgeführten Beispiele kann ein Wi-Fi-Kommunikationsmodul auch in einer Kameraeinheit 110 und einem Kommunikations-Port 140 enthalten sein, und in diesem Fall kann das Kommunikationsmodul 230 eine drahtlose Kommunikation mit der Kameraeinheit 110 und dem Kommunikations-Port 140 durchführen.
Das Kommunikations-Terminal 240 kann als Pfad für den Empfang und die Übertragung von Daten verwendet werden, beispielsweise zum/vom Fahrzeug und zur/von der Mobilvorrichtung 300. Zum Beispiel kann das Kommunikations-Terminal 240 die Form eines USB-Anschlussterminals vom Typ C und eines OBD-Anschlussterminals vom Typ OBD aufweisen. Ähnlich wie oben in einem Beispiel kann die Mobilvorrichtung einen ähnlichen Künstliche-Intelligenz-Prozessor 210, eine Speichereinheit 220, ein Kommunikationsmodul 230 und Kommunikations-Terminals umfassen.
Der Leistungsanschluss 250 kann beispielsweise über den OBD-Anschlussterminal oder auf andere Weise an eine Fahrzeugbatterie angeschlossen werden und die von der Fahrzeugbatterie bereitgestellte Leistung an jedes der Elemente des Fahrunterstützungs-Terminals 200 liefern. In verschiedenen Beispielen kann das Fahrunterstützungs-Terminal 200 des Weiteren ein Energieverwaltungsmodul (PMIC) 260 umfassen, das die Spannung der vom Fahrzeug gelieferten Leistung einstellt. Des Weiteren kann das Fahrunterstützungs-Terminal 200 eine Übertragungsspule 270 umfassen, die die von der Fahrzeugbatterie bereitgestellte Leistung drahtlos an ein externes Gerät liefert. In diesem Fall kann das Fahrunterstützungs-Terminal 200 beispielsweise, wie in 10 dargestellt, so ausgeführt sein, dass es einen Ständer oder eine Stützform umfasst, um Leistung zu unterstützen und drahtlos, beispielsweise durch induktive oder resonante Kopplung, an die in 4 und 5 dargestellte Mobilvorrichtung 300 zu übertragen, die in ähnlicher Weise für den Empfang der drahtlos übertragenen Leistung durch komplementäre induktive oder resonante Kopplung konfiguriert ist.
In einem Beispiel kann der Fahrunterstützungs-Terminal 200 den Leistungsanschluss 250 umfassen, so dass der Fahrunterstützungs-Terminal 200 von der Batterie des Fahrzeugs mit Strom versorgt wird, wobei die Beispiele nicht darauf beschränkt sind. In jedem der verschiedenen hier aufgeführten Beispiele kann das Fahrunterstützungs-Terminal 200 auch eine Empfangsspule umfassen und auch drahtlos Strom empfangen.
8 ist ein Blockdiagramm, das das Fahrunterstützungs-Terminal nach einer oder mehreren Ausführungsformen darstellt.
Ein Fahrunterstützungs-Terminal 200 in einem Beispiel mit 8 kann ein Fahrunterstützungs-Terminal sein, das eine in einer ADAS-Norm vorgeschriebene erweiterte Fahrunterstützungsfunktion der dritten Ebene oder höher bereitstellt, und das Fahrassistenzprogramm des Fahrunterstützungs-Terminals 200 kann ein Fahrassistenzprogramm und ein autonomes Fahrprogramm oder nur ein autonomes Fahrprogramm umfassen und dadurch in einem Beispiel eine Funktion zur Vorhersage von verdeckten Objekten, eine Funktion zum Spurwechsel, eine Funktion zur Erkennung von Fußgängern, eine Funktion zur Erkennung von Fahrbahnwechseln, eine Funktion zur Erkennung von Verkehrszeichen und ähnliches bereitstellen oder unterstützen. Das Fahrunterstützungs-Terminal 200 in 8 kann dem in 7 dargestellten Fahrunterstützungs-Terminal 200 ähnlich sein, so dass sich überschneidende Beschreibungen nicht wiederholt und Unterschiede beschrieben werden.
Bezugnehmend auf 8 kann eine Speichereinheit 220 in 8 eine größere Anzahl von Speichern umfassen als die in 7 dargestellte Anzahl von Speichern in der Speichereinheit 220. Wenn beispielsweise die Speichereinheit 220 in 7 zwei Speicher umfasst, kann die in 8 dargestellte Speichereinheit 220 vier Speicher umfassen. In der Speichereinheit 220 können eine CPU 211 und eine NPU 212 einer Vielzahl von Speichern entsprechen, die sich voneinander unterscheiden, und ein Fahrassistenzprogramm und ein autonomes Fahrprogramm führen.
Unter Bezugnahme auf 8 kann das Fahrunterstützungs-Terminal 200 in 7 ein einzelnes Kommunikations-Terminal 240 umfassen, während das Fahrunterstützungs-Terminal 200 in 8 eine Vielzahl von Kommunikations-Terminals 240a, 240b, 240c und 240d umfassen kann.
Das erste Kommunikations-Terminal 240a kann ein USB-Anschlussterminal vom Typ C und ein OBD-Anschlussterminal vom Typ OBD sein. Das zweite Kommunikations-Terminal 240b kann ein Anschluss-Terminal des CAN-Netzwerks sein, das dritte Kommunikations-Terminal 240c kann ein Anschluss-Terminal der seriellen Gigabit-Multimediaverbindung (GMSL) sein, und das vierte Kommunikations-Terminal 250d kann ein Kommunikations-Terminal des Ethernet sein. Ähnlich wie oben, in einem Beispiel, kann die Mobilvorrichtung 300 einen ähnlichen Künstliche-Intelligenz-Prozessor 210, Speichereinheit 220, Kommunikationsmodul 230 und Kommunikationsterminals umfassen.
Vergleicht man die Fahrunterstützungs-Terminals 200 in 7 und 8, so kann das in Bezug auf 7 beschriebene Fahrunterstützungs-Terminal 200 eine erweiterte Fahrunterstützungsfunktion der in der ADAS-Norm vorgeschriebenen zweiten Ebene oder niedriger bieten, während das Fahrunterstützungs-Terminal 200 im Beispiel in 8 eine erweiterte Fahrunterstützungsfunktion der in der ADAS-Norm vorgeschriebenen dritten Ebene oder höher bieten kann. Somit können sich die Fahrunterstützungs-Terminals 200 in 7 und 8 voneinander unterscheiden oder dieselben Terminals sein, entweder mit Speicher- und Verarbeitungskonfiguration oder mit zwei entsprechenden Fahrunterstützungs-Speicher- und Verarbeitungskonfigurationen zur Bereitstellung solcher jeweiligen Funktionalitäten.
In einem Beispiel für das Fahrunterstützungs-Terminal 200 in 7 kann die CPU eine Spezifikation von ARM Cortex A72x2 und A53x4 bei 1,5 GHz aufweisen, und die NPU kann eine Verarbeitungsgeschwindigkeit von 10 Peta-Fließkomma-Operationen pro Sekunde (TFLOPS) haben. In einem solchen Beispiel kann die Speichereinheit 220 einen Speicher mit hoher Bandbreite von 8 GB/512 Bit umfassen, und als weiteres Beispiel kann die Speichereinheit 220 einen NAND-Flash-Speicher von 32 GB umfassen. Das Wi-Fi-Kommunikationsmodul des Kommunikationsmoduls 230 kann beispielsweise wenigstens eine Geschwindigkeit von 2,2 Gbps bieten. Das Kommunikationsmodul 230 kann beispielsweise eine Spezifikation des Standards IEEE 802.11ac/ax, 4x4 MU-MIMO und 1024QAM aufweisen. In einem solchen Beispiel kann das Fahrunterstützungs-Terminal 200 einen Leistungsanschluss von 4 Watt oder weniger aufweisen und eine Größe von 65X65 mm haben.
In einem Beispiel für das Fahrunterstützungs-Terminal 200 in 8 kann die CPU eine Spezifikation von ARM Cortex A72x2 und A53x4 bei 3 GHz aufweisen, und die NPU kann eine Verarbeitungsgeschwindigkeit von 100 Peta-Fließkomma-Operationen pro Sekunde (TFLOPS) haben. In einem solchen Beispiel kann die Speichereinheit 220 einen Speicher mit hoher Bandbreite (HBM) von 32 GB/1024 Bit umfassen. Als weiteres Beispiel kann die Speichereinheit 220 einen NAND-Flash-Speicher von 64 GB umfassen. Das Wi-Fi-Kommunikationsmodul des Kommunikationsmoduls 230 kann beispielsweise wenigstens eine Geschwindigkeit von 1 Gbps bieten. Das Kommunikationsmodul 230 kann eine Spezifikation des Standards IEEE 802.11ac/ax, 4x4 MU-MIMO und 1024QAM aufweisen. Das Beispiel Fahrunterstützungs-Terminal 200 kann einen Leistungsanschluss von 6,6 Watt aufweisen und kann eine Größe von 180X120 mm haben.
9 ist ein Diagramm, das eine beispielhafte Verbindungsbeziehung zwischen einem Fahrunterstützungs-Terminal und einem Steuergerät eines Fahrzeugs nach einer oder mehreren Ausführungsformen veranschaulicht.
Unter Bezugnahme auf 9 kann ein Fahrunterstützungs-Terminal 200 über ein drittes Kommunikations-Terminal 240c an ein Steuergerät des Fahrzeugs, beispielsweise eine elektronische Steuereinheit 121, angeschlossen werden. Das Fahrunterstützungs-Terminal 200 kann über das dritte Kommunikations-Terminal 240c mit der elektronischen Steuereinheit 121 verbunden werden und kann Bilder einer Kameraeinheit 110 empfangen, die einen vorderen Bereich, Seitenbereiche und einen hinteren Bereich des Fahrzeugs abbildet. In diesem Fall kann die elektronische Steuereinheit 121 ein Fahrprogramm umfassen, das eine erweiterte Fahrunterstützungs-Funktion des Fahrunterstützungs-Terminals 200 bereitstellt.
Damit das Fahrunterstützungs-Terminal 200 eine erweiterte Fahrunterstützungsfunktion einer dritten Ebene oder höher, die in der ADAS-Norm vorgeschrieben ist, ohne Verzögerung bereitstellen kann, kann beispielsweise eine hohe Datenverarbeitungsgeschwindigkeit und eine hohe Datenempfangs- und Datenübertragungsgeschwindigkeit nach einer ADAS-Norm erwünscht oder erforderlich sein, so dass eine Vielzahl von Anschlüssen so angeordnet werden kann, dass verschiedene Daten gesammelt werden können. Je nach Verarbeitungs-, Speicher- und Kommunikationsspezifikationen des Beispiels kann es jedoch sein, dass ein kleines Fahrunterstützungs-Terminal 200 die oben beschriebenen Hochleistungsaspekte nicht vollständig erfüllt, so dass solche kleineren Fahrunterstützungs-Terminals als nicht einschränkende Beispiele in erster Linie die oben genannte Beispielfunktionalität Null durch zweite ADAS-Level-Funktionalitäten implementieren können.
In einem Beispiel kann ein Fahrprogramm in die elektronische Steuereinheit 121 eingebettet sein, das Fahrzeug kann kein Fahrprogramm umfassen, oder das Fahrprogramm kann ein Fahrassistenzprogramm und/oder ein autonomes Fahrprogramm umfassen.
In einem Beispiel können Anweisungen zur Unterstützung der Interaktion des Fahrunterstützungs-Terminals 200 und/oder der Mobilvorrichtung 300 mit der elektronischen Steuereinheit 121 hochgeladen, installiert oder in die elektronische Steuereinheit 121 eingebettet werden. Solche Anweisungen können beispielsweise den Empfang und das Verstehen von Informationen und/oder Steuersignalen vom Fahrunterstützungs-Terminal 200 und/oder der Mobilvorrichtung 300, die über den Kommunikations-Port 140 oder anderweitig über das CAN-Netzwerk bereitgestellt werden, durch die elektronische Steuereinheit 121 unterstützen, wobei ein solches Verstehen solcher Informationen oder Steuersignale beinhalten kann, dass das Fahrunterstützungs-Terminal 200 diese Informationen oder Steuersignale an die entsprechenden zu steuernden Fahrzeugkomponenten weiterleitet, oder dass die elektronische Steuereinheit 121 diese nachbildet und an die entsprechenden Fahrzeugkomponenten weiterleitet, als ob die elektronische Steuereinheit 121 ihr eigenes Fahrassistenzprogramm implementiert hätte, beispielsweise dadurch Steuerung einer Bereitstellung oder Anzeige von Informationen, beispielsweise akustisch und/oder visuell, vom Fahrunterstützungs-Terminal 200 und/oder der Mobilvorrichtung 300 und/oder dadurch Steuerung der Bereitstellung anderer Fahrunterstützung oder verschiedener Autonomieebenen bei der Fahrsteuerung vom Fahrunterstützungs-Terminal 200 und/oder der Mobilvorrichtung 300. Die Anweisungen können des Weiteren die Hinzufügung von Codierung oder Steuerungen, Modifikationen oder Löschungen der aktuellen Codierung der elektronischen Steuereinheit 121 umfassen, um den Empfang und das Verständnis solcher Informationen oder Steuersignale durch die elektronische Steuereinheit 121 zu ermöglichen, oder um die elektronische Steuereinheit 121 so zu steuern, dass sie dieselben Informationen oder Steuersignale lediglich an die entsprechenden Komponenten des Fahrzeugs weiterleitet, oder um die elektronische Steuereinheit 121 so zu steuern, dass sie dieselben Steuerungen oder Steuersignale, die das Fahrunterstützungs-Terminal 200 oder die Mobilvorrichtung 300 direkt an solche entsprechenden Komponenten liefert, nicht unterbricht oder stört, beispielsweise durch Nichtausgabe von Informationen oder Steuersignalen gemäß dem Fahrprogramm der elektronischen Steuereinheit 121 zusätzlich zu den Informationen oder Steuersignalen vom Fahrunterstützungs-Terminal 200 und/oder der Mobilvorrichtung 300 oder anderweitige Verhinderung, dass diese Informationen oder Steuersignale dem Benutzer/Fahrer die empfangenen Informationen anzeigen (oder akustisch wiedergeben) oder die entsprechenden Komponenten mit den Steuersignalen steuern. Solche Anweisungen können des Weiteren die Hinzufügung von Codierung oder Steuerungen, Änderungen oder Löschungen der aktuellen Codierung der elektronischen Steuereinheit 121 zur Steuerung einer Zusammenarbeit eines aktuellen Fahrunterstützungs-Terminals 200 und/oder der Mobilvorrichtung 300 zur Steuerung eines aktuellen Fahrassistenzprogramms oder eines autonomen Fahrprogramms oder von ausgewählten Funktionalitäten eines solchen Programms des Fahrprogramms der elektronischen Steuereinheit 121 mit dem Fahrunterstützungs-Terminal 200 und/oder der Mobilvorrichtung 300, wie oben beschrieben, umfassen. Dieses Hochladen, Installieren oder Einbetten kann durch einen automatisierten Prozess bei einer anfänglichen Verbindung des Fahrunterstützungs-Terminals 200 und/oder der Mobilvorrichtung 300 mit dem Kommunikations-Port 140 oder durch die Ausführung einer entsprechenden Anwendung oder eines entsprechenden Programms des Fahrunterstützungs-Terminals 200 oder der Mobilvorrichtung 300 erfolgen, um die Bereitstellung solcher Fahrunterstützungs-/Steuerfunktionen zu beginnen oder fortzusetzen, oder durch Benutzerauswahl oder -berechtigung zum Hochladen, Installieren oder Einbetten der Anweisungen in die elektronische Steuereinheit 121, wie beispielsweise durch eine Beispielbenutzeroberfläche des Fahrunterstützungs-Terminals 200 oder der Mobilvorrichtung 300. Zusätzlich oder alternativ kann ein separates Steuermodul in das Fahrzeug eingefügt werden, um eine Übersetzung oder eine Übergabe zwischen der elektronischen Steuereinheit 121 und solchen Informationen und Steuersignalen vom Fahrunterstützungs-Terminal 200 oder der Mobilvorrichtung 300 durchzuführen. Solche Anweisungen, die in die elektronische Steuereinheit 121 hochgeladen, installiert oder eingebettet sind oder die die Übersetzungs- oder Weitergabevorgänge über das separate Steuermodul bereitstellen, können auch ähnliche Schnittstellenfunktionen bereitstellen, um Fahrzeug- und erfasste Umgebungsinformationen an das Fahrunterstützungs-Terminal 200 und/oder die Mobilvorrichtung zur Erzeugung solcher Steuerungen durch das Fahrunterstützungs-Terminal 200 und die Mobilvorrichtung 300 zu liefern. Des Weiteren kann in einem Beispiel die elektronische Steuereinheit 121 durch eine gleiche oder kompatible elektronische Steuereinheit 121 ersetzt werden, die die oben genannten Anweisungen bereits umfasst, so dass diese nicht hochgeladen, installiert oder eingebettet werden müssen.
11 ist ein Blockdiagramm, das eine Implementierung eines Fahrprogramms mit einer NPU gemäß einer oder mehreren Ausführungsformen veranschaulicht.
Eine NPU 212 kann einen Bildempfänger 212a, einen Bildprozessor 212b, ein Zielerkennungsmodell 212c und einen Generator für Fahrunterstützungsinformationen 212d implementieren und somit ein Ziel in einem in einer Kameraeinheit 110 erhaltenen Bild erkennen und Fahrinformationen erzeugen, die spezifisch für dieses erkannte Ziel sind.
Das in der Kameraeinheit 110 erhaltene Bild kann in den Bildempfänger 212a eingegeben werden.
Der Bildprozessor 212b kann eine Bildverarbeitung durchführen, um einen Bereich von Interesse (ROI) innerhalb des Eingabebildes zuzuordnen und daraus ein interessierendes Bild zu erzeugen. Beispielsweise kann der Bildprozessor 212b Randkomponenten des Eingangsbildes extrahieren, beispielsweise durch Hochfrequenzfilterung, um verschiedene interessierende Bereiche zu erkennen, und daraus entsprechende interessierende Bilder erzeugen. Zum Beispiel kann der Bildprozessor 212b eine Normalisierung auf ein erzeugtes Bild von Interesse durchführen, beispielsweise um eine vorgegebene Größe aufzuweisen, beispielsweise eine Größe, die ein oder mehrere nachfolgende Künstliche-Intelligenz-Prozessoren trainiert haben. Der Bildprozessor 212b kann des Weiteren die Kalibrierung an einer Helligkeit des normalisierten Bildes durchführen. Als Beispiel kann ein Helligkeitswert des normierten Bildes von Interesse mit einem Null-Zentrum-Ansatz kalibriert werden. Der Bildprozessor 212b kann das normierte, kalibrierte Zinsbild an das Zielerkennungsmodell 212c liefern, das repräsentativ für ein beispielhaft trainiertes neuronales Netzwerksystem sein kann, das eine Vielzahl von Faltungsschichten aufweist, gefolgt von einem Beispiel-Feedforward, RNN, oder anderen klassifizierenden, trainierten Schichten, zum Beispiel.
Das zielerkennende Modell 212c kann ein neuronales Netzwerksystem implementieren, das gespeicherte Parameter der verschiedenen Schichten des neuronalen Netzwerksystems verwendet, beispielsweise Parameter, die zuvor durch tiefes Lernen, beispielsweise durch verlustbasierte Rückpropagation, in Bezug auf Trainingsbilder für den speziellen Zweck des Beispielzielsziels trainiert wurden, und so kann das NRU 212 beim Laden der Parameter aus dem Speicher Verarbeitungselemente des NRU 212 aufweisen, um das vorverarbeitete Interessenbild durch mehrere neuronale Netzwerkschichten zu analysieren, wobei das NRU 212 ein Ziel im Eingangsbild erkennen kann. Beispielsweise kann das Zielerkennungsmodell 212c wiederholt das neuronale Netzwerksystem zur Erkennung des Ziels in jedem empfangenen Frame und/oder für mehrere erkannte ROls des Eingangsbildes implementieren und ein Ziel mit einer signifikant hohen Genauigkeit erkennen. Mehrere solcher neuronalen Netzwerksysteme können parallel ausgeführt werden, wobei jedes System für die Erkennung eines entsprechenden Ziels trainiert wird, oder das neuronale Netzwerksystem kann so konfiguriert werden, dass es eine Klassifizierung des Eingangsbildes durchführt und verschiedene trainierte Ziele erkennt. Die Ziele können beispielsweise eine Verkehrssignalanlage, eine Fahrspur, einen Fußgänger, ein Straßenschild und ähnliches umfassen, so dass das neuronale Netzwerksystem oder die entsprechenden neuronalen Netzwerksysteme unter Verwendung verschiedener Trainingsbilder trainiert werden, bis das neuronale Netzwerksystem oder die entsprechenden neuronalen Netzwerksysteme das richtige Ziel innerhalb einer vorgegebenen Genauigkeit oder einer vorgegebenen Ungenauigkeit erkennen.
Der Fahrunterstützungs-Informationsgenerator 212d kann das Fahrprogramm oder Komponenten des Fahrprogramms implementieren. Zum Beispiel kann der Fahrunterstützungs-Informationsgenerator 212d wenigstens eines von einem Fahrassistenzprogramm und einem autonomen Fahrprogramm des Fahrprogramms, das aus einem Speicher ausgelesen wird, in Bezug auf das im Zielerkennungsmodell 212c erkannte Ziel implementieren und kann Fahrunterstützungs-Informationen erzeugen, die spezifisch für das erkannte Ziel sind, beispielsweise spezifisch für den Ort des erkannten Ziels sowie die Beziehung des erkannten Ziels und anderer Objekte usw. Dabei bedeutet das beschriebene Fahrzeug für die jeweilige Diskussion ein Fahrzeug, das technische Fähigkeiten aufweist, um wenigstens die entsprechenden beschriebenen Fahrassistenzfunktionen zu implementieren, und in Beispielen, in denen Implementierungen von autonomen Fahrassistenzprogrammen eines bestimmten Niveaus oder einer bestimmten Fahrassistenzfunktionalität diskutiert werden, dann ist das entsprechende Fahrzeug ein Fahrzeug mit technischen Fähigkeiten für solche entsprechenden Funktionen. Alternativ, obwohl das Fahrzeug ein Fahrzeug mit wenigstens technischen Fähigkeiten zur Implementierung wenigstens einer Fahrassistenzfunktionalität ist, umfassen die Beispiele, dass das Fahrunterstützungs-Terminal 200 und/oder die Mobilvorrichtung 300 die Funktionalität des Fahrzeugs bestimmt und entweder Funktionalitäten eines Fahrassistenzprogramms des Fahrunterstützungs-Terminals 200 und/oder der Mobilvorrichtung 300, für die das Fahrzeug nicht in der Lage ist, durchzuführen, nicht aktiviert oder die entsprechenden Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals 200 und/oder der Mobilvorrichtung 300, für die das Fahrzeug nicht in der Lage ist, durchzuführen, deaktiviert oder nicht implementiert.
12A bzw. 12B sind ein Querschnittsdiagramm und ein Plandiagramm, die ein Fahrunterstützungs-Terminal nach einer oder mehreren Ausführungsformen darstellen.
Unter Bezugnahme auf 12 kann ein Fahrunterstützungs-Terminal 200 in einem Beispiel ein Substrat 280, einen Künstliche-Intelligenz-Prozessor 210, eine Speichereinheit 220, ein Kommunikationsmodul 230, ein Kommunikationsterminal 240 und ein Energieverwaltungsmodul 260 sowie ein Gehäuse 290 als nicht einschränkende Beispiele umfassen.
Der Künstliche-Intelligenz-Prozessor 210, das Kommunikationsmodul 230, das Kommunikationsterminal 240 und das Energieverwaltungsmodul 260 können auf dem Substrat 280 angeordnet werden. Das Kommunikationsmodul 230 und das Energieverwaltungsmodul 260 können auf einer Oberfläche des Substrats 280 angeordnet werden, und der Künstliche-Intelligenz-Prozessor 210 kann auf der anderen Oberfläche des Substrats 280 angeordnet werden. Das Kommunikations-Terminal 240 kann auf dem Künstliche-Intelligenz-Prozessor 210 angeordnet werden. Eine Außenseite des Fahrunterstützungs-Terminals 200 kann durch das Gehäuse 290 gebildet werden, und das Kommunikations-Terminal 240 kann sich in eine Richtung ausdehnen und hervorstehen, um an ein externes Gerät angeschlossen zu werden, als ein nicht einschränkendes Beispiel.
Der Künstliche-Intelligenz-Prozessor 210 kann ein Fahrassistenzprogramm enthalten oder aus einem Speicher laden, das ein Assistenzprogramm und/oder ein autonomes Fahrassistenzprogramm umfassen kann und das das Laden trainierter Parameter entsprechender Modelle künstlicher Intelligenz, die von den jeweiligen Programmen implementiert werden, oder das selektive Laden solcher Parameter nach Bedarf umfassen kann, und kann Fahrunterstützungs-Informationen und Fahrassistenz und autonome Fahrsteuerung unter Verwendung von Daten erzeugen, die über das Kommunikations-Terminal, beispielsweise vom Kommunikations-Port des Fahrzeugs und/oder von zusätzlichen Kameras, beispielsweise der Mobilvorrichtung 300, sowie von anderen Kameras, die mit der Mobilvorrichtung 300 verbunden sind, beispielsweise über einen USB-Anschluss der Mobilvorrichtung 300, bereitgestellt werden. Der Künstliche-Intelligenz-Prozessor 210 kann eine zentrale Verarbeitungseinheit (CPU) und eine neuronale Verarbeitungseinheit (NPU) umfassen und kann als nicht einschränkendes Beispiel in die Speichereinheit 220 integriert werden.
Das Kommunikationsmodul 230 kann ein Wi-Fi-Kommunikationsmodul umfassen und kann für die drahtlose Kommunikation mit einem externen Gerät konfiguriert werden. Als Beispiel kann das Kommunikationsmodul 230 eine drahtlose Kommunikation mit der in 2 dargestellten Telematik-Steuereinheit 130 sowie mit einer oder mehreren Kameras und der Mobilvorrichtung 300 durchführen. Das Energieverwaltungsmodul 260 kann die von einer Fahrzeugbatterie gelieferte Spannung einstellen, wenn das Energieverwaltungsmodul 260 an das Fahrzeug angeschlossen ist. Das Kommunikations-Terminal 240 kann direkt an ein externes Gerät angeschlossen und als Pfad zum Senden und Empfangen von Daten verwendet werden, beispielsweise direkt mit dem Kommunikations-Port des Fahrzeugs und/oder mit der Mobilvorrichtung 300 verbunden.
In 12 kann das Kommunikations-Terminal 240 die Form eines USB-Anschlussterminals vom Typ C aufweisen, aber wie oben beschrieben, kann das Kommunikations-Terminal 240 die Form eines OBD-Anschlussterminals haben.
13 ist ein Blockdiagramm, das ein Fahrerassistenzsystem gemäß einer beispielhaften Ausführungsform illustriert, 14 und 15 sind Diagramme, die eine von einem Bildprozessor der vorliegenden Offenbarung durchgeführte Kalibrierungsoperation illustrieren, und 16 und 17 sind Diagramme, die eine von einem Künstliche-Intelligenz-Prozessor der vorliegenden Offenbarung durchgeführte Operation zur Steuerung einer Kameraeinheit illustrieren.
Da das Fahrerassistenzsystem in 13 dem Fahrerassistenzsystem in 1 bis 12 ähnlich ist, werden sich überschneidende Beschreibungen nicht wiederholt und Unterschiede hauptsächlich beschrieben.
Unter Bezugnahme auf 13 kann die Kameraeinheit 110 in der in 1 dargestellten Beispielausführungsform oder die Kameraeinheit 110 und das Datenverarbeitungsmodul 150 in der in 2 und 3 dargestellten Beispielausführungsform alternativ durch eine Mobilvorrichtung 300 einschließlich eines Smartphones oder eines Tabletts implementiert werden. Dementsprechend können die Funktionen der Kameraeinheit 110 oder der Kameraeinheit 110 und des Datenverarbeitungsmoduls 150 von einer Kameraeinheit und einer Steuerung, die in der Mobilvorrichtung 300 eingesetzt werden, ausgeführt werden.
Unter Bezugnahme auf 13 kann die Mobilvorrichtung 300 eine Steuerung 310, eine Kommunikationseinheit 320, eine Kameraeinheit 330, eine Anzeigeeinheit 340, eine Stromversorgungseinheit 350 und einen Netzschalter 360 umfassen.
Die Steuerung 310 kann elektrisch oder funktionell mit den anderen Blöcken der Mobilvorrichtung 300 verbunden sein und kann den gesamten Betrieb der Mobilvorrichtung 300 und den Signalfluss zwischen internen Blöcken der Mobilvorrichtung 300 steuern und Daten verarbeiten. Die Steuerung 310 kann eine Zentraleinheit (CPU), einen Anwendungsprozessor, eine Grafikverarbeitungseinheit (GPU) und ähnliches umfassen.
Die Kommunikationseinheit 320 kann über ein Netzwerk mit einer externen Cloud 400 verbunden werden. Das Netzwerk kann sich auf ein Kommunikationsnetzwerk beziehen, das unter Verwendung einer vorgegebenen Kommunikationsmethode gebildet wurde. Das vorbestimmte Kommunikationsverfahren kann alle Kommunikationsverfahren umfassen, wie beispielsweise die Kommunikation über einen vorbestimmten Kommunikationsstandard, ein vorbestimmtes Frequenzband, ein vorbestimmtes Protokoll oder einen vorbestimmten Kanal. Zum Beispiel kann das Kommunikationsverfahren ein Kommunikationsverfahren durch Bluetooth, BLE, Wi-Fi, Zigbee, 3G, 4G, 5G und Ultraschallwellen umfassen und kann Nahfeldkommunikation, Fernkommunikation, drahtlose Kommunikation und drahtgebundene Kommunikation umfassen.
In der Zwischenzeit kann das Fahrzeug 100 über drahtlose Kommunikation mit der Mobilvorrichtung 300 verbunden werden. Zum Beispiel kann ein Kommunikations-Port 140 (siehe 1 bis 3) des Fahrzeugs 100 mit der Kommunikationseinheit 320 der Mobilvorrichtung 300 durch drahtlose Kommunikation wie beispielsweise Wi-Fi-Kommunikation verbunden werden. Als weiteres Beispiel kann der Kommunikations-Port 140 (siehe 1 bis 3) drahtlos mit der Kommunikationseinheit 320 der Mobilvorrichtung 300 durch eine Kommunikation über ein Controller Area Network (CAN) verbunden sein.
Die Kameraeinheit 330 kann an einer Vorder- oder Rückseite der Mobilvorrichtung 300 montiert werden und kann einen Außenbereich der Mobilvorrichtung 300 abbilden. Die Kameraeinheit 330 kann generierte Bilder an die Steuerung 310 liefern.
Die Anzeigeeinheit 340 kann auf der Vorderseite der Mobilvorrichtung 300 angebracht werden und Informationen entsprechend einer Benutzereingabe auf einem Bildschirm ausgeben. Beispielsweise kann die Anzeigeeinheit 340 in ein Gerät mit Berührungsbildschirm integriert werden, um eine Berührungseingabe des Benutzers zu empfangen.
Die Stromversorgungseinheit 350 kann elektrisch mit den anderen Blöcken der Mobilvorrichtung 300 verbunden werden und kann die für den Antrieb der anderen Blöcke erforderliche Energie liefern. Beispielsweise kann die Stromversorgungseinheit 350 eine nicht wiederaufladbare Primärbatterie, eine wiederaufladbare Sekundärbatterie oder eine Brennstoffzelle umfassen. Die Stromversorgungseinheit 350 kann in die Mobilvorrichtung 300 integriert oder von der Mobilvorrichtung 300 abnehmbar sein.
Der Netzschalter 360 kann Strom von der Stromversorgungseinheit 350 an einen Fahrunterstützungs-Terminal 200 liefern. Die Steuerung 310 kann erkennen, ob das Fahrunterstützungs-Terminal 200 mit der Mobilvorrichtung 300 verbunden ist, und kann einen Leistungsanschluss steuern, der den Betrieb des Netzschalters 360 ermöglicht. Wenn beispielsweise das Fahrunterstützungs-Terminal 200 mit der Mobilvorrichtung 300 verbunden ist, kann die Steuerung 310 das Einschalten des Netzschalters 360 steuern und das Fahrunterstützungs-Terminal 200 mit Strom versorgen, und wenn beispielsweise das Fahrunterstützungs-Terminal 200 nicht mit der Mobilvorrichtung 300 verbunden ist, kann die Steuerung 310 das Ausschalten des Netzschalters 360 steuern und die Stromversorgung des Fahrunterstützungs-Terminals 200 blockieren.
Unter Bezugnahme auf 13 kann das Fahrunterstützungs-Terminal 200 einen Künstliche-Intelligenz-Prozessor 210, einen Bildprozessor 205, eine Modellspeichereinheit 215, einen Lernprozessor 225 und ein Energieverwaltungsmodul 260 als ein nicht begrenztes Beispiel umfassen. Das Fahrunterstützungs-Terminal 200 kann über ein zweites Verbindungsterminal Type_C direkt mit der Mobilvorrichtung 300 verbunden werden.
Das Energieverwaltungsmodul (PMIC) 260 kann die Spannung der von der Mobilvorrichtung 300 gelieferten Leistung anpassen. Das Energieverwaltungsmodul 260 kann elektrisch mit den anderen Blöcken des Fahrunterstützungs-Terminals 200 verbunden werden und kann die für die Ansteuerung der anderen Blöcke erforderliche Leistung liefern.
Der Bildprozessor 235 kann ein von der Kameraeinheit 330 der Mobilvorrichtung 300 geliefertes Bild vorverarbeiten. Wenn das Fahrunterstützungs-Terminal 200 über das zweite Verbindungsterminal (Type_C) mit der Mobilvorrichtung 300 verbunden ist, kann der Bildprozessor 235 ein Bild von der Kameraeinheit 330 der Mobilvorrichtung 300 empfangen.
Nach einer beispielhaften Ausführungsform kann die Steuerung 310 der Mobilvorrichtung 300 in erster Linie das von der Kameraeinheit 330 gelieferte Bild vorverarbeiten, und der Bildprozessor 235 kann in zweiter Linie das primär vorverarbeitete Bild vorverarbeiten. Zu diesem Zweck kann die Steuerung 310 der Mobilvorrichtung 300 einen separaten Bildprozessor umfassen. Der Bildprozessor 235 kann dem in dargestellten Bildvorprozessor 212b entsprechen.
Beispielsweise kann der Bildprozessor 235 eine Bildverarbeitung durchführen, um eine Region of Interest (ROI) innerhalb des von der Kameraeinheit 330 gelieferten Bildes zuzuordnen und daraus ein interessierendes Bild zu erzeugen. Beispielsweise kann der Bildprozessor 235 verschiedene interessierende Bereiche erkennen, indem er eine Randkomponente des Eingangsbildes durch Hochfrequenzfilterung extrahiert, und kann ein interessierendes Bild erzeugen, das den verschiedenen interessierenden Bereichen entspricht. Beispielsweise kann der Bildprozessor 235 eine Normalisierung des erzeugten interessierenden Bereichs durchführen, so dass ein oder mehrere nachfolgende Künstliche-Intelligenz-Modelle eine vorgegebene Größe aufweisen, die einer trainierten Größe entspricht. Der Bildprozessor 235 kann auch eine zusätzliche Kalibrierung für die Helligkeit des normierten Bildes von Interesse durchführen. Wenn der Bildprozessor 235 die Helligkeit des normierten Bildes von Interesse kalibriert, kann ein Helligkeitswert des in 14(a) dargestellten Bildes von Interesse in geeigneter Weise reduziert werden, so dass sich die Objektsichtbarkeit wie in dem in 14(b) dargestellten Bild von Interesse verbessern kann. Als Beispiel kann der Helligkeitswert des normierten Zinsbildes mit eine Null-Zentrum-Verfahren („zero-center method“) kalibriert werden.
In der Zwischenzeit kann der Bildprozessor 235 eine zusätzliche Kalibrierung durchführen, indem er das normalisierte Zinsbild dreht. Wenn der Bildprozessor 235 die Kalibrierung durch Drehen des in 15(a) dargestellten Zinsbildes im oder gegen den Uhrzeigersinn durchführt, können eine horizontale und eine vertikale Seite des in 15(b) dargestellten Zinsbildes so verändert werden, dass sie in horizontaler und vertikaler Richtung angeordnet sind.
Der Bildprozessor 235 kann das normierte und kalibrierte Interessenbild an den Künstliche-Intelligenz-Prozessor 210 liefern. Der Künstliche-Intelligenz-Prozessor 210 kann das vom Bildprozessor 235 gelieferte Interessenbild als Eingabedaten verwenden.
Der Künstliche-Intelligenz-Prozessor 210 kann elektrisch oder funktionell mit den anderen Blöcken des Fahrunterstützungs-Terminals 200 verbunden sein und kann die gesamte Steuerung des Fahrunterstützungs-Terminals 200 und den Signalfluss zwischen den internen Blöcken des Fahrunterstützungs-Terminals 200 steuern und die Daten verarbeiten.
Der Künstliche-Intelligenz-Prozessor 210 kann eine Verarbeitungseinheit für ein künstliches neuronales Netzwerk umfassen.
Ein künstliches neuronales Netz ist eine Modellierung des Funktionsprinzips biologischer Neuronen und der Beziehung zwischen den Neuronen und ist ein Informationsverarbeitungssystem, in dem eine Vielzahl von Neuronen, Knoten oder Verarbeitungselemente genannt, in Form einer Schichtstruktur miteinander verbunden sind. Ein künstliches neuronales Netz ist ein Modell, das für maschinelles Lernen verwendet wird, ein statistischer Lernalgorithmus, der von biologischen neuronalen Netzen (den zentralen Nervensystemen von Tieren, insbesondere des Gehirns) beim maschinellen Lernen und in der Kognitionswissenschaft inspiriert ist.
Konkret bezieht sich ein künstliches neuronales Netzwerk auf ein Gesamtmodell, das eine Problemlösungsfähigkeit aufweist, indem es die Stärke der synaptischen Bindung durch Lernen von künstlichen Neuronen (Knoten) verändert, die durch die Kombination von Synapsen ein Netzwerk bilden. Das neuronale Netzwerk kann eine Vielzahl von Schichten umfassen, und jede dieser Schichten kann eine Vielzahl von Neuronen enthalten. Ein künstliches neuronales Netzwerk kann auch Synapsen umfassen, die Neuronen verbinden.
Im Allgemeinen kann ein künstliches neuronales Netzwerk durch eine Aktivierungsfunktion definiert werden, die einen Ausgabewert aus den folgenden drei Faktoren erzeugt, nämlich einem Verbindungsmuster zwischen Neuronen verschiedener Schichten, einem Lernprozess zur Aktualisierung des Gewichts der Verbindung und einer gewichteten Summe der von der vorherigen Schicht erhaltenen Eingaben.
Ein künstliches neuronales Netz kann Netzmodelle wie ein tiefes neuronales Netz (DNN), ein rekurrierendes neuronales Netz (RNN), ein bidirektionales rekurrierendes tiefes neuronales Netz (BRDNN), ein mehrschichtiges Perzeptron (MLP) und ein konvolutionales neuronales Netz (CNN) umfassen, ist aber nicht darauf beschränkt.
Ein künstliches neuronales Netz wird nach der Anzahl der Schichten in einschichtige neuronale Netze und mehrschichtige neuronale Netze eingeteilt.
Ein künstliches neuronales Netz kann mit Hilfe von Trainingsdaten trainiert werden. Hier bezieht sich Lernen auf einen Prozess der Bestimmung von Parametern eines künstlichen neuronalen Netzes unter Verwendung von Trainingsdaten, um den Zweck der Klassifizierung, Regression oder Clusterung von Eingabedaten zu erreichen. Als repräsentatives Beispiel für Parameter von künstlichen neuronalen Netzen können Gewichte auf Synapsen oder Verzerrungen auf Neuronen angewendet werden.
Der Künstliche-Intelligenz-Prozessor 210 kann Eingabedaten und Trainingsdaten für die Modellausbildung erhalten.
Der Künstliche-Intelligenz-Prozessor 210 kann Eingabedaten, die vom Bildprozessor 205 bereitgestellt werden, auf ein trainiertes Modell anwenden, das in der Modellspeichereinheit 215 gespeichert ist, und kann Ausgabedaten ableiten.
In der Zwischenzeit kann der Künstliche-Intelligenz-Prozessor 210 wenigstens einen Block steuern, der in der Mobilvorrichtung 300 bereitgestellt wird, entsprechend den Eingangsdaten, die dem vom Bildprozessor 205 bereitgestellten Interessenbild entsprechen.
Als Beispiel, wie in dargestellt, kann, wenn ein Flimmerphänomen in dem interessierenden Bild enthalten ist, die Verschlusszeit der Kameraeinheit 330 durch die Steuerung 310 geändert werden, wodurch ein Flimmerphänomen, das in dem interessierenden Bild enthalten ist, wie in dargestellt, entfernt wird.
Als ein weiteres Beispiel, wie in dargestellt, kann, wenn die Bildschirmhelligkeit des interessierenden Bildes dunkel ist, ein Blendenwert der Kameraeinheit 330 durch die Steuerung 310 geändert werden, wodurch die Bildschirmhelligkeit des interessierenden Bildes entsprechend geändert wird, wie in dargestellt.
Der Lernprozessor 225 kann ein künstliches neuronales Netzwerk trainieren (oder lernen), das in der Modellspeichereinheit 215 gespeichert ist, unter Verwendung von Trainingsdaten, die vom Künstliche-Intelligenz-Prozessor 210 bereitgestellt werden.
Der Künstliche-Intelligenz-Prozessor 210 kann Trainingsdaten, die von der Kommunikationseinheit 320 der Mobilvorrichtung 300 zur Verfügung gestellt werden, an den Lernprozessor 225 übertragen. Die Kommunikationseinheit 320 kann Trainingsdaten von der Cloud 400 herunterladen. Wenn das Fahrunterstützungs-Terminal 200 über das zweite Verbindungsterminal (Type_C) mit der Mobilvorrichtung 300 verbunden ist, kann der Künstliche-Intelligenz-Prozessor 210 die Schulungsdaten über die Kommunikationseinheit 320 der Mobilvorrichtung 300 herunterladen. Das heißt, wenn das Fahrunterstützungs-Terminal 200 über das zweite Verbindungsterminal Type_C mit der Mobilvorrichtung 300 verbunden ist, können die Trainingsdaten aktualisiert werden.
Das Fahrunterstützungs-Terminal 200 kann über das zweite Verbindungsterminal (Type_C) direkt mit der Mobilvorrichtung 300 verbunden werden.
Der Künstliche-Intelligenz-Prozessor 210 kann Eingabedaten und Trainingsdaten vorverarbeiten und kann vorverarbeitete Eingabedaten und vorverarbeitete Trainingsdaten erzeugen. Die Vorverarbeitung von Eingabedaten, die vom Künstliche-Intelligenz-Prozessor 210 durchgeführt wird, kann sich beispielsweise darauf beziehen, ein Eingabemerkmal aus den Eingabedaten zu extrahieren.
Die Modellspeichereinheit 215 kann ein künstliches neuronales Netzwerk speichern. Das in der Modellspeichereinheit 215 gespeicherte künstliche neuronale Netz kann eine Vielzahl von verborgenen Schichten umfassen. Das künstliche neuronale Netz in der beispielhaften Ausführungsform ist jedoch nicht darauf beschränkt. Das künstliche neuronale Netz kann durch Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden. Wenn ein Teil oder die Gesamtheit des künstlichen neuronalen Netzes durch Software implementiert wird, können ein oder mehrere Befehlswörter, die das künstliche neuronale Netz konfigurieren, in einem Speicher gespeichert werden.
Das in der Modellspeichereinheit 215 gespeicherte künstliche neuronale Netz kann über den Lernprozessor 225 gelernt werden. Die Modellspeichereinheit 215 kann ein Modell speichern, das durch den Lernprozessor 225 trainiert oder gelernt wird. Wenn das Modell durch Lernen aktualisiert wird, kann die Modellspeichereinheit 215 das aktualisierte Modell speichern. Die Modellspeichereinheit 215 kann das gelernte Modell nach einem Lernzeitpunkt oder einem Lernfortschritt in eine Vielzahl von Versionen klassifizieren und die Modelle ggf. speichern.
Als Beispiel kann die Modellspeichereinheit 215 das in 11 dargestellte Zielerkennungsmodell 212c umfassen.
Das Zielerkennungsmodell 212c kann ein neuronales Netzwerksystem unter Verwendung gespeicherter Parameter verschiedener Schichten des neuronalen Netzwerksystems implementieren, wie beispielsweise zuvor durch tiefes Lernen trainierte Parameter, wie beispielsweise verlustbasierte Rückpropagation in Bezug auf das Training für ein Bild für einen bestimmten Zweck eines Beispielziels. Dementsprechend kann das Zielerkennungsmodell 212c durch Hochladen von Parametern aus einem Speicher Komponenten des NRU 212 verarbeiten, um das vorverarbeitete Interessenbild durch eine Vielzahl von neuronalen Netzwerkschichten zu analysieren, so dass das NRU 212 ein Ziel im Eingabebild erkennen kann. Als Beispiel kann das Zielerkennungsmodell 212c wiederholt ein neuronales Netzwerksystem implementieren, um das Ziel für jeden empfangenen Rahmen und/oder für eine Vielzahl von erkannten ROls des Eingangsbildes zu erkennen, und kann das Ziel mit sehr hoher Genauigkeit erkennen. Eine solche Vielzahl von neuronalen Netzwerksystemen kann für jedes System darauf trainiert werden, ein entsprechendes Ziel zu erkennen, und kann parallel ausgeführt werden, oder das neuronale Netzwerksystem kann so konfiguriert werden, dass es ein Eingangsbild klassifiziert und verschiedene trainierte Ziele erkennt. Das Ziel kann zum Beispiel Verkehrssignale, Fahrspuren, Zebrastreifen, Straßenschilder und dergleichen umfassen, so dass die neuronalen Netzwerksysteme oder jedes neuronale Netzwerksystem unter Verwendung verschiedener Trainingsbilder trainiert werden können, bis die neuronalen Netzwerksysteme oder jedes neuronale Netzwerksystem ein genaues Ziel innerhalb einer vorgegebenen Genauigkeit oder einer vorgegebenen Ungenauigkeit erkennt.
Zwischenzeitlich kann der Fahrunterstützungs-Informationsgenerator 212d in 11 durch den Künstliche-Intelligenz-Prozessor 210 implementiert werden.
Der Fahrunterstützungs-Informationsgenerator 212d kann ein Fahrprogramm oder Komponenten eines Fahrprogramms implementieren. Der Fahrunterstützungs-Informationsgenerator 212d kann beispielsweise ein Fahrassistenzprogramm und/oder ein autonomes Fahrprogramm eines Fahrprogramms implementieren, das aus dem Speicher in Bezug auf das im Zielerkennungsmodell 212c erkannte Ziel ausgelesen wird, und kann die für das erkannte Ziel spezifizierten Fahrunterstützungs-Informationen erzeugen, wie beispielsweise spezifiziert für den Ort des erkannten Ziels und die Beziehung zwischen dem erkannten Ziel und anderen Objekten.
Der Lernprozessor 225 kann ein künstliches neuronales Netz, das in der Modellspeichereinheit 215 gespeichert ist, unter Verwendung von Trainingsdaten trainieren (oder lernen).
Der Lernprozessor 225 kann vom Künstliche-Intelligenz-Prozessor 210 bereitgestellte Trainingsdaten erfassen und das in der Modellspeichereinheit 215 gespeicherte künstliche neuronale Netz erlernen. Beispielsweise kann der Lernprozessor 225 optimierte Modellparameter des künstlichen neuronalen Netzes bestimmen, indem er das künstliche neuronale Netz unter Verwendung verschiedener bekannter Lerntechniken wiederholt trainiert. Indem das künstliche neuronale Netz unter Verwendung von Trainingsdaten trainiert wird, kann ein künstliches neuronales Netz, dessen Parameter bestimmt werden, als Trainingsmodell oder als trainiertes Modell bezeichnet werden.
Die Kameras, Kameraeinheiten, Kameraeinheit 110, elektronische Steuereinheiten, Fahrzeugsteuereinheit 120, elektronische Steuereinheit 121, Karosseriesteuereinheit 122, Steuerungen, Kommunikations-Ports, Kommunikations-Port 140, Telematik-Steuereinheit 130, Datenverarbeitungsmodule, Vorprozessoren, Datenverarbeitungsmodul 150, Module, Terminals, Verwaltungsmodule, Fahrunterstützungs-Terminals, Fahrunterstützungs-Terminals 200, Mobilvorrichtungen, Mobilvorrichtungen 300, Mobiltelefone, Kommunikationsmodule, Kommunikationsmodul 230, Kommunikations-Terminals 240, 240a-d, Leistungsanschluss 250, Übertragungsspule 270, PMIC 260, Speichereinheit 220, Speicher, Speicher 221 und 222, Anschlüsse, neuromorphe Prozessoren, Prozessoren, NPUs, NPU 212, CPUs, CPU 211, Schnittstellen, Schnittstelle 213, Künstliche-Intelligenz-Prozessoren, Prozessor 210, und andere Geräte, Terminals, Module, Einheiten, Geräte und andere Komponenten, die hier in Bezug auf FIGS beschrieben werden. 1-12B sind Hardwarekomponenten und werden von diesen implementiert. Beispiele für Hardwarekomponenten, die gegebenenfalls zur Durchführung der in dieser Anwendung beschriebenen Operationen verwendet werden können, umfassen Steuerungen, Sensoren, Generatoren, Treiber, Speicher, Komparatoren, arithmetisch-logische Einheiten, Addierer, Subtrahierer, Multiplizierer, Dividierer, Integratoren und alle anderen elektronischen Komponenten, die zur Durchführung der in dieser Anwendung beschriebenen Operationen konfiguriert sind. In anderen Beispielen werden eine oder mehrere der Hardware-Komponenten, die die in dieser Anwendung beschriebenen Operationen ausführen, durch Computer-Hardware implementiert, beispielsweise durch einen oder mehrere Prozessoren oder Computer. Ein Prozessor oder Computer kann durch ein oder mehrere Verarbeitungselemente implementiert werden, beispielsweise durch eine Anordnung logischer Gatter, eine Steuerung und eine arithmetische Logikeinheit, einen digitalen Signalprozessor, einen Mikrocomputer, eine programmierbare logische Steuerung, eine feldprogrammierbare Gatteranordnung, eine programmierbare logische Anordnung, einen Mikroprozessor oder jedes andere Gerät oder jede andere Kombination von Geräten, das bzw. die so konfiguriert ist bzw. sind, dass es bzw. sie auf Befehle in einer definierten Weise reagiert und diese ausführt bzw. ausführen kann bzw. können, um ein gewünschtes Ergebnis zu erzielen. In einem Beispiel umfasst ein Prozessor oder Computer einen oder mehrere Speicher, in denen Befehle oder Software gespeichert sind, die vom Prozessor oder Computer ausgeführt werden, oder ist mit einem oder mehreren Speichern verbunden. Von einem Prozessor oder Computer implementierte Hardwarekomponenten können Anweisungen oder Software ausführen, wie beispielsweise ein Betriebssystem (OS) und eine oder mehrere Softwareanwendungen, die auf dem OS laufen, um die in dieser Anwendung beschriebenen Operationen auszuführen. Die Hardware-Komponenten können als Reaktion auf die Ausführung der Anweisungen oder Software auch auf Daten zugreifen, diese manipulieren, verarbeiten, erstellen und speichern. Der Einfachheit halber kann in der Beschreibung der in dieser Anwendung beschriebenen Beispiele der singuläre Begriff „Prozessor“ oder „Computer“ verwendet werden, aber in anderen Beispielen können mehrere Prozessoren oder Computer verwendet werden, oder ein Prozessor oder Computer kann mehrere Verarbeitungselemente oder mehrere Arten von Verarbeitungselementen oder beides umfassen. Zum Beispiel kann eine einzelne Hardwarekomponente oder zwei oder mehr Hardwarekomponenten durch einen einzelnen Prozessor oder zwei oder mehr Prozessoren oder einen Prozessor und eine Steuerung implementiert werden. Eine oder mehrere Hardwarekomponenten können von einem oder mehreren Prozessoren oder einem Prozessor und einer Steuerung implementiert werden, und eine oder mehrere andere Hardwarekomponenten können von einem oder mehreren anderen Prozessoren oder einem anderen Prozessor und einer anderen Steuerung implementiert werden. Ein oder mehrere Prozessoren oder ein Prozessor und eine Steuerung können eine einzelne Hardwarekomponente oder zwei oder mehrere Hardwarekomponenten implementieren. Eine Hardware-Komponente kann eine oder mehrere von verschiedenen Verarbeitungskonfigurationen aufweisen. Beispiele hierfür umfassen einen einzelnen Prozessor, unabhängige Prozessoren, Parallelprozessoren, SISD-Mehrfachverarbeitung (Single-Instruction Single-Data), SIMD-Mehrfachverarbeitung (Single-Instruction Multiple-Data), MISD-Mehrfachverarbeitung (Multiple-Instruction Single-Data) und MIMD-Mehrfachverarbeitung (Multiple-Instruction Multiple-Data).
Die in Bezug auf 1-11 dargestellten und diskutierten Verfahren, die die in dieser Anwendung beschriebenen Operationen ausführen, werden von Computer-Hardware ausgeführt, beispielsweise von einem oder mehreren Prozessoren oder Computern, die wie oben beschrieben implementiert sind und Anweisungen oder Software ausführen, um die in dieser Anwendung beschriebenen Operationen auszuführen, die von den Verfahren ausgeführt werden. Zum Beispiel kann eine einzelne Operation oder zwei oder mehr Operationen von einem einzelnen Prozessor oder zwei oder mehr Prozessoren oder einem Prozessor und einer Steuerung ausgeführt werden. Eine oder mehrere Operationen können von einem oder mehreren Auftragsverarbeitern oder einem Auftragsverarbeiter und einem für die Verarbeitung Verantwortlichen durchgeführt werden, und eine oder mehrere andere Operationen können von einem oder mehreren anderen Auftragsverarbeitern oder einem anderen Auftragsverarbeiter und einem anderen für die Verarbeitung Verantwortlichen durchgeführt werden. Ein oder mehrere Auftragsverarbeiter oder ein Auftragsverarbeiter und ein für die Verarbeitung Verantwortlicher können eine einzelne Operation oder zwei oder mehrere Operationen durchführen.
Anweisungen oder Software zur Steuerung von Computer-Hardware, beispielsweise eines oder mehrerer Prozessoren oder Computer, zur Implementierung der Hardware-Komponenten und zur Durchführung der oben beschriebenen Verfahren können als Computerprogramme, Codesegmente, Anweisungen oder eine Kombination davon geschrieben werden, um einzeln oder gemeinsam den einen oder die mehreren Prozessoren oder Computer so zu instruieren oder zu konfigurieren, dass sie als Maschine oder Spezialcomputer arbeiten, um die Operationen durchzuführen, die von den Hardware-Komponenten und den oben beschriebenen Verfahren durchgeführt werden. In einem Beispiel umfassen die Anweisungen oder die Software Maschinencode, der direkt von dem einen oder den mehreren Prozessoren oder Computern ausgeführt wird, wie beispielsweise Maschinencode, der von einem Compiler erzeugt wird. In einem anderen Beispiel umfassen die Anweisungen oder die Software übergeordneten Code, der von dem einen oder den mehreren Prozessoren oder Computern mit Hilfe eines Interpreters ausgeführt wird. Die Anweisungen oder die Software können mit einer beliebigen Programmiersprache auf Grundlage der in den Zeichnungen dargestellten Blockdiagramme und Flussdiagramme und der entsprechenden Beschreibungen in der Spezifikation geschrieben werden, die Algorithmen zur Ausführung der Operationen, die von den Hardwarekomponenten ausgeführt werden, und die oben beschriebenen Verfahren offenlegen.
Die Anweisungen oder die Software zur Steuerung der Computer-Hardware, beispielsweise eines oder mehrerer Prozessoren oder Computer, zur Implementierung der Hardware-Komponenten und zur Durchführung der oben beschriebenen Verfahren, sowie alle zugehörigen Daten, Dateien und Datenstrukturen können in oder auf einem oder mehreren nicht vorübergehenden computerlesbaren Speichermedien aufgezeichnet, gespeichert oder fixiert werden. Beispiele für ein nicht-transitorisches computerlesbares Speichermedium umfassen Nur-Lese-Speicher (ROM), programmierbaren Nur-Lese-Speicher mit wahlfreiem Zugriff (PROM), elektrisch löschbaren programmierbaren Nur-Lese-Speicher (EEPROM), Speicher mit wahlfreiem Zugriff (RAM), dynamischen Speicher mit wahlfreiem Zugriff (DRAM), statischen Speicher mit wahlfreiem Zugriff (SRAM), Flash-Speicher, nichtflüchtiger Speicher, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs, DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, als nicht limitierende Speicherbeispiele für Blue-Ray oder optische Platten, Festplattenlaufwerk (HDD), Solid-State-Laufwerk (SSD), Flash-Speicher, einen kartenartigen Speicher, wie beispielsweise eine Micro-Multimediakarte oder eine Karte (beispielsweise Secure Digital (SD) oder Extreme Digital (XD)), Magnetbänder, Disketten, magnetooptische Datenspeichergeräte, optische Datenspeichergeräte, Festplatten, Festkörperplatten und jedes andere Gerät, das zur Speicherung der Anweisungen oder der Software und aller zugehörigen Daten konfiguriert ist, Datendateien und Datenstrukturen in einer nicht vorübergehenden Weise und stellen die Anweisungen oder Software und alle zugehörigen Daten, Datendateien und Datenstrukturen einem oder mehreren Prozessoren oder Computern zur Verfügung, so dass der eine oder die mehreren Prozessoren oder Computer die Anweisungen ausführen können. In einem Beispiel werden die Anweisungen oder die Software und alle zugehörigen Daten, Datendateien und Datenstrukturen über netzwerkgekoppelte Computersysteme verteilt, so dass die Anweisungen und die Software und alle zugehörigen Daten, Datendateien und Datenstrukturen auf verteilte Weise von dem einen oder den mehreren Prozessoren oder Computern gespeichert, aufgerufen und ausgeführt werden.
Obwohl diese Offenbarung spezifische Beispiele umfasst, wird nach dem Verständnis der Offenbarung dieses Antrags deutlich, dass in diesen Beispielen verschiedene Änderungen in Form und Einzelheiten vorgenommen werden können, ohne vom Geist und Umfang der Ansprüche und ihrer Äquivalente abzuweichen. Die hier beschriebenen Beispiele sind nur in einem beschreibenden Sinne und nicht zum Zwecke der Einschränkung zu betrachten. Beschreibungen von Merkmalen oder Aspekten in jedem Beispiel sind so zu verstehen, dass sie auf ähnliche Merkmale oder Aspekte in anderen Beispielen anwendbar sind. Geeignete Ergebnisse können erzielt werden, wenn die beschriebenen Techniken in einer anderen Reihenfolge durchgeführt werden und/oder wenn Komponenten in einem beschriebenen System, einer beschriebenen Architektur, einem Gerät oder einer beschriebenen Schaltung auf andere Weise kombiniert und/oder durch andere Komponenten oder deren Äquivalente ersetzt oder ergänzt werden. Daher wird der Umfang der Offenbarung nicht durch die ausführliche Beschreibung, sondern durch die Ansprüche und ihre Äquivalente definiert, und alle Variationen innerhalb des Umfangs der Ansprüche und ihrer Äquivalente sind so zu verstehen, dass sie in der Offenbarung enthalten sind.

Claims

Fahrerassistenzsystem zum Zusammenarbeiten mit einem separaten Fahrzeug, umfassend ein Kamerasystem, das Bildinformationen von einer Peripherie des Fahrzeugs erzeugt, eine Fahrzeugsteuerung, die Fahrinformationen des Fahrzeugs erzeugt, und einen Kommunikations-Port, wobei das Fahrerassistenzsystem umfasst: ein Fahrunterstützungs-Terminal, das einen oder mehrere Prozessoren umfasst, die so konfiguriert sind, dass sie mit dem Kommunikations-Port verbunden werden können, um die Bildinformationen und/oder die Fahrinformationen unter Verwendung des Kommunikations-Ports zu erhalten, um wenigstens einen Teil eines Fahrprogramms des Fahrunterstützungs-Terminals auf Grundlage des Bildes und/oder der Fahrinformationen auszuführen, um das Fahrzeug in Bezug auf eine oder mehrere unterstützende Fahr- und/oder autonome Operationen des Fahrzeugs durch Steuersignale zu steuern, die vom Fahrunterstützungs-Terminal erzeugt und dem Fahrzeug zur Verfügung gestellt werden.
Fahrerassistenzsystem nach Anspruch 1, wobei das Fahrassistenzprogramm des Fahrunterstützungs-Terminals ein Fahrassistenzprogramm und/oder ein autonomes Fahrprogramm umfasst.
Fahrerassistenzsystem nach Anspruch 2, wobei die Fahrzeugsteuerung so konfiguriert ist, dass sie ein Fahrzeug-Fahrprogramm ausführt, das ein Fahrzeug-Fahrassistenzprogramm und/oder ein autonomes Fahrzeug-Fahrprogramm umfasst, das in einem Speicher des Fahrzeugs gespeichert ist, um das Fahrzeug zu steuern.
Fahrerassistenzsystem von Anspruch 3, wobei der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals des Weiteren konfiguriert sind, um zu bestimmen, welches des Fahrassistenzprogramms des Fahrprogramms des Fahrunterstützungs-Terminals und des Fahrzeug-Fahrassistenzprogramms des Fahrzeug-Fahrprogramms ein Fahrassistenzprogramm der höchsten ADAS-Stufe ist, und/oder zu bestimmen, welches des autonomen Fahrprogramms des Fahrunterstützungs-Terminals und des autonomen Fahrzeug-Fahrprogramms des Fahrzeug-Fahrprogramms ein autonomes Fahrassistenzprogramm der höchsten ADAS-Stufe ist, und konfiguriert ist, um das autonome Fahrassistenzprogramm der höchsten ADAS-Stufe und/oder das autonome Fahrprogramm der höchsten ADAS-Stufe auszuführen, um das Fahrzeug in Bezug auf die eine oder mehrere Fahrassistenz- und/oder autonome Operationen des Fahrzeugs zu steuern.
Fahrerassistenzsystem nach Anspruch 3, wobei der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals des Weiteren so konfiguriert sind, dass sie eine erste Bestimmung durchführen, welche Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals ein größeres Funktionalitätslevel aufweisen als entsprechende Funktionalitäten des Fahrzeug-Fahrprogramms, und eine zweite Bestimmung durchführen, welche Funktionalitäten des Fahrprogramms des Fahrunterstützungs-Terminals nicht durch das Fahrzeug-Fahrprogramm bereitgestellt werden, und/oder eine dritte Bestimmung durchzuführen, welche Funktionalitäten des Fahrzeug-Fahrprogramms nicht durch das Fahrprogramm des Fahrunterstützungs-Terminals bereitgestellt werden, und konfiguriert, um implementierte Fahrprogramm-Funktionalitäten durch das Fahrzeug zu steuern, indem selektiv, wie durch das Fahrunterstützungs-Terminal gesteuert, das Fahrprogramm des Fahrunterstützungs-Terminals und das Fahrzeug-Fahrprogramm basierend auf einer oder einer beliebigen Kombination der ersten Bestimmung, der zweiten Bestimmung und der dritten Bestimmung implementiert werden, um das Fahrzeug in Bezug auf das eine oder mehrere Fahrassistenzprogramme und/oder autonome Operationen durch das Fahrzeug zu steuern.
Fahrerassistenzsystem nach Anspruch 2, wobei für die Erzeugung der Steuersignalisierung das Fahrassistenzprogramm so konfiguriert ist, dass es Fahrunterstützungs-Steuersignalisierung und Fahrunterstützungs-Information erzeugt, wobei die Fahrunterstützungs-Steuersignalisierung signalisiert, dass es einen unterstützenden Fahrvorgang des Fahrzeugs unterstützt, um die Fahrunterstützungs-Information anzuzeigen.
Fahrerassistenzsystem nach Anspruch 6, bei dem die Fahrinformation des Fahrzeugs Informationen umfasst, die den Fahrer anweisen, wenigstens einen der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs zu steuern.
Fahrerassistenzsystem nach Anspruch 7, wobei die Anweisung des Fahrers die Warnung vor Hinderniserkennung und/oder die Anweisung des Fahrers, eine entsprechende Hindernisvermeidungslenkung und/oder -bremsung durchzuführen, die Bereitstellung einer Heckkollisionswarnung und/oder die Anweisung des Fahrers, eine entsprechende Heckkollisionsvermeidungsbremsung durchzuführen, die Bereitstellung einer Spurverlassenswarnung, die Anweisung des Fahrers, eine entsprechende Spurverlassensbeseitigung oder eine Erhaltungslenkung durchzuführen, und/oder die Anweisung des Fahrers zu vorgeschlagenen Spurwechseln, die durch das Fahrprogramm bestimmt werden, umfasst.
Fahrerassistenzsystem nach Anspruch 2, wobei für die Erzeugung der Steuersignalisierung das Fahrassistenzprogramm so konfiguriert ist, dass es Fahrerassistenz-Steuersignalisierung erzeugt, wobei die Fahrerassistenz-Steuersignalisierung signalisiert, einen unterstützenden Fahrvorgang des Fahrzeugs zu steuern, um wenigstens einen von Lenk-, Brems- und Beschleunigungsvorgängen des Fahrzeugs unterstützend zu steuern.
Fahrerassistenzsystem nach Anspruch 9, wobei die Signalisierung zur Steuerung des assistierenden Fahrbetriebs des Fahrzeugs zur assistierenden Steuerung wenigstens einen Lenk-, Brems- und/oder Beschleunigungsvorgang des Fahrzeugs umfasst, einschließlich die Steuerung von wenigstens einem von Lenk-, Brems- und/oder Beschleunigungsvorgang des Fahrzeugs zur detektierten hindernisunterstützenden Umgehung, detektierten rückwärtigen Kollisions-unterstützenden Umgehung, vorhergesagten und/oder detektierten Spurverlassens-unterstützenden Verhinderung oder Abhilfe und/oder assistierenden Fahrspurwechsel umfasst, die durch das Fahrassistenzprogramm bestimmt werden.
Fahrerassistenzsystem nach Anspruch 10, wobei die Fahrunterstützungs-Steuersignalisierung signalisiert, den unterstützenden Fahrbetrieb des Fahrzeugs zu steuern, um Fahrunterstützungs-Informationen anzuzeigen, die durch das Fahrassistenzprogramm erzeugt werden und Informationen bezüglich wenigstens eines der unterstützend gesteuerten Lenk-, Brems- und Beschleunigungsvorgänge des Fahrzeugs anzeigen.
Fahrerassistenzsystem nach Anspruch 2, wobei das autonome Fahrassistenzprogramm so konfiguriert ist, dass es eine Fahrsteuerungssignalisierung erzeugt, wobei die Fahrsteuerungssignalisierung signalisiert, einen autonomen Fahrbetrieb des Fahrzeugs zu steuern, um wenigstens einen Lenk-, Brems- und/oder Beschleunigungs-Vorgang des Fahrzeugs ohne assistierende Steuerung durch den Fahrer zu steuern.
Fahrerassistenzsystem nach Anspruch 12, wobei die Erzeugung der Fahrkontrollsignalisierung die Durchführung einer oder einer beliebigen Kombination von zwei oder mehreren Vorhersagen für ein verdecktes Objekt, eine Spurwechselbestimmung, eine Fußgängererkennung, eine Straßenwechselerkennung und eine Verkehrszeichenerkennung sowie die Erzeugung der Fahrkontrollsignalisierung auf Grundlage der Ergebnisse der Durchführung umfasst.
Fahrerassistenzsystem nach Anspruch 13, wobei der eine oder die mehreren Prozessoren des Fahrunterstützungs-Terminals einen oder mehrere Künstliche-Intelligenz-Prozessoren umfassen, die so konfiguriert sind, dass sie aus einem zusammengesetzten Speicher des Fahrerassistenzsystems ein oder mehrere Künstliche-Intelligenz-Modelle laden und das eine oder die mehreren Künstliche-Intelligenz-Modelle implementieren, um eine beliebige oder eine beliebige Kombination von zwei oder mehreren der folgenden Funktionen auszuführen: Vorhersage des verdeckten Objekts, Bestimmung des Fahrspurwechsels, Fußgängererkennung, Erkennung des Straßenwechsels und Erkennung von Straßenschildern und Erzeugung der Fahrsteuerungssignalisierung auf Grundlage der Ergebnisse der Leistung.
Fahrerassistenzsystem nach Anspruch 14, wobei der eine oder die mehreren Künstliche-Intelligenz-Prozessoren einen oder mehrere neuromorphe Prozessoren umfassen und das eine oder die mehreren Künstliche-Intelligenz-Modelle jeweils Neuro-Netzwerk-Modelle sind.
Fahrerassistenzsystem nach Anspruch 1, wobei der eine oder die mehreren Prozessoren so konfiguriert sind, dass sie eine Nachbearbeitung der erhaltenen Bildinformationen und/oder anderer Bildinformationen durchführen, die durch das Modell des Fahrunterstützungs-Terminals erhalten wurden, und der eine oder die mehreren Prozessoren einen oder mehrere Künstliche-Intelligenz-Prozessoren umfassen, wobei die Ausführung zumindest des Teils des Fahrprogramms die Ausführung eines oder mehrerer neuronaler Netzmodelle umfasst, vorausgesetzt, dass die erhaltenen Bildinformationen und/oder die nachbearbeiteten anderen Bildinformationen nachbearbeitet wurden.
Fahrerassistenzsystem nach Anspruch 1, wobei der eine oder die mehreren Prozessoren so konfiguriert sind, dass sie eine Nachbearbeitung der erhaltenen Bildinformationen und/oder anderer Bildinformationen durchführen, die durch das Modell des Fahrunterstützungs-Terminals erhalten wurden, und der eine oder die mehreren Prozessoren einen oder mehrere Künstliche-Intelligenz-Prozessoren umfassen, wobei der eine oder die mehreren Prozessoren so konfiguriert sind, dass sie ein Navigationsprogramm unter Verwendung der nachbearbeiteten erhaltenen Bildinformationen und/oder der nachbearbeiteten anderen Bildinformationen implementieren, indem sie ein oder mehrere neuronale Netzwerkmodelle unter Verwendung des einen oder der mehreren Künstliche-Intelligenz-Prozessoren ausführen, die die nachbearbeiteten erhaltenen Bildinformationen und/oder die nachbearbeiteten anderen Bildinformationen bereitstellen.
Fahrerassistenzsystem nach Anspruch 1, wobei der eine oder die mehreren Prozessoren so konfiguriert sind, dass sie mit dem Kommunikations-Port verbunden werden, um die Fahrinformationen zu erhalten, und so konfiguriert sind, dass sie andere Bildinformationen von einer anderen, vom Fahrzeug getrennten Kamera in Kommunikation mit dem Fahrunterstützungs-Terminal erhalten und zumindest den Teil des Fahrprogramms ausführen, der auf den erhaltenen Tauchinformationen und den anderen Bildinformationen basiert.
Fahrerassistenzsystem nach Anspruch 18, wobei der eine oder die mehreren Prozessoren konfiguriert sind, um aus den anderen Bildinformationen ein Bild einer Peripherie des Fahrzeugs zu erzeugen, und konfiguriert sind, um das Bild der Peripherie des Fahrzeugs dem Fahrzeug zur Anzeige durch das Fahrzeug zur Verfügung zu stellen.
Fahrerassistenzsystem nach Anspruch 1, wobei das Fahrunterstützungs-Terminal ein OBD-Anschlussterminal umfasst und das Fahrunterstützungs-Terminal über das OBD-Anschlussterminal mit dem Kommunikations-Port verbunden ist.
Fahrerassistenzsystem nach Anspruch 1, wobei die Bildinformationen von dem Fahrzeug und/oder andere Bildinformationen von einer von dem Fahrzeug getrennten Kamera erhalten werden und des Weiteren der eine oder die mehreren Prozessoren so konfiguriert sind, dass sie wenigstens ein Navigationsprogramm unter Verwendung der Bildinformationen und/oder der anderen Bildinformationen und/oder der Fahrinformationen implementieren.
Fahrerassistenzsystem nach Anspruch 21, wobei das Fahrunterstützungs-Terminal unter Verwendung einer USB-Terminalverbindung vom Typ C mit dem Kommunikations-Port verbunden ist.
Fahrerassistenzsystem nach Anspruch 2, wobei das Fahrunterstützungs-Terminal umfasst: einen Speicher, der das Fahrassistenzprogramm und das autonome Fahrprogramm speichert; und der eine oder die mehreren Prozessoren eine neuronale Verarbeitungseinheit umfassen, die die Fahrunterstützungs-Informationen durch die Ausführung zumindest des Teils des Fahrprogramms erzeugt.
Fahrerassistenzsystem nach Anspruch 23, wobei die neuronale Verarbeitungseinheit umfasst: einen Bildeingabeempfänger, in den ein von dem Kamerasystem erhaltenes Bild eingegeben wird; einen Bildvorprozessor, der so konfiguriert ist, dass er einen interessierenden Bildbereich aus dem in den Bildeingabeempfänger eingegebenen Bild extrahiert; ein Zielerkennungsmodell für ein neuronales Netzwerk, das implementiert ist, um ein Ziel in dem interessierenden Bild zu erkennen; und einen Fahrunterstützungs-Informationsgenerator, der so konfiguriert ist, dass er zumindest einen Teil des Fahrassistenzprogramms und/oder des autonomen Fahrprogramms in Bezug auf das erkannte Ziel ausführt.
Fahrassistenzverfahren zum Zusammenarbeiten mit einem Fahrzeug, das ein Kamerasystem, das Bildinformationen einer Peripherie des Fahrzeugs erzeugt, eine Fahrzeugsteuerung, die Fahrinformationen des Fahrzeugs erzeugt, und einen Kommunikations-Port umfasst, wobei das Fahrassistenzverfahren umfasst: Verbinden, durch eine vom Fahrzeug separate Vorrichtung, mit dem Kommunikations-Port, um die Bildinformation und/oder die Fahrinformation über den Kommunikations-Port zu erhalten; Ausführen, durch die Vorrichtung, wenigstens eines Teils eines Geräteantriebsprogramms, umfassend ein Fahrassistenzprogramm und/oder ein autonomes Fahrprogramm eines Fahrunterstützungs-Terminals bzw. einer Mobilvorrichtung als die Vorrichtung, basierend auf den Bildinformationen und/oder den Fahrinformationen, und um das Fahrzeug in Bezug auf eine oder mehrere unterstützende Fahr- und/oder autonome Operationen durch das Fahrzeug durch Steuersignalisierung zu steuern, die durch das Fahrunterstützungs-Terminal oder die Mobilvorrichtung erzeugt wird; und Bereitstellen der erzeugten Steuersignale an das Fahrzeug zur Steuerung des Fahrzeugs in Bezug auf eine oder mehrere Hilfsfahr- und/oder autonome Operationen durch das Fahrzeug.
Verfahren nach Anspruch 25, das des Weiteren umfasst: Bestimmen, welches des Fahrassistenzprogramms des Geräteantriebsprogramms und jedes Fahrzeug-Fahrassistenzprogramms eines Antriebsprogramms, das so konfiguriert ist, dass es durch das Fahrzeug implementiert wird, bei der Erzeugung der Steuersignalisierung durch das Fahrunterstützungs-Terminal oder die Mobilvorrichtung zu implementieren ist, und/oder Bestimmen, welches des autonomen Antriebsprogramms des Geräteantriebsprogramms und jedes Fahrzeug-Autonomieantriebsprogramms des Antriebsprogramms, das so konfiguriert ist, dass es durch das Fahrzeug implementiert wird, bei der Erzeugung der Steuersignalisierung durch das Fahrunterstützungs-Terminal oder die Mobilvorrichtung zu implementieren ist.
Verfahren nach Anspruch 25, des Weiteren umfassend: Bestimmen, welche jeweiligen Funktionalitäten des Geräteantriebsprogramms und jedes Fahrzeugantriebsprogramms, das konfiguriert ist, um durch das Fahrzeug implementiert zu werden, zur Erzeugung der Steuersignalisierung durch das Fahrunterstützungs-Terminal oder die Mobilvorrichtung zu implementieren.
Fahrerassistenzsystem zur Zusammenarbeit mit einem separaten Fahrzeug, umfassend ein Kamerasystem, das Bildinformationen einer Peripherie des Fahrzeugs erzeugt, eine Fahrzeugsteuerung, die Fahrinformationen des Fahrzeugs erzeugt, und einen Kommunikations-Port, wobei das Fahrerassistenzsystem umfasst: ein Smartphone mit einem oder mehreren Prozessoren, die so konfiguriert sind, dass sie wenigstens einen Teil eines Fahrassistenzprogramms für Mobilvorrichtungen ausführen, das ein Fahrassistenzprogramm für Mobilvorrichtungen und/oder ein autonomes Fahrprogramm für Mobilvorrichtungen umfasst und in einem Speicher des Smartphones gespeichert ist, basierend auf den Bildinformationen und/oder den Fahrinformationen, und dass sie das Fahrzeug in Bezug auf eine oder mehrere Fahrassistenz- und/oder autonome Operationen des Fahrzeugs durch Steuersignale steuern, die von dem Smartphone erzeugt und dem Fahrzeug bereitgestellt werden.
Fahrerassistenzsystem nach Anspruch 28, wobei die Fahrzeugsteuerung so konfiguriert ist, dass sie ein Fahrzeug-Fahrprogramm ausführt, das ein Fahrassistenzprogramm und/oder ein autonomes Fahrzeug-Fahrprogramm umfasst, das in einem Speicher des Fahrzeugs gespeichert ist, um das Fahrzeug zu steuern.
Fahrerassistenzsystem nach Anspruch 29, wobei der eine oder die mehreren Prozessoren des Smartphones des Weiteren so konfiguriert sind, dass sie bestimmen, welches des Fahrassistenzprogramms der Mobilvorrichtung und des Fahrzeug-Fahrassistenzprogramms ein autonomes Fahrassistenzprogramm der höchsten ADAS-Stufe ist, und/oder bestimmen, welches des autonomen Fahrassistenzprogramms der Mobilvorrichtung und des autonomen Fahrprogramms des Fahrzeugs ein autonomes Fahrprogramm der höchsten ADAS-Stufe ist, und so konfiguriert sind, dass sie das bestimmte autonome Fahrassistenzprogramm der höchsten ADAS-Stufe und/oder das bestimmte autonome Fahrprogramm der höchsten ADAS-Stufe ausführen, um das Fahrzeug in Bezug auf das eine oder die mehreren Fahrassistenzprogramme und/oder autonomen Operationen des Fahrzeugs zu steuern.
Fahrerassistenzsystem nach Anspruch 29, wobei der eine oder die mehreren Prozessoren des Smartphones des Weiteren so konfiguriert sind, dass sie eine erste Bestimmung durchführen, welche Funktionalitäten des Geräteantriebsprogramms der Mobilvorrichtung ein höheres Funktionalitätslevel aufweisen als entsprechende Funktionalitäten des Fahrzeugantriebsprogramms, und eine zweite Bestimmung durchführen, welche Funktionalitäten des Geräteantriebsprogramms der Mobilvorrichtung nicht durch das Fahrzeugantriebsprogramm bereitgestellt werden, und/oder eine dritte Bestimmung durchzuführen, welche Funktionalitäten des Fahrzeugfahrprogramms nicht durch das Fahrassistenzprogramm der Mobilvorrichtung bereitgestellt werden, und konfiguriert, um implementierte Fahrprogrammfunktionalitäten durch das Fahrzeug zu steuern, indem selektiv, wie durch das Smartphone gesteuert, das Fahrprogramm der Mobilvorrichtung und/oder das Fahrzeugfahrprogramm basierend auf einer oder einer beliebigen Kombination der ersten Bestimmung, der zweiten Bestimmung und der dritten Bestimmung implementiert wird, um das Fahrzeug in Bezug auf das eine oder mehrere Fahrassistenzprogramme und/oder autonome Operationen durch das Fahrzeug zu steuern.
Fahrerassistenzsystem nach Anspruch 28, wobei zur Erzeugung der Steuersignalisierung das Fahrassistenzprogramm der Mobilvorrichtung so konfiguriert ist, dass es Fahrunterstützungs-Informationen zur Steuerung eines unterstützenden Fahrbetriebs des Fahrzeugs erzeugt, um die Fahrunterstützungs-Informationen anzuzeigen.
Fahrerassistenzsystem nach Anspruch 32, wobei die Fahrunterstützungsinformationen des Fahrzeugs Informationen umfassen, die den Fahrer anweisen, wenigstens einen der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs zu steuern.
Fahrerassistenzsystem nach Anspruch 33, wobei das Anweisen des Fahrers eine Warnung vor Hinderniserkennung und/oder das Anweisen des Fahrers, eine entsprechende Hindernisvermeidungslenkung und/oder -bremsung durchzuführen, das Bereitstellen einer Heckkollisionswarnung, das Anweisen des Fahrers, eine entsprechende Heckkollisionsvermeidungsbremsung durchzuführen, das Bereitstellen einer Spurverlassenswarnung, das Anweisen des Fahrers, eine entsprechende Spurverlassensbeseitigung oder eine Erhaltungslenkung durchzuführen, und/oder das Anweisen des Fahrers zu vorgeschlagenen Spurwechseln, die durch das Geräteantriebsprogramm bestimmt werden, umfasst.
Fahrerassistenzsystem nach Anspruch 28, wobei für die Erzeugung der Steuersignalisierung durch das Smartphone das Fahrassistenzprogramm für Mobilvorrichtungen so konfiguriert ist, dass es eine Steuersignalisierung zur Fahrassistenz erzeugt, wobei die Steuersignalisierung zur Fahrassistenz signalisiert, dass sie einen assistierenden Fahrvorgang des Fahrzeugs steuert, um wenigstens einen der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs assistierend zu steuern.
Fahrerassistenzsystem nach Anspruch 35, wobei die Steuersignalisierung zur Steuerung des assistierenden Fahrbetriebs des Fahrzeugs zur Steuerung von wenigstens einem der Lenk-, Brems- und Beschleunigungsvorgänge des Fahrzeugs die assistierende Steuerung von wenigstens einem der Lenk-, Brems- und Beschleunigungsvorgänge des Fahrzeugs zur detektierten hindernisunterstützenden Umgehung, detektierten rückwärtigen Kollisionsvermeidung, vorhergesagten und/oder detektierten Spurverlassenshilfe oder -behebung und/oder assistierenden Fahrspurwechsel umfasst, die durch das Antriebsprogramm der Mobilvorrichtung bestimmt werden.
Fahrerassistenzsystem nach Anspruch 36, wobei die Fahrunterstützungs-Steuersignalisierung die Steuerung des unterstützenden Fahrbetriebs des Fahrzeugs signalisiert, um Fahrunterstützungs-Informationen anzuzeigen, die durch das Fahrassistenzprogramm der Mobilvorrichtung erzeugt werden und Informationen bezüglich wenigstens eines der unterstützend gesteuerten Lenk-, Brems- und Beschleunigungsvorgänge des Fahrzeugs anzeigen.
Fahrerassistenzsystem nach Anspruch 28, wobei für die Erzeugung der Steuersignalisierung durch das Smartphone das autonome Fahrassistenzprogramm der Mobilvorrichtung so konfiguriert ist, dass es eine Steuersignalisierung erzeugt, wobei die Steuersignalisierung die Steuerung eines autonomen Fahrbetriebs des Fahrzeugs signalisiert, um wenigstens einen der Vorgänge Lenken, Bremsen und Beschleunigen des Fahrzeugs ohne assistierende Steuerung durch den Fahrer zu steuern.
Fahrerassistenzsystem nach Anspruch 38, wobei die Erzeugung der Steuersignalisierung die Durchführung einer oder einer beliebigen Kombination von zwei oder mehreren Vorhersagen über verdeckte Objekte, eine Spurwechselbestimmung, eine Fußgängererkennung, eine Straßenwechselerkennung und eine Verkehrszeichenerkennung sowie die Erzeugung der Steuersignalisierung auf Grundlage der Ergebnisse der Durchführung umfasst.
Fahrerassistenzsystem nach Anspruch 39, wobei der eine oder die mehreren Prozessoren des Smartphones einen oder mehrere Künstliche-Intelligenz-Prozessoren umfassen, die so konfiguriert sind, dass sie aus dem Speicher des Smartphones ein oder mehrere Künstliche-Intelligenz-Modelle laden und das eine oder die mehreren Künstliche-Intelligenz-Modelle implementieren, um eine beliebige oder eine beliebige Kombination von zwei oder mehreren der folgenden Funktionen auszuführen: Vorhersage des verdeckten Objekts, Bestimmung des Fahrspurwechsels, Fußgängererkennung, Erkennung des Straßenwechsels, Erkennung von Verkehrszeichen und Erzeugung der Steuersignalisierung auf Grundlage der Ergebnisse der Leistung.
Fahrerassistenzsystem nach Anspruch 40, wobei der eine oder die mehreren Künstliche-Intelligenz-Prozessoren einen oder mehrere neuromorphe Prozessoren umfassen und das eine oder die mehreren Künstliche-Intelligenz-Modelle jeweils Neuro-Netzwerk-Modelle sind.
Fahrerassistenzsystem nach Anspruch 28, wobei der eine oder die mehreren Prozessoren so konfiguriert sind, dass sie eine Verbindung mit dem Kommunikations-Port herstellen, um die Fahrinformationen zu erhalten, und andere Bildinformationen von wenigstens einer Kamera erhalten, die von dem Fahrzeug getrennt ist und mit dem Smartphone kommuniziert, und so konfiguriert sind, dass sie wenigstens den Teil des Geräteantriebsprogramms der Mobilvorrichtung ausführen, der wenigstens auf den erhaltenen Fahrinformationen und den anderen Bildinformationen basiert.
Fahrerassistenzsystem nach Anspruch 42, wobei die wenigstens eine Kamera eine Kamera umfasst, die in dem Smartphone enthalten ist.
Fahrerassistenzsystem nach Anspruch 28, wobei der eine oder die mehreren Prozessoren so konfiguriert sind, dass sie aus den anderen Bildinformationen ein Bild einer Peripherie des Fahrzeugs erzeugen, und so konfiguriert sind, dass sie das erzeugte Bild dem Fahrzeug zur Anzeige durch das Fahrzeug zur Verfügung stellen.
Fahrerassistenzsystem zur Verbindung mit einem individuellen Fahrzeug, wobei das Fahrerassistenzsystem umfasst: eine Mobilvorrichtung, die eine Kameraeinheit und eine Steuerung zur Steuerung eines Betriebs der Kameraeinheit umfasst; und ein Fahrunterstützungs-Terminal, das mit der Mobilvorrichtung verbunden ist und Fahrunterstützungs-Informationen, die ein Fahrassistenzprogramm und/oder ein autonomes Fahrprogramm umfassen, an die Mobilvorrichtung liefert, wobei das Fahrunterstützungs-Terminal einen Bildprozessor zum Vorverarbeiten eines von der Kameraeinheit bereitgestellten Bildes und zum Erzeugen eines Interessenbildes und einen Künstliche-Intelligenz-Prozessor zum Erzeugen der Fahrunterstützungs-Information auf Grundlage des vom Bildprozessor bereitgestellten Interessenbildes umfasst.
Fahrerassistenzsystem nach Anspruch 45, wobei der Bildprozessor einen Helligkeitswert des von der Kameraeinheit gelieferten Bildes einstellt.
Fahrerassistenzsystem nach Anspruch 45, wobei der Bildprozessor ein von der Kamera geliefertes Bild dreht.
Fahrerassistenzsystem nach Anspruch 45, wobei der Künstliche-Intelligenz-Prozessor die Kameraeinheit durch die Steuerung entsprechend dem interessierenden Bild steuert.
Fahrerassistenzsystem nach Anspruch 48, wobei der Künstliche-Intelligenz-Prozessor eine Verschlusszeit der Kameraeinheit entsprechend dem interessierenden Bild ändert.
Fahrerassistenzsystem nach Anspruch 48, wobei der Künstliche-Intelligenz-Prozessor einen Blendenwert der Kameraeinheit entsprechend dem interessierenden Bild ändert.
Fahrerassistenzsystem nach Anspruch 45, wobei das Fahrunterstützungs-Terminal des Weiteren umfasst: eine Modellspeichereinheit zum Speichern eines künstlichen neuronalen Netzes; und einen Lernprozessor zum Trainieren des künstlichen neuronalen Netzes gemäß den vom Künstliche-Intelligenz-Prozessor gelieferten Trainingsdaten.
Fahrerassistenzsystem nach Anspruch 51, wobei der Künstliche-Intelligenz-Prozessor die Trainingsdaten über eine Kommunikationseinheit der Mobilvorrichtung herunterlädt.
Fahrerassistenzsystem nach Anspruch 45, wobei die Mobilvorrichtung des Weiteren umfasst: eine Stromversorgungseinheit zur Stromversorgung; und einem Netzschalter zur Bereitstellung von Strom, der von der Stromversorgungseinheit an den Fahrunterstützungs-Terminal geliefert wird.
Fahrerassistenzsystem nach Anspruch 53, wobei der Netzschalter dem Fahrunterstützungs-Terminal Strom zuführt, wenn das Fahrunterstützungs-Terminal mit der Mobilvorrichtung verbunden ist, und der Netzschalter die Zufuhr von Strom zum Fahrunterstützungs-Terminal blockiert, wenn das Fahrunterstützungs-Terminal und die Mobilvorrichtung voneinander getrennt sind.
Fahrerassistenzsystem nach Anspruch 53, wobei das Fahrunterstützungs-Terminal des Weiteren ein Energieverwaltungsmodul zum Einstellen einer Spannung der von der Mobilvorrichtung bereitgestellten Leistung umfasst.