DE102019125707A1

DE102019125707A1 - Verfahren und Vorrichtung zur computerunterstützten oder autonomen Fahr-Verkehrsschilderkennung

Info

Publication number: DE102019125707A1
Application number: DE102019125707.7A
Authority: DE
Inventors: Oleg POGORELIK
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2018-10-25
Filing date: 2019-09-24
Publication date: 2020-04-30
Also published as: US11900663B2; US11106925B2; CN111104842A; US20220058405A1; US20190065871A1

Abstract

Es werden hier Vorrichtungen, Verfahren und ein Speicherungsmedium in Verbindung mit Verkehrsschilderkennung offenbart. Bei einigen Ausführungsformen umfasst eine Vorrichtung einen in einem CA/AD-Fahrzeug angeordneten Orchestrierer zum Empfangen einer Klassifikation und eines Orts eines Verkehrsschildes, während sich das CA/AD-Fahrzeug auf einem Weg zu einem Ziel befindet. Als Reaktion fragt der Orchestrierer einen Fern-Schildlokalisiererdienst oder eine lokale Datenbank in dem CA/AD-Fahrzeug nach einer Referenzbeschreibung des Verkehrsschildes ab, bestimmt, ob die Klassifikation korrekt ist und gibt ein Ergebnis der Bestimmung aus. Die Klassifikation des Verkehrsschildes wird mindestens teilweise auf der Basis von Computervision erzeugt und der Orchestrierer umfasst einen Anomaliedetektor zum Detektieren von Anomalien zwischen der Klassifikation und der Referenzbeschreibung und Bestimmen, ob die Klassifikation korrekt ist, mindestens teilweise auf der Basis einer Menge an detektierten Anomalien. Außerdem werden andere Ausführungsformen beschrieben und beansprucht.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft das Gebiet des computerunterstützten oder autonomen Fahrens (CA/AD). Insbesondere betrifft die vorliegende Offenbarung ein Verfahren und eine Vorrichtung zur Verkehrsschilderkennung mit kontradiktorischer Belastbarkeit.
Hintergrund
Die hier gegebene Hintergrundbeschreibung dient dem Zwecke des allgemeinen Präsentierens des Kontexts der Offenbarung. Sofern es hier nicht anders angegeben wird, sind die in diesem Abschnitt beschriebenen Materialien bezüglich der Ansprüche in der vorliegenden Anmeldung nicht Stand der Technik und werden durch Aufnahme in diesen Abschnitt nicht als Stand der Technik zugelassen.
Mit den Fortschritten bei integrierten Schaltungen, Sensoren, Datenverarbeitungs- und verwandten Technologien erhalten zunehmend mehr und mehr Operationen eines Fahrzeugs Computerunterstützung, vom Einparken bis zum Spurwechsel und so weiter. Es wird erwartet, dass den Durchschnittsverbrauchern sehr bald voll autonom fahrende Fahrzeug zur Verfügung gestellt werden. Die meisten der aktuellen Fahrzeuge mit computerunterstütztem oder autonomem Fahren (CA/AD) verwenden Objektdetektoren auf der Basis tiefer neuronaler Netze (DNN) zur Erkennung von Verkehrsschildern. Studien zeigen, dass DNN gegenüber kontradiktorischen Modifikationen, die sich aus absichtlichen böswilligen Modifikationen sowie Störungen geringer Größe, z. B. aus Schmutz an den Verkehrsschildern, ergeben, anfällig sind. Folglich könnten kontradiktorische Modifikationen von Verkehrsschildern Verkehrsschild-Erkennungssysteme in die Irre führen und gefährliche Situationen verursachen.
Die Methode zum Umgang mit kontradiktorischer Modifikation von Verkehrsschildern basiert heutzutage auf ordnungsgemäßer Wartung und/oder gelegentlichen Einsatzberichten, die von den Fahrern kommen. Kontrollierte Prüfprozeduren sind jedoch kostspielig und nicht so häufig. Meldungen, die von der Öffentlichkeit kommen, sind sporadisch und unzuverlässig. Ferner können Menschen nur prüfen, ob die Verkehrsschilder für die menschlichen Fahrer lesbar sind. Kontradiktorische Schildstörungen werden mit Rücksicht auf Personen erzeugt, sehen gutartig aus und werden von Menschen oft kaum erkannt. Menschliche Experten sind nicht in der Lage, sich „vorzustellen“, was die Verkehrsschild-Erkennungssysteme „denken“ werden, wenn sie böswillig modifizierte Verkehrsschilder betrachten.
Figurenliste
Ausführungsformen werden durch die folgende ausführliche Beschreibung in Verbindung mit den beigefügten Zeichnungen ohne weiteres verständlich. Um diese Beschreibung zu erleichtern, kennzeichnen gleiche Bezugszahlen gleiche Strukturelemente. In den Figuren der beigefügten Zeichnungen werden Ausführungsformen über Beispiele und nicht zur Beschränkung dargestellt.

1 zeigt eine Übersicht über eine Umgebung zum Integrieren und Verwenden der Verkehrsschilderkennung mit Technologie der kontradiktorischen Belastbarkeit der vorliegenden Offenbarung gemäß verschiedenen Ausführungsformen.
2 zeigt eine Übersicht der Verkehrsschilderkennung mit der Technologie der kontradiktorischen Belastbarkeit ausführlicher gemäß verschiedenen Ausführungsformen.
3 zeigt eine andere Übersicht über die Verkehrsschilderkennung mit Technologie der kontradiktorischen Belastbarkeit mit weiteren Einzelheiten gemäß verschiedenen Ausführungsformen.
4 zeigt eine Komponentenansicht des Verkehrsschild-Subsystems mit kontradiktorischer Belastbarkeit gemäß verschiedenen Ausführungsformen.
5 zeigt eine beispielhafte Verkehrsschilderkennung mit einem Prozess der kontradiktorischen Belastbarkeit gemäß verschiedenen Ausführungsformen.
6 zeigt eine beispielhafte Verkehrsschilddatenbank gemäß verschiedenen Ausführungsformen.
7 zeigt eine beispielhafte anfängliche Meldung und eine mit Benutzereingaben ergänzte beispielhafte Meldung gemäß verschiedenen Ausführungsformen.
8 zeigt eine beispielhafte Endbenutzeroberfläche zur Interaktion mit einem Benutzer gemäß verschiedenen Ausführungsformen.
9 zeigt ein beispielhaftes neuronales Netz, das für Verwendung mit der vorliegenden Offenbarung geeignet ist, gemäß verschiedenen Ausführungsformen;
10 zeigt eine Software-Komponentenansicht des fahrzeuginternen Systems gemäß verschiedenen Ausführungsformen.
11 zeigt eine Hardware-Komponentenansicht des fahrzeuginternen Systems gemäß verschiedenen Ausführungsformen.
12 zeigt ein Speicherungsmedium mit Anweisungen zum Praktizieren von mit Bezug auf 1-9 beschriebenen Verfahren gemäß verschiedenen Ausführungsformen.

Ausführliche Beschreibung
Um im Hintergrundabschnitt besprochene Probleme zu behandeln, werden hier Vorrichtungen, Verfahren und ein Speicherungsmedium in Verbindung mit Verkehrsschilderkennung beim computerunterstützten oder autonomen Fahren mit kontradiktorischer Belastbarkeit offenbart. Bei einigen Ausführungsformen umfasst eine Vorrichtung für computerunterstütztes oder autonomes Fahren einen in einem CA/AD-Fahrzeug angeordneten Orchestrierer zum Empfangen einer Klassifikation und eines Orts eines Verkehrsschildes, wobei sich das CA/AD-Fahrzeug auf dem Weg zu einem Ziel befindet. Als Reaktion auf den Empfang der Klassifikation und des Orts des Verkehrsschildes fragt der Orchestrierer einen entfernten Schildlokalisiererdienst oder eine lokale Datenbank auf dem CA/AD-Fahrzeug nach einer Referenzbeschreibung des Verkehrsschildes ab, bestimmt, ob die Klassifikation korrekt ist, und gibt ein Ergebnis der Bestimmung aus. Die Klassifikation des Verkehrsschildes wird mindestens teilweise auf der Basis von Computervision erzeugt, und der Orchestrierer umfasst einen Anomaliedetektor zum Detektieren von Anomalien zwischen der Klassifikation und der Referenzbeschreibung und zum Bestimmen, ob die Klassifikation korrekt ist, mindestens teilweise auf der Basis einer Menge an detektieren Anomalien.
Bei einigen Ausführungsformen ist die Vorrichtung ein auf dem CA/AD-Fahrzeug angeordnetes fahrzeuginternes System, wobei das fahrzeuginterne System ein Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit umfasst, das den Orchestrierer aufweist. Ferner umfasst das fahrzeuginterne System einen mit dem Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit gekoppelten Objektdetektor zum Erzeugen der Klassifikation des Verkehrsschildes mindestens teilweise auf der Basis eines oder mehrerer aufgenommener Bilder des Verkehrsschildes.
In der folgenden ausführlichen Beschreibung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden, wobei gleiche Bezugszahlen durchweg gleiche Teile bezeichnen und in denen zur Veranschaulichung Ausführungsformen gezeigt sind, die praktiziert werden können. Es versteht sich, dass andere Ausführungsformen benutzt und strukturelle oder logische Änderungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Die folgende ausführliche Beschreibung ist deshalb nicht im einschränkenden Sinne aufzufassen, und der Schutzumfang von Ausführungsformen wird durch die angefügten Ansprüche und ihre Äquivalente definiert.
In der beigefügten Beschreibung werden Aspekte der Offenbarung offenbart. Es können alternative Ausführungsformen der vorliegenden Offenbarung und ihrer Äquivalente konzipiert werden, ohne vom Wesen oder Schutzumfang der vorliegenden Offenbarung abzuweichen. Es sollte beachtet werden, dass nachfolgend offenbarte gleiche Elemente in den Zeichnungen durch gleiche Bezugszahlen angegeben werden.
Verschiedene Operationen können als mehrere diskrete Schritte oder Operationen der Reihe nach auf eine Weise beschrieben werden, die für das Verständnis des beanspruchten Gegenstands am hilfreichsten ist. Die Reihenfolge der Beschreibung sollte jedoch nicht als bedingend aufgefasst werden, dass diese Operationen notwendigerweise reihenfolgeabhängig sind. Insbesondere müssen diese Operationen nicht in der Präsentationsreihenfolge ausgeführt werden. Beschriebene Operationen können in einer anderen Reihenfolge als bei der beschriebenen Ausführungsform ausgeführt werden. Bei zusätzlichen Ausführungsformen können verschiedene zusätzliche Operationen ausgeführt und/oder beschriebene Operationen können weggelassen werden.
Für die Zwecke der vorliegenden Offenbarung bedeutet der Ausdruck „A und/oder B“ (A), (B) oder (A und B). Für die Zwecke der vorliegenden Offenbarung bedeutet der Ausdruck „A, B, und/oder C“ (A), (B), (C), (A und B), (A und C), (B und C) oder (A, B und C).
Die Beschreibung kann die Ausdrücke „bei einer Ausführungsform“ oder „bei einigen Ausführungsformen“ verwenden, die sich jeweils auf eine oder mehrere derselben oder verschiedenen Ausführungsformen beziehen können. Ferner sind die Ausdrücke „umfassend“, „enthalten“, „aufweisend“ und dergleichen, sowie sie mit Bezug auf Ausführungsformen der vorliegenden Offenbarung gebraucht werden, synonym.
Im vorliegenden Gebrauch kann sich der Ausdruck „Modul“ auf eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (geteilt, dediziert oder gruppiert) und/oder Speicher (geteilt, dediziert oder gruppiert), der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, beziehen oder Teil davon sein.
Nunmehr mit Bezug auf 1 ist eine Übersicht über eine Umgebung zum Integrieren und Verwenden der Verkehrsschilderkennung mit Technologie der kontradiktorischen Belastbarkeit der vorliegenden Offenbarung gemäß verschiedenen Ausführungsformen dargestellt. Wie gezeigt, umfasst für die dargestellten Ausführungsformen die beispielhafte Umgebung 50 ein Fahrzeug 52 mit einem Motor, einem Getriebe, Achsen, Rädern und so weiter (nicht gezeigt). Ferner umfasst das Fahrzeug 52 fahrzeuginterne Systeme (IVS) 100, die ein Navigationssubsystem 130 aufweisen. Zusätzlich zu dem Navigationssubsystem 130 kann das IVS 100 ferner eine Anzahl von Infotainment-Subsystemen/-Anwendungen umfassen, z. B. Instrumentencluster-Subsystem/- Anwendungen, Vordersitz-Infotainment-Subsystem/-Anwendung, wie etwa ein Navigationssubsystem/eine Navigationsanwendung, ein Mediensubsystem/eine Medienanwendung, ein Fahrzeugstatussubsystem/eine Fahrzeugstatusanwendung und so weiter, und eine Anzahl von Rücksitz-Unterhaltungssubsystemen/-anwendungen (nicht gezeigt).
Das Navigations-Subsystem 130 ist dafür ausgelegt, abhängig davon, ob das CA/AD-Fahrzeug 52 ein computerunterstütztes Fahrzeug oder ein teilweise oder voll autonom fahrendes Fahrzeug ist, Navigationshilfe oder -steuerung bereitzustellen. Bei verschiedenen Ausführungsformen umfasst das Navigations-Subsystem 130 insbesondere ein Objektdetektions-Subsystem 140 und ein Subsystem 150 der Verkehrsschilderkennung mit kontradiktorischer Belastbarkeit (TSRAR). Das Objektdetektions-Subsystem 140 ist mit Computervision konfiguriert, um Objekte vor dem CA/AD-Fahrzeug 52, darunter Verkehrsschilder, z. B. ein Verkehrsschild 72, auf die das CA/AD-Fahrzeug 52 stößt, während es auf dem Weg zu seinem Ziel ist, konfiguriert. Das TSRAR-Subsystem 150 ist dafür ausgelegt, das CA/AD-Fahrzeug 52, insbesondere das Navigations-Subsystem 130 des IVS 100, mit verbesserter Belastbarkeit gegenüber einem kontradiktorischen Verkehrsschild (wie etwa dem Verkehrsschild 72, das schmutzig ist) zu versehen, gleichgültig, ob die Verkehrsschilder böswillig oder unbeabsichtigt modifiziert wurden. Mit Ausnahme des TSRAR-Subsystems 150 kann das Navigations-Subsystem 130, das das Objektdetektions-Subsystem 140 umfasst, ein beliebiges einer Anzahl von Navigations-Subsystemen sein, die in der Technik bekannt sind. Bei alternativen Ausführungsformen kann das TSRAR-Subsystem 150 außerhalb des Navigations-Subsystems 130 angeordnet sein.
Bei verschiedenen Ausführungsformen kommuniziert oder interagiert das IVS 100 von selbst oder als Reaktion auf Benutzerinteraktionen mit einem oder mehreren entfernten Außerfahrzeug-Servern 60 oder 62. Insbesondere kommuniziert das IVS 100 zur Bereitstellung von kontradiktorischer Belastbarkeit für Verkehrsschilder mit dem Server 60, der einem Verkehrsschilddienst zugeordnet ist, um Referenzbeschreibungen von Verkehrsschildern an verschiedenen Orten zu erhalten. Außerdem kann das IVS 100 mit Servern 62 kommunizieren, wie etwa Servern, die OEM (Originalgeräteherstellern) oder Behörden zugeordnet sind. Beispiele für OEM wären, aber ohne Beschränkung darauf, Vertreiber von Komponenten des Fahrzeugs 52 oder der Vertreiber des Fahrzeugs 52 selbst. Beispiel für Behörden wären, aber ohne Beschränkung darauf, örtliche oder Länder-Strafverfolgungsbehörden, lokale oder Länder-Transportbehörden und so weiter.
Bei verschiedenen Ausführungsformen kommuniziert das IVS 100 über einen drahtlosen Signalrepeater oder eine Basisstation an den Übertragungsmast 56 in der Nähe des Fahrzeugs 52 und ein oder mehrere private und/oder öffentliche verdrahtete und/oder drahtlose Netzwerke 58 mit den Servern 60/62. Beispiele für private und/oder öffentliche verdrahtete und/oder drahtlose Netzwerke 58 können das Internet, das Netzwerk eines Mobilfunkanbieters und so weiter umfassen. Es versteht sich, dass es sich bei dem Übertragungsmast 56 um verschiedene Masten zu verschiedenen Zeiten/an verschiedenen Orten handeln kann, während das Fahrzeug 52 auf dem Weg zu seinem Ziel ist.
Zusätzlich zu dem Motor usw. wie zuvor beschrieben und dem IVS 100 kann das CA/AD-Fahrzeug 52 ferner Sensoren 110 und Fahrsteuereinheiten 120 umfassen. Die Sensoren 110 umfassen insbesondere eine oder mehrere (nicht gezeigte) Kameras zum Aufnehmen von Bildern der Umgebung von CA/AD-Fahrzeugen 52, z. B. der Umgebung vor den CA/AD-Fahrzeugen 52. Bei verschiedenen Ausführungsformen können die Sensoren 110 auch LiDAR-Sensoren (Light Detection and Ranging), Beschleunigungsmesser, Kreisel, GPS (Global Positioning System) und so weiter umfassen. Beispiele für Fahrsteuereinheiten (DCU) wären Steuereinheiten zur Steuerung von Motor, Getriebe, Bremsen des CA/AD-Fahrzeugs 52. Mit Ausnahme der Verkehrsschilderkennung mit der bereitgestellten Technologie für kontradiktorische Belastbarkeit kann es sich bei dem CA/AD-Fahrzeug 52 ansonsten um ein beliebiges einer Anzahl von CA/AD-Fahrzeugen handeln, von computerunterstützten bis zu teilweise oder voll autonomen Fahrzeugen.
Diese und andere Aspekte des IVS werden mit Bezug auf die übrigen Figuren weiter beschrieben. Bevor dies geschehen soll, versteht sich jedoch, dass, obwohl zum leichteren Verständnis nur ein Fahrzeug 52 gezeigt ist, die vorliegende Offenbarung nicht darauf beschränkt ist. In der Praxis kann es eine Vielzahl von Fahrzeugen geben, die mit der Verkehrsschildtechnologie mit kontradiktorischer Belastbarkeit der vorliegenden Offenbarung ausgestattet sind, die mit einem oder mehreren Verkehrsschildlokalisierungsdiensten, mehreren OEM und/oder mehreren Behörden kommunizieren. Für die Zwecke der vorliegenden Beschreibung kann ein CA/AD-Fahrzeug auch als Fahrzeug mit bezüglich Verkehrsschildern kontradiktorischer Belastbarkeit oder einfach als Fahrzeug bezeichnet werden.
Nunmehr mit Bezug auf 2 ist eine Übersicht über die Verkehrsschilderkennung mit Technologie der kontradiktorischen Belastbarkeit ausführlicher gemäß verschiedenen Ausführungsformen gezeigt. Das Fahrzeug 252, das das CA/AD-Fahrzeug 52 von 1 sein kann, ist wie dargestellt unter anderem mit einem Objektdetektor 210 und einem TSRAR-Subsystem 250 (Verkehrsschilderkennung mit kontradiktorischer Belastbarkeit) ausgestattet. Der Objektdetektor 210 kann dem Objektdetektions-Subsystem 140 entsprechen, während die TSRAR 250 dem TSRAR-Subsystem 150 von 1 entsprechen kann. Außerdem sind in 2 ein kontradiktorisches Schild 272, ein schmutziges 80-Meilen-pro-Stunden-Geschwindigkeitsbegrenzungsschild, gezeigt, die das Fahrzeug 252 auf dem Weg zu seinem Ziel antrifft. Der Objektdetektor 210 wird wie dargestellt durch den Schmutz auf dem Verkehrsschild 272 beeinträchtigt und erkennt falsch das Verkehrsschild 272 als das Verkehrsschild 272s, ein 50-Meilen-pro-Stunde-Geschwindigkeitsbegrenzungsschild, und gibt eine Klassifikation des Verkehrsschildes 272 (schmutzige 80 mph) falsch als Verkehrsschild 272s (50 mph) aus. Obwohl die Untererkennung der zulässigen Geschwindigkeitsbegrenzung kein ernstes Problem sein muss, außer potentiell eine Verlangsamung des Verkehrs zu verursachen, könnten der Objektdetektor 210 das Schild 272 auch falsch als 100 mph als zulässige Geschwindigkeitsgrenze erkannt haben, was eine ernsthafte Situation erzeugen würde.
Bei der dargestellten Ausführungsformen ist das TSRAR-Subsystem 250 jedoch dafür ausgelegt, den entfernten Standortlokalisiererdienst 262a über das Verkehrsschild an dem Ort abzufragen. Der Standortlokalisiererdienst 262a ist mit einer Datenbank 264 von Verkehrsschildern an verschiedenen Orten (Schilderkarten) konfiguriert. Als Reaktion auf die Abfrage stellt der Standortlokalisiererdienst 262a dem TSRAR-Subsystem 250 das Referenzverkehrsschild 272r für den bestimmten Standort bereit, das aussagt, dass die Geschwindigkeitsbegrenzung 80 mph ist. Die von dem entfernten Standortlokalisiererdienst 262a zurückgegebenen Informationen können auch als Referenzbeschreibung des Verkehrsschild 272 bezeichnet werden. Bei Empfang der Referenzbeschreibung des Verkehrsschildes an dem bestimmten Ort vergleicht das TSRAS-Subsystem 250 die durch den Objektdetektor 210 ausgegebene Verkehrsschildklassifikation mit der Referenzbeschreibung des Verkehrsschildes, um Anomalien zu detektieren. Bei alternativen Ausführungsformen kann ein Teil der Datenbank 264, z. B. einer Region oder häufig befahrener Routen, gegebenenfalls in einem lokalen Cache 264a mit dem Fahrzeug 52 zwischengespeichert werden. Bei diesen Ausführungsformen kann das TSRAR-Subsystem 250 zuerst mit dem lokalen Cache 264a prüfen, ob die Referenzbeschreibung des Verkehrsschildes an dem Ort lokal verfügbar ist, und den Standortlokalisiererdienst 262a nur dann abfragen, wenn die Referenzbeschreibung lokal nicht verfügbar it.
Bei verschiedenen Ausführungsformen benachrichtigt bei Detektion von Anomalien das TSRAR-Subsystem 250 einen Insassen des Fahrzeugs 252 und zeigt z. B. eine Warnung und/oder die Anomalien auf einem Armaturenbrett 254 des Fahrzeugs 252 für den Fahrer/Betreiber des Fahrzeugs 252 an. Bei verschiedenen Ausführungsformen kann das TSRAR-Subsystem 250 bei Detektion von Anomalien auch eine Behörde, z. B. eine örtliche/Länder-Strafverfolgungsbehörde oder eine örtliche/Länder-Transportbehörde über das verschmutzte Verkehrsschild 272 benachrichtigen. Bei verschiedenen Ausführungsformen kann das TSRAR-Subsystem 250 bei Detektion von Anomalien auch einen OEM des Objektsdetektors 210 oder OEM des Fahrzeugs 252 benachrichtigen. Insbesondere kann das TSRAR-Subsystem 250 die detektierten Anomalien beim Neutraining der Datenbank 212 in Verbindung mit dem OEM für zukünftiges Neutraining des Objektdetektors 210 abspeichern. Bei verschiedenen Ausführungsformen kann Neutraining-Datenbank 212 lokal im Fahrzeug 252 oder entfernt von dem Fahrzeug 252 beim OEM des Objektdetektors 210 oder des Fahrzeugs 252 angeordnet sein.
Nunmehr mit Bezug auf 3 ist eine weitere Übersicht über die Verkehrsschilderkennung mit Technologie der kontradiktorischen Belastbarkeit noch ausführlicher gemäß verschiedenen Ausführungsformen dargestellt. Wie gezeigt, umfasst bei dem dargestellten Ausführungsformen der Objektdetektor 310 eines CA/AD-Fahrzeugs, der dem Objektdetektor 210 von 2 entsprechen kann, einen Bildvorprozessor 314 und eine Schlussfolgerungs-Engine 316, die miteinander gekoppelt sind. Der Objektdetektor 310 ist ausgelegt zum Empfangen von Bildern der Umgebung des CA/AD-Fahrzeugs, insbesondere der Umgebung vor dem CA/AD-Fahrzeug, von einer Videokamera 312. Bilder der vorderen Umgebung wären z. B. ein Verkehrsschild 372, während das CA/AD-Fahrzeug auf das Verkehrsschild trifft, wenn es auf dem Weg zu seinem Ziel ist.
Der Vorprozessor 314 ist ausgelegt zum Vorverarbeiten der Bilder und entfernt z. B. Rauschen in den Bildern, verschärft die Bilder, identifiziert interessierende Regionen zur Analyse und so weiter. Die Schlussfolgerungs-Engine 316 kann dafür ausgelegt und trainiert sein, Objekte in den Bildern, wie etwa andere Fahrzeuge, Fußgänger, Fahrräder und so weiter, zu identifizieren/zu erkennen. Insbesondere kann die Schlussfolgerungs-Engine 316 dafür ausgelegt und trainiert sein, Verkehrsschilder in den Bildern zu identifizieren/zu erkennen. Bei verschiedenen Ausführungsformen ist die Schlussfolgerungs-Engine 316 ausgelegt/trainiert zum Ausgeben einer Klassifikation eines identifizierten/erkannten Verkehrsschildes zusammen mit einem Konfidenzniveau (%). Bei verschiedenen Ausführungsformen ist die Schlussfolgerungs-Engine 316 mit einem mehrschichtigen neuronalen Netzwerk ausgestattet, um Objekte, darunter Verkehrsschilder, in den Bildern zu identifizieren/zu erkennen. Ein beispielhaftes neuronales Netzwerk wird später mit Bezug auf 9 beschrieben.
Bei den dargestellten Ausführungsformen werden die Klassifikation des identifizierten/erkannten Verkehrsschildes zusammen mit einem Konfidenzniveau (%) und Ortskoordinaten (X, Y, Z) des Verkehrsschildes dem TSRAR-Subsystem 350 zugeführt, das den TSRAR-Subsystemen 150/250 von 1/2 entspricht. Wie bereits beschrieben fragt das TSRAR-Subsystem 350 bei Empfang der Klassifikation einen Fern-Schild-Lokalisiererdienst 362a, der dem Schildlokalisiererdienst 262a von 2 entsprechen kann, nach einer Referenzbeschreibung des Verkehrsschildes an dem Ort ab. Das TSRAR-Subsystem 350 empfängt seinerseits die Referenzbeschreibung des Verkehrsschildes an dem Ort von einem Fern-Schild-Lokalisiererdienst 362a. Beim Empfang detektiert das TSRAR-Subsystem 350 auf Anomalien zwischen der von dem Objektdetektor 310 empfangenen Klassifikation und der von dem Fern-Schild-Lokalisiererdienst 362a empfangenen Referenzbeschreibung.
Bei Detektion von Anomalien benachrichtigt das TSRAR-Subsystem 350 einen Insassen des CA/AD-Fahrzeugs und zeigt eine Warnung und/oder die Anomalien auf einem Armaturenbrett 354 (das dem Armaturenbrett 254 von 2 entsprechen kann) an, benachrichtigt eine oder mehrere Behörden 362b (die der Behörde 262b von 2 entsprechen können) und/oder den Komponenten-/Fahrzeug-OEM 362c.
Nunmehr mit Bezug auf 4 ist eine Komponentenansicht des Verkehrsschild-Subsystems mit kontradiktorischer Belastbarkeit gemäß verschiedenen Ausführungsformen dargestellt. Das TSRAR-Subsystem 450 (das dem TSRAR-Subsystem 150, 250 oder 350 von 1, 2 oder 3 entsprechen könnte) umfasst wie gezeigt einen Orchestrierer 402, einen Schildlokalisiererdienst- bzw. SLS-Proxy 404, einen OEM-Proxy 406 und eine Benutzer/Behördenschnittstelle 408. Der Orchestrierer 402 umfasst einen Anomaliedetektor 412, einen Informationsspeicher 414 und einen Melder 416.
Der SLS-Proxy 404 ist ausgelegt zum Kommunizieren mit einem Fern-SLS, Abfragen des SLS nach einer Referenzbeschreibung eines Verkehrsschildes an einem Ort und Empfangen der angeforderten Referenzbeschreibung. Der OEM-Proxy ist ausgelegt zum Kommunizieren mit einem Komponenten-/Fahrzeug-OEM, wodurch dem Komponenten-/Fahrzeug-OEM detektierte Anomalien zwischen der durch einen Objektdetektor des Fahrzeugs bestimmten Klassifikation eines Verkehrsschildes und der von einem Fern-SLS empfangenen Referenzklassifikation bereitgestellt werden. Die Benutzer-/Behördenschnittstelle 408 ist ausgelegt zur Interaktion mit einem Benutzer (einem Insassen des Fahrzeugs) und einer Behörde, wodurch dem Benutzer/der Behörde Warnung und/oder detektierte Anomalien bereitgestellt werden. Bei verschiedenen Ausführungsformen ist die Benutzer-/Behördenschnittstelle 408 ausgelegt zur Interaktion mit dem Benutzer zum Eindeutigmachen detektierter Anomalien, wie nachfolgend ausführlicher beschrieben wird. Die Proxies 404 und 406 und die Schnittstelle 408 können jeweils in Hardware, Software oder einer Kombination davon implementiert werden.
Der Orchestrierer 402 ist ausgelegt zum Kooperieren mit dem SLS-Proxy 404, um den SLS nach einer Referenzbeschreibung eines Verkehrsschildes an einem Ort abzufragen, und empfängt die Referenzbeschreibung am Empfang einer Klassifikation 422 eines Verkehrsschildes (zusammen mit dem Konfidenzniveau und den Koordinaten (X, Y, Z) des Orts des Verkehrsschildes. Der Orchestrierer 402, insbesondere der Anomaliedetektor 412, ist ausgelegt zum Detektieren auf Anomalien zwischen der durch einen Objektdetektor des Fahrzeugs bestimmten Klassifikation 422 eines Verkehrsschildes und der von einem Fern-SLS empfangenen Referenzklassifikation. Der Informationsspeicher 414 ist ausgelegt zum Bereitstellen von Arbeitsspeicherung für den Anomaliedetektor 412 und den Melder 416. Bei verschiedenen Ausführungsformen kann der Informationsspeicher 414 auch dafür ausgelegt sein, die Referenzbeschreibungen von Verkehrsschildern an verschiedenen Orten einer Region oder frequentierten Routen zwischenzuspeichern.
Der Melder 416 ist ausgelegt zum Erzeugen von Meldungen zum Bestätigen oder Korrigieren der durch den Objektdetektor ausgegebenen Klassifikation des Verkehrsschildes. Bei verschiedenen Ausführungsformen ist der Melder 416 auch ausgelegt zum Melden der durch den Anomaliedetektor 412 detektierten Anomalien. Insbesondere ist der Melder 416 ausgelegt zum Kooperieren mit dem OEM-Proxy 406 und der Benutzer-/Behördenschnittstelle 408, um die detektierten Anomalien (Aktualisierungen) dem Komponenten/Fahrzeug-OEM und/oder dem Benutzer/der Behörde zu melden.
Bei verschiedenen Ausführungsformen können der Orchestrierer 402 (einschließlich der individuellen Komponenten des Anomaliedetektors 412, des Melders 416), der SLS-Proxy 404, der OEM-Proxy 406 und die Benutzer-/Behördenschnittstelle 408 jeweils in Hardware, Software oder einer Kombination davon implementiert werden. Beispielhafte Hardwareimplementierungen wären, aber ohne Beschränkung darauf, ASIC (anwendungsspezifische integrierte Schaltung) oder programmierbare Schaltungen (wie etwa FPGA (Field Programmable Gate Arrays)), die mit der Operationslogik programmiert werden. Softwareimplementierungen können Implementierungen in Anweisungen von Anweisungssatzarchitekturen (ISA), die durch die Zielprozessoren unterstützt werden, oder eine beliebige einer Anzahl von höheren Programmiersprachen, die zu Anweisungen der ISA der Zielprozessoren kompiliert werden können, umfassen. Bei einigen Ausführungsformen kann mindestens ein Teil des Orchestrierers 402, z. B. der Anomaliedetektor 412, in einem Beschleuniger implementiert werden. Eine beispielhafte Softwarearchitektur und beispielhafte Hardware-Datenverarbeitungsplattform werden später mit Bezug auf 10 und 11 beschrieben. Bei verschiedenen Ausführungsformen kann der Informationsspeicher 414 mit einer beliebigen einer Anzahl von bekannten persistenten Speicherungen, wie etwa Flash, Implementiert werden.
Nunmehr mit Bezug auf 5 ist ein beispielhafter Prozess der Verkehrsschilderkennung mit kontradiktorischer Belastbarkeit dargestellt. Bei der dargestellten Ausführungsform umfasst wie gezeigt der Prozess 500 zur Verkehrsschilderkennung mit kontradiktorischer Belastbarkeit Operationen 522-552. Die Operationen 522-552 können durch Kameras 511, einen Objektdetektor 510, einen Orchestrierer 502, einen Anomaliedetektor 512, einen Informationsspeicher 514, einen Melder 516, einen SLS 516a, einen OEM 516c, eine Behörde 516b ausgeführt werden, wobei es sich um die Kamera 312, den Detektor 310/210, den Orchestrierer 402, den Anomaliedetektor 412, den Informationsspeicher 414, den Melder 416, den SLS 262a/362a, den OEM 362c bzw. die Behörde 262b/362b handeln kann. Der Anomaliedetektor 512, der Informationsspeicher 514 und der Melder 516 können Teil des Orchestrierers 502 sein, der seinerseits Teil des TSRAR-Subsystems 550 sein kann. Das TSRAR-Subsystem 550, der Objektdetektor 510 und die Kamera 511 sind alle in einem CA/AD-Fahrzeug angeordnet, wobei der Benutzer 501 ein Insasse, z. B. ein Fahrer, ist.
Der Prozess 500 kann bei 522 beginnen, indem der Objektdetektor 510 von der Kamera 511 ein oder mehrere Bilder eines Verkehrsschildes empfängt, auf das das Fahrzeug auf einem Weg zu einem Ziel trifft. Bei 524 kann unter Verwendung des einen oder der mehreren Bilder das Verkehrsschild durch den Objektdetektor 510 klassifiziert werden. Bei 526 kann durch den Objektdetektor 510 eine Klassifikation des Verkehrsschildes für den Orchestrierer 502 ausgegeben werden. Die Klassifikation kann umfassen, als was der Objektdetektor 510 das Verkehrsschild erkannt hat, z. B. „Parkverbot“. Die Klassifikation kann zusammen mit dem Konfidenzniveau des Objektdetektors 510, z. B. 98%, sowie den Koordinaten des Orts des Verkehrsschildes (x, y, z) ausgegeben werden.
Bei 528 kann die Referenzbeschreibung des Verkehrsschildes an dem Ort (x, y, z) abgefragt werden, indem z. B. der Orchestrierer 502 den SLS 562a abfragt. Bei 530 kann die Referenzbeschreibung des erwarteten Verkehrsschildes an dem Ort z. B. von dem SLS 562a an den Orchestrierer 502 zurückgegeben werden. Bei verschiedenen Ausführungsformen können Referenzbeschreibungen von Verkehrsschildern auf häufigen Fahrrouten in einem lokalen Cache, z. B. bei dem SLS-Proxy oder Informationsspeicher 514, zwischengespeichert werden. Bei diesen Ausführungsformen kann die Abfrage nur dann an den SLS 562a erfolgen, wenn die Referenzbeschreibung des aktuell angetroffenen Verkehrsschildes nicht in dem Informationsspeicher 514 zwischengespeichert ist.
6 zeigt eine beispielhafte Verkehrsschild-Datenbank eines SLS gemäß verschiedenen Ausführungsformen. Die beispielhafte Verkehrsschild-Datenbank 600 kann eine Anzahl von Verkehrsschilddatensätzen 606 umfassen, die durch die (X, Z)-Koordinaten der Orte der Verkehrsschilder indexiert werden. Jeder Datensatz 606 umfasst zusätzlich zu den Indizes X & Y eine variable Anzahl von Datensegmenten für verschiedene Z-Werte. Jedes Z-Wertsegment kann die Referenzbeschreibung eines Verkehrsschildes an dem Ort (X, Y, Z) umfassen. Dementsprechend kann unter Verwendung der Koordinaten (X, Y, Z) als Schlüssel und Offset in den Datensatz auf die Referenzbeschreibung eines Verkehrsschildes an dem Ort (X, Y, Z) zugegriffen werden.
Wider mit Bezug auf 5 erfolgt bei 532 eine Anforderung, zu prüfen, ob das Verkehrsschild korrekt klassifiziert wurde, z. B. von dem Orchestrierer 502 an den Anomaliedetektor 512. Bei 534 wird z. B. durch den Anomaliedetektor 512 eine Analyse durchgeführt, zur Bestimmung, ob das Verkehrsschild korrekt klassifiziert wurde. Bei 536 wird bei Detektion von Anomalien z. B. von dem Melder 516 angefordert, eine Meldung bezüglich der detektierten Anomalien zu erstellen. Bei 538 werden alle relevanten Informationen z. B. durch den Melder 516 gesammelt, und bei 540 wird die Anomaliemeldung erzeugt. Bei verschiedenen Ausführungsformen kann das Sammeln relevanter Informationen Sammeln von Informationen bezüglich potentiell nicht funktionierender Hardware-/Softwarekomponenten umfassen, die zu den Anomalien beim Erkennen des Verkehrsschildes beigetragen haben könnten. Die potentiell nicht funktionierenden Hardware-/Softwarekomponenten können von verschiedenen Sensoren, Fahrsteuereinheiten und/oder Subsystemen des fahrzeuginternen Systems gesammelt werden. Die Informationen können insbesondere für OEM-Vertreiber beim Bestimmen nützlich sein, ob mehrere Fahrzeuge desselben Typs besonders für bestimmte böswillige Modifikationen anfällig sind.
Bei verschiedenen Ausführungsformen, bei denen benutzerunterstütztes Eindeutigmachen unterstützt wird, wird der Prozess 500 bei 542 fortgesetzt. Bei 542 kann der Prozess des Eindeutigmachens z. B. durch den Orchestrierer 502 gestartet werden. Bei 544 wird von einem Benutzer 501 durch den Orchestrierer 502 angefordert, beim Eindeutigmachen des Verkehrsschildes zu helfen, indem z. B. der Benutzer 501 gebeten wird, zu bestätigen, ob das Verkehrsschild ein „Stoppschild“ oder ein „Parkverbotsschild“ ist. Bei 546 kann die Antwort des Benutzers, z. B. dies ist ein „Stoppschild“, empfangen werden. Bei 548 kann der Orchestrierer 502 die Antwort des Benutzers an die zuvor durch die Meldung 516 erzeugte Meldung anhängen. Beim Anhängen der Antwort des Benutzers kann der Orchestrierer 502 verschiedene registrierte Teilnehmer benachrichtigen, z. B. den SLS 562a, den OEM 562c und die Behörden 562b.
7 zeigt eine beispielhafte anfängliche Meldung und eine beispielhafte mit Benutzereingaben ergänzte Meldung gemäß verschiedenen Ausführungsformen. Die beispielhafte anfängliche Meldung 702 kann die durch den Objektdetektor ausgegebene Klassifikation umfassen, z. B. „Detektiert: „Parkverbot“, 98% bei (X, Y, Z)“, die erwartete Klassifikation „Stopp“, das von der Kamera empfangene Quellenbild und potentiell nicht funktionierende Komponenten. Zusätzlich zu den obigen Informationen kann die beispielhafte ergänzte Meldung 704 ferner die Eingabe des Benutzers umfassen, z. B. „Stopp“.
8 zeigt eine beispielhafte Endbenutzeroberfläche zur Interaktion mit einem Benutzer gemäß verschiedenen Ausführungsformen. Die beispielhafte Endbenutzeroberfläche 802 zur Interaktion mit einem Benutzer kann eine Anzahl von Popups umfassen, die einer Navigationskarte 802 überlagert werden. Die Popups können zum Beispiel ein Popup 804 umfassen, dass das durch die Kamera aufgenommen Bild des Verkehrsschildes zeigt. Außerdem können die Popups ferner ein Popup 806 umfassen, dass den Benutzer bittet zu prüfen, ob das Verkehrsschild ein „Stoppschild“ ist, sowie es durch die Referenzbeschreibung vom SLS bereitgestellt wird, oder ein „Parkverbotsschild“, die durch den Obj ektdetektor klassifiziert.
Wieder mit Bezug auf 5 kann der Prozess 500 bei 550-554 fortgesetzt werden. Bei 550 kann der SLS 562a bei Empfang der Anomaliemeldung prüfen, ob die Referenzbeschreibung des Verkehrsschildes an dem bestimmten Ort aktualisiert werden muss; wenn ja, wird die Referenzbeschreibung entsprechend aktualisiert. Bei 552 kann der OEM 562c die Daten behalten und zu den Trainingsdaten zum Trainieren neuer Objektdetektoren oder zum Neutrainieren existierender Objektdetektoren hinzufügen. Bei 554 kann die empfangende Behörde 562b die meldende Entität authentifizieren und bei Authentifizierung der Zuverlässigkeit der Meldung entsprechend handeln, z. B. ein Wartungsteam zum Reparieren des Verkehrsschildes entsenden.
9 zeigt ein beispielhaftes neuronales Netzwerk gemäß verschiedenen Ausführungsformen. Das beispielhafte neuronale Netzwerk 900 kann für Verwendung durch die Schlussfolgerungs-Engine eines Objektdetektors, z. B. die Schlussfolgerungs-Engine 316 des Objektdetektors 310 von 3, geeignet sein. Das beispielhafte neuronale Netzwerk 900 kann wie gezeigt ein mehrschichtiges FFN (Feedforward Neural Network) sein, das eine Eingangsschicht 912, eine oder mehrere verborgene Schichten 914 und eine Ausgangsschicht 916 umfasst. Die Eingangsschicht 912 empfängt Daten von Eingangsvariablen (x_i ) 902. Die verborgene Schicht(en) 914 verarbeitet die Eingaben und die Ausgangsschicht 916 gibt letztendlich die Bestimmungen oder Bewertungen (y_i) 904 aus. Bei einer beispielhaften Implementierung werden die Eingangsvariablen (x_i) 902 des neuronalen Netzwerks als ein die relevanten variablen Daten enthaltender Vektor eingerichtet, während die ausgegebene Bestimmung oder Bewertung (y_i) 904 des neuronalen Netzwerks auch als Vektor sind.
Das mehrschichtige FNN (Feedforward Neural Network) kann durch die folgenden Gleichungen ausgedrückt werden: $h o_{i} = f (\sum_{j = 1}^{R} (i w_{i, j} x_{j}) + h b_{i}), for i = 1, \dots, N$
$y_{i} = f (\sum_{k = 1}^{N} (h w_{i, k} h o_{k}) + o b_{i}), for i = 1, \dots, S$
wobei ho_i und y_i die Variablen verborgener Schichten bzw. Endausgaben sind. f() ist typischerweise eine nichtlineare Funktion, wie etwa die Sigmoidfunktion oder die ReLu-Funktion (Rectified Linear), die die Neuronen des menschlichen Gehirns imitiert. R ist die Anzahl der Eingaben. N ist die Größe der verborgenen Schicht oder Anzahl von Neuronen. S ist die Anzahl der Ausgaben.
Das Ziel des FNN ist die Minimierung einer Fehlerfunktion E zwischen den Netzwerkausgaben und den gewünschten Zielen durch Anpassung der Netzwerkvariablen iw, hw, hb und ob über Training wie folgt: $E = \sum_{k = 1}^{m} (E_{k}), {where E}_{k} = \sum_{p = 1}^{s} {(t_{k p} - y_{k p})}^{2}$
wobei y_kp und t_kp der vorhergesagte bzw. Zielwert der p-ten Ausgabeeinheit für die Stichprobe k und m die Anzahl der Stichproben ist.
Für die Schlussfolgerungs-Engine 316 können die Eingangsvariablen (xi) 902 verschiedene Schlüsseldatenpunkte umfassen, die aus den durch die Kamera aufgenommenen Bildern erkannt werden, und gegebenenfalls die Messwerte verschiedener Fahrzeugsensoren, wie etwa Beschleunigungsmesser, Kreiseln, IMU und so weiter. Die Ausgangsvariablen (y_i) 904 können die Klassifikation, das Konfidenzniveau und die Ortskoordinaten umfassen. Die Netzwerkvariablen der verborgenen Schicht(en) für das neuronale Netzwerk von X werden durch die Trainingsdaten bestimmt.
In dem Beispiel von 9 gibt es der Einfachheit der Darstellung halber nur eine verborgene Schicht in dem neuronalen Netzwerk. Bei einigen anderen Ausführungsformen kann es viele verborgene Schichten geben. Ferner kann sich das neuronale Netzwerk in bestimmten anderen Arten von Topologie befinden, wie etwa CNN (Convolution Neuronal Network), RNN (Recurrent Neural Network) und so weiter.
Nunmehr mit Bezug auf 10 ist eine Softwarekomponentenansicht des Fahrzeugsystems gemäß verschiedenen Ausführungsformen dargestellt. Das IVS-System 1000, das das IVS-System 100 sein könnte, umfasst wie gezeigt bei den Ausführungsformen Hardware 1002 und Software 1010. Die Software 1010 umfasst einen Hypervisor 1012 zum Hosten einer Anzahl von virtuellen Maschinen (VM) 1022-1028. Der Hypervisor 1012 ist ausgelegt zum Hosten der Ausführung von VM 1022-1028. Die VM 1022-1028 umfassen eine Dienst-VM 1022 und eine Anzahl von Benutzer -VM 1024-1028. Die Dienstmaschine 1022 umfasst ein Dienst-OS, das Ausführung einer Anzahl von Instrumentencluster-Anwendungen 1032 hostet. Die Benutzer-VM 1024-1028 können eine erste Benutzer-VM 1024 mit einem ersten Benutzer-OS, das Ausführung von Vordersitz-Infotainment-Anwendungen 1034 hostet, eine zweite Benutzer-VM 1026 mit einem zweiten Benutzer-OS, das Ausführung von Rücksitz-Infotainment-Anwendungen 1036 hostet, eine dritte Benutzer-VM 1028 mit einem dritten Benutzer-OS, das Ausführung des TSRAR-Subsystems 1038 hostet, und so weiter umfassen.
Mit Ausnahme des integrierten TSRAR-Subsystems 1038 der vorliegenden Offenbarung können die Elemente 1012-1038 der Software 1010 ein beliebiges einer Anzahl dieser in der Technik bekannter Elemente sein. Zum Beispiel kann der Hypervisor 1012 ein beliebiger einer Anzahl von in der Technik bekannten Hypervisors sein, wie etwa KVM, ein Open-Source-Hypervisor, Xen von der Citrix Inc. in Fort Lauderdale FL oder VMware, erhältlich von der VMware Inc. in Palo Alto, CA und so weiter. Ähnlich kann das Dienst-OS der Dienst-VM 1022 und das Benutzer-OS der Benutzer-VM 1024-1028 ein beliebiges einer Anzahl von in der Technik bekannten OS sein, wie etwa Linus, verfügbar z. B. von Red Hat Enterprise in Raliegh, NC, oder Android, erhältlich von Google in Mountain View, CA.
Nunmehr mit Bezug auf 11 ist eine beispielhafte Datenverarbeitungsplattform, die für die Verwendung zur Praktizierung der vorliegenden Offenbarung geeignet sein kann, gemäß verschiedenen Ausführungsformen dargestellt. Die Datenverarbeitungsplattform 1100, die die Hardware 1002 von 10 sein kann, kann wie gezeigt ein oder mehrere SoC (System-on-Chips) 1102, einen ROM 1103 und Systemspeicher 1104 umfassen. Die SoC 1102 können jeweils einen oder mehrere Prozessorkerne (CPUs), eine oder mehrere Graphikprozessoreinheiten (GPUs), einen oder mehrere Beschleuniger, wie etwa Beschleuniger für Computervision (CV) und/oder tiefes Lernen (DL) umfassen. Der ROM 1103 kann das BIOS (Basic Input/Output System Services) 1105 umfassen. CPUs, GPUs und CV/DL-Beschleuniger können ein beliebiges einer Anzahl von diesen in der Technik bekannten Elementen sein. Ähnlich kann es sich bei dem ROM 1103 und dem BIOS 1105 um ein beliebiges einer Anzahl von in der Technik bekannten ROM und BIOS handeln, und der Systemspeicher 1104 kann eine beliebige einer Anzahl bekannter flüchtiger Speicherungen sein.
Außerdem kann die Datenverarbeitungsplattform 1100 persistente Speicherungsvorrichtungen 1106 umfassen. Beispiele für persistente Speicherungsvorrichtungen 1106 wären, aber ohne Beschränkung darauf, Flash-Laufwerke, Festplatten, CD-ROM (Compact Disc Read-Only Memory) und so weiter. Ferner kann die Datenverarbeitungsplattform 1100 eine oder mehrere Schnittstellen 1108 für Eingabe/Ausgabe (E/A) als Schnittstelle mit einer oder mehreren E/A-Vorrichtungen, wie etwa den Sensoren 1120, umfassen. Andere beispielhafte E/A-Vorrichtungen wären, aber ohne Beschränkung darauf, Anzeige, Tastatur, Cursorsteuerung und so weiter. Die Datenverarbeitungsplattform 1100 kann auch eine oder mehrere Kommunikationsschnittstellen 1110 umfassen (wie etwa Netzwerkschnittstellenkarten, Modems und so weiter). Kommunikationsvorrichtungen können eine beliebige Anzahl von in der Technik bekannten Kommunikations- und E/A-Vorrichtungen umfassen. Beispiele für Kommunikationsvorrichtungen wären, aber ohne Beschränkung darauf, Vernetzungsschnittstellen für Bluetooth®, NFC (Near Field Communication), WiFi, Mobilfunkkommunikation (wie etwa LTE 4G/5G) usw. Die Elemente können über den Systembus 1111, der einen oder mehrere Busse repräsentieren kann, miteinander gekoppelt sein. Im Fall von mehreren Bussen können sie durch eine oder mehrere (nicht gezeigte) Busbrücken überbrückt sein.
Jedes dieser Elemente kann seine in der Technik bekannten herkömmlichen Funktionen ausführen. Insbesondere kann der ROM 1103 ein BIOS 1105 mit einem Bootloader umfassen. Der Systemspeicher 1104 und die Massenspeicherungsvorrichtungen 1106 können verwendet werden, um eine Arbeitskopie und eine permanente Kopie der Programmieranweisungen zu speichern, die die Operationen implementieren, die dem Hypervisor 1102, dem Dienst-/Benutzer-OS der Dienst-/Benutzer-FV 1022-1028 und Komponenten des TSRAR-Subsystems 1038 (wie etwa dem Orchestrierer 402 (oder seinen Komponenten Anomaliedetektor 412, Melder 416), dem SLS-Proxy 404, dem OEM-Proxy 406, der Benutzer-/Behördenschnittstelle 408 und so weiter), die zusammen als rechnerische Logik 922 bezeichnet werden, zugeordnet sind. Die verschiedenen Elemente können durch Assembleranweisungen, die durch Prozessorkern(e) der SoC 1102 unterstützt werden, oder höhere Sprachen wie zum Beispiel C, die zu solchen Anweisungen kompiliert werden können, implementiert werden.
Für Fachleute versteht sich, dass die vorliegende Offenbarung als Verfahren oder Computerprogrammprodukte realisiert werden kann. Die vorliegende Offenbarung kann dementsprechend zusätzlich zur Realisierung in Hardware wie zuvor beschrieben die Form einer Ausführungsform ganz in Software (einschließlich Firmware, residenter Software, Mikrocode usw.) annehmen, oder einer Ausführungsform, die Software- und Hardwareaspekte kombiniert, die alle allgemein als „Schaltung“, „Modul“ oder „System“ bezeichnet werden können. Ferner kann die vorliegende Offenbarung die Form eines Computerprogrammprodukts annehmen, dass in einem beliebigen greifbaren oder nichttransitorischen Medium des Ausdrucks mit in dem Medium realisiertem computerbenutzbarem Programmcode annehmen. 12 zeigt ein beispielhaftes computerlesbares nichttransitorisches Speicherungsmedium, das für Verwendung zum Speichern von Anweisungen geeignet sein kann, die bewirken, dass eine Vorrichtung als Reaktion auf Ausführung der Anweisungen durch die Vorrichtung ausgewählte Aspekte der vorliegenden Offenbarung praktiziert. Das nichttransitorische computerlesbare Speicherungsmedium 1202 kann wie gezeigt eine Anzahl von Programmieranweisungen 1204 umfassen. Die Programmieranweisungen 1204 können dafür ausgelegt sein, es einer Vorrichtung, z. B. der Datenverarbeitungsplattform 1100 zu ermöglichen, als Reaktion auf Ausführung der Programmieranweisungen den Hypervisor 112, das Dienst-/Benutzer-OS der Dienst-/Benutzer-VMs 122-128 und Komponenten des TSRAR-Subsystems 1038 (wie etwa den Orchestrierer 402 (oder seine Komponenten Anomaliedetektor 412, Melder 416), den SLS-Proxy, den OEM-Proxy 406, die Benutzer-/Behördenschnittstelle 408 und so weiter (oder Aspekte davon) zu implementieren. Bei alternativen Ausführungsformen können die Programmieranweisungen 1204 stattdessen auf mehreren computerlesbaren nichttransitorischen Speicherungsmedien 1202 angeordnet sein. Bei noch weiteren Ausführungsformen können die Programmieranweisungen 1204 auf computerlesbaren transitorischen Speicherungsmedien 1202, wie zum Beispiel Signalen, angeordnet sein.
Es kann eine beliebige Kombination von einem oder mehreren computerbenutzbaren oder computerlesbaren Medien benutzt werden. Das computerbenutzbare oder computerlesbare Medium kann zum Beispiel, aber ohne Beschränkung darauf, ein elektronisches, magnetisches, optisches elektromagnetisches, Infrarot- oder Halbleitersystem-, Vorrichtungs-, Einrichtungs- oder Ausbreitungsmedium sein. Spezifischere Beispiele (eine nicht erschöpfende Liste) für das computerlesbare Medium würden die Folgenden umfassen: eine elektrische Verbindung mit einem oder mehreren Drähten, eine tragbare Computerdiskette, eine Festplatte, einen RAM (Direktzugriffsspeicher), einen ROM (Festwertspeicher), einen EPROM (löschbarer programmierbarer Festwertspeicher) oder Flash-Speicher, eine optische Faser, eine tragbare CD-ROM (Compact Disc Read-Only Memory), eine elektrische Speicherungsvorrichtung, Übertragungsmedien wie etwa diejenigen, die das Internet oder ein Intranet unterstützen, oder eine magnetische Speicherungsvorrichtung. Man beachte, dass das computerbenutzbare oder computerlesbare Medium sogar Papier oder ein anderes geeignetes Medium sein kann, worauf das Programm gedruckt wird, da das Programm zum Beispiel über optisches Scannen des Papiers oder anderen Mediums elektronisch erfasst, dann kompiliert, interpretiert oder anderweitig auf geeignete Weise gegebenenfalls verarbeitet und dann in einem Computerspeicher gespeichert werden kann. Im Kontext der vorliegenden Schrift kann ein computerbenutzbares oder computerlesbares Medium ein beliebiges Medium sein, das das Programm zur Verwendung durch das Anweisungsausführungssystem, die Vorrichtung oder Einrichtung oder in Verbindung damit enthalten, speichern, übermitteln, ausbreiten oder transportieren kann. Das computerbenutzbare Medium kann ein ausgebreitetes Datensignal mit dem damit realisierten computerbenutzbaren Programmcode entweder in Basisband oder als Teil einer Trägerwelle umfassen. Der computerbenutzbare Programmcode kann unter Verwendung eines beliebigen geeigneten Mediums übertragen werden, darunter, aber ohne Beschränkung darauf, drahtlos, verdrahtet, per optischem Faserkabel, HF usw.
Computerprogrammcode zum Ausführen von Operationen der vorliegenden Offenbarung kann in einer beliebigen Kombination einer oder mehrerer Programmiersprachen geschrieben werden, darunter eine objektorientierte Programmiersprache wie Java, Smalltalk, C++ oder dergleichen und herkömmliche prozedurale Programmiersprachen, wie etwa die Programmiersprache „C“ oder ähnliche Programmiersprachen. Der Programmcode kann vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als selbstständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernen Computer oder vollständig auf dem entfernten Computer oder Server ausgeführt werden. Im letzteren Szenario kann der entfernte Computer mittels einer beliebigen Art von Netzwerk, einschließlich eines lokalen Netzwerks (LAN) oder großflächigem Netzwerks (WAN) mit dem Computer des Benutzers verbunden werden, oder die Verbindung kann mit einem externen Computer erfolgen (zum Beispiel mittels des Internet unter Verwendung eines Internet-Di enstanbieters).
Die vorliegende Offenbarung wird unter Bezugnahme auf Flussdiagrammdarstellungen und/oder Blockdarstellungen von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Offenbarung beschrieben. Es versteht sich, dass jeder Block der Flussdiagrammdarstellungen und/oder Blockdarstellungen und Kombinationen von Blöcken in den Flussdiagrammdarstellungen und/oder Blockdarstellungen durch Computerprogrammanweisungen implementiert werden können. Diese Computerprogrammanweisungen können einem Prozessor eines Vielzweckcomputers, Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung zugeführt werden, um eine Maschine zu produzieren, dergestalt, dass die Anweisungen, die über den Prozessor des Computers oder der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, Mittel zur Implementierung der in dem Block oder den Blöcken des Flussdiagramms und/oder der Blockdarstellung spezifizierten Funktionen/Schritte erzeugen.
Diese Computerprogrammanweisungen können auch in einem computerlesbaren Medium gespeichert werden, das einen Computer oder eine andere programmierbare Datenverarbeitungsvorrichtung anleiten kann, auf bestimmte Weise zu funktionieren, dergestalt, dass die in dem computerlesbaren Medium gespeicherten Anweisungen einen Herstellungsartikel produzieren, der Anweisungsmittel umfasst, die die Funktion/den Schritt implementieren, die bzw. der in dem Block oder den Blöcken des Flussdiagramms und/oder der Blockdarstellung spezifiziert wird.
Die Computerprogrammanweisungen können auch auf einen Computer oder eine andere programmierbare Datenverarbeitungsvorrichtung geladen werden, um zu bewirken, dass eine Reihe von Betriebsschritten auf dem Computer oder der anderen programmierbaren Vorrichtung ausgeführt wird, um einen computerimplementierten Prozess dergestalt zu produzieren, dass die Anweisungen, die auf dem Computer oder der anderen programmierbaren Vorrichtung ausgeführt werden, Prozesse zur Implementierung der in dem Block oder den Blöcken des Flussdiagramms und/oder der Blockdarstellung spezifizierten Funktionen/Schritte bereitstellen.
Das Flussdiagramm und die Blockdarstellungen in den Figuren zeigen die Architektur, Funktionalität und Funktionsweise möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung. In dieser Hinsicht kann jeder Block in dem Flussdiagramm in den Blockdarstellungen ein Modul, ein Segment oder einen Teil von Code repräsentieren, das bzw. der eine oder mehrere ausführbare Anweisungen zur Implementierung der spezifizierten logischen Funktion(en) umfasst. Außerdem sollte angemerkt werden, dass bei einigen alternativen Implementierungen die in dem Block erwähnten Funktionen nicht in der in den Figuren angegebenen Reihenfolge auftreten müssen. Zum Beispiel können abhängig von der Funktionalität, die beteiligt ist, zwei in Abfolge gezeigte Blöcke tatsächlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal in der umgekehrten Reihenfolge ausgeführt werden. Außerdem ist zu erwähnten, dass jeder Block der Blockdarstellungen und/oder Flussdiagrammdarstellung und Kombinationen von Blöcken in den Blockdarstellungen und/oder der Flussdiagrammdarstellung durch spezielle auf Hardware basierende Systeme, die die spezifizierten Funktionen oder Schritte ausführen, oder Kombinationen von spezieller Hardware und Computerweisungen implementiert werden können.
Die hier verwendete Terminologie dient nur dem Zweck der Beschreibung bestimmter Ausführungsformen und soll die Offenbarung nicht beschränken. Im vorliegenden Gebrauch sollen die Singularformen „ein“, „eine“ und „das“ auch Pluralformen umfassen, sofern es der Kontext nicht deutlich anders angibt. Ferner versteht sich, dass die Ausdrücke „umfasst“ und/oder „umfassend“ bei Verwendung in der vorliegenden Patentschrift spezifisch für die Anwesenheit von angegebenen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen und/oder Komponenten, nicht aber die Anwesenheit oder den Zusatz von einem oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen davon ausschließen.
Ausführungsformen können als ein Computerprozess, ein Datenverarbeitungssystem oder als ein Herstellungsartikel, wie etwa ein Computerprogrammprodukt computerlesbarer Medien, implementiert werden. Das Computerprogrammprodukt kann ein Computerspeicherungsmedium sein, das durch ein Computersystem lesbar ist und Computerprogrammanweisungen zur Ausführung eines Computerprozesses codiert.
Die entsprechenden Strukturen, Materialien, Schritte und Äquivalente aller Mittel oder Schritte plus Funktionselemente in den nachfolgenden Ansprüchen sollen beliebige Strukturen, Materialien oder Schritte zum Ausführen der Funktion in Kombination mit anderen beanspruchten Elementen spezifisch beansprucht umfassen. Die Beschreibung der vorliegenden Offenbarung erfolgte zur Veranschaulichung und Beschreibung und soll nicht erschöpfend sein oder die Offenbarung auf die offenbarte Form beschränken. Durchschnittsfachleuten werden viele Modifikationen und Varianten einfallen, ohne vom Wesen und Schutzumfang der Offenbarung abzuweichen. Die Ausführungsform wurde gewählt und beschrieben, um die Prinzipien der Offenbarung und die praktische Anwendung am besten zu erläutern und um es anderen Durchschnittsfachleuten zu ermöglichen, die Offenbarung für Ausführungsformen mit verschiedenen Modifikationen, sowie sie für die konkrete in Betracht gezogene Verwendung geeignet sind, zu verstehen.
Es wurden somit die verschiedenen beispielhaften Ausführungsformen der vorliegenden Offenbarung beschrieben, darunter, aber ohne Beschränkung darauf, Folgendes:
Beispiel 1 ist eine Vorrichtung für computerunterstütztes oder autonomes Fahren (CA/AD), umfassend: einen in einem CA/AD-Fahrzeug angeordneten Orchestrierer zum Empfangen einer Klassifikation und eines Orts eines Verkehrsschildes, während das CA/AD-Fahrzeug auf dem Weg zu einem Ziel ist, und zum Abfragen eines Fern-Schild-Lokalisiererdienstes oder einer lokalen Datenbank in dem CA/AD-Fahrzeug nach einer Referenzbeschreibung des Verkehrsschildes als Reaktion auf den Empfang der Klassifikation und des Orts des Verkehrsschildes, Bestimmen, ob die Klassifikation korrekt ist und Ausgeben eines Ergebnisses der Bestimmung; wobei die Klassifikation des Verkehrsschildes mindestens teilweise auf der Basis von Computervision erzeugt wird und der Orchestrierer einen Anomaliedetektor zum Detektieren von Anomalien zwischen der Klassifikation und der Referenzbeschreibung und Bestimmen, ob die Klassifikation korrekt ist, mindestens teilweise auf der Basis einer Menge an detektierten Anomalien umfasst.
Beispiel 2 ist Beispiel 1, wobei der Orchestrierer ferner einen Melder zum Erstellen einer Meldung über ein Ergebnis der Bestimmung, einschließlich etwaiger detektierter Anomalien, und Ausgeben der Meldung umfasst.
Beispiel 3 ist Beispiel 2, wobei die Meldung ferner ausgelegt ist zum Sammeln von Informationen über potentielle nicht funktionierende Komponenten des CA/AD-Fahrzeugs, die zu den detektierten Anomalien beigetragen haben könnten, und Aufnehmen der potentiellen nicht funktionierenden Komponenten des CA/AD-Fahrzeugs in die Meldung.
Beispiel 4 ist Beispiel 1, wobei die Vorrichtung ein in dem CA/AD-Fahrzeug angeordnetes Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ist, wobei das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit den Orchestrierer umfasst; wobei das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ferner einen mit dem Orchestrierer gekoppelten Schildlokalisiererdienst-Proxy zum Abfragen des Fern-Schild-Lokalisiererdienstes nach der Referenzbeschreibung des Verkehrsschildes umfasst.
Beispiel 5 ist Beispiel 4, wobei der Schildlokalisiererdienst-Proxy einen lokalen Cache einer Teilmenge von durch den Schildlokalisiererdienst geführten Beschreibungen von Verkehrsschildern umfasst und der Schildlokalisiererdienst-Proxy den Fern-Schildlokalisiererdienst nur nach der Referenzbeschreibung des Verkehrsschildes abfragt, wenn die Referenzbeschreibung des Verkehrsschildes nicht in dem lokalen Cache zwischengespeichert ist.
Beispiel 6 ist Beispiel 1, wobei die Vorrichtung ein in dem CA/AD-Fahrzeug angeordnetes Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ist, wobei das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit den Orchestrierer umfasst; wobei das ausgegebene Ergebnis detektierte Anomalien umfasst und das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ferner einen mit dem Orchestrierer gekoppelten Originalgerätehersteller-Proxy zum Bereitstellen der detektierten Anomalien für einen Originalgerätehersteller umfasst.
Beispiel 7 ist Beispiel 1, wobei die Vorrichtung ein in dem CA/AD-Fahrzeug angeordnetes Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ist, wobei das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit den Orchestrierer umfasst; wobei das ausgegebene Ergebnis detektierte Anomalien umfasst und das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ferner einen mit dem Orchestrierer gekoppelten Benutzer-Proxy zum Bereitstellen der detektierten Anomalien für einen Insassen des Fahrzeugs umfasst.
Beispiel 8 ist Beispiel 1, wobei die Vorrichtung ein in dem CA/AD-Fahrzeug angeordnetes Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ist, wobei das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit den Orchestrierer umfasst; wobei das ausgegebene Ergebnis detektierte Anomalien umfasst und das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ferner einen mit dem Orchestrierer gekoppelten Benutzer-Proxy zur Interaktion mit dem Insassen zum Eindeutigmachen der detektierten Anomalien umfasst.
Beispiel 9 ist Beispiel 1, wobei die Vorrichtung ein in dem CA/AD-Fahrzeug angeordnetes fahrzeuginternes System ist, wobei das fahrzeuginterne System ein Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit umfasst, das den Orchestrierer aufweist; wobei das fahrzeuginterne System ferner einen mit dem Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit gekoppelten Objektdetektor zum Erzeugen der Klassifikation des Verkehrsschildes mindestens teilweise auf der Basis eines oder mehrerer aufgenommener Bilder des Verkehrsschildes umfasst.
Beispiel 10 ist Beispiel 9, wobei das fahrzeuginterne System eine Hardwareplattform umfasst, das ein SoC (System-on-Chip) aufweist, das dafür ausgelegt ist, mehrere virtuelle Maschinen zu hosten, wobei eine der mehreren virtuellen Maschinen dafür ausgelegt ist, das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit zu hosten.
Beispiel 11 ist Beispiel 10, wobei das SoC einen Hardwarebeschleuniger umfasst und der Anomaliedetektor des Orchestrierers in dem Hardwarebeschleuniger implementiert ist.
Beispiel 12 ist Beispiel 1, wobei die Vorrichtung das CA/AD-Fahrzeug ist, das ein fahrzeuginternes System aufweist, wobei das fahrzeuginterne System ein Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit aufweist, das den Orchestrierer umfasst; wobei das CA/AD-Fahrzeug ferner eine oder mehrere mit dem fahrzeuginternen System gekoppelte Kameras zum Aufnehmen eines oder mehrerer Bilder des Verkehrsschildes umfasst, wobei das fahrzeuginterne System ferner einen mit dem Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit gekoppelten Objektdetektor zum Erzeugen der Klassifikation des Verkehrsschildes mindestens teilweise auf der Basis des einen oder der mehreren aufgenommenen Bilder des Verkehrsschildes umfasst.
Beispiel 13 ist ein Verfahren zur fahrzeuginternen Verkehrsschilderkennung, umfassend: Empfangen einer Klassifikation und eines Orts eines Verkehrsschildes durch ein in einem CA/AD-Fahrzeug angeordnetes Verkehrsschilderkennungs-Subsystem mit kontradiktorischer Belastbarkeit (TSRARS), während sich das CA/AD-Fahrzeug auf dem Weg zu einem Ziel befindet; Empfangen einer Referenzbeschreibung des Verkehrsschildes an dem Ort durch das TSRARS; Bestimmen durch das TSRARS, ob die Klassifikation korrekt ist; und Ausgeben eines Ergebnisses der Bestimmung durch das TSRARS; wobei die Klassifikation des Verkehrsschildes mindestens teilweise auf der Basis von Computervision erzeugt wird und Bestimmen Detektieren auf Anomalien zwischen der Klassifikation und der Referenzbeschreibung umfasst; und wobei die Klassifikation mindestens teilweise abhängig davon als korrekt bestimmt wird, ob eine Menge an Anomalien detektiert wird.
Beispiel 14 ist Beispiel 13, ferner umfassend: Abfragen eines Fern-Schildlokalisiererdienstes oder einer lokalen Datenbank in dem CA/AD-Fahrzeug nach der Referenzbeschreibung des Verkehrsschildes durch das TSRARS als Reaktion auf den Empfang der Klassifikation und des Orts des Verkehrsschildes.
Beispiel 15 ist Beispiel 13, ferner umfassend: Zwischenspeichern einer Teilmenge von Referenzbeschreibungen von Verkehrsschildern, die durch den Fern-Schildlokalisiererdienst geführt werden, in der lokalen Datenbank, und wobei Abfragen umfasst, zuerst die lokale Datenbank nach der Referenzbeschreibung des Verkehrsschildes abzufragen und den Fern-Dienstlokalisiererdienst nur dann nach der Referenzbeschreibung des Verkehrsschildes abzufragen, wenn die Referenzbeschreibung des Verkehrsschildes nicht in der lokalen Datenbank zwischengespeichert ist.
Beispiel 16 ist Beispiel 13, ferner umfassend: Erstellen einer Meldung über ein Ergebnis der Bestimmung einschließlich etwaiger detektierter Anomalien und Ausgeben der Meldung, wobei Erstellen der Meldung Sammeln von Informationen über potentielle nicht funktionierende Komponenten des CA/AD-Fahrzeugs, die zu den detektierten Anomalien beigetragen haben könnten, und der potentiellen nicht funktionierenden Komponenten des CA/AD-Fahrzeugs in der Meldung umfasst.
Beispiel 17 ist Beispiel 16, ferner umfassend: Senden der Meldung zu dem Fern-Schildlokalisiererdienst und/oder einem OEM einer Komponente des CA/AD-Fahrzeugs oder des CA/AD-Fahrzeugs und/oder einer Behörde.
Beispiel 18 ist Beispiel 13, ferner umfassend: Interaktion mit einem Insassen des CA/AD-Fahrzeugs, um das Verkehrsschild eindeutig zu machen.
Beispiel 19 ist mindestens ein computerlesbares Medium (CRM) mit darauf gespeicherten Anweisungen zum Bewirken, dass ein Fahrzeug mit computerunterstütztem oder autonomem Fahren (CA/AD) als Reaktion auf Ausführung der Anweisung durch einen Prozessor des CA/AD-Fahrzeugs einen Anomaliedetektor zum Detektieren von Anomalien zwischen einer Klassifikation eines Verkehrsschildes, das von dem CA/AD-Fahrzeug an einem Ort angetroffen wird, während es sich auf dem Weg zu einem Ziel befindet, und einer Referenzbeschreibung des Verkehrsschildes an dem Ort implementiert und einen Melder zum Melden etwaiger detektierter Anomalien an einen Insassen des CA/AD-Fahrzeugs und/oder einen Originalgerätehersteller (OEM) und/oder eine Regierungsbehörde implementiert.
Beispiel 20 ist Beispiel 19, wobei die Meldung ferner ausgelegt ist zum Sammeln von Informationen über potentielle nicht funktionierende Komponenten des CA/AD-Fahrzeugs, die zu den detektierten Anomalien beigetragen haben könnten, und Aufnehmen der potentiellen nicht funktionierenden Komponenten des CA/AD-Fahrzeugs in die Meldung.
Beispiel 21 ist Beispiel 19, wobei bewirkt wird, dass das CA/AD-Fahrzeug einen Orchestrierer, der den Anomaliedetektor und den Melder umfasst, und einen oder mehrere Proxies zur Kooperation zwischen dem Orchestrierer zum Melden etwaiger detektierter Anomalien an mindestens den ausgewählten eines Insassen des CA/AD-Fahrzeugs, eines Originalgeräteherstellers (OEM) oder einer Regierungsbehörde implementiert.
Beispiel 22 ist Beispiel 21, wobei der Proxy zum Melden etwaiger detektierter Anomalien an einen Insassen des CA/AD-Fahrzeugs außerdem mit dem Insassen in Interaktion treten soll, um das Verkehrsschild eindeutig zu machen.
Beispiel 23 ist Beispiel 19, wobei ferner bewirkt wird, dass das CA/AD-Fahrzeug einen Proxy zur Bildung einer Schnittstelle mit einem Fern-Standortlokalisiererdienst implementiert, um dem Orchestrierer beim Abfragen und Erhalten der Referenzbeschreibung des Verkehrsschildes zu helfen.
Für Fachleute versteht sich, dass verschiedene Modifikationen und Abwandlungen an den offenbarten Ausführungsformen der offenbarten Vorrichtung und zugeordneten Verfahren vorgenommen werden können, ohne vom Wesen oder Schutzumfang der Offenbarung abzuweichen. Somit ist beabsichtigt, dass die vorliegende Offenbarung die Modifikationen und Abwandlungen der oben offenbarten Ausführungsformen abdeckt, solange die Modifikationen und Abwandlungen in den Schutzumfang irgendwelcher Ansprüche und ihrer Äquivalente kommen.

Claims

Vorrichtung für computerunterstütztes oder autonomes Fahren (CA/AD), umfassend: einen in einem CA/AD-Fahrzeug angeordneten Orchestrierer zum Empfangen einer Klassifikation und eines Orts eines Verkehrsschildes, während das CA/AD-Fahrzeug auf dem Weg zu einem Ziel ist, und zum Abfragen eines Fern-Schild-Lokalisiererdienstes oder einer lokalen Datenbank in dem CA/AD-Fahrzeug nach einer Referenzbeschreibung des Verkehrsschildes als Reaktion auf den Empfang der Klassifikation und des Orts des Verkehrsschildes, Bestimmen, ob die Klassifikation korrekt ist und Ausgeben eines Ergebnisses der Bestimmung; wobei die Klassifikation des Verkehrsschildes mindestens teilweise auf der Basis von Computervision erzeugt wird und der Orchestrierer einen Anomaliedetektor zum Detektieren von Anomalien zwischen der Klassifikation und der Referenzbeschreibung und Bestimmen, ob die Klassifikation korrekt ist, mindestens teilweise auf der Basis einer Menge an detektierten Anomalien umfasst.
Vorrichtung nach Anspruch 1, wobei der Orchestrierer ferner einen Melder zum Erstellen einer Meldung über ein Ergebnis der Bestimmung, einschließlich etwaiger detektierter Anomalien, und Ausgeben der Meldung umfasst.
Vorrichtung nach Anspruch 2, wobei die Meldung ferner ausgelegt ist zum Sammeln von Informationen über potentielle nicht funktionierende Komponenten des CA/AD-Fahrzeugs, die zu den detektierten Anomalien beigetragen haben könnten, und Aufnehmen der potentiellen nicht funktionierenden Komponenten des CA/AD-Fahrzeugs in die Meldung.
Vorrichtung nach Anspruch 1, wobei die Vorrichtung ein in dem CA/AD-Fahrzeug angeordnetes Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ist, wobei das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit den Orchestrierer umfasst; wobei das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ferner einen mit dem Orchestrierer gekoppelten Schildlokalisiererdienst-Proxy zum Abfragen des Fern-Schild-Lokalisiererdienstes nach der Referenzbeschreibung des Verkehrsschildes umfasst.
Vorrichtung nach Anspruch 4, wobei der Schildlokalisiererdienst-Proxy einen lokalen Cache einer Teilmenge von durch den Schildlokalisiererdienst geführten Beschreibungen von Verkehrsschildern umfasst und der Schildlokalisiererdienst-Proxy den Fern-Schildlokalisiererdienst nur nach der Referenzbeschreibung des Verkehrsschildes abfragt, wenn die Referenzbeschreibung des Verkehrsschildes nicht in dem lokalen Cache zwischengespeichert ist.
Vorrichtung nach Anspruch 1, wobei die Vorrichtung ein in dem CA/AD-Fahrzeug angeordnetes Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ist, wobei das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit den Orchestrierer umfasst; wobei das ausgegebene Ergebnis detektierte Anomalien umfasst und das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ferner einen mit dem Orchestrierer gekoppelten Originalgerätehersteller-Proxy zum Bereitstellen der detektierten Anomalien für einen Originalgerätehersteller umfasst.
Vorrichtung nach Anspruch 1, wobei die Vorrichtung ein in dem CA/AD-Fahrzeug angeordnetes Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ist, wobei das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit den Orchestrierer umfasst; wobei das ausgegebene Ergebnis detektierte Anomalien umfasst und das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ferner einen mit dem Orchestrierer gekoppelten Benutzer-Proxy zum Bereitstellen der detektierten Anomalien für einen Insassen des Fahrzeugs umfasst.
Vorrichtung nach Anspruch 1, wobei die Vorrichtung ein in dem CA/AD-Fahrzeug angeordnetes Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ist, wobei das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit den Orchestrierer umfasst; wobei das ausgegebene Ergebnis detektierte Anomalien umfasst und das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit ferner einen mit dem Orchestrierer gekoppelten Benutzer-Proxy zur Interaktion mit dem Insassen zum Eindeutigmachen der detektierten Anomalien umfasst.
Vorrichtung nach Anspruch 1, wobei die Vorrichtung ein in dem CA/AD-Fahrzeug angeordnetes fahrzeuginternes System ist, wobei das fahrzeuginterne System ein Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit umfasst, das den Orchestrierer aufweist; wobei das fahrzeuginterne System ferner einen mit dem Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit gekoppelten Objektdetektor zum Erzeugen der Klassifikation des Verkehrsschildes mindestens teilweise auf der Basis eines oder mehrerer aufgenommener Bilder des Verkehrsschildes umfasst.
Vorrichtung nach Anspruch 9, wobei das fahrzeuginterne System eine Hardwareplattform umfasst, das ein SoC (System-on-Chip) aufweist, das dafür ausgelegt ist, mehrere virtuelle Maschinen zu hosten, wobei eine der mehreren virtuellen Maschinen dafür ausgelegt ist, das Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit zu hosten.
Vorrichtung nach Anspruch 10, wobei das SoC einen Hardwarebeschleuniger umfasst und der Anomaliedetektor des Orchestrierers in dem Hardwarebeschleuniger implementiert ist.
Vorrichtung nach einem der Ansprüche 1-11, wobei die Vorrichtung das CA/AD-Fahrzeug ist, das ein fahrzeuginternes System aufweist, wobei das fahrzeuginterne System ein Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit aufweist, das den Orchestrierer umfasst; wobei das CA/AD-Fahrzeug ferner eine oder mehrere mit dem fahrzeuginternen System gekoppelte Kameras zum Aufnehmen eines oder mehrerer Bilder des Verkehrsschildes umfasst, wobei das fahrzeuginterne System ferner einen mit dem Verkehrsschild-Subsystem mit kontradiktorischer Belastbarkeit gekoppelten Objektdetektor zum Erzeugen der Klassifikation des Verkehrsschildes mindestens teilweise auf der Basis des einen oder der mehreren aufgenommenen Bilder des Verkehrsschildes umfasst.
Verfahren zur fahrzeuginternen Verkehrsschilderkennung, umfassend: Empfangen einer Klassifikation und eines Orts eines Verkehrsschildes durch ein in einem CA/AD-Fahrzeug angeordnetes Verkehrsschilderkennungs-Subsystem mit kontradiktorischer Belastbarkeit (TSRARS), während sich das CA/AD-Fahrzeug auf dem Weg zu einem Ziel befindet; Empfangen einer Referenzbeschreibung des Verkehrsschildes an dem Ort durch das TSRARS; Bestimmen durch das TSRARS, ob die Klassifikation korrekt ist, und Ausgeben eines Ergebnisses der Bestimmung durch das TSRARS; wobei die Klassifikation des Verkehrsschildes mindestens teilweise auf der Basis von Computervision erzeugt wird und Bestimmen Detektieren auf Anomalien zwischen der Klassifikation und der Referenzbeschreibung umfasst; und wobei die Klassifikation mindestens teilweise abhängig davon als korrekt bestimmt wird, ob eine Menge an Anomalien detektiert wird.
Verfahren nach Anspruch 13, ferner umfassend: Abfragen eines Fern-Schildlokalisiererdienstes oder einer lokalen Datenbank in dem CA/AD-Fahrzeug nach der Referenzbeschreibung des Verkehrsschildes durch das TSRARS als Reaktion auf den Empfang der Klassifikation und des Orts des Verkehrsschildes.
Verfahren nach Anspruch 13, ferner umfassend: Zwischenspeichern einer Teilmenge von Referenzbeschreibungen von Verkehrsschildern, die durch den Fern-Schildlokalisiererdienst geführt werden, in der lokalen Datenbank, und wobei Abfragen umfasst, zuerst die lokale Datenbank nach der Referenzbeschreibung des Verkehrsschildes abzufragen und den Fern-Dienstlokalisiererdienst nur dann nach der Referenzbeschreibung des Verkehrsschildes abzufragen, wenn die Referenzbeschreibung des Verkehrsschildes nicht in der lokalen Datenbank zwischengespeichert ist.
Verfahren nach Anspruch 13, ferner umfassend: Erstellen einer Meldung über ein Ergebnis der Bestimmung einschließlich etwaiger detektierter Anomalien und Ausgeben der Meldung, wobei Erstellen der Meldung Sammeln von Informationen über potentielle nicht funktionierende Komponenten des CA/AD-Fahrzeugs, die zu den detektierten Anomalien beigetragen haben könnten, und der potentiellen nicht funktionierenden Komponenten des CA/AD-Fahrzeugs in der Meldung umfasst.
Verfahren nach Anspruch 16, ferner umfassend: Senden der Meldung zu dem Fern-Schildlokalisiererdienst und/oder einem OEM einer Komponente des CA/AD-Fahrzeugs oder des CA/AD-Fahrzeugs und/oder einer Behörde.
Verfahren nach einem der Ansprüche 13-17, ferner umfassend: Interaktion mit einem Insassen des CA/AD-Fahrzeugs, um das Verkehrsschild eindeutig zu machen.
Vorrichtung für computerunterstütztes oder autonomes Fahren (CA/AD), umfassend: in einem CA/AD-Fahrzeug angeordneten Mittel zum Detektieren von Anomalien zwischen einer Klassifikation eines Verkehrsschildes, das von dem CA/AD-Fahrzeug an einem Ort angetroffen wird, während es sich auf dem Weg zu einem Ziel befindet, und einer Referenzbeschreibung des Verkehrsschildes an dem Ort; und in dem CA/AD-Fahrzeug angeordnete Mittel zum Melden etwaiger detektierte Anomalien mindestens an einen Insassen des CA/AD-Fahrzeugs, einen Originalgerätehersteller (OEM) oder eine Regierungsbehörde.
Vorrichtung nach Anspruch 19, wobei die Mittel zum Melden Mittel zum Sammeln von Informationen über potentielle nicht funktionierende Komponenten des CA/AD-Fahrzeugs, die zu den detektierten Anomalien beigetragen haben könnten, und Aufnehmen der potentiellen nicht funktionierenden Komponenten des CA/AD-Fahrzeugs in die Meldung umfassen.
Vorrichtung nach Anspruch 19, wobei die Mittel zum Melden Mittel zur Interaktion mit einem Insassen des CA/AD-Fahrzeugs zum Eindeutigmachen des Verkehrsschildes umfassen.
Vorrichtung nach einem der Fahrzeuge 19-21, wobei die Mittel zum Detektieren Mittel zum Bilden einer Schnittstelle mit einem Fern-Standortlokalisiererdienst zur Hilfe beim Abfragen und Erhalten der Referenzbeschreibung des Verkehrsschildes umfassen.