DE102021120065A1

DE102021120065A1 - Fahrzeug-vision-system

Info

Publication number: DE102021120065A1
Application number: DE102021120065.2A
Authority: DE
Inventors: Ali Hassani; Ryan Edwin Hanson
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-08-05
Filing date: 2021-08-02
Publication date: 2022-02-10
Also published as: CN114092736A; US20220041134A1; US11390249B2

Abstract

Diese Offenbarung stellt ein Fahrzeug-Vision-System bereit. Die vorliegende Offenbarung betrifft ein Fahrzeug-Vision-System und ein Verfahren zum Identifizieren einer Entität für den Zugang zu einem Fahrzeug. Das System beinhaltet ein Fahrzeug, das einen oder mehrere damit gekoppelte Vision-Sensoren aufweist. Jeder von dem einen oder den mehreren Vision-Sensoren erzeugt ein Vision-Datensignal. Das System beinhaltet einen oder mehrere Prozessoren, einen Speicher, die kommunikativ mit dem Fahrzeug und dem einen oder den mehreren Vision-Sensoren gekoppelt sind. Der eine oder die mehreren Prozessoren sind dazu betriebsfähig, einen ersten Klassifizierungsalgorithmus auszuführen, der dazu betriebsfähig ist, eine anfängliche Validierung des Vision-Datensignals durchzuführen. Der eine oder die mehreren Prozessoren sind dazu betriebsfähig, einen zweiten Klassifizierungsalgorithmus dazu auszuführen, eine anfängliche Validierung des Vision-Datensignals durchzuführen. Der eine oder die mehreren Prozessoren setzen den ersten Klassifizierungsalgorithmus und/oder den zweiten Klassifizierungsalgorithmus auf Grundlage einer oder mehrerer Fahrzeugbetriebseinstellungen um.

Description

GEBIET DER TECHNIK
Die vorliegende Offenbarung betrifft ein Fahrzeug-Vision-System und insbesondere Identitätsidentifikation und -authentifizierung.
ALLGEMEINER STAND DER TECHNIK
Der Zugang zu Fahrzeugen wurde traditionell unter Verwendung von physischen Schlüsseln verwaltet. Mit den physischen Schlüsseln müssen Benutzer eines Fahrzeugs jedoch mit dem Fahrzeug in Kontakt stehen, um Zugang zu erhalten. Außerdem ist die Replikation von physischen Schlüsseln eine einfache Aufgabe, und daher ist das Gewährleisten der Sicherheit von Fahrzeugen fraglich. Mit dem Aufkommen von ferngesteuerten schlüssellosen Systemen, die aus einem Funkschlüssel und einem Fahrzeug-Sendeempfänger bestehen, könnte Zugang auf die Fahrzeuge erhalten werden, ohne in Kontakt zu stehen, indem eine Taste an dem Funkschlüssel gedrückt wird. Da die Funkschlüssel elektronisch sind, wird die Replikation ebenfalls schwierig zu erreichen.
Fahrzeuge sind heutzutage mit Authentifizierungssystemen ausgestattet, die biometrische Daten verwenden, um nicht autorisierten Zugang zu verhindern. Jedoch können biometrische Daten leistungsintensiv sein, wenn ein Fahrzeug nicht in Betrieb ist, wodurch die Batterien des Fahrzeugs reduziert werden und die Funktionsfähigkeit riskiert wird.
KURZDARSTELLUNG
Die Gesichtsdetektion und -identifizierung ist ein beispielhaftes Verfahren für Authentifizierungssysteme, die biometrische Daten verwenden, um Zugang zu Fahrzeugvorgängen zu erlangen. Um das Verfahren zu erreichen, verwenden die Authentifizierungssysteme Vision-Sensoren, wie etwa Kameras, zur Bilderfassung und - verarbeitung. Die Vision-Sensoren werden an den Fahrzeugen eingesetzt. Das Authentifizierungssystem kann suo motu oder auf Handlung von Benutzern aktiviert werden. Das Authentifizierungssystem kann suo motu aktiviert werden, wenn sich ein Benutzer innerhalb einer definierten Nähe zu dem Fahrzeug befindet. Lokalisierung auf Vision-Basis (um die Position des Benutzers in Bezug auf die definierte Nähe zu bestimmen) erfolgt durch Durchsuchen einer gesamten Bildebene nach Übereinstimmung und Klassifizierung mit vorgespeicherten Daten, um die Authentizität der Benutzer zu verifizieren. Sobald es aktiviert ist, tastet das Authentifizierungssystem kontinuierlich die Umgebung des Fahrzeugs ab, um zu bestimmen, ob die Benutzer in der definierten Nähe die authentifizierten Benutzer sind. Infolgedessen verbraucht das Authentifizierungssystem eine einheitliche Leistung für die kontinuierliche Abtastung der Umgebung des Fahrzeugs zur Detektion und Identifizierung der Benutzer in der definierten Nähe. Es kann jedoch sein, dass nicht alle Benutzer in der definierten Nähe voraussichtlich Zugang zu den Fahrzeugen suchen. Das Authentifizierungssystem leidet somit unter einer längeren Latenz und einer größeren Schlüsselausschaltlast.
Die vorliegende Offenbarung betrifft ein System und verwandte Verfahren zum Verwalten des Fahrzeugzugangs und zum Schützen eines Fahrzeugs vor nicht autorisiertem Zugang zusammen mit dem Optimieren des Leistungsverbrauchs. Die Verfahren können durch Detektieren einer Entität in einem Sichtfeld eines Vision-Sensors, Identifizieren der detektierten Entität und ferner Bereitstellen von Fahrzeugzugang für die Entität erreicht werden, wenn die identifizierte Entität eine autorisierte Entität des Fahrzeugs ist.
Gemäß einem Aspekt der vorliegenden Offenbarung umfasst ein Fahrzeug-Vision-System ein Fahrzeug, das mit einem oder mehreren Vision-Sensoren gekoppelt ist. Jeder von dem einen oder den mehreren Vision-Sensoren erzeugt ein Vision-Datensignal. Das Fahrzeug-Vision-System beinhaltet zudem einen oder mehrere Prozessoren und einen Speicher, die kommunikativ mit dem Fahrzeug und/oder dem einen oder den mehreren Vision-Sensoren gekoppelt sind. Der eine oder die mehreren Prozessoren sind dazu betriebsfähig, einen ersten Klassifizierungsalgorithmus und einen zweiten Klassifizierungsalgorithmus auszuführen. Der erste Klassifizierungsalgorithmus ist dazu betriebsfähig, eine anfängliche Validierung des Vision-Datensignals durchzuführen, und der zweite Klassifizierungsalgorithmus ist dazu betriebsfähig, eine Validierung des Vision-Datensignals durchzuführen. Der eine oder die mehreren Prozessoren setzen den ersten Klassifizierungsalgorithmus und/oder den zweiten Klassifizierungsalgorithmus auf Grundlage einer oder mehrerer Fahrzeugbetriebseinstellungen um.
Gemäß einem Aspekt der vorliegenden Offenbarung umfasst ein System zum Detektieren und Identifizieren einer Entität für den Zugang zu einem Fahrzeug mindestens einen Vision-Sensor, der ein Vision-Datensignal erzeugt. Das System beinhaltet zudem einen oder mehrere Prozessoren, die mit einem Speicher gekoppelt sind. Der eine oder die mehreren Prozessoren sind dazu betriebsfähig, Anweisungen, die ein erstes Modul und ein zweites Modul beinhalten, auszuführen. Das erste Modul steht in Betriebskommunikation mit dem Vision-Sensor und umfasst eine anwendungsspezifische integrierte Schaltung, um Anweisungen auszuführen, wie etwa Detektieren einer Entität auf Grundlage des Vision-Datensignals und Durchführen einer anfänglichen Validierung der Entität. Das zweite Modul steht in Betriebskommunikation mit dem ersten Modul und verwendet einen Prozess der starken Erkennung, um die Entität der anfänglichen Validierung zu validieren und ein Authentifizierungssignal auf Grundlage der validierten Entität an einen oder mehrere Fahrzeugvorgangsendpunkte zu übertragen. Der eine oder die mehreren Prozessoren setzen den ersten Klassifizierungsalgorithmus und/oder zweiten Algorithmus auf Grundlage einer oder mehrerer Fahrzeugbetriebseinstellungen um.
In noch einem weiteren Aspekt der vorliegenden Offenbarung beinhaltet ein Verfahren zum Identifizieren einer Entität für den Zugang zu einem Fahrzeug das Überwachen eines Sichtfelds eines oder mehrerer Vision-Sensoren, um ein Vorhandensein einer Entität zu detektieren. Das Sichtfeld des einen oder der mehreren Vision-Sensoren umfasst eine Fokusregion. Das Verfahren verwendet ferner einen Prozess der schwachen Erkennung zum Verfolgen eines Standorts der Entität und zum Durchführen einer anfänglichen Validierung, wenn die Entität in die Fokusregion eintritt. Danach wird ein Prozess der starken Erkennung eingeleitet, wobei Gesichtsmerkmale der anfänglich validierten Entität mit einer gespeicherten Vorlage verglichen werden. Der anfänglich validierten Entität wird Zugang zu dem Fahrzeug gewährt, wenn bestimmt wird, dass die Gesichtsmerkmale der Entität mit der gespeicherten Vorlage übereinstimmen.
Figurenliste
Die vorstehend genannten Aspekte werden in dieser Schrift unter Bezugnahme auf die beigefügten Figuren näher beschrieben. Es ist anzumerken, dass sich die Beschreibung und die Figuren auf beispielhafte Aspekte beziehen und nicht als Einschränkung der vorliegenden Offenbarung ausgelegt werden sollten. Es versteht sich zudem, dass verschiedene Anordnungen entwickelt werden können, die, obwohl sie in dieser Schrift nicht ausdrücklich beschrieben oder gezeigt sind, die Grundsätze der vorliegenden Offenbarung umsetzen. Darüber hinaus sollen alle Aussagen in dieser Schrift, die Grundsätze, Aspekte und Beispiele der vorliegenden Offenbarung sowie spezifische Beispiele wiedergeben, Äquivalente davon einschließen.

1 ist ein Systemumgebungsdiagramm zum Verwalten eines oder mehrerer Fahrzeugvorgangsendpunkte gemäß mindestens einem Aspekt der vorliegenden Offenbarung.
2 veranschaulicht ein Blockdiagramm eines Systems, das dazu konfiguriert ist, einen oder mehrere Fahrzeugvorgangsendpunkte gemäß mindestens einem Aspekt der vorliegenden Offenbarung zu verwalten.
3 veranschaulicht einen Vision-Sensor gemäß mindestens einem Aspekt der vorliegenden Offenbarung.
4 ist ein Blockdiagramm, das eine detaillierte Ansicht des Systems aus 2 gemäß mindestens einem Aspekt der vorliegenden Offenbarung veranschaulicht.
5 veranschaulicht ein Ablaufdiagramm, das ein Verfahren zum Verwalten eines oder mehrerer Fahrzeugvorgangsendpunkte gemäß mindestens einem Aspekt der vorliegenden Offenbarung ausführt.
6 veranschaulicht ein Verfahren, das zum Detektieren und anfänglichen Validieren einer Entität unter Verwendung eines Prozesses der schwachen Erkennung gemäß mindestens einem Aspekt der vorliegenden Offenbarung durchgeführt wird.
7 veranschaulicht ein Verfahren, das zum Identifizieren einer detektierten und anfänglich validierten Entität unter Verwendung eines Prozesses der starken Erkennung gemäß mindestens einem Aspekt der vorliegenden Offenbarung durchgeführt wird.
8 zeigt ein Abfolgediagramm, das Prozesse veranschaulicht, die zum Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte gemäß mindestens einem Aspekt der vorliegenden Offenbarung verwendet werden.
9 veranschaulicht eine Umgebung, die ein nichttransitorisches computerlesbares Medium aufweist, gemäß mindestens einem Aspekt der vorliegenden Offenbarung.

Die Figuren stellen Ausführungsformen lediglich zu Veranschaulichungszwecken dar. Ein Fachmann wird leicht aus der folgenden Beschreibung erkennen, dass alternative Aspekte des hierin veranschaulichten Systems und Verfahrens eingesetzt werden können, ohne von den Prinzipien der hierin beschriebenen Offenbarung abzuweichen.
DETAILLIERTE BESCHREIBUNG
In der folgenden Beschreibung werden bestimmte konkrete Details dargelegt, um ein umfassendes Verständnis verschiedener offenbarter Beispiele bereitzustellen. Ein einschlägiger Fachmann wird jedoch erkennen, dass Beispiele ohne eines oder mehrere dieser konkreten Details oder mit anderen Verfahren, Komponenten, Materialien usw. realisiert werden können.
Sofern der Kontext nicht etwas anderes angibt, sind in der gesamten Beschreibung und den darauffolgenden Patentansprüchen das Wort „umfassen“ und Variationen davon, wie etwa „umfasst“ und „umfassend“, in einem offenen, einschließenden Sinne auszulegen, der „einschließlich unter anderem“ entspricht. Ferner sind die Ausdrücke „erstes“, „zweites“ und ähnliche Indikatoren einer Abfolge als austauschbar auszulegen, sofern der Kontext nicht eindeutig etwas anderes vorgibt.
Die Bezugnahme in dieser Beschreibung auf „ein Beispiel“ oder „ein Ausführungsbeispiel“ bedeutet, dass ein Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft, das bzw. die in Verbindung mit dem Beispiel beschrieben ist, in mindestens einem Beispiel beinhaltet ist. Somit bezieht sich das Auftreten der Formulierungen „in einem Beispiel“ oder „in einem Ausführungsbeispiel“ an verschiedenen Stellen in dieser Beschreibung nicht notwendigerweise immer auf dasselbe Beispiel. Darüber hinaus können die Merkmale, Strukturen oder Eigenschaften in einer oder mehreren Beispielen auf beliebige geeignete Weise kombiniert werden.
Wie in dieser Beschreibung und den beigefügten Patentansprüchen verwendet, beinhalten die Singularformen „ein“, „eine“ und „der/die/das“ Pluralbezüge, sofern der Inhalt nicht eindeutig etwas anderes vorgibt. Es ist zudem anzumerken, dass der Ausdruck „oder“ im Allgemeinen im weitesten Sinne verwendet wird, das heißt als „und/oder“, sofern der Inhalt nicht eindeutig etwas anderes vorgibt.
Die vorliegende Offenbarung stellt Beispiele bereit, die auf ein Fahrzeug-Vision-System, im Folgenden als System bezeichnet, zum Verwalten des Zugangs zu einem Fahrzeug durch Detektieren einer Entität auf Grundlage eines durch einen oder mehrere Vision-Sensoren erzeugten Vision-Datensignals gerichtet sind. Die Detektion erfolgt durch einen zweifältigen Prozess.

a. Ein erstes Modul eines oder mehrerer Prozessoren des Systems verwendet einen Prozess der schwachen Erkennung, der einen ersten Klassifizierungsalgorithmus einsetzt. Der erste Klassifizierungsalgorithmus hilft dabei, die Entität zunächst unter Verwendung einer nicht rechenintensiven Detektionstechnik zu validieren.
b. Ein zweites Modul des einen oder der mehreren Prozessoren des Systems verwendet einen Prozess der starken Erkennung, der einen zweiten Klassifizierungsalgorithmus einsetzt. Die anfänglich validierte Entität kann durch den zweiten Klassifizierungsalgorithmus unter Verwendung einer Detektionstechnik identifiziert werden, die rechnerisch leistungsfähiger und komplexer ist als die, die durch den ersten Klassifizierungsalgorithmus eingesetzt wird.

Ein Authentifizierungssignal kann einem oder mehreren Vorgangsendpunkten des Fahrzeugs bereitgestellt werden, wenn die detektierte Entität als autorisierte Entität des Fahrzeugs identifiziert wird. Das System kann zwischen dem ersten Klassifizierungsalgorithmus und dem zweiten Klassifizierungsalgorithmus auf Grundlage des Kontexts wechseln, der durch eine oder mehrere Betriebseinstellungen bereitgestellt wird.
Die Aspekte des Verwaltens des Zugangs zu dem Fahrzeug sind zum Reduzieren einer Schlüsselausschaltlast in dem Fahrzeug konfiguriert, indem die Entität unter Verwendung des Prozesses der schwachen Erkennung detektiert und anfänglich validiert wird und die detektierte Entität unter Verwendung des Prozesses der starken Erkennung identifiziert wird. Der Prozess der schwachen Erkennung verwendet den ersten Klassifizierungsalgorithmus, während der Prozess der starken Erkennung den zweiten Klassifizierungsalgorithmus verwendet. Der Prozess der schwachen Erkennung kann eine geringere Leistung und/oder Verarbeitungskapazität verbrauchen, während der Prozess der starken Erkennung eine hohe Leistung und/oder Verarbeitungskapazität nutzen kann. Der Prozess der starken Erkennung beinhaltet mehr Rechenmerkmale als der Prozess der schwachen Erkennung.
Es ist anzumerken, dass bei dem Prozess der schwachen Erkennung der eine oder die mehreren Vision-Sensoren in einem Modus mit niedriger Auflösung arbeiten können und/oder ein Bild mit niedriger Auflösung der Entität durch Verringerung der Abtastfrequenz des Vision-Datensignals erzeugen können. Ferner beinhaltet der Prozess der schwachen Erkennung eine reduzierte Abtastrate und eine reduzierte Beleuchtung. Die reduzierte Beleuchtung entspricht sowohl der Ausgangsleistung als auch der Arbeitszyklusdauer. Während zum Identifizieren der detektierten Entität durch den Prozess der starken Erkennung der eine oder die mehreren Vision-Sensoren in einem Modus mit niedriger Auflösung mit höherer Bildrate arbeiten und/oder ein hochauflösendes Bild zusammen mit einer höheren Beleuchtung der Entität durch Erhöhung der Abtastfrequenz des Vision-Datensignals erzeugen können. Das System führt eine Validierung der Entität in zwei Stufen durch, indem ein Differenzleistungsbedarf einbezogen wird, wodurch der Gesamtleistungsverbrauch reduziert wird, um die Verwaltung des Fahrzeugzugangs zu ermöglichen und die Schlüsselausschaltlast im Fahrzeug zu optimieren.
Das System ist dazu konfiguriert, während der gesamten Validierung eine Gesichtsdetektion durchzuführen. In einem Aspekt verwendet das System eine oder mehrere bildbasierte Ableitungen, wie etwa Farbhistogramme und/oder Kontrast des Bildes, um die detektierte Entität unter Verwendung des Prozesses der starken Erkennung zu identifizieren. Das hochauflösende Bild der Entität, das bei dem Prozess der starken Erkennung erzeugt wurde, kann mit ähnlichen Ableitungen verglichen werden, wie etwa den Farbhistogrammen von Bildern autorisierter Entitäten, die in dem System vorgespeichert sein können. Somit wird, wenn die Ableitung des hochauflösenden Bildes der vorgespeicherten Ableitung am nächsten kommt, die detektierte Entität durch das System identifiziert. In einer Ausführungsform kann der Prozess der starken Erkennung die anfängliche Validierung durchführen.
1 veranschaulicht eine Umgebung 100, die ein Fahrzeug 106, einen oder mehrere Vision-Sensoren 110, die an dem Fahrzeug 106 montiert sind, und einen oder mehrere Näherungssensoren (in 1 nicht gezeigt) beinhaltet. Die Näherungssensoren detektieren das Vorhandensein von Entitäten, die das Fahrzeug 106 umgeben, und messen den Abstand zwischen einer Entität und dem Fahrzeug 106. Die Umgebung 100 beinhaltet ferner eine Entität E1 108a, die sich in einer Nähe des Fahrzeugs 106 befindet, gemäß einem Aspekt der vorliegenden Offenbarung. Der eine oder die mehreren Vision-Sensoren 110 können eine oder mehrere Kameras beinhalten, die dazu konfiguriert sind, gemeinsam ein Sichtfeld 104 um das Fahrzeug 106 abzudecken. Die Näherungssensoren bestimmen, ob sich die Entität in dem Sichtfeld 104 oder in einer Fokusregion 102 befindet, und verfolgen den Standort der Entität. Die Näherungssensoren lösen beim Bestimmen, dass sich eine beliebige Entität innerhalb des Sichtfelds 104 oder der Fokusregion 102 befindet, den einen oder die mehreren Vision-Sensoren 110 aus. Der eine oder die mehreren Vision-Sensoren 110 sind dazu konfiguriert, ein Bild der Entität E1 108a aufzunehmen und ein Vision-Datensignal zu erzeugen. In dem veranschaulichten Aspekt können der eine oder die mehreren Vision-Sensoren 110 Außenkameras sein, die sichtbare Kameras sind, die an mindestens einem Abschnitt an einem Außenbereich des Fahrzeugs 106 montiert sind. In einem Beispiel befinden sich der eine oder die mehreren Vision-Sensoren 110 innerhalb des Fahrzeugs 106. In alternativen Beispielen können der eine oder die mehreren Vision-Sensoren 110 ein Stereo- und/oder ein dreidimensionales Vision-System beinhalten. In einem anderen Beispiel kann es sich bei dem einen oder den mehreren Vision-Sensoren 110 um ein Paar zweidimensionaler Kameras handeln, die dazu konfiguriert sind, als Stereopaar zu fungieren, um ein dreidimensionales Bild in einer bestimmten Bildebene der Entität E1 108a aufzunehmen. Zusätzlich können der eine oder die mehreren Vision-Sensoren 110 eine einzelne Kamera sein, um ein dreidimensionales Bild der Entität E1 108a unter Verwendung eines modulierten Lichts aufzunehmen, um Bilddaten zu erzeugen. In einem alternativen Aspekt können der eine oder die mehreren Vision-Sensoren 110 an mindestens einem Abschnitt an einer Innenregion des Fahrzeugs 106 montiert sind. In einer Ausführungsform beinhalten der eine oder die mehreren Vision-Sensoren 110 Wärmekameras oder sichtbare Kameras oder eine Kombination davon. Die Wärmekamera und die sichtbare Kamera können gemeinsam registriert sein, wobei Bilder von dem Paar aus Wärmekamera und sichtbarer Kamera, die gemeinsam registriert sind, geometrisch ausgerichtet sind, sodass entsprechende Pixel, die registriert sind und die Entität E1 108a darstellen, integriert oder verschmolzen sind. Die Bilder sind zum Beispiel Nicht-Stereobilder
Wenn die Näherungssensoren bestimmen, dass sich eine beliebige Entität oder die Entität E1 108a innerhalb des Sichtfelds 104 befindet, lösen die Näherungssensoren einen Prozess der schwachen Erkennung aus. Der Prozess zur schwachen Erkennung kann das Vision-Datensignal von dem einen oder den mehreren Vision-Sensoren 110 verwenden, um die Entität E1 108a zu detektieren und anfänglich zu validieren, wenn sich die Entität E1 108a im Sichtfeld 104 befindet. Es ist anzumerken, dass für den einen oder die mehreren Vision-Sensoren 110 das Sichtfeld 104 als ein Erkennungsbereich definiert ist. Der Erkennungsbereich wird in dem Bild auf Grundlage der Position des Kopfes oder Gesichts der Entität E1 108a und der Anzahl der detektierten Pixel bestimmt. Der Erkennungsbereich wird als eine Entfernung gemessen, bis zu der der eine oder die mehreren Vision-Sensoren 110 ein unverzerrtes Bild der Entität E1 108a erzeugen können. Das Sichtfeld 104 definiert einen Erkennungsbereich innerhalb der Fokusregion 102, wenn die Entität E1 108a durch einen ersten Klassifizierungsalgorithmus detektiert wird.
Wenn die Näherungssensoren bestimmen, dass sich eine beliebige Entität oder die Entität E1' 108b, die durch den Prozess der schwachen Erkennung detektiert und anfänglich validiert wurde, während sie sich im Sichtfeld 104 befindet, innerhalb der Fokusregion 102 befindet, löst der Näherungssensor einen Prozess der starken Erkennung aus. Der Prozess der starken Erkennung kann dazu konfiguriert sein, die Entität E1' 108b zu identifizieren, wenn sich die Entität E1' 108b zu einer Fokusregion 102 des einen oder der mehreren Vision-Sensoren 110 bewegt. Die Fokusregion 102 ist als ein Bereich definiert, der auf einen Radius einer vorbestimmten Entfernung beschränkt ist, der um den einen oder die mehreren Vision-Sensoren 110 kalibriert wird. In mindestens einem Fall der vorliegenden Offenbarung kann die vorbestimmte Entfernung 1 Meter betragen. In einer alternativen Ausführungsform ist eine Fokusregion (in 1 nicht gezeigt) durch eine Kontur eingeschränkt, die eine erwartete Position des Kopfes der Entität E1 108a definiert. Die Fokusregion 102 wird verwendet, um die anfänglich validierte Entität E1' 108b zu identifizieren. Die anfänglich validierte Entität E1' 108b, die durch den Prozess der starken Erkennung als die validierte Entität E1' 108b identifiziert wird, kann, wenn sie als autorisierte Entität identifiziert wird, einen oder mehrere Fahrzeugvorgangsendpunkte verwalten, wie in 2 gezeigt, einschließlich unter anderem das Starten des Fahrzeugs 106 oder einen Passive-Entry-Passive-Start-(PEPS-)Betrieb.
Das Auslösen des Prozesses der schwachen Erkennung und des Prozesses der starken Erkennung auf Grundlage des nachverfolgten Standorts der Entität ermöglicht eine selektive Aktivierung des Prozesses der schwachen und der starken Erkennung. Die Aktivierung der Vision-Sensoren 110 auf Basis des Standorts der Entität und die selektive Aktivierung des schwachen und starken Prozesses auf Basis des Standorts der Entität unterstützen einen optimalen Leistungsverbrauch durch das System.
In mindestens einem Beispiel werden ein oder mehrere Fahrzeugstützmerkmale, wie etwa ein Begrüßungsmodusmerkmal, automatisch aktiviert, sobald die Entität E1 108a anfänglich im Sichtfeld 104 validiert ist. Die anfänglich validierte Entität E1' 108b wird identifiziert und die Erlaubnis erteilt, den einen oder die mehreren Fahrzeugvorgangsendpunkte zu verwalten, wenn sich die anfänglich validierte Entität E1 108a in der Fokusregion 102 befindet. Ferner kann das System dazu konfiguriert sein, automatisch zwischen dem Prozess der schwachen Erkennung und dem Prozess der starken Erkennung umzuschalten, um die Schlüsselausschaltlast zu reduzieren und somit das Optimieren des Leistungsverbrauchs zu erleichtern, der an der Erkennung, anfänglichen Validierung, Validierung und Identifizierung der Entität E1' 108b beteiligt ist.
Ein oder mehrere Prozessoren setzen, wie in 2 gezeigt, den ersten Klassifizierungsalgorithmus und/oder einen zweiten Klassifizierungsalgorithmus auf Grundlage einer oder mehrerer Betriebseinstellungen, das heißt, Fahrzeugbetriebseinstellungen um. Die Betriebseinstellungen beinhalten biometrische Authentifizierung. In einer Ausführungsform wird die anfängliche Validierung unter Verwendung des Prozesses der starken Erkennung durchgeführt. Das System wechselt automatisch vom Prozess der schwachen Erkennung zum Prozess der starken Erkennung, wenn die Anforderung eines Sicherheitsmerkmals, wie etwa passiver Einstieg, passiver Start, sicherer Leerlauf und Zahlungsauthentifizierung, bestimmt wird.
Das Fahrzeug 106 beinhaltet eine oder mehrere Betriebseinstellungen, wie etwa ein Innenraumüberwachungsmerkmal, als Betriebseinstellung, bei der Innenräume des Fahrzeugs 106 auf Sicherheit und Gesundheit von Insassen des Fahrzeugs 106 überwacht werden. In dem Innenraumüberwachungsmerkmal beinhaltet der erste Klassifizierungsalgorithmus eine Gesichtserkennung mit geringer Leistung mit Verifizierung von Pixeln auf dem Ziel und der Position in der Bildebene im Innenraum des Fahrzeugs 106 unter Verwendung einer Identifizierungstechnik, zum Beispiel der Support Vector Machine (SVM). In dem Innenraumüberwachungsmerkmal kann der zweite Klassifizierungsalgorithmus eine detaillierte Emotions- und/oder Stressanalyse beinhalten, die zum Beispiel eine Wärmekamera zur Gesundheitsverfolgung beinhaltet.
Der zweite Klassifizierungsalgorithmus kann zum Überwachen der Kabinentemperatur verwendet werden, um die Innenraumumgebungstemperatur des Fahrzeugs 106 zu bestimmen und aufrechtzuerhalten. Außerdem wird der zweite Algorithmus zur periodischen Überprüfung der Temperatur des einen oder der mehreren Insassen des Fahrzeugs 106 unter Verwendung von zum Beispiel den Wärmekameras zum Überwachen des Gesundheitszustands der Insassen verwendet. Wenn bestimmt wird, dass die Insassen gesund sind, kehrt das Fahrzeug 106 von der Verwendung des zweiten Klassifizierungsalgorithmus zum ersten Klassifizierungsalgorithmus zurück.
Wenn die Innenkabinentemperatur zum Beispiel niedrig ist, das heißt zum Beispiel 64 °F und wenn die Temperatur des einen oder der mehreren Insassen des Fahrzeugs 106 höher als eine durchschnittliche normale Körpertemperatur ist, die 98 °F ist, dann benachrichtigt der zweite Klassifizierungsalgorithmus, wenn sich das Fahrzeug 106 in der Betriebseinstellung als das Innenraumüberwachungsmerkmal befindet, die autorisierte Entität. Der zweite Klassifizierungsalgorithmus verwendet ein oder mehrere Kommunikationsprotokolle oder Kommunikationsmodi, um die autorisierte Entität zu benachrichtigen.
Das Fahrzeug 106 kann auch ein thermisches Tiererfassungsmerkmal als eine Betriebseinstellung beinhalten, das die Detektion von Tieren in der Nähe des Fahrzeugs 106 unter Verwendung des einen oder der mehreren Vision-Sensoren 110, wie etwa der Wärmekameras, aufgrund von Hindernissen in der Natur beinhaltet; zum Beispiel kann ein Tier, das sich hinter einem Busch versteckt, unter Verwendung der Wärmekamera detektiert werden. In dem Merkmal zur thermischen Tiererfassung führt der erste Klassifizierungsalgorithmus Funktionen aus, die in dem Wachmodusmerkmal offenbart sind. Bei dem thermischen Tiererfassungsmerkmal beinhaltet der zweite Klassifizierungsalgorithmus das Eingreifen der Wärmekameras in die Tierklassifizierung, einschließlich einer Gefahrenanalyse auf Grundlage von Gangart, Tierstresserkennung usw. Der zweite Klassifizierungsalgorithmus wird zur Bewegungsdetektion über einem vorbestimmten Schwellenwert zusammen mit der Verifizierung verwendet. Das Fahrzeug 106 wechselt von der Verwendung des zweiten Klassifizierungsalgorithmus zu dem ersten Klassifizierungsalgorithmus, wenn bestimmt wird, dass die gefundenen Tiere keine Bedrohung darstellen oder wenn keine Tiere gefunden werden.
Das Fahrzeug 106 beinhaltet einen Haustiermodus, wenn die anfängliche Validierung mit einer gespeicherten Vorlage für ein Haustier und/oder ein Tier im Innenraum des Fahrzeugs 106 übereinstimmt. Wenn die Betriebseinstellung der Haustiermodus ist, aktiviert das System eine oder mehrere Komforteinstellungen des Fahrzeugs 106. Die Komforteinstellungen bestehen zum Beispiel darin, die Temperatur des Innenraums des Fahrzeugs 106 auf einer vom Benutzer vordefinierten Temperatur zu halten, die einem Haustier, das sich im Fahrzeug ohne den Insassen im Haustiermodus befindet, Komfort bereitstellt.
Das Fahrzeug 106 beinhaltet ein Leistungsmerkmal des biometrischen Schlüssels als eine Betriebseinstellung, die einen gerätelosen Schlüsselzugang durch visuelle Biometrik unterstützt. In dem Biometrikschlüsselleistungsmodusmerkmal beinhaltet der erste Klassifizierungsalgorithmus eine Gesichtsdetektion mit geringer Leistung mit Verifizierung von Pixeln auf einem Ziel und einem entsprechenden Ort in der Bildebene unter Verwendung einer Identifizierungstechnik, zum Beispiel der Support Vector Machine (SVM). In dem Leistungsmodusmerkmal des biometrischen Schlüssels beinhaltet der zweite Klassifizierungsalgorithmus eine sichere Identifizierung für biometrischen Zugang, zum Beispiel neuronale Netze oder Deep Learning, mit einer potenziellen Lebendigkeitsverifizierung. In einem Beispiel beinhaltet der zweite Klassifizierungsalgorithmus Kamerafusion, wie etwa Fusion der Stereokamera und der Wärmekamera.
Der erste Klassifizierungsalgorithmus kann zur Näherungsdetektion verwendet werden, um die Verwendung des zweiten Klassifizierungsalgorithmus zu rechtfertigen. Das Fahrzeug 106 wechselt zwischen dem ersten Klassifizierungsalgorithmus und dem zweiten Klassifizierungsalgorithmus auf Grundlage des Kontexts, der durch die Betriebseinstellungen bereitgestellt wird. Zum Beispiel wird nach einer Validierung unter Verwendung des zweiten Klassifizierungsalgorithmus der erste Klassifizierungsalgorithmus verwendet, um das Vorhandensein der validierten Entität E1' 108b zu verfolgen, bis die Entität E1' 108b ein Sicherheitsmerkmal wie etwa Zugang, passiven Start, Zahlungen usw. anfordert. Die Verfolgung des ersten Klassifizierungsalgorithmus ist für die Personalisierung und Anmeldung bei Infotainment-Konten ausreichend.
2 veranschaulicht ein Blockdiagramm eines Systems 200, um die Umgebung zu ermöglichen, wie in 1 beschrieben. Das System 200 ist dazu konfiguriert, einen oder mehrere Fahrzeugvorgangsendpunkte 114 zu verwalten, um einen nicht autorisierten Zugang auf das Fahrzeug 106 gemäß einem Aspekt der vorliegenden Offenbarung zu detektieren und zu verhindern. Das hierin beschriebene Fahrzeug 106 kann ein Elektrofahrzeug, ein Hybridfahrzeug, ein autonomes Fahrzeug, ein halbautonomes Fahrzeug oder ein schweres Fahrzeug beinhalten. Ferner kann das Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte 114 unter anderem mindestens einen von einem Passive-Entry-Passive Start-(PEPS-)Vorgang, Entriegeln/Verriegeln einer Tür oder eines Kofferraums des Fahrzeugs 106, Starten des Fahrzeugs 106 oder eines beliebigen anderen Fahrzeugvorgangs, wie er einem Durchschnittsfachmann bekannt ist, beinhalten.
In einem veranschaulichten Aspekt beinhaltet das System 200 den einen oder die mehreren Vision-Sensoren 110, die an verschiedenen Positionen an dem Fahrzeug, wie etwa dem Fahrzeug 106, montiert sind. Die verschiedenen Positionen können die Fahrerseite des Fahrzeugs 106, die Beifahrerseite des Fahrzeugs 106 und/oder die Heckklappe (z. B. hinten) des Fahrzeugs 106 beinhalten. Der eine oder die mehreren Vision-Sensoren 110 sind dazu konfiguriert, unterschiedliche Winkel des Sichtfelds 104 des Fahrzeugs 106 abzudecken und Bilddaten aufzunehmen, um das Vision-Datensignal zu erzeugen. Ferner können der eine oder die mehreren Vision-Sensoren 110 an mindestens einem Abschnitt an einer Außen- oder einer Innenregion des Fahrzeugs 106 montiert sind. In mindestens einem Beispiel können der eine oder die mehreren Vision-Sensoren 110 an einem oberen Abschnitt des Fahrzeugs 106 montiert sein, um die Bilddaten der Entität E1 108a bereitzustellen, die sich innerhalb einer definierten Nähe des Fahrzeugs 106 befindet. Eine definierte Umgebung bildet einen Bereich um das Fahrzeug 106, der durch das Sichtfeld 104 des einen oder der mehreren Vision-Sensoren 110 abgedeckt ist. In einem anderen Beispiel können der eine oder die mehreren Vision-Sensoren 110 innerhalb des Fahrzeugs 106 montiert sein, wie etwa in einer Kabine des Fahrzeugs 106, um Personalisierungsinformationen der Entität E1 108a zu erzeugen, um die Anforderung der anfänglich validierten Entität E1 108a auszuführen, um den einen oder die mehreren Fahrzeugvorgänge durchzuführen.
In mindestens einem Aspekt der vorliegenden Offenbarung kann die Entität E1 108a eine Person beinhalten, die sich in der definierten Nähe des Fahrzeugs 106 befindet. In mindestens einem Beispiel kann die Person und/oder die Entität E1 108a die autorisierte Entität des Fahrzeugs 106 mit eingeschränktem oder vollständigem Zugang auf das Fahrzeug 106 sein. In einem anderen Beispiel kann die Person oder die Entität E1 108a eine nicht autorisierte Entität des Fahrzeugs 106 mit verweigertem Zugang auf das Fahrzeug 106 sein.
Das System 200 beinhaltet zudem einen oder mehrere Prozessoren 112, die einen Speicher 116, ein erstes Modul 118 und ein zweites Modul 120 beinhalten. Der eine oder die mehreren Prozessoren 112 können in dieser und anderen Ausführungsformen eines oder mehrere von einem Mikroprozessor, einem Mikrocontroller, einem feldprogrammierbaren Gate-Array (FPGA), einer komplexen programmierbaren Logikvorrichtung (CPLD), einer anwendungsspezifischen integrierten Schaltung (ASIC), einer Grafikverarbeitungseinheit (GPU), einer Tensorverarbeitungseinheit (TPU) und/oder einer beliebigen anderen elektronischen Rechenvorrichtung beinhalten. Der Speicher 116 kann ein beliebiges geeignetes computerlesbares Medium sein, wie etwa eine optische Platte, eine Festplatte, ein Festkörperspeicher, ein Flash-Speicher usw., und kann nicht beschreibbar oder beschreibbar sein. Der eine oder die mehreren Prozessoren 112 und der Speicher 116 sind kommunikativ mit dem Fahrzeug 106 und/oder dem einen oder den mehreren Vision-Sensoren 110 gekoppelt sind.
Das erste Modul 118 kann mit dem einen oder den mehreren Vision-Sensoren 110 wirkverbunden sein und ist dazu konfiguriert, das Vision-Datensignal zu empfangen, das durch den Modus mit niedriger Auflösung des einen oder der mehreren Vision-Sensoren 110 erzeugt wird. Beim Empfangen des Vision-Datensignals kann das erste Modul 118 Anweisungen ausführen, um aufeinanderfolgende Einzelbilder der Bilddaten, die das Vision-Datensignal erzeugt haben, unter Verwendung des Prozesses der schwachen Erkennung zu verarbeiten. Das erste Modul 118 kann die Entität E1 108a verfolgen, die durch den einen oder die mehreren Vision-Sensoren 110 detektiert wurde. Um eine Verfolgung der Entität E1 108a zu erreichen, kann das erste Modul 118 den Erkennungsbereich des einen oder der mehreren Vision-Sensoren 110 auf die erwartete Position des Kopfes der detektierten Entität E1 108a trimmen. Das erste Modul 118 kann einen Objektkontursensor auf Vision-Basis (in 1 nicht gezeigt) verwenden, bei dem es sich um einen Prozess der schwachen Erkennung handelt, der eine Position von menschlichen Köpfen, das heißt die Position der Entität E1 108a, innerhalb der Bilddaten des Vision-Datensignals unter Verwendung einer Kopfform als Hinweis verfolgt. In einer alternativen Ausführungsform kann das erste Modul 118 einen Farbsensor auf Vision-Basis (in 1 nicht gezeigt) verwenden, der eine Position von menschlichen Köpfen in den Bilddaten des Vision-Datensignals unter Verwendung der Kopffarbe als visuellen Hinweis verfolgen kann.
Es ist anzumerken, dass das System 200 darauf abzielt, eine Schlüsselausschaltlast für das Fahrzeug 106 zu verwalten, um den Leistungsverbrauch zu optimieren, der an der Detektion und Identifizierung der Entität E1 108a beteiligt ist. Um dies zu erreichen, entnimmt das erste Modul 118 eine vorbestimmte Rechenleistung aus einer ersten Leistungsquelle (in 2 nicht gezeigt), die an dem System 200 angeordnet ist. Es ist anzumerken, dass die erste Leistungsquelle, die dem ersten Modul 118 die vorbestimmte Rechenleistung zuführt, dem ersten Modul 118 zugeordnet ist. In einer alternativen Ausführungsform beziehen der eine oder die mehreren Prozessoren 112 Rechenleistung aus der ersten Leistungsquelle. Insbesondere führt das erste Modul 118 zum Detektieren eines Vorhandenseins der Entität E1 108a den Prozess der schwachen Erkennung an den Bilddaten durch, indem eine oder mehrere nicht rechenintensive Detektionstechniken verwendet werden. Einige der beispielhaften nicht rechenintensiven Detektionstechniken können unter anderem Folgendes beinhalten:

a) eine Gradientendetektion, die durch Auswählen eines oder mehrerer Startpunkte auf einem Gradienten mit niedriger Intensität der Bilddaten ausgeführt wird,
b) eine Konturdetektion durch Schätzen der Größe der Entität E1 108a unter Verwendung von Abmessungen, die aus einer Grenzkontur extrahiert wurden, die die Entität E1 108a darstellt,
c) Aufnehmen eines Einzelbilds der Entität E1 108a unter Verwendung der Bilddaten,
d) Detektion auf Ankerbasis, bei der ein oder mehrere Schlüsselpunkte in den Bilddaten der EntitätE1 108a mit einem vorab gespeicherten Schwellenwert verglichen werden; der Schwellenwert wird als Ankerpunkt angesehen,
e) eine bahnbrechende kaskadierte Gesichtsdetektion zum Detektieren von Gesichtsfaktoren, die in Bezug auf Größe, Beleuchtung, Ausdruck, Pose und Okklusion variieren.

Das erste Modul 118 mit dem ersten Klassifizierungsalgorithmus ist kommunikativ an die erste Speicherbank (in 2 nicht gezeigt) gekoppelt. Die erste Speicherbank speichert Vorlagensignale oder Daten, die für die autorisierte Entität repräsentativ sind. Das erste Modul 118 verwendet eine gespeicherte Vorlage der autorisierten Entität in der ersten Speicherbank, um die detektierte Entität E1 108a anfänglich zu validieren. Die anfängliche Validierung findet statt, sobald sich die detektierte Entität E1 108a von einem gegenwärtigen Standort in dem Sichtfeld 104 zu der Fokusregion 102 des einen oder der mehreren Vision-Sensoren 110 bewegt. In einer alternativen Ausführungsform kann das System 200 die anfängliche Validierung ermöglichen, während die detektierte Entität E1 108a an der gegenwärtigen Position im Sichtfeld 104 bleibt. Die anfängliche Validierung ist entweder die gespeicherte Vorlagenübereinstimmung zur Identifizierung oder eine Verifizierung der Position im Bild, zum Beispiel ausreichend Pixel auf dem Ziel, um eine Anforderung der Verwendung von starker Erkennung sicherzustellen.
Ein durch das erste Modul 118 erzeugtes Signal entspricht insbesondere heruntergetasteten Bilddaten mit einer niedrigen Auflösung, einer wesentlich reduzierten Frequenz, einer reduzierten Beleuchtung, einem reduzierten Kontrast aufgrund einer reduzierten Beleuchtung und einer reduzierten Anzahl von Pixeln. Das erste Modul 118 verbraucht die vorbestimmte Rechenleistung zum Detektieren der Entität E1 108a. Es ist anzumerken, dass das erste Modul 118 mit dem zweiten Modul 120 verbunden ist und bei Detektion und anfänglicher Validierung der Entität E1 108a das erste Modul 118 das Signal an das zweite Modul 120 sendet.
Beim Empfangen des Signals von dem ersten Modul 118 wird das zweite Modul 120 aktiviert und führt den Prozess der starken Erkennung aus, um die anfänglich validierte Entität E1' 108b zu identifizieren. Zu diesem Zweck entnimmt das zweite Modul 120 eine vorbestimmte Rechenleistung, die höher als die vorbestimmte Rechenleistung ist, die durch das erste Modul 118 entnommen wird, aus einer allgemeinen Leistungsquelle (in 1 nicht gezeigt), die an dem System 200 angeordnet ist. Es ist anzumerken, dass sich die allgemeine Leistungsquelle, die dem zweiten Modul 120 die vorbestimmte Rechenleistung zuführt, von der ersten Leistungsquelle unterscheidet, die dem ersten Modul 118 die vorbestimmte Rechenleistung zuführt. In der alternativen Ausführungsform, in der der eine oder die mehreren Prozessoren 112 Rechenleistung aus der Leistungsquelle beziehen, können das erste Modul 118 und das zweite Modul 120 die vorbestimmte Rechenleistung aus der ersten Leistungsquelle beziehen.
Das zweite Modul 120 mit dem zweiten Klassifizierungsalgorithmus ist kommunikativ an eine erste Speicherbank (in 2 nicht gezeigt) gekoppelt. Die zweite Speicherbank speichert Vorlagensignale oder Daten, die für die autorisierte Entität repräsentativ sind. Die erste Speicherbank und die zweite Speicherbank werden gemeinsam als Speicherbank bezeichnet. Die Speicherbank wird auch als Speichermodul bezeichnet. Der zweite Klassifizierungsalgorithmus wird zum Durchführen des Prozesses der starken Erkennung verwendet.
Zur Identifizierung der detektierten und anfänglich validierten Entität E1' 108b führt das zweite Modul 120 den Prozess der starken Erkennung an dem Signal durch, indem eine oder mehrere rechenintensive Detektionstechniken verwendet werden. Der Prozess der starken Erkennung gleicht die anfänglich validierte Entität E1' 108b mit einer gespeicherten Vorlage der autorisierten Entität ab. Der Prozess der starken Erkennung kann eine Lebendigkeitsprüfung beinhalten, indem Eigenschaften des Gesichts charakterisiert werden, um daraus zu schließen, dass es sich um eine lebende Person handelt, einschließlich unter anderem Tiefe, Farbanalyse, Texturanalyse, Spiegelreflexionsanalyse und/oder Wärmeanalyse usw. Die Vorlage befindet sich in der zweiten Speicherbank. Einige der beispielhaften einen oder mehreren Techniken zur Detektion mit hoher Rechenleistung beinhalten unter anderem Folgendes:

a) eine Technik auf neuronaler Basis,
b) eine Technik auf Basis eines trainierten Modells,
c) eine Gesichtsdetektionskaskadentechnik, die eine Gesichtsidentifikation/- verifizierung durch Identifizieren großer Variationen im Maßstab und in der Okklusion beinhaltet.

Eine autorisierte Validierung ist die biometrische Authentifizierung der gespeicherten Vorlage, wie etwa einer gespeicherten Gesichtsvorlage, einer gespeicherten Irisvorlage und/oder einer gespeicherten Gangvorlage der Entität E1' 108b innerhalb des Sichtfelds 104 für den ersten und den zweiten Klassifizierungsalgorithmus.
In einer alternativen Ausführungsform können der eine oder die mehreren Prozessoren 112 in dem einen oder den mehreren Vision-Sensoren 110 eingebaut sein. Zum Beispiel beinhalten ein oder mehrere Vision-Sensoren 300, wie in 3 gezeigt, einen oder mehrere Prozessoren 302, einen Speicher 304, ein erstes Modul 306 und ein zweites Modul 308. Der eine oder die mehreren Prozessoren 302 können einstückig mit mindestens einer Schaltung des einen oder der mehreren Vision-Sensoren 300 aufgebaut sein. In einem anderen Beispiel können der eine oder die mehreren Prozessoren 302 in mindestens einem Abschnitt des einen oder der mehreren Vision-Sensoren 300 angeordnet sein.
Unter Bezugnahme auf 2 beinhaltet das System 200 ferner einen oder mehrere Fahrzeugbetriebsendpunkte 114a, 114b,...114n, die gemeinsam als Fahrzeugvorgangsendpunkte 114 bezeichnet werden. Es ist anzumerken, dass die Fahrzeugvorgangsendpunkte 114 ein Zündsystem, einen Fahrzeugtürverriegelungs- oder Kofferraumverriegelungs-/-entriegelungsschalter oder ein beliebiges anderes System beinhalten können, das sich auf einen oder mehrere Vorgänge des Fahrzeugs 106 bezieht. Das Verwalten der Fahrzeugvorgangsendpunkte 114 kann eine Aufgabe beinhalten, die zum Zugreifen auf das Fahrzeug 106 ausgeführt werden soll. Zum Beispiel kann der Fahrzeugvorgangsendpunkt 114a die Türverriegelung beinhalten und das Verwalten des Fahrzeugvorgangsendpunkts 114a kann Aufgaben des Verriegelns oder Entriegelns der Türverriegelung des Fahrzeugs 106 beinhalten.
Wenn die anfänglich validierte Entität E1' 108b mit der gespeicherten Vorlage der autorisierten Entität konsistent ist, überträgt das zweite Modul 120, das kommunikativ an den einen oder die mehreren Fahrzeugvorgangsendpunkte 114 gekoppelt ist, ein Authentifizierungssignal an dieses. Es ist anzumerken, dass das Authentifizierungssignal ein positives Authentifizierungssignal oder ein negatives Authentifizierungssignal beinhalten kann.
In einem Beispiel stellt das positive Identifikationssignal dar, dass die erkannte und anfänglich validierte und die validierte Entität E1' 108b als die autorisierte Entität identifiziert wird, die angefordert hat, die mindestens eine Aufgabe durchzuführen, die dem Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte 114 entspricht. Somit erteilt das System 200 bei der Erzeugung des positiven Identifikationssignals der anfänglich validierten Entität E1' 108b die Erlaubnis, die eine oder mehreren Aufgaben durchzuführen, die dem Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte 114 entsprechen, einschließlich der Aufgabe von Starten des Fahrzeugs 106. Während eine Erzeugung des negativen Authentifizierungssignals darstellt, dass die detektierte und anfänglich validierte Entität E1' 108b durch das zweite Modul 120 als die nicht autorisierte Entität identifiziert wird. Dementsprechend wird der erfassten und anfänglich validierten Entität E1' 108b die Erlaubnis verweigert, die eine oder die mehreren Aufgaben an dem einen oder den mehreren Fahrzeugvorgangsendpunkten 114 durchzuführen.
4 ist ein Blockdiagramm, das eine detaillierte Ansicht des Systems 200 aus 2 gemäß einem Aspekt der vorliegenden Offenbarung veranschaulicht. Ein hierin veranschaulichtes System 400 ist dazu konfiguriert, die Entität E1 108a zu detektieren und anfänglich zu validieren, die anfänglich validierte Entität E1' 108b zu identifizieren und die identifizierte Entität E1' 108b ferner zu authentifizieren, um den einen oder die mehreren Fahrzeugvorgangsendpunkte 114 zu verwalten (wie in den 1 und 2 beschrieben).
Wie veranschaulicht, beinhaltet das System 400 den einen oder die mehreren Vision-Sensoren 110, die dazu konfiguriert sind, die Bilddaten aufzunehmen und das Vision-Datensignal zu erzeugen, das den aufgenommenen Bilddaten entspricht. Der eine oder die mehreren Vision-Sensoren 110 beinhalten eine oder mehrere Kameras 110a, 110b...110n, die an mindestens einem Abschnitt der Außenregion oder der Innenregion des Fahrzeugs 106 montiert sind. Die eine oder mehreren Kameras 110a, 110b...110n decken gemeinsam ein Sichtfeld 104 um das Fahrzeug 106 ab, um das Vision-Datensignal zu erzeugen. Die eine oder mehreren Kameras 110a, 110b...110n sind die sichtbaren Kameras und/oder die Wärmekameras oder eine Kombination davon. Das Vision-Datensignal entspricht den Bilddaten der Entität E1 108a, die sich innerhalb der definierten Nähe des Fahrzeugs 106 befindet.
In einem Beispiel können der eine oder die mehreren Vision-Sensoren 110 ebenfalls ein Stereo- und/oder ein dreidimensionales Vision-System beinhalten. In einem anderen Beispiel können der eine oder die mehreren Vision-Sensoren 110 ein Paar zweidimensionale Kameras beinhalten, die dazu konfiguriert sind, als Stereopaar zu fungieren, um dreidimensionale Bilddaten in einer bestimmten Bildebene der Entität E1 108a aufzunehmen. Alternativ können der eine oder die mehreren Vision-Sensoren 110 eine einzelne Kamera beinhalten, um ein dreidimensionales Bild der Entität E1 108a unter Verwendung eines modulierten Lichts aufzunehmen, um die Bilddaten zu erzeugen.
Der eine oder die mehreren Vision-Sensoren 110 können dazu konfiguriert sein, eine oder mehrere Funktionen durchzuführen, wie etwa eine Bilderfassung der Entität E1 108a, die sich innerhalb der definierten Nähe des Fahrzeugs 106 im Sichtfeld 104 des einen oder der mehreren Vision-Sensoren 110 befindet. Während die eine oder mehreren Funktionen durchgeführt werden, können der eine oder die mehreren Vision-Sensoren 110 in einem Modus mit niedriger Auflösung und einem Modus mit hoher Auflösung arbeiten. In dem Modus mit niedriger Auflösung erzeugen der eine oder die mehreren Vision-Sensoren 110 Bilddaten mit niedriger Auflösung, während in dem Modus mit hoher Auflösung der eine oder die mehreren Vision-Sensoren 110 Bilddaten mit hoher Auflösung erzeugen.
Im Kontext der vorliegenden Offenbarung soll sich der Ausdruck „Auflösung eines Bildes“, „Auflösung“ oder andere derartige Ausdrücke darauf beziehen, wie groß ein Sichtfeld pro Pixel abgebildet wird. Insbesondere ist die Auflösung, wie das Sichtfeld, das abgebildet wird, durch eine Anzahl von Pixeln geteilt wird, wie etwa ein horizontales Sichtfeld der Bilddaten geteilt durch eine Breite der Bilddaten in Pixeln oder ein vertikales Sichtfeld der Bilddaten geteilt durch eine Höhe der Bilddaten in Pixeln. Somit weisen die Bilddaten mit hoher Auflösung viele Pixel pro Sichtfeld auf, während die Bilddaten mit niedriger Auflösung weniger Pixel pro Sichtfeld aufweisen. Ferner erzeugen der eine oder die mehreren Vision-Sensoren 110 beim Erfassen des Vorhandenseins der Entität E1 108a das Vision-Datensignal, das den Bilddaten entspricht.
Das System 400 beinhaltet zusätzlich den einen oder die mehreren Prozessoren 112, die den Speicher 116, das erste Modul 118 und das zweite Modul 120 beinhalten. Der Speicher 116 beinhaltet eine Datenbank, die vorgespeicherte Daten umfasst, die Gesichtsmerkmalwerten von Entitäten und dem Gang der Entitäten entsprechen, die voraussichtlich zum Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte 114 autorisiert sein können (wie in 2 gezeigt).
Der eine oder die mehreren Prozessoren 112 verarbeiten den Gang der Entität E1 108a. Insbesondere verarbeiten der eine oder die mehreren Prozessoren 112 die Gesichtsmerkmale und berechnen Gesichtsmerkmalswerte der Entität E1 108a. Die Gesichtsmerkmale sind ein Teilsatz des einen oder der mehreren Merkmale der Entität E1 108a. Es ist anzumerken, dass der Gesichtsmerkmalwert in Abhängigkeit von den Gesichtsmerkmalen bestimmt wird. In einem Aspekt der Offenbarung kann die Netzhaut von Augen als Gesichtsmerkmal betrachtet werden. In einem Aspekt der Offenbarung kann die Pigmentierung der Iris von Augen als Gesichtsmerkmal betrachtet werden. Zum Zwecke der Veranschaulichung kann die Pigmentierung der Iris des Auges als bernsteinfarben, blau, grün, braun, grau oder haselnussfarben betrachtet werden. Der Wert des Gesichtsmerkmals wird jeder Pigmentierung zugeschrieben, zum Beispiel

Pigmentierung der Iris des Auges Entsprechender Wert des Gesichtsmerkmals

Bernsteinfarben 10

Blau 8

Grün 6

Braun 4

Grau 3

Haselnussfarben 2
Es ist anzumerken, dass sich die Entität E1 108a im Sichtfeld 104 befindet, wie durch den einen oder die mehreren Vision-Sensoren 110 abgedeckt. In dem veranschaulichten Aspekt ist das System 400 dazu konfiguriert, die Entität E1 108a unter Verwendung der Gesichtsmerkmalswerte der Entität E1 108a zu detektieren. Wenn der Gesichtsmerkmalwert, wie durch den einen oder die mehreren Prozessoren 112 berechnet, unter einem vorbestimmten Schwellenwert liegt, lösen der eine oder die mehreren Prozessoren 112 das erste Modul 118 aus. Unter Bezugnahme auf das vorstehende Beispiel kann der Schwellenwert für den Gesichtsmerkmalwert, der der Pigmentierung der Iris entspricht, als 6 vordefiniert sein. Dementsprechend kann ein Vision-Datensignal, das Bilddaten für alle Entitäten entspricht, deren Pigmentierung der Iris des Auges entweder grün, braun, grau oder haselnussfarben ist (unter Bezugnahme auf das vorstehende Beispiel) das erste Modul 118 auslösen.
Das erste Modul 118, das kommunikativ an den einen oder die mehreren Vision-Sensoren 110 gekoppelt ist, ist dazu konfiguriert, das Vision-Datensignal von diesem zu empfangen. Beim Empfangen des Vision-Datensignals führt das erste Modul 118 eine Echtzeitbildverarbeitung an den Bilddaten mit niedriger Auflösung des Vision-Datensignals durch, indem der Prozess der schwachen Erkennung ausgeführt wird. Der Prozess der schwachen Erkennung nutzt den Modus mit niedriger Auflösung des einen oder der mehreren Vision-Sensoren 110, um ein Bild mit niedriger Auflösung zu erzeugen. Das System 400 verwendet eine Segmentierungstechnik, um Superpixel zu erzeugen, und teilt die Superpixel ferner auf, um ein oder mehrere segmentierte BLOBs (binäre große OB-Objekte) zu erzeugen. Jedes der segmentierten BLOBs ist eine binäre Zeichenfolge variabler Länge, die ein Merkmal der Entität E1 108a darstellt. Die Segmentierung des Bildes mit niedriger Auflösung erfolgt, um ein segmentiertes BLOB zu erzeugen, das den Gesichtsmerkmalen der Entität E1 108a entspricht, wobei der erste Klassifizierungsalgorithmus dazu betriebsfähig ist, den Modus mit niedriger Auflösung zum Durchführen der anfänglichen Validierung umzusetzen, und der zweite Klassifizierungsalgorithmus dazu betriebsfähig ist, den Modus mit hoher Auflösung dazu umzusetzen, die Validierung durchzuführen.
Der erste Klassifizierungsalgorithmus des ersten Moduls 118, der den Prozess der schwachen Erkennung durchführt, ist dazu betriebsfähig, den Modus mit niedriger Auflösung umzusetzen, um die anfängliche Validierung durchzuführen. Der Prozess der schwachen Erkennung extrahiert eine Teilmenge von Merkmalen aus dem einen oder den mehreren segmentierten BLOBs des Bildes mit niedriger Auflösung. Die Gesichtsmerkmale der Entität E1 108a können der Teilmenge von Merkmalen der Entität E1 108a entsprechen. Der Prozess der schwachen Erkennung gleicht die Merkmale aus der extrahierten Teilmenge von Merkmalen mit einer gespeicherten Vorlage in der ersten Speicherbank 124 ab.
Die Ausführung des schwachen Erkennungsprozesses beinhaltet die eine oder mehreren nicht rechenintensiven Detektionstechniken, um das Signal bei der Detektion der Entität E1 108a zu erzeugen. Insbesondere führt ein Erfassungsmodul, wie etwa ein Entitätsdetektor, der an dem ersten Modul 118 angeordnet ist, die eine oder mehreren nicht intensiven Detektionstechniken aus, um das Signal zu erzeugen. In einem Beispiel kann der Entitätsdetektor eine Funkkommunikation unter Verwendung von Bluetooth Low Energy (BLE) verwenden, um die Entität E1 108a zu detektieren, die sich innerhalb der definierten Nähe des Fahrzeugs 106 befindet. Die eine oder mehreren nicht rechenintensiven Detektionstechniken, die durch den Prozess der schwachen Erkennung verwendet werden, erfordern die vorbestimmte Rechenleistung. Es ist anzumerken, dass die erste Leistungsquelle 122, die an dem Fahrzeug 106 angeordnet ist, dem ersten Modul 118 die vorbestimmte Rechenleistung zuführt. In einer alternativen Ausführungsform stehen der eine oder die mehreren Prozessoren 112 in Betriebsverbindung mit der ersten Leistungsquelle.
Es ist anzumerken, dass in einem alternativen Aspekt das erste Modul 118 auch eine Bildverarbeitungsschaltung beinhalten kann, wie etwa eine anwendungsspezifische integrierte Schaltung (application-specific integrated circuit - ASIC), die kommunikativ an den einen oder die mehreren Vision-Sensoren 110 gekoppelt ist. Die ASIC unterstützt das erste Modul 118 dabei, das Vision-Datensignal zu verarbeiten, das von dem einen oder den mehreren Vision-Sensoren 110 empfangen wird. Beim Empfangen des Vision-Datensignals führt die ASIC konkret eine Echtzeitbildverarbeitung an den Bilddaten mit niedriger Auflösung durch, indem der Prozess der schwachen Erkennung ausgeführt wird.
Das erste Modul 118 verwendet die gespeicherte Vorlage der autorisierten Entität in der ersten Speicherbank 124, um die detektierte Entität E1 108a anfänglich zu validieren. Die anfängliche Validierung findet statt, sobald sich die detektierte Entität E1 108a von dem gegenwärtigen Standort in dem Sichtfeld 104 des einen oder der mehreren Vision-Sensoren 110 zu der Fokusregion 102 des einen oder der mehreren Vision-Sensoren 110 bewegt, als Entität E1' 108b. In einer alternativen Ausführungsform kann das System 200 die anfängliche Validierung ermöglichen, während die detektierte Entität E1 108a an der gegenwärtigen Position im Sichtfeld 104 bleibt.
In einem anderen Aspekt der vorliegenden Offenbarung wird, sobald das erste Modul 118 die detektierte Entität E1 108a in der Fokusregion 102 anfänglich validiert, ein äußeres Tastenfeld (in den Figuren nicht gezeigt) aktiviert, um eine Eingabe von der anfänglich validierten Entität E1' 108b zu akzeptieren. Das äußere Tastenfeld wird durch Beleuchtung aktiviert. Das äußere Tastenfeld kann sich an einem äußeren Abschnitt des Fahrzeugs 106 befinden. Die anfänglich validierte Einheit E1' 108b kann einen numerischen Code oder einen alphanumerischen Code eingeben, der zum Entriegeln des Fahrzeugs 106 vorbestimmt ist. Die eine oder mehreren Betriebseinstellungen entsprechen einer Prozedur zum Entriegeln, wenn die Validierung mit der gespeicherten Vorlage übereinstimmt
Ferner überträgt das erste Modul 118 das Signal an eine Personalisierungssteuerung, die damit kommunikativ verbunden ist. Es ist anzumerken, dass das Signal in Form eines schwachen Benutzeridentifizierungssignals an der Personalisierungssteuerung empfangen wird. Ferner ist die Personalisierungssteuerung dazu konfiguriert, den einen oder die mehreren Fahrzeugvorgangsendpunkte 114 zu detektieren, auf die möglicherweise durch die anfänglich validierte Entität E1' 108b zugegriffen werden soll, nachdem sie durch das zweite Modul 120 autorisiert wurde. Somit personalisiert die Personalisierungssteuerung den einen oder die mehreren Fahrzeugvorgangsendpunkte 114, um eine vorbestimmte Ladungsmenge zu akkumulieren, indem Leistung von einer allgemeinen Leistungsquelle abgeleitet wird, die an dem Fahrzeug 106 angeordnet ist. Es ist anzumerken, dass die erste Leistungsquelle 122, die das erste Modul 118 mit Leistung versorgt, von der allgemeinen Leistungsquelle unabhängig ist.
Die Personalisierungssteuerung ist dazu konfiguriert, eine hohe Latenz, die an der Aktivierung des Fahrzeugs 106 beteiligt ist, zu reduzieren, wenn die anfänglich validierte Entität E1' 108b als die autorisierte Entität identifiziert wird, um den einen oder die mehreren Fahrzeugvorgangsendpunkte 114 zu verwalten. Somit ist die Personalisierungssteuerung vor dem Einleiten eines Identifizierungsprozesses an der anfänglich validierten Entität E1' 108b dazu ausgelegt, den einen oder die mehreren Fahrzeugvorgangsendpunkte 114 zu personalisieren, auf die möglicherweise durch die anfänglich validierte Entität E1' 108b zugegriffen werden soll. Durch Personalisierung kann die anfänglich validierte Entität E1' 108b, falls identifiziert, den einen oder die mehreren Fahrzeugvorgangsendpunkte 114 ohne Verzögerung verwalten.
Das Signal von dem ersten Modul 118 umfasst entweder das positive Authentifizierungssignal oder das negative Authentifizierungssignal. Das positive Authentifizierungssignal stellt dar, dass die anfänglich validierte Entität E1' 108b eine autorisierte Entität sein kann, die voraussichtlich berechtigt ist, den einen oder die mehreren Fahrzeugvorgangsendpunkte 114 zu verwalten. Das positive Authentifizierungssignal kann auch eine nicht autorisierte Entität darstellen, die gemäß Schwellenwerten des Prozesses der schwachen Erkennung erkannt wurde, aber die Identifizierung bei dem Prozess der starken Erkennung nicht besteht. Während das negative Authentifizierungssignal darstellt, dass die anfänglich validierte Entität E1' 108b eine nicht autorisierte Entität mit verwehrtem Zugang auf das Fahrzeug 106 ist.
Ferner empfängt das zweite Modul 120, das kommunikativ an das erste Modul 118 gekoppelt ist, das Signal, das das positive Authentifizierungssignal darstellt. Das zweite Modul 120 verarbeitet dann das positive Authentifizierungssignal, um die anfänglich validierte Entität E1' 108b zu identifizieren. Das zweite Modul 120 verarbeitet das positive Authentifizierungssignal durch Ausführen der einen oder mehreren rechenintensiven Detektionstechniken. Zum Ausführen der einen oder mehreren rechenintensiven Detektionstechniken benötigt das zweite Modul 120 die vorbestimmte Rechenleistung, die höher ist als die vorbestimmte Rechenleistung, die durch den Prozess der schwachen Erkennung erforderlich ist. Die eine oder die mehreren rechenintensiven Detektionstechniken können zum Beispiel eine Identifizierung der anfänglich validierten Entität E1' 108b durch Ausführen einer Gesichtsidentifikation/- verifizierung an den Daten des hochauflösenden Bilds beinhalten, um zu bestimmen, ob die anfänglich validierte Entität E1' 108b eine autorisierte Entität ist.
Der Prozess der starken Erkennung nutzt den Modus mit hoher Auflösung des einen oder der mehreren Vision-Sensoren 110. In einem Aspekt der vorliegenden Offenbarung verwendet der Prozess der starken Erkennung einen Kaskadenklassifikatoralgorithmus von Viola-Jones, um die Gesichtsmerkmale in dem Bild mit hoher Auflösung zu bestimmen. Insbesondere ist der Algorithmus von Viola-Jones dazu konfiguriert, ein Gesicht zu detektieren, um zu bestimmen, ob das detektierte Gesicht in dem Bild mit hoher Auflösung einem Gesicht der autorisierten Entität entspricht. In einer Ausführungsform verwendet der Prozess der starken Erkennung einen Bildprozessor, um eine oder mehrere Funktionen durchzuführen, die dem Prozess der starken Erkennung entsprechen, der im Wesentlichen für den Prozess der starken Erkennung verwendet wird. Der Bildprozessor befindet sich während der Ausführung des Prozesses der schwachen Erkennung in einem von einem Standby-Modus oder einem deaktivierten Modus. In einer Ausführungsform führt eine Teilmenge der Vision-Sensoren den Prozess der schwachen Erkennung durch. Die Teilmenge der Vision-Sensoren ist ein Kamera-Bildsignalprozessor (image signal processor - ISP), der einen Host-Mikroprozessor, einen dedizierten Prozessor mit niedrigem Leistungsbedarf oder eine anwendungsspezifische integrierte Schaltung (application specific integrated circuit - ASIC) beinhaltet. Nach dem Validieren der Entität E1 108a unter Verwendung des Prozesses der schwachen Erkennung wird der Prozess der starken Erkennung als ein aufeinanderfolgender Prozess betrachtet. Ein dedizierter Bildverarbeitungsprozessor wird zum Durchführen einer oder mehrerer Funktionen verwendet, die dem Prozess der starken Erkennung entsprechen, wobei der Bildverarbeitungsprozessor zum Beispiel FGPA, ASIC, GPU, TPU usw. ist.
Das Modul 120 setzt den zweiten Klassifizierungsalgorithmus zum Durchführen des Prozesses der starken Erkennung ein. Der Prozess der starken Erkennung beinhaltet umfassende Verfahren zum maschinellen Lernen und betrachtet mehrere Merkmale als Variablen und andere umfangreiche Rechenverfahren, die mehr Leistung zur Ausführung verbrauchen und eine größere Laufzeit aufweisen. Die Berücksichtigung mehrerer Merkmale als Variablen trägt zu einer größeren Komplexität des zweiten Moduls 120 im Vergleich zum ersten Modul 118 bei. Der Bildprozessor, der zum Ausführen des Prozesses der starken Erkennung verwendet wird, ist eine komplexe Hardware, die im Vergleich zum Kamera-ISP zur Ausführung eine höhere Leistung verbraucht. Die Speicheranforderung für den Prozess der starken Erkennung ist in einer Ausführungsform größer als die Speicheranforderung des Prozesses der schwachen Erkennung.
Das erste Modul 118, das den ersten Klassifizierungsalgorithmus einsetzt, führt den Prozess der schwachen Erkennung durch, um eine anfängliche Validierung zu erreichen. Der Prozess der schwachen Erkennung ist eine Detektionstechnik mit niedriger Rechenleistung, die unter Verwendung von weniger Leistung, geringerem Speicherverbrauch und geringerer Laufzeit im Vergleich zum Prozess der starken Erkennung ausgeführt wird. Der eine oder die mehreren Kamera-ISPs, die für den Prozess der schwachen Erkennung verwendet werden, sind im Vergleich zu dem Bildprozessor eine weniger komplizierte Hardware und verbrauchen zudem im Vergleich zu den Bildprozessoren eine geringere Leistung.
Während der Ausführung des Prozesses der schwachen Erkennung werden der für den Prozess der starken Erkennung dedizierte Bildprozessor und ein entsprechender Speicher deaktiviert oder befinden sich in einem Standby-Modus. Die Deaktivierung führt zur Leistungseinsparung, da der Prozess der starken und der schwachen Erkennung in einer Ausführungsform nacheinander durchgeführt werden und es keine oder eine minimale Anforderung an den Vision-Prozessor gibt, während des schwachen Detektionsprozesses aktiv zu sein. Die Notwendigkeit, den Prozess der starken Erkennung kontinuierlich durchzuführen, ist minimal, weshalb der Prozess der schwachen Erkennung und der Prozess der starken Erkennung auf Grundlage der Betriebseinstellungen geschaltet werden. Das Umschalten ermöglicht eine optimale Nutzung der Hardwareressourcen und einen optimalen Leistungsverbrauch auf Grundlage der Notwendigkeit, wodurch Leistung gespart wird.
Zum Ausführen des Gesichtsidentifizierungs-/-verifizierungsprozesses verwendet das zweite Modul 120 Trainingsdaten, die in einem neuronalen Netzwerk 130 gespeichert sind. In dem veranschaulichten Aspekt beinhaltet das System 400 die zweite Speicherbank 126, die lokal an mindestens einem Abschnitt des Fahrzeugs 106 angeordnet ist. Es ist anzumerken, dass die zweite Speicherbank 126 eine Datenbank auf dem System 400 beinhaltet, die einen vorab gespeicherten Datensatz beinhaltet, der den Entitäten entspricht, die autorisierte Entitäten des Fahrzeugs 106 sind. Das neuronale Netzwerk 130 verwendet den vorab gespeicherten Datensatz aus der zweiten Speicherbank 126 als die Trainingsdaten, die das zweite Modul 120 beim Gesichtsidentifizierungs-/-verifizierungsprozess unterstützen.
Das zweite Modul 120 verwendet das neuronale Netzwerk 130, um die hochauflösenden Bilddaten des Vision-Datensignals zu klassifizieren, das eine oder die mehreren Merkmale der anfänglich validierten Entität E1' 108b zu bestimmen und das eine oder die mehreren Merkmale mit dem zuvor gespeicherten Datensatz zu vergleichen. In einem alternativen Aspekt nutzt das System 400 das neuronale Netzwerk 130, um die Bilddaten der Entität E1' 108b zu klassifizieren, das eine oder die mehreren Merkmale der Entität E1' 108b zu bestimmen und das eine oder die mehreren Merkmale mit dem zuvor gespeicherten Datensatz unter Verwendung eines Klassifikators für das Convoluted Neural Network (CNN) zu vergleichen. Beim Vergleichen des einen oder der mehreren Merkmale mit dem vorab gespeicherten Datensatz überträgt das zweite Modul 120, das kommunikativ an den einen oder die mehreren Fahrzeugvorgangsendpunkte 114 gekoppelt ist, das Authentifizierungssignal an dieses.
Das zweite Modul 120 ist zum Ausführen eines Anti-Spoofing-Moduls 128 betreibbar. Das Anti-Spoofing-Modul 128 kann eine oder mehrere der in dieser Offenbarung beschriebenen Techniken umsetzen. Zum Beispiel kann das Anti-Spoofing-Modul 128 die hochauflösenden Bilddaten, die von dem einen oder den mehreren Vision-Sensoren 110 aufgenommen wurden, auf ein mögliches Spoofing analysieren und das zweite Modul 120 dazu veranlassen, die Anforderung der Entität E1' 108b dazu, mit der Authentifizierung fortzufahren, auf Grundlage der Analyse entweder zuzulassen oder zu verweigern.
Es ist anzumerken, dass das Authentifizierungssignal entweder das positive Authentifizierungssignal oder das negative Authentifizierungssignal beinhalten kann. In einem Beispiel stellt das positive Authentifizierungssignal dar, dass die anfänglich validierte und die validierte Entität E1' 108b als die autorisierte Entität identifiziert wird. Somit erteilt das System 400 bei der Erzeugung des positiven Authentifizierungssignals der autorisierten Entität E1' 108b die Erlaubnis, die eine Aufgabe durchzuführen, die dem einen oder den mehreren Fahrzeugvorgangsendpunkten 114 entspricht. Während die Erzeugung des negativen Authentifizierungssignals darstellt, dass die Entität E1' 108b durch das zweite Modul 120 als die nicht autorisierte Entität identifiziert wird. Somit wird der anfänglich validierten Entität E1' 108b die Erlaubnis verweigert, die bei mindestens einer Aufgabe an dem einen oder den mehreren Fahrzeugvorgangsendpunkten 114 durchzuführen.
Die eine oder mehreren Betriebseinstellungen sind ein Wachmodus. Ein oder mehrere Vision-Sensoren 110, wie etwa eine oder mehrere Außenkameras, können Personen und Fahrzeuge, die das Fahrzeug 106 umgeben, kontinuierlich verfolgen. Im Wachmodus beinhaltet der erste Klassifizierungsalgorithmus einen biometrischen Schlüssel mit Benutzerbestimmung, der bestimmt, ob die Entität E1 108a eine bekannte oder unbekannte Entität ist.
In einem Beispiel validiert der Prozess der schwachen Erkennung in dem ersten Modul 118 anfänglich die Entität E1 108a und stellt das positive Authentifizierungssignal für den Prozess der starken Erkennung in dem zweiten Modul 120 bereit. Der Prozess der starken Erkennung bestimmt dann, ob eine Übereinstimmung zwischen dem Gesicht der Entität E1' 108b und der gespeicherten Gesichtsvorlage vorliegt. Nach dem Bestimmen, dass keine Übereinstimmung vorliegt, stellt der zweite Erkennungsprozess das negative Authentifizierungssignal bereit und leitet eine Bedrohungsanalyse ein. Der Prozess der starken Erkennung betrachtet die Entität E1' 108b als einen wahrscheinlichen Täter und speichert Daten, wie etwa Gesichtsmerkmale, in der zweiten Speicherbank 126. In einem anderen Szenario, wenn eine Übereinstimmung vorliegt, sodass auf Grundlage der Identität der Entität E1' 108b die Entität E1' 108b als ein Täter betrachtet wird, leitet der zweite Erkennungsprozess die Bedrohungsanalyse ein. In einem anderen Beispiel stellt der Prozess der schwachen Erkennung bei der anfänglichen Validierung dem Prozess der starken Erkennung ein negatives Authentifizierungssignal bereit. Nach dem Empfangen des negativen Authentifizierungssignals leitet der zweite Erkennungsprozess die Bedrohungsanalyse ein.
Wenn die Nähe eines wahrscheinlichen Täters auf Grundlage von Pixeln auf dem Ziel oder die Identität des wahrscheinlichen Täters auf Grundlage einer Gesichtsidentifizierung durch den Prozess zur schwachen Erkennung als Bedrohung angesehen wird oder wenn ein Sicherheitssystem ausgelöst wird, dann funktioniert das Fahrzeug 106 unter Verwendung des zweiten Klassifizierungsalgorithmus. Nachdem der wahrscheinliche Täter die Umgebung des Fahrzeugs 106 verlassen hat oder wenn die Charakterisierung der Vision-Analyse abgeschlossen ist und die Szene eine unzureichende Bewegung aufweist, wechselt das Fahrzeug 106 vom zweiten Klassifizierungsalgorithmus zum ersten Klassifizierungsalgorithmus.
Im Wachmodus beinhaltet der erste Klassifizierungsalgorithmus eine Fahrzeugverfolgung. Im Wachmodus beinhaltet der zweite Klassifizierungsalgorithmus eine Bildaufnahme mit hoher Auflösung zum Aufzeichnen, wobei die Bedrohungsanalyse auf der Absicht der Entität E1' 108b beruht, wie etwa Gang, Emotion usw., um zu bestimmen, ob die Entität E1' 108b eine Bedrohung für das Fahrzeug 106 ist. Der zweite Klassifizierungsalgorithmus beinhaltet in einer Ausführungsform auch das Übertragen von Bildern an eine Cloud-Datenbank, um zu benachrichtigen, ob eine Bedrohung als ausreichend erachtet wird. Im Falle einer Fahrzeugkollision wird eine Vision-Analyse durchgeführt, die das Identifizieren des Nummernschilds und der Marke oder des Modells des den Verstoß begehenden Fahrzeugs beinhaltet. Der Wachmodus kann dazu konfiguriert und betriebsfähig sein, ein Vision-Datensignal bei Ausführung des ersten Klassifizierungsalgorithmus auf einer ersten Speicherbank oder bei Ausführung des zweiten Klassifizierungsalgorithmus auf einer zweiten Speicherbank zu speichern.
In einem anderen Aspekt der vorliegenden Offenbarung können der eine oder die mehreren Vision-Sensoren 110 an mindestens einem Abschnitt des Innenraums des Fahrzeugs 106 montiert sind. Ein Steuerbereich des einen oder der mehreren Vision-Sensoren 110 wäre auf eine erwartete Position eines Kopfes eines Fahrers entweder auf dem Fahrersitz oder einem Beifahrersitz des Fahrzeugs 106 beschränkt. In diesem Szenario ist anzumerken, dass sich das Gesicht der Entität E1' 108b, die eine Erlaubnis zum Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte 114 anfordert, entweder auf dem Fahrersitz oder dem Beifahrersitz befindet. Sobald das Gesicht in dem Steuerbereich durch einen sekundären Authentifizierungsprozess identifiziert wurde, wäre die Entität E1' 108b dazu autorisiert, den einen oder die mehreren Fahrzeugvorgangsendpunkte 114 zu verwalten. Es ist anzumerken, dass die Identifizierung der Entität E1' 108b unter Verwendung des sekundären Authentifizierungsprozesses auf eine Weise funktioniert, wie die Identifizierung der anfänglich validierten Entität E1' 108b durch den Prozess der starken Erkennung. Sobald das Gesicht in dem Steuerbereich identifiziert ist, stoppen der eine oder die mehreren Vision-Sensoren 110 das Aufnehmen von Bildern der Entität E1 108a im Sichtfeld 104 des einen oder der mehreren Vision-Sensoren 110, um die Verarbeitungslatenz zu reduzieren.
Es ist anzumerken, dass das System 400 auch ein Fahrerunterstützungsmodul beinhalten kann, das an mindestens einem Abschnitt davon angeordnet ist. Das Fahrerunterstützungsmodul ist dazu konfiguriert, einen oder mehrere Fahrzeugsteuerbefehle in Bezug auf eine oder mehrere Fahrerunterstützungsfunktionen zu erzeugen. Die Fahrzeugsteuerbefehle werden verwendet, um den Prozess der schwachen Erkennung und den Prozess der starken Erkennung zu steuern. Wenn der Prozess der schwachen Erkennung die Entität E1 108a im Sichtfeld 104 des einen oder der mehreren Vision-Sensoren 110 anfänglich validiert, aktiviert das Fahrerunterstützungsmodul mindestens eine Fahrerunterstützungsfunktion, zum Beispiel den Willkommensmodus. Das Fahrerunterstützungsmodul ist dazu konfiguriert, den Prozess der starken Erkennung derart zu steuern, dass das zweite Modul 120 nicht aktiviert wird, bis die Entität E1' 108b, die anfänglich durch den Prozess der schwachen Erkennung validiert wurde, in die Fokusregion 102 der Vision-Sensoren 110 eintritt.
In noch einer anderen Ausführungsform wird einer zusätzlichen Entität (in den Figuren nicht gezeigt) Zugang gewährt, wenn die autorisierte Entität E1' 108b anfänglich durch das erste Modul 118 validiert wird oder durch das zweite Modul 120 validiert wird. Die zusätzliche Entität kann eine autorisierte Entität mit eingeschränktem Zugang auf das Fahrzeug 106 sein. Für diese Ausführungsform muss sich die zusätzliche Entität in der Fokusregion 102 des einen oder der mehreren Vision-Sensoren 110 befinden. Während die zusätzliche Entität um Erlaubnis zum Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte 114 bittet, kann sich die autorisierte Entität E1' 108b mit vollständigem Zugang auf das Fahrzeug 106 im Sichtfeld 104 des einen oder der mehreren Vision-Sensoren 110 befinden und durch das erste Modul 118 detektiert werden. In einer alternativen Ausführungsform, während die zusätzliche Entität um Erlaubnis zum Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte 114 bittet, kann sich die autorisierte Entität E1' 108b mit vollständigem Zugang auf das Fahrzeug 106 in der Fokusregion 102 des einen oder der mehreren Vision-Sensoren 110 befinden und durch das zweite Modul 120 identifiziert werden.
5 zeigt ein Ablaufdiagramm, das ein Verfahren 500 zum Verwalten eines oder mehrerer Fahrzeugvorgangsendpunkte 114 in dem System veranschaulicht, wie in 1 bis 4 beschrieben, gemäß einem Aspekt der vorliegenden Offenbarung. Das Verfahren 500 ist als Beispiel bereitgestellt, da es vielfältige Möglichkeiten zum Ausführen des Verfahrens gibt. Das nachstehend beschriebene Verfahren 500 kann beispielsweise unter Verwendung der in den
1 bis 4 veranschaulichten Konfigurationen ausgeführt werden und bei der Erläuterung des beispielhaften Verfahrens 500 wird auf verschiedene Elemente dieser Figuren Bezug genommen. Jeder in 5 gezeigten Blöcke stellt einen oder mehrere Prozesse, Verfahren oder Teilroutinen dar, die in dem beispielhaften Verfahren 500 ausgeführt werden. Darüber hinaus dient die veranschaulichte Reihenfolge der Blöcke lediglich der Veranschaulichung und kann sich die Reihenfolge der Blöcke gemäß der vorliegenden Offenbarung ändern. Zusätzliche Blöcke können hinzugefügt werden oder es können weniger Blöcke verwendet werden, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Das Verfahren beginnt bei Block 502.
Bei Block 502 ist das System dazu konfiguriert, die Entität E1 108a durch Verwenden eines oder mehrerer Merkmale der Entität E1 108a zu detektieren, wie durch das Vision-Datensignal dargestellt, wenn die Entität E1 108a in die Fokusregion 102 eintritt, welche die Entität E1' 108b ist. Das System ist dazu konfiguriert, das Sichtfeld 104 des einen oder der mehreren Vision-Sensoren 110 zu überwachen, um ein Vorhandensein der Entität E1 108a zu detektieren, wobei das Sichtfeld 104 der Vision-Sensoren die Fokusregion 102 beinhaltet. Ferner ist das System dazu konfiguriert, den Standort der Entität E1 108a zu verfolgen. Das Vision-Datensignal beinhaltet die Bilddaten der Entität E1 108a, wie sie durch den einen oder die mehreren am Fahrzeug 106 montierten Vision-Sensoren 110 aufgenommen werden. Die Gesichtsmerkmale der Entität 108a sind ein Teilsatz des einen oder der mehreren Merkmale der Entität E1 108a. Es ist anzumerken, dass der Gesichtsmerkmalwert in Abhängigkeit von den Gesichtsmerkmalen bestimmt wird. In dem veranschaulichten Aspekt ist das System dazu konfiguriert, die Entität E1 108a unter Verwendung der Gesichtsmerkmalswerte der Entität E1 108a zu detektieren. Wie in 4 beschrieben kann die Pigmentierung der Iris von Augen als Gesichtsmerkmal betrachtet werden. Es ist anzumerken, dass sich die Entität E1 108a im Sichtfeld 104 befindet, wie durch die Vision-Sensoren 110 abgedeckt.
Bei Block 504 bestimmt das System, ob der Gesichtsmerkmalwert der Entität E1 108a dem vorgespeicherten Gesichtsmerkmalwert im Speicher 116 entspricht. Der vorgespeicherte Gesichtsmerkmalwert kann einem Schwellenwert entsprechen. Wenn also das System bestimmt, dass der Gesichtsmerkmalwert der Entität E1 108a unter dem Schwellenwert liegt, geht das Verfahren zu Block 506 über. Andernfalls setzt das System das Detektieren des Gesichtsmerkmalwerts von Entitäten in der definierten Umgebung des Fahrzeugs 106, wie durch das Sichtfeld 104 der Vision-Sensoren 110 abgedeckt, durch Ausführen des Blocks 502 fort.
Bei Block 506 ist das System dazu konfiguriert, das Vision-Datensignal bei dem Prozess der schwachen Erkennung zu empfangen. Ferner detektiert und validiert das System bei Block 508 die Entität E1' 108b auf Grundlage des Vision-Datensignals (wie in den 2 und 4 beschrieben).
Bei Block 510 empfängt der Prozess der starken Erkennung das Vision-Datensignal zusammen mit den Gesichtsmerkmalwerten der Entität E1 108a aus dem Prozess der schwachen Erkennung, sobald der Prozess der schwachen Erkennung die Entität E1 108a im Sichtfeld 104 des Vision-Sensors erkannt und anfänglich validiert hat.
Bei Block 512 identifiziert der Prozess der starken Erkennung die anfänglich validierte Entität E1' 108b auf Grundlage des Vision-Datensignals. Der Prozess der starken Erkennung verwendet eine oder mehrere rechenintensive Detektionstechniken, indem das neuronale Netzwerk 130 dazu verwendet wird, die detektierte Entität E1' 108b zu identifizieren. Das neuronale Netzwerk 130 bewertet Regeln und Daten, die in der zweiten Speicherbank 126 gespeichert sind, um den Prozess der starken Erkennung zu unterstützen. Die zweite Speicherbank 126 speichert ein Vorlagensignal, das Entitäten entspricht, die die gespeicherte Vorlage sind, die dazu autorisiert sind, einen oder mehrere Fahrzeugvorgangsendpunkte 114 zu verwalten und an Bord des Fahrzeugs 106 verfügbar sein können. In einem alternativen Aspekt kann die zweite Speicherbank 126 aus der Ferne verfügbar sein und kann über eine Netzwerkverbindung, wie etwa Wi-Fi, ein mobiles Netzwerk oder ein verteiltes Flottennetz usw., aufgerufen und abgerufen werden. Um den Block 512 auszuführen, vergleicht der Prozess der starken Erkennung die Gesichtsmerkmalswerte der anfänglich validierten Entität E1' 108b mit der gespeicherten Vorlage der autorisierten Entität.
Bei Block 514 bestimmt das Verfahren, ob die Gesichtsmerkmalwerte der anfänglich validierten Entität E1' 108b mit der gespeicherten Vorlage der autorisierten Entität konsistent sind. Wenn die anfänglich validierte Entität E1' 108b als die autorisierte Entität identifiziert wird, geht das Verfahren zu Block 516 über; andernfalls wiederholt das System die Aufgaben des Detektierens von Entitäten innerhalb der definierten Nähe des Fahrzeugs 106 durch Ausführen des Blocks 502. Da der Prozess der starken Erkennung rechenintensive Detektionstechniken zur Identifizierung der anfänglich validierten Entität E1' 108b einsetzt und der Prozess der schwachen Erkennung nicht rechenintensive Detektionstechniken zur Detektion der Entität E1 108a einsetzt, ist anzumerken, dass der Prozess der starken Erkennung mit mehr Genauigkeit arbeitet, als der Prozess der schwachen Erkennung.
Bei Block 516 überträgt das System bei der Identifizierung der anfänglich validierten Entität E1' 108b als die autorisierte Entität ein Authentifizierungssignal an den einen oder die mehreren Fahrzeugvorgangsendpunkte 114. Der anfänglich validierten Entität E1' 108b wird Zugang zu dem Fahrzeug 106 dann gewährt, wenn eine Übereinstimmung der Gesichtsmerkmale der Entität mit der gespeicherten Vorlage bestimmt ist.
6 veranschaulicht ein Verfahren 600, das durch das System (in 1 bis 4 gezeigt) zum Detektieren und anfänglichen Validieren der Entität E1 108a unter Verwendung des Prozesses der schwachen Erkennung gemäß einem Aspekt der vorliegenden Offenbarung durchgeführt wird. Das Verfahren 600 ist als Beispiel bereitgestellt, da es vielfältige Möglichkeiten zum Ausführen des Verfahrens gibt. Das nachstehend beschriebene Verfahren 600 kann zum Beispiel unter Verwendung der in den 1 bis 4 veranschaulichten Konfigurationen ausgeführt werden und bei der Erläuterung des beispielhaften Verfahrens 600 wird auf verschiedene Elemente dieser Fig. Bezug genommen. Jeder der in 6 gezeigten Blöcke stellt einen oder mehrere Prozesse, Verfahren oder Teilroutinen dar, die in dem beispielhaften Verfahren 600 ausgeführt werden. Darüber hinaus dient die veranschaulichte Reihenfolge der Blöcke lediglich der Veranschaulichung und kann sich die Reihenfolge des Blocks gemäß der vorliegenden Offenbarung ändern. Ein zusätzlicher Block kann hinzugefügt werden oder ein Block weniger kann verwendet werden, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Das Verfahren beginnt bei Block 602.
Bei Block 602 erzeugt oder erlangt das System ein Bild mit niedriger Auflösung der Entität E1 108a unter Verwendung des Modus mit niedriger Auflösung der Vision-Sensoren 110. Bei der Erzeugung oder dem Erlangen des Bilds mit niedriger Auflösung geht das Verfahren 600 zu Block 604 über.
Bei Block 604 führt der Prozess zur schwachen Erkennung eine Segmentierung des Bilds mit niedriger Auflösung durch, wie in 4 beschrieben, das bei Block 602 erzeugt wurde. Die Segmentierung des Bilds mit niedriger Auflösung erfolgt, um das eine oder die mehreren segmentierten BLOBs zu erzeugen, die den Gesichtsmerkmalen der Entität E1 108a entsprechen. Es ist anzumerken, dass der Gesichtsmerkmalwert in Abhängigkeit von den Gesichtsmerkmalen bestimmt wird.
Ferner extrahiert der Prozess der schwachen Erkennung bei Block 606 eine Teilmenge von Merkmalen aus dem einen oder den mehreren segmentierten BLOBs des Bilds mit niedriger Auflösung.
Ferner ist anzumerken, dass das System die erste Speicherbank 124 beinhaltet, die eine gespeicherte Vorlage umfasst, sodass die gespeicherte Vorlage vorgespeicherte Merkmale von autorisierten Entitäten darstellt.
Der Prozess der schwachen Erkennung führt bei Block 608 ein Verfahren zum Anpassen der Merkmale aus der extrahierten Teilmenge von Merkmalen mit einer gespeicherten Vorlage durch. Wenn zum Beispiel gemäß 5 das extrahierte Gesichtsmerkmal der gespeicherten Vorlage entspricht, die vorgespeicherte Gesichtsmerkmale der autorisierten Entitäten beinhaltet, geht das Verfahren zum Block 610; anderenfalls stoppt das Verfahren.
Bei Block 610 wird bei erfolgreichem Abgleich eine anfängliche Validierungsausgabe durch den Prozess zur schwachen Erkennung zur weiteren Ausführung des Prozesses zur starken Erkennung des Identifizierens der anfänglich validierten Entität E1' 108b erzeugt.
7 veranschaulicht ein Verfahren 700, das durch das System (in den 1 bis 4 gezeigt) durchgeführt wird, um zu identifizieren, ob die anfänglich validierte Entität E1' 108b, die sich in der Fokusregion 102 des einen oder der mehreren Vision-Sensoren 110 befindet, eine autorisierte Entität zum Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte 114 gemäß einem Aspekt der vorliegenden Offenbarung ist. Das Verfahren 700 ist als Beispiel bereitgestellt, da es vielfältige Möglichkeiten zum Ausführen des Verfahrens gibt. Das nachstehend beschriebene Verfahren 700 kann zum Beispiel unter Verwendung der in den 1 bis 4 veranschaulichten Konfigurationen ausgeführt werden und bei der Erläuterung des beispielhaften Verfahrens 700 wird auf verschiedene Elemente dieser
Figuren Bezug genommen. Jeder der in 7 gezeigten Blöcke stellt einen oder mehrere Prozesse, Verfahren oder Teilroutinen dar, die in dem beispielhaften Verfahren 700 ausgeführt werden. Darüber hinaus dient die veranschaulichte Reihenfolge der Schritte lediglich der Veranschaulichung und kann sich die Reihenfolge der Schritte gemäß der vorliegenden Offenbarung ändern. Zusätzliche Schritte können hinzugefügt werden oder es können weniger Schritte verwendet werden, ohne vom Umfang der vorliegenden Offenbarung abzuweichen.
Das Verfahren beginnt bei Block 702.
Bei Block 702 arbeiten der eine oder die mehreren Vision-Sensoren 110 im Modus mit hoher Auflösung, um ein Bild mit hoher Auflösung der anfänglich validierten Entität E1' 108b zu erzeugen. In einer alternativen Ausführungsform erzeugt das System ein hochauflösendes Bild der anfänglich validierten Entität E1' 108b durch Ausführen des Prozesses der starken Erkennung. Insbesondere führt der Prozess der starken Erkennung ein Erhöhen der Abtastfrequenz der Bilddaten des Vision-Datensignals von dem einen oder den mehreren Vision-Sensoren 110 durch, um das Bild mit hoher Auflösung zu erzeugen. Es ist anzumerken, dass das Erhöhen der Abtastfrequenz der Bilddaten eine vorbestimmte hohe Laufzeit beinhaltet und somit die vorbestimmte Rechenleistung verbraucht, die höher ist als die Rechenleistung, die während der Ausführung des Prozesses zur schwachen Erkennung verbraucht wird. Bei der Erzeugung oder Erlangung des Bilds mit hoher Auflösung der anfänglich validierten Entität E1' 108b geht das Verfahren 700 zu Block 704 über.
Bei Block 704 detektiert der Prozess der starken Erkennung ein oder mehrere Merkmale aus dem Bild mit hoher Auflösung. Es ist anzumerken, dass die Detektion des einen oder der mehreren Merkmale aus dem Bild mit hoher Auflösung dazu konfiguriert ist, die anfänglich validierte Entität E1' 108b unter Verwendung des Prozesses der starken Erkennung zu identifizieren. In dem veranschaulichten Aspekt beinhaltet das Detektieren des einen oder der mehreren Merkmale Bestimmen eines Gesichtsmerkmals, um ein Gesicht der detektierten Entität E1' 108b unter Verwendung des Prozesses der starken Erkennung zu detektieren. Zum Identifizieren des Gesichts der detektierten Entität E1' 108b geht das Verfahren 700 zu Block 706 über.
Bei Block 706 extrahiert der Prozess der starken Erkennung einen kompletten Satz aus Merkmalen aus dem Bild mit hoher Auflösung. Es ist anzumerken, dass das zweite Modul 120 das neuronale Netzwerk 130 beinhaltet, das vorgespeicherte Daten von der zweiten Speicherbank 126 verwendet. Die zweite Speicherbank 126 ist eine Datenbank, die sich an dem Fahrzeug 106 befindet. In einem alternativen Aspekt befindet sich die zweite Speicherbank 126 an einer Stelle, die von dem Fahrzeug 106 entfernt ist, wie in 4 beschrieben. Wie veranschaulicht, ist das Verfahren 700 dazu konfiguriert, die anfänglich validierte Entität E1' 108b durch Detektieren und Identifizieren des Gesichts davon bei Block 708 zu identifizieren und anfänglich zu validieren.
Ferner stimmt der Prozess der starken Erkennung bei Block 708 das eine oder die mehreren Merkmale des vollständigen Satzes von Merkmalen mit den vorgespeicherten Daten ab. Wie veranschaulicht, ist das zweite Modul 120 dazu konfiguriert, die Gesichtsmerkmale aus dem extrahierten vollständigen Satz des einen oder der mehreren Merkmale mit einem vorgespeicherten Gesichtsmerkmal in den vorgespeicherten Daten abzugleichen. Das in dem zweiten Modul 120 eingebaute neuronale Netzwerk 130 ist dazu konfiguriert, aus dem extrahierten vollständigen Satz des einen oder der mehreren Merkmale, die hier als das Gesichtsmerkmal veranschaulicht sind, zu bestimmen, ob das Gesichtsmerkmal mit dem vorgespeicherten Gesichtsmerkmal übereinstimmt. Wenn das Gesichtsmerkmal der anfänglich validierten Entität E1' 108b mit dem vorgespeicherten Gesichtsmerkmal übereinstimmt, führt das System Block 710 aus.
Bei Block 710 erzeugt der Prozess der starken Erkennung als Reaktion auf den Block 708 eine Ausgabe in Form eines Authentifizierungssignals, das es der identifizierten Entität E1' 108b ermöglicht, den einen oder die mehreren Fahrzeugvorgangsendpunkte 114 zu verwalten.
8 zeigt ein Abfolgediagramm, das einen Prozess veranschaulicht, der durch das System (beschrieben in den 1 bis 4) zum Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte 114 verwendet wird. Wie veranschaulicht, ist das System zum Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte 114 unter Verwendung des ersten Moduls 118 und des zweiten Moduls 120 konfiguriert, die an den einen oder die mehreren Prozessoren 112 gekoppelt sind. Bei Schritt S810 nehmen der eine oder die mehreren Vision-Sensoren 110 ein Bild der Entität E1 108a auf und werden Bilddaten ausgegeben. Die Bilddaten werden jedes Mal initiiert, wenn die Entität E1 108a in das Sichtfeld 104 des einen oder der mehreren Vision-Sensoren 110 eintritt. Der eine oder die mehreren Vision-Sensoren 110 sind dazu konfiguriert, das Bild der Entität E1 108a unter Verwendung einer oder mehrerer Kameras 110a, 110b,... 110n aufzunehmen, wenn sich die Entität E1 108a innerhalb des Sichtfelds 104 des einen oder der mehreren Vision-Sensoren 110 befindet. Die eine oder die mehreren Kameras 110a, 110b...110n sind an mindestens einem Abschnitt einer Innenregion oder einer Außenregion des Fahrzeugs 106 montiert. Der eine oder die mehreren Vision-Sensoren 110 erzeugen bei Schritt S812 ein Vision-Datensignal, das als Eingabe für das erste Modul 118 dient. Das Vision-Datensignal ist repräsentativ für die Bilddaten.
Das erste Modul 118 erzeugt ein Bild mit niedriger Auflösung unter Verwendung des Modus mit niedriger Auflösung des einen oder der mehreren Vision-Sensoren 110. Das erste Modul 118 detektiert das Vorhandensein der Entität E1 108a, wie durch das Vision-Datensignal dargestellt, wobei ein oder mehrere Merkmale der Entität E1 108a innerhalb des Sichtfelds 104 eines oder mehrerer Vision-Sensoren 110 vorhanden sind, unter Verwendung eines oder mehrerer nicht rechenintensiver Detektionstechniken, wie in 2 und 4 beschrieben. Die Vision-Sensoren 110 werden als Vision-Quellen bezeichnet. Das erste Modul 118 verwendet eine gespeicherte Vorlage der autorisierten Entität in der ersten Speicherbank 124, um die detektierte Entität E1 108a anfänglich zu validieren, wie in 2 und 4 beschrieben. Bei Schritt S814 wird ein Signal, das das Vorhandensein der Entität E1 108a im Sichtfeld 104 des einen oder der mehreren Vision-Sensoren 110 angibt, durch das erste Modul 118 erzeugt und durch das zweite Modul 120 empfangen. Bei Schritt S816 wird ein Signal, das eine anfängliche Validierung der Entität E1' 108b angibt, durch das erste Modul 118 erzeugt und durch das zweite Modul 120 empfangen. Das zweite Modul 120 empfängt zudem das Bild mit hoher Auflösung der Entität E1' 108b von dem einen oder den mehreren Vision-Sensoren 110, die in dem Modus mit hoher Auflösung arbeiten, in Form des Vision-Datensignals bei Schritt S818.
Auf Grundlage der Signale, die in den Schritten S814, S816 und S818 von dem ersten Modul 118 empfangen werden, wird das zweite Modul 120 aktiviert. Das zweite Modul 120 verwendet eine oder mehrere rechenintensive Detektionstechniken, um die Entität E1' 108b als durch das erste Modul 118 detektiert und anfänglich validiert zu identifizieren, wie in 2 und 4 beschrieben. Sobald die Entität E1' 108b als die autorisierte Entität identifiziert ist, sendet das zweite Modul 120 bei Schritt S820 ein Authentifizierungssignal an den einen oder die mehreren Fahrzeugvorgangsendpunkte 114.
9 veranschaulicht eine Umgebung 900, die ein nichttransitorisches computerlesbares Medium 902 aufweist, gemäß einem Aspekt der vorliegenden Offenbarung. In dem gezeigten Beispiel beinhaltet die Umgebung 900 das nicht flüchtige computerlesbare Medium 902, das kommunikativ an einen oder mehrere Prozessoren 904 gekoppelt ist. Das nichttransitorische computerlesbare Medium 902 umfasst Anweisungen zum Veranlassen, dass der eine oder die mehreren Prozessoren 904 ein Verfahren zum Verwalten des einen oder der mehreren Fahrzeugvorgangsendpunkte 114 durchführen (wie in den 2 und 4 gezeigt).
Das Verfahren umfasst Empfangen eines Vision-Datensignals von dem einen oder den mehreren Vision-Sensoren 110 und Detektieren einer Entität E1 108a auf Grundlage des Vision-Datensignals unter Verwendung des Prozesses der schwachen Erkennung. Der Prozess zur schwachen Erkennung führt ferner Anweisungen zum anfänglichen Validieren der detektierten Entität E1 1 08a auf Grundlage des Vision-Datensignals aus. Anschließend umfasst das Verfahren das Empfangen des Vision-Datensignals zur Identifizierung der Entität E1' 108b unter Verwendung des Prozesses der starken Erkennung als Reaktion auf ein Signal von dem Prozess der schwachen Erkennung. Sobald die Entität E1' 108b identifiziert wurde, überträgt das Verfahren ein Authentifizierungssignal an einen oder mehrere Fahrzeugvorgangsendpunkte 114. Das Verfahren kann weitere Handlungen umfassen, wie unter Bezugnahme auf 5-7 beschrieben. Ferner versteht es sich, dass das nichttransitorische computerlesbare Medium 902 ein beliebiges geeignetes computerlesbares Medium sein kann, wie etwa eine optische Platte, Festplatte, Festkörperspeicher, Flash-Speicher usw. und nicht beschreibbar oder beschreibbar sein kann.
Die Erfindung kann somit auch in einem Computerprogramm zum Ausführen auf einer programmierbaren Vorrichtung umgesetzt sein, das zumindest Codeabschnitte zum Durchführen von Schritten eines Verfahrens gemäß der Erfindung beinhaltet, wenn es auf der programmierbaren Vorrichtung, wie etwa einem Computersystem, ausgeführt wird oder einer programmierbaren Vorrichtung ermöglicht, Funktionen eines Systems gemäß der Erfindung durchzuführen. Das Computerprogramm kann zum Beispiel eines oder mehrere der Folgenden beinhalten: ein Unterprogramm, eine Funktion, eine Prozedur, ein Objektverfahren, eine Objektumsetzung, eine ausführbare Anwendung, ein Applet, ein Servlet, einen Quellcode, einen Objektcode, eine gemeinsam genutzte Bibliothek/Bibliothek dynamischer Belastung und/oder eine andere Abfolge von Anweisungen, die zur Ausführung auf einem Computersystem ausgelegt sind. Das Computerprogramm kann auf einem flüchtigen oder nichtflüchtigen physischen Medium oder Datenträger, wie etwa einer CD-ROM oder Diskette, bereitgestellt sein, auf der Daten gespeichert sind, die in einem Speicher einer programmierbaren Vorrichtung geladen werden können, wobei die Daten das Computerprogramm darstellen.
Diese und andere Änderungen können angesichts der vorstehend ausgeführten Beschreibung an den Ausführungsformen vorgenommen werden. Im Allgemeinen sollten in den folgenden Patentansprüchen die Ausdrücke nicht dahingehend ausgelegt werden, dass sie die Patentansprüche auf die in der Beschreibung und den Patentansprüchen offenbarten konkreten Ausführungsformen beschränken, sondern sie sollten so ausgelegt werden, dass sie alle möglichen Ausführungsformen zusammen mit dem vollen Umfang von Äquivalenten beinhalten, zu denen derartige Patentansprüche berechtigen. Dementsprechend sind die Patentansprüche nicht durch die Offenbarung beschränkt.
Gemäß der vorliegenden Erfindung ist ein Fahrzeug-Vision-System bereitgestellt, das Folgendes aufweist: ein Fahrzeug, das einen oder mehrere damit gekoppelte Vision-Sensoren beinhaltet, wobei jeder von dem einen oder den mehreren Vision-Sensoren ein Vision-Datensignal erzeugt; und einen oder mehrere Prozessoren und einen Speicher, der kommunikativ mit dem Fahrzeug und/oder dem einen oder den mehreren Vision-Sensoren gekoppelt ist, wobei der eine oder die mehreren Prozessoren dazu betriebsfähig sind, Folgendes auszuführen: einen ersten Klassifizierungsalgorithmus, der dazu betreibbar ist, eine anfängliche Validierung des Vision-Datensignals durchzuführen; und einen zweiten Klassifizierungsalgorithmus, der dazu betriebsfähig ist, eine Validierung des Vision-Datensignals durchzuführen, wobei der eine oder die mehreren Prozessoren den ersten Klassifizierungsalgorithmus und/oder den zweiten Klassifizierungsalgorithmus auf Grundlage einer oder mehrerer Fahrzeugbetriebseinstellungen umsetzen.
Gemäß einer Ausführungsform beinhalten eine oder mehrere Fahrzeugvorgangseinstellungen ein Vorhandensein einer Entität innerhalb eines Sichtfelds des einen oder der mehreren Vision-Sensoren.
Gemäß einer Ausführungsform definiert das Sichtfeld einen Erkennungsbereich innerhalb einer Fokusregion, wenn die Entität durch den ersten Klassifizierungsalgorithmus detektiert wird.
Gemäß einer Ausführungsform ist die Fokusregion auf eine erwarteten Stelle eines Kopfes der Entität beschränkt.
Gemäß einer Ausführungsform ist mindestens eine der einen oder mehreren Fahrzeugvorgangseinstellungen eine biometrische Authentifizierung.
Gemäß einer Ausführungsform ist eine autorisierte Validierung die biometrische Authentifizierung einer gespeicherten Gesichtsvorlage, einer gespeicherten Irisvorlage und/oder einer gespeicherten Gangvorlage der Entität innerhalb des Sichtfelds.
Gemäß einer Ausführungsform koppeln sich der erste Klassifizierungsalgorithmus und der zweite Klassifizierungsalgorithmus jeweils kommunikativ mit einer Speicherbank und wobei die Speicherbank ein Vorlagesignal speichert, das eine autorisierte Entität darstellt.
Gemäß einer Ausführungsform verwendet der erste Klassifizierungsalgorithmus einen Prozess der schwachen Erkennung und verwendet der zweite Klassifizierungsalgorithmus einen Prozess der starken Erkennung.
Gemäß einer Ausführungsform beinhaltet der Prozess der starken Erkennung mehr Rechenmerkmale als der Prozess der schwachen Erkennung.
Gemäß einer Ausführungsform befinden sich der eine oder die mehreren Vision-Sensoren außerhalb des Fahrzeugs.
Gemäß einer Ausführungsform befinden sich der eine oder die mehreren Vision-Sensoren innerhalb des Fahrzeugs.
Gemäß einer Ausführungsform umfassen der eine oder die mehreren Vision-Sensoren eine oder mehrere Kameras.
Gemäß einer Ausführungsform sind die eine oder die mehreren Fahrzeugbetriebseinstellungen eine Entriegelungsprozedur, wenn die anfängliche Validierung konsistent mit einer gespeicherten Vorlage ist.
Gemäß einer Ausführungsform sind der eine oder die mehreren Vision-Sensoren zum Betreiben in einem Modus mit hoher Auflösung und/oder einem Modus mit niedriger Auflösung betreibbar.
Gemäß einer Ausführungsform ist der erste Klassifizierungsalgorithmus dazu betriebsfähig, den Modus mit niedriger Auflösung zum Durchführen der anfänglichen Validierung umzusetzen, und ist der zweite Klassifizierungsalgorithmus dazu betriebsfähig, den Modus mit hoher Auflösung dazu umzusetzen, die Validierung durchzuführen.
Gemäß einer Ausführungsform sind der eine oder die mehreren Fahrzeugbetriebseinstellungen ein Haustiermodus, wenn die anfängliche Validierung mit einer gespeicherten Vorlage für ein Haustier und/oder ein Tier in einem Innenraum des Fahrzeugs übereinstimmt.
Gemäß einer Ausführungsform kann der Haustiermodus eine oder mehrere Komforteinstellungen des Fahrzeugs aktivieren.
Gemäß einer Ausführungsform sind die eine oder die mehreren Fahrzeugbetriebseinstellungen ein Wachmodus, wenn die anfängliche Validierung einer Entität innerhalb eines Sichtfelds nicht eine gespeicherte Vorlage ist.
Gemäß einer Ausführungsform kann der Wachmodus dazu betreibbar sein, das Vision-Datensignal auf einem Speichermodul zu speichern.
Gemäß der vorliegenden Erfindung wird ein System zum Detektieren und Identifizieren einer Entität für den Zugang zu einem Fahrzeug bereitgestellt, das Folgendes aufweist: mindestens einen Vision-Sensor, wobei der mindestens eine Vision-Sensor ein Vision-Datensignal erzeugt; einen oder mehrere Prozessoren und einen damit gekoppelten Speicher, wobei der eine oder die mehreren Prozessoren dazu betriebsfähig sind, Anweisungen auszuführen, die Folgendes beinhalten: ein erstes Modul in operativer Kommunikation mit dem Vision-Sensor, wobei das erste Modul eine anwendungsspezifische integrierte Schaltung umfasst und zum Ausführen von Anweisungen betriebsfähig ist, die Folgendes beinhalten: Detektieren einer Entität auf Grundlage des Vision-Datensignals; Durchführen einer anfänglichen Validierung der Entität; und ein zweites Modul unter Verwendung eines Prozesses der starken Erkennung in operativer Kommunikation mit dem ersten Modul, wobei das zweite Modul zum Ausführen von Anweisungen betreibbar ist, die Folgendes beinhalten: Validieren der Entität der anfänglichen Validierung; und Übertragen eines Authentifizierungssignals an einen oder mehrere Fahrzeugvorgangsendpunkte auf Grundlage einer validierten Entität; wobei der eine oder die mehreren Prozessoren den ersten Klassifizierungsalgorithmus und/oder den zweiten Algorithmus auf Grundlage einer oder mehrerer Fahrzeugbetriebseinstellungen umsetzen. Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren zum Identifizieren einer Entität für den Zugang zu einem Fahrzeug Folgendes: Überwachen eines Sichtfelds eines oder mehrerer Vision-Sensoren, um ein Vorhandensein einer Entität zu detektieren, wobei das Sichtfeld des einen oder der mehreren Vision-Sensoren eine Fokusregion beinhaltet; Verfolgen eines Standorts der Entität unter Verwendung eines Prozesses zur schwachen Erkennung; Durchführen einer anfänglichen Validierung unter Verwendung des Prozesses zur schwachen Erkennung, wenn die Entität in die Fokusregion eintritt; und Einleiten eines Prozesses der starken Erkennung, wobei Gesichtsmerkmale der Entität, wie anfänglich durch den Prozess der schwachen Erkennung validiert, mit einer gespeicherten Vorlage verglichen werden und wobei der anfänglich validierten Entität Zugang zu dem Fahrzeug gewährt wird, wenn bestimmt wird, dass die Gesichtsmerkmale der Entität mit der gespeicherten Vorlage übereinstimmen.

Claims

Fahrzeug-Vision-System, das Folgendes umfasst: ein Fahrzeug, das einen oder mehrere Vision-Sensoren beinhaltet, die damit gekoppelt sind, wobei der eine oder die mehreren Vision-Sensoren ein Vision-Datensignal erzeugen; und einen oder mehrere Prozessoren und einen Speicher, die kommunikativ mit dem Fahrzeug und/oder dem einen oder den mehreren Vision-Sensoren gekoppelt sind, wobei der eine oder die mehreren Prozessoren dazu betriebsfähig sind, Folgendes auszuführen: einen ersten Klassifizierungsalgorithmus, der dazu betriebsfähig ist, eine anfängliche Validierung des Vision-Datensignals durchzuführen; und einen zweiten Klassifizierungsalgorithmus, der dazu betriebsfähig ist, eine Validierung des Vision-Datensignals durchzuführen, wobei der eine oder die mehreren Prozessoren den ersten Klassifizierungsalgorithmus und/oder zweiten Klassifizierungsalgorithmus auf Grundlage eines oder mehrerer Fahrzeugbetriebseinstellungen umsetzen.
Fahrzeug-Vision-System nach Anspruch 1, wobei eine oder mehrere Fahrzeugbetriebseinstellungen ein Vorhandensein einer Entität innerhalb eines Sichtfelds des einen oder der mehreren Vision-Sensoren beinhalten, wobei das Sichtfeld einen Erkennungsbereich innerhalb einer Fokusregion definiert, wenn die Entität durch den ersten Klassifizierungsalgorithmus detektiert wird.
Fahrzeug-Vision-System nach Anspruch 1 oder Anspruch 2, wobei die Fokusregion auf eine erwartete Stelle eines Kopfes der Entität begrenzt ist.
Fahrzeug-Vision-System nach einem der Ansprüche 1-3, wobei mindestens eine der einen oder mehreren Fahrzeugbetriebseinstellungen eine biometrische Authentifizierung ist, wobei eine autorisierte Validierung die biometrische Authentifizierung einer gespeicherten Gesichtsvorlage, einer gespeicherten Irisvorlage und/oder einer gespeicherten Gangvorlage der Entität innerhalb des Sichtfelds ist.
Fahrzeug-Vision-System nach einem der Ansprüche 1-4, wobei sich der erste Klassifizierungsalgorithmus und der zweite Klassifizierungsalgorithmus jeweils kommunikativ mit einer Speicherbank koppeln und wobei die Speicherbank ein Vorlagesignal speichert, das eine autorisierte Entität darstellt.
Fahrzeug-Vision-System nach einem der Ansprüche 1-5, wobei der erste Klassifizierungsalgorithmus einen Prozess der schwachen Erkennung verwendet und der zweite Klassifizierungsalgorithmus einen Prozess der starken Erkennung verwendet, wobei der Prozess der starken Erkennung mehr Rechenmerkmale beinhaltet als der Prozess der schwachen Erkennung.
Fahrzeug-Vision-System nach einem der Ansprüche 1-6, wobei sich der eine oder die mehreren Vision-Sensoren außerhalb des Fahrzeugs befinden.
Fahrzeug-Vision-System nach einem der Ansprüche 1-7, wobei sich der eine oder die mehreren Vision-Sensoren innerhalb des Fahrzeugs befinden.
Fahrzeug-Vision-System nach einem der Ansprüche 1-8, wobei der eine oder die mehreren Vision-Sensoren eine oder mehrere Kameras umfassen.
Fahrzeug-Vision-System nach einem der Ansprüche 1-9, wobei die eine oder die mehreren Fahrzeugbetriebseinstellungen eine Entriegelungsprozedur sind, wenn die anfängliche Validierung konsistent mit einer gespeicherten Vorlage ist.
Fahrzeug-Vision-System nach einem der Ansprüche 1-10, wobei der eine oder die mehreren Vision-Sensoren zum Betreiben in einem Modus mit hoher Auflösung und/oder einem Modus mit niedriger Auflösung betriebsfähig sind, wobei der erste Klassifizierungsalgorithmus dazu betriebsfähig ist, den Modus mit niedriger Auflösung dazu umzusetzen, die anfängliche Validierung durchzuführen, und der zweite Klassifizierungsalgorithmus dazu betriebsfähig ist, den Modus mit hoher Auflösung dazu umzusetzen, die Validierung durchzuführen.
Fahrzeug-Vision-System nach einem der Ansprüche 1-11, wobei die eine oder die mehreren Fahrzeugbetriebseinstellungen ein Haustiermodus sind, wenn die anfängliche Validierung mit einer gespeicherten Vorlage für ein Haustier und/oder ein Tier in einem Innenraum des Fahrzeugs übereinstimmt, wobei der Haustiermodus eine oder mehrere Komforteinstellungen des Fahrzeugs aktivieren kann.
Fahrzeug-Vision-System nach einem der Ansprüche 1-12, wobei die eine oder mehreren Fahrzeugbetriebseinstellungen ein Wachmodus sind, wenn die anfängliche Validierung einer Entität innerhalb eines Sichtfelds keine gespeicherte Vorlage ist, wobei der Wachmodus dazu betriebsfähig sein kann, das Vision-Datensignal auf einem Speichermodul zu speichern.
System zum Detektieren und Identifizieren einer Entität für den Zugang zu einem Fahrzeug, wobei das System Folgendes umfasst: mindestens einen Vision-Sensor, wobei der mindestens eine Vision-Sensor ein Vision-Datensignal erzeugt; einen oder mehrere Prozessoren und einen damit gekoppelten Speicher, wobei der eine oder die mehreren Prozessoren dazu betriebsfähig sind, Anweisungen auszuführen, die Folgendes beinhalten: ein erstes Modul in Betriebskommunikation mit dem Vision-Sensor, wobei das erste Modul eine anwendungsspezifische integrierte Schaltung umfasst und zum Ausführen von Anweisungen betreibbar ist, die Folgendes beinhalten: Detektieren einer Entität auf Grundlage des Vision-Datensignals; Durchführen einer anfänglichen Validierung der Entität; und ein zweites Modul, das einen Prozess der starken Erkennung verwendet, in Betriebskommunikation mit dem ersten Modul, wobei das zweite Modul zum Ausführen von Anweisungen betriebsfähig ist, die Folgendes beinhalten: Validieren der Entität der anfänglichen Validierung; und Übertragen eines Authentifizierungssignals an einen oder mehrere Fahrzeugvorgangsendpunkte auf Grundlage einer validierten Entität; wobei der eine oder die mehreren Prozessoren den ersten Klassifizierungsalgorithmus und/oder zweiten Algorithmus auf Grundlage einer oder mehrerer Fahrzeugbetriebseinstellungen umsetzen.
Verfahren zum Identifizieren einer Entität für Zugang zu einem Fahrzeug, wobei das Verfahren Folgendes umfasst: Überwachen eines Sichtfelds eines oder mehrerer Vision-Sensoren, um ein Vorhandensein einer Entität zu detektieren, wobei das Sichtfeld des einen oder der mehreren Vision-Sensoren eine Fokusregion umfasst; Verfolgen eines Standorts der Entität unter Verwendung eines Prozesses der schwachen Erkennung; Durchführen einer anfänglichen Validierung unter Verwendung des Prozesses der schwachen Erkennung, wenn die Entität in die Fokusregion eintritt; und Einleiten eines Prozesses der starken Erkennung, wobei Gesichtsmerkmale der Entität, wie anfänglich durch den Prozess der schwachen Erkennung validiert, mit einer gespeicherten Vorlage verglichen werden und wobei der anfänglich validierten Entität Zugang zu dem Fahrzeug gewährt wird, wenn bestimmt wird, dass die Gesichtsmerkmale der Entität mit der gespeicherten Vorlage übereinstimmen.