DE102022119038A1

DE102022119038A1 - Systeme und verfahren bezüglich aufmerksamkeit und handplatzierung eines fahrers

Info

Publication number: DE102022119038A1
Application number: DE102022119038.2A
Authority: DE
Inventors: Keith Weston; Michael Alan McNees; Andrew Denis Lewandowski; Brendan Diamond; Jordan Barrett
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-08-09
Filing date: 2022-07-28
Publication date: 2023-02-09
Also published as: US20230041371A1; CN115703471A; US11654922B2

Abstract

In dieser Schrift werden Systeme und Verfahren bezüglich Aufmerksamkeit und Handplatzierung eines Fahrers offenbart. Ein beispielhaftes Verfahren beinhaltet Bereitstellen von Warnnachrichten an einen Fahrer eines Fahrzeugs basierend auf Lenkradeingabe oder Hand-Rad-Kontakt durch den Fahrer. Die Warnnachrichten werden gemäß einem ersten Schema, wenn die Lenkradeingabe über einem Schwellenwert liegt, und gemäß einem zweiten Schema, wenn die Lenkradeingabe unter einem Schwellenwert liegt und Bilder, die durch eine Kamera in dem Fahrzeug erlangt werden, angeben, dass sich mindestens eine Hand des Fahrers an dem Lenkrad befindet, bereitgestellt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf Systeme und Verfahren, die Bilderkennung und maschinelles Lernen nutzen, um die Position einer Fahrerhand an einem Lenkrad zu überwachen.
ALLGEMEINER STAND DER TECHNIK
Einige Fahrzeuge können mit Fahrerassistenz- und/oder Fahreraufmerksamkeitssystemen ausgestattet sein, die Lenkradkontakt oder -eingabe überwachen können. Die Systeme können einen Fahrer warnen, wenn er für einen Zeitraum unzureichenden Lenkradkontakt oder unzureichende Lenkradeingabe bereitgestellt hat. In einigen Fällen können die Sensoren, die Lenkradkontakt oder -eingabe detektieren, Betriebsparameter aufweisen, die falsch-positive Ergebnisse erzeugen. Diese falsch-positiven Ergebnisse können zu Warnnachrichten führen, die dem Fahrer versehentlich und/oder zu häufig angezeigt werden, was die Benutzererfahrung mit unnötigen und übermäßigen Popup-Nachrichten oder Warnungen beeinträchtigen kann.
KURZDARSTELLUNG
Diese Systeme und Verfahren können verwendet werden, um die Anzahl oder Häufigkeit (z. B. Frequenz) von Warnnachrichten zu reduzieren, die Fahrern dargestellt werden. Diese Warnnachrichten können den Fahrer anweisen, seine Hände an dem Lenkrad zu platzieren. Während diese Arten von Warnungen wertvoll sind, wenn sie angemessen bereitgestellt werden, kann eine übermäßige Bereitstellung dieser Nachrichten für den Fahrer nervend sein.
Die Systeme und Verfahren können in Verbindung mit einem Fahrzeugsystem verwendet werden, das sicherstellt, dass sich die Hände des Benutzers an dem Lenkrad und/oder in der richtigen Position befinden. Ein beispielhaftes Verfahren kann das Aufnehmen von Bildern von einer bordeigenen Bildgebungsvorrichtung einschließen. Es können Bildverarbeitungstechniken angewandt werden, um Merkmale und Eigenschaften (Lenkrad- und Handpositionen) zu isolieren. Merkmale könnten Finger, Fingerknöchel, Handgelenke sowie deren Ausrichtungen an einem Lenkrad beinhalten, wenn eine Hand das Lenkrad hält oder dieses anderweitig berührt.
Es kann ein abgrenzungsbasierter Algorithmus angewandt werden, um ungleiche Pixel zu identifizieren. Ein Teilmengenbild kann unter Verwendung von Techniken zur adaptiven Schwellenwertbildung verarbeitet werden, um sich verändernde Beleuchtungsbedingungen zu berücksichtigen. Dann können Rauschfilterung und Bildschärfung angewandt werden. Ein Kantendetektionsalgorithmus kann erneut angewandt werden, um unerwünschte und unnötige Bildinformationen weiter zu entfernen. Dann können erneut Rauschfilterung und Bildschärfung angewandt werden. Das Bild kann dann mit einem Array von bekannten registrierten Bildern für Handpositionen und -winkel an einer Kontrollfläche verglichen werden. Dann kann eine normalisierte Korrelationswertmatrix berechnet werden. Die resultierenden Werte stellen eine Genauigkeitskorrelation für den Hand-Rad-Kontakt dar. Der Algorithmus kann dann auf Schwellenwerte für die Hand-Rad-Drehkraft neu abgestimmt werden, um Fehlauslösungen und falsche Warnungen zu minimieren.
Ein beispielhaftes Handpositionsüberwachungssystem der vorliegenden Offenbarung kann mit elektronischen Horizontdaten und GPS-Positionsbestimmung kombiniert sein, um zu bestimmen, wie gerade die Straße ist und wie konstant der Kurs des Fahrers in den letzten hundert Metern gewesen. Wenn die Straße gerade ist, der Fahrer einen konstanten Kurs beibehalten hat und der Fahrer die Hände am Rad hat und auf die Straße vor ihm schaut, dann kann die Frequenz, mit der dem Fahrer Warnungen bereitgestellt werden, reduziert werden. Zusätzliche Logik kann für widrige Betriebs-/Wetterbedingungen umgesetzt sein, sodass das Fahrzeug verstehen kann, wann der Benutzer wahrscheinlich Handschuhe (kaltes Wetter/windig/usw.) oder andere Handbedeckungen tragen wird, welche die Genauigkeit/Leistungsfähigkeit der Bilderkennung beeinträchtigen könnten. Wenn der Benutzer nicht mag, dass eine Innenkamera seine Hände überwacht, kann er zu einem alternativen Verfahren wechseln (das Hand-Rad-Drehkraft verwendet, um zu bestimmen, ob sich die Hände des Fahrers an dem Rad befinden). In einigen Fällen können die Hand-Drehkraft-Methodik und die Bilderkennungssysteme in Kombination verwendet werden, wobei die Hand-Drehkraft verwendet wird, wenn die Hand-Drehkraftwerte über einem Schwellenwert liegen, und wobei die Bilderkennung verwendet wird, wenn die Hand-Drehkraftwerte unter dem Schwellenwert liegen.
Figurenliste
Eine detaillierte Beschreibung wird im Hinblick auf die beigefügten Zeichnungen dargelegt. Die Verwendung derselben Bezugszeichen kann ähnliche oder identische Elemente angeben. Für verschiedene Ausführungsformen können andere Elemente und/oder Komponenten als die in den Zeichnungen veranschaulichten genutzt werden und einige Elemente und/oder Komponenten sind in verschiedenen Ausführungsformen unter Umständen nicht enthalten. Die Elemente und/oder Komponenten in den Figuren sind nicht zwingend maßstabsgetreu gezeichnet. Für die gesamte Offenbarung gilt, dass Ausdrücke im Singular und Plural je nach Kontext austauschbar verwendet werden können.

1 veranschaulicht eine beispielhafte Architektur, in der die Systeme und das Verfahren der vorliegenden Offenbarung angewandt werden können.
2 ist ein Ablaufdiagramm eines beispielhaften Verfahrens zur Bildverarbeitung, das verwendet werden kann, in Übereinstimmung mit der vorliegenden Offenbarung.
3 ist ein Ablaufdiagramm eines beispielhaften Verfahrens zum Sicherstellen von Aufmerksamkeit eines Fahrers und einer Analyse der Handplatzierung zum Reduzieren von Warnnachrichten, die einem Fahrer dargestellt werden.
4 ist ein Ablaufdiagramm eines anderen beispielhaften Verfahrens zum Sicherstellen von Aufmerksamkeit eines Fahrers und einer Analyse der Handplatzierung zum Reduzieren von Warnnachrichten, die einem Fahrer dargestellt werden.

DETAILLIERTE BESCHREIBUNG
Es wird nun auf die Zeichnungen Bezug genommen, in denen 1 eine veranschaulichende Architektur 100 abbildet, in der Techniken und Strukturen der vorliegenden Offenbarung umgesetzt sein können. Die Architektur 100 beinhaltet ein Fahrzeug 102. Das Fahrzeug 102 beinhaltet ein Lenkrad 104, eine Kamera 106, ein fortschrittliches Fahrerassistenzsystem (advanced driver assistance system - ADAS 110) und eine Mensch-Maschine-Schnittstelle (human-machine interface - HMI 112).
Ein Fahrer 114 kann das Fahrzeug 102 fahren, indem er eine oder mehrere Hände, wie etwa eine Hand 116, an dem Lenkrad 104 platziert. Der Fahrer 114 stellt dem Lenkrad 104 in Form von Handkontakt und/oder Druck, der/die durch einen Lenkradeingabesensor 118 bestimmt werden kann/können, Eingabe bereit. Der Lenkradeingabesensor 118 kann einen Drehkraftsensor beinhalten, der bestimmt, wann der Fahrer Drehkraft auf das Lenkrad 104 anwendet. Wenngleich ein Drehkraftsensor in Betracht gezogen wird, können andere Lenkradeingabesensoren verwendet werden, die zum Detektieren von Hand-Lenkrad-Interaktionen verwendet werden, wie etwa kapazitive Sensoren, Drucksensoren und dergleichen.
Im Allgemeinen kann das Fahrzeug 102 dem Fahrer Nachrichten bereitstellen, die den Fahrer informieren, wenn Lenkradeingabe fehlt. Zum Beispiel kann dem Benutzer durch die HMI 112 eine Warnnachricht dargestellt werden, damit er seine Hand/Hände an dem Lenkrad platziert, wenn Signale von dem Lenkradeingabesensor 118 angeben, dass der Fahrer unaufmerksam ist (z. B. seine Hände nicht an dem Lenkrad hat). Diese Nachrichten können als Hand-an-Rad-Nachrichten („HOOD“-Nachrichten) bezeichnet werden. Die HMI 112 kann ein Infotainmentsystem, eine Frontanzeige, die auf eine Windschutzscheibe projiziert wird, und/oder ein Fahrer-Kombiinstrument, das hinter dem Lenkrad 104 positioniert ist, beinhalten.
Im Allgemeinen werden keine Warnnachrichten ausgelöst, wenn der Hand-Rad-Drehkraftwert über dem festgelegten Schwellenwert liegt. Wenn der Hand-Rad-Drehkraftwert unter dem festgelegten Schwellenwert liegt, können Warnnachrichten ausgelöst werden. Es versteht sich, dass die Empfindlichkeit oder die Betriebsparameter des Lenkradeingabesensors 118 dazu führen können, dass dem Fahrer eine fehlerhafte, irrtümliche und/oder übermäßige Anzahl an Warnnachrichten dargestellt wird. Anders ausgedrückt kann ein Hand-Rad-Drehkraftwert unter einen Schwellenwert fallen, der in Newton pro Meter (oder einer anderen akzeptablen Einheiten) gemessen wird, was dazu führt, dass das ADAS 110 eine Warnung auslöst.
In einigen Fällen oder Fahrbedingungen muss der Fahrer jedoch keine Hand-Rad-Drehkraft ausüben, um Kontrolle über das Fahrzeug beizubehalten und Aufmerksamkeit des Fahrers sicherzustellen, wobei der Hand-Rad-Drehkraftwert unter diesen Schwellenwert fallen kann, was zu Nachrichten führt. Als Beispiel, wenn Hand-Drehkraftwerte verwendet werden, um zu bestimmen, ob sich die Hände des Benutzers an dem Lenkrad befinden, und der Fahrer das Fahrzeug reibungslos bedient, ohne ausreichend Drehkraft auf das Lenkrad anzuwenden, können Warnnachrichten dargestellt werden, obwohl der Fahrer aufmerksam ist und die Kontrolle hat.
Wenn die Straße, auf der das Fahrzeug fährt, relativ gerade ist, muss der Fahrer möglicherweise keine Drehkraft auf das Lenkrad anwenden, und es können fälschlicherweise Warnnachrichten dargestellt werden. Die Hand-Rad-Drehkraft kann auch niedrig sein, wenn der Fahrer dem ADAS 110 ermöglicht, das Fahrzeug halbautonom zu steuern. Dabei handelt es sich lediglich um Beispiele und sie sollen nicht einschränkend sein.
In diesen Fällen oder anderen ähnlichen Fällen kann das ADAS 110 dazu angepasst sein, zu bestimmen, dass der Fahrer mindestens eine Hand an dem Lenkrad hat, obwohl der Lenkradeingabesensor 118 angibt, dass sich die Hand des Fahrers nicht an dem Lenkrad befindet. Der zusätzliche Prozess zum Bestimmen, dass sich eine Hand des Fahrers an dem Lenkrad befindet, kann verwendet werden, um zu bestätigen, dass der Fahrer die Kontrolle über das Fahrzeug hat und aufmerksam ist.
In einigen Fällen umfasst das ADAS 110 einen Prozessor 120 und einen Speicher 122 zum Speichern von Anweisungen. Der Prozessor 120 führt im Speicher 122 gespeicherte Anweisungen aus, um beliebige in dieser Schrift offenbarte Verfahren durchzuführen. Im Allgemeinen kann der Speicher 122 Lenkradeingabesensorverarbeitungslogik 126 und Bildverarbeitungslogik 128 speichern. Wenn auf Vorgänge Bezug genommen wird, die durch das ADAS 110 oder das Fahrzeug 102 durchgeführt werden, schließt dies implizit die Ausführung von Anweisungen durch den Prozessor 120 ein. Ganz allgemein kann das ADAS 110 dazu konfiguriert sein, Bilderkennung und maschinelles Lernen zu verwenden, um die Handposition des Fahrers zu überwachen. In einigen Fällen kann das ADAS 110 dazu konfiguriert sein, Eingaben von dem Lenkradeingabesensor 118 und Bildern von der Kamera 106 zu verwenden. Das ADAS 110 kann Signale von dem Lenkradeingabesensor 118 als primäre oder anfängliche Eingabe verwenden. Wenn jedoch eine Fahrereingabe für das Lenkrad fehlt (z. B. ist eine Hand-Rad-Drehkraft niedrig), kann das ADAS 110 Bilder verarbeiten, um zu bestimmen, ob sich mindestens eine der Hände des Fahrers an dem Rad befindet. Diese Art der Bildverarbeitung kann als sekundäres oder zusätzliches Verfahren verwendet werden, um Aufmerksamkeit des Fahrers und Hand-Rad-Interaktion sicherzustellen.
Die Kamera 106 kann dazu angepasst sein, Bilder eines Bereichs 124 um das Lenkrad 104 des Fahrzeugs 102 herum zu erlangen. Dies kann Erlangen von Bildern nicht nur des Lenkrads, sondern auch eines Bereichs um das Lenkrad 104 herum beinhalten, um zu identifizieren, wann eine Hand des Fahrers das Lenkrad 104 berührt oder annähernd berührt. Wenngleich eine Kamera offenbart wird, kann das ADAS 110 Bilder von verschiedenen Kameras verwenden, die innerhalb der Kabine des Fahrzeugs 102 positioniert sind. Jede dieser Kameras kann Bilder des Bereichs um das Lenkrad herum erlangen.
Das ADAS 110 kann dazu angepasst sein, Bilder zu verwenden, um die Handposition zu identifizieren und Rückmeldungen zu integrieren, um Störungen durch Warnnachrichten zu minimieren, wenn der Fahrer eine oder beide Hände an dem Rad hat und geradeaus schaut. Somit können Bilder durch das ADAS 110 verarbeitet werden, um sicherzustellen, dass der Fahrer sowohl geradeaus schaut (z. B. sind die Augen auf die Straße gerichtet) als auch mindestens eine Hand an dem Rad hat.
Im Allgemeinen wird die Reduzierung der Menge oder Häufigkeit von Warnnachrichten relativ dazu gemessen, wie das ADAS 110 konfiguriert ist, um ohne Bildverarbeitung zu arbeiten. Zum Beispiel während einer typischen Fahrt, die mehrere hundert Meilen lang ist, kann das ADAS 110 ohne Bildverarbeitung zum Bestimmen der Hand-Rad-Interaktion, irrtümlich Dutzende von Nachrichten darstellen. Wenn das ADAS in Übereinstimmung mit der vorliegenden Offenbarung konfiguriert ist, können diese Nachrichten in Abhängigkeit von der tatsächlichen Aufmerksamkeit und/oder den tatsächlichen Hand-Rad-Interaktionen des Fahrers auf die Hälfte oder weniger reduziert werden.
In einigen Fällen ist das ADAS 110 dazu konfiguriert, Bildverarbeitung unter Verwendung verschiedener Algorithmen durchzuführen. Zum Beispiel kann der durch das ADAS 110 umgesetzte Bilderkennungsprozess Verwenden einer Handgestenformel einschließen: $M = \frac{\sum_{i, j} [(ƒ_{i j} - ƒ_{m}) \times (g_{i j} - g_{m})]}{[\sqrt{\sum_{i, j} {(ƒ_{i j} - ƒ_{m})}^{2} \times \sqrt{\sum_{i, j} {(g_{i j} - g_{m})}^{2}}}]}$
Die Handgestenformel kann verwendet werden, um eine normalisierte Korrelationswertmatrix zu erstellen, die verwendet werden kann, um einen Ähnlichkeitsgrad zwischen einem bekannten oder registrierten Handbild an einer Kontrollflächeneingabe und dem/den aktuell über die Kamera 106 aufgenommenen Bild(ern) zu bestimmen. Es versteht sich, dass ƒ_ij einen Helligkeitswert einer Pixeladresse für ein registriertes/bekanntes Handbild darstellt, g_ij einen Helligkeitswert einer Pixeladresse für das von der Bildgebungsvorrichtung aufgenommene Bild darstellt, ƒ_m mittlere Helligkeitswerte für ein registriertes/bekanntes Handbild darstellt und g_m mittlere Helligkeitswerte für das von der Bildgebungsvorrichtung aufgenommene Bild darstellt.
Die Formel und Logik, die durch das ADAS 110 verwendet werden, können den Fehlergrad zwischen dem, was als eine physische Hand an einer Kontrollfläche bestimmt wird, und einem fälschlich detektierten Objekt an der Kontrollfläche verringern. In einigen Fällen kann das ADAS 110 Bilder verarbeiten, um eine Anzahl an Fingern in unmittelbarer Nähe des Lenkrads zu zählen und zu prüfen.
Es kann ein Array von Bildhandpositionen an der Kontrollfläche an verschiedenen Stellen generiert und bewertet werden, um eine einhändige und zweihändige Bedienung des Lenkrads 104 zu bestimmen. Dies würde 360°-Handpositionen um die Kontrollfläche herum bereitstellen. Das ADAS 110 kann einen Kontakt mit Kontrollflächen angemessen vorhersagen, wenn die Korrelationswerte aus der vorstehenden Gleichung im Bereich von 0,85 bis 0,90 liegen. Um Rauschen zu entfernen, können zusätzliche Filter zusammen mit der vorstehend erstellten Korrelationsmatrix verwendet werden.
In einigen Fällen kann das ADAS 110 eine Bildverarbeitungstechnik, die als Segmentierung (Kante gekoppelt mit einem Abschnitt) bekannt ist, als primäres Mittel zum Extrahieren von Handbildern aus den von der Bildaufnahmevorrichtung empfangenen Bildern umsetzen.
2 veranschaulicht ein beispielhaftes Verfahren zur Bildverarbeitung, das durch das ADAS 110 genutzt werden kann. Im Allgemeinen kann die Bildverarbeitungslogik Segmentierungstechniken zusammen mit Korrelationsprüfungen und Rauschfilterung nutzen, um falsche Angaben zu verbessern.
Das Verfahren beinhaltet einen Schritt 202 des Aufnehmens von Bildern unter Verwendung einer bordeigenen Bildgebungsvorrichtung, wie etwa einer Kamera. Das Verfahren kann einen Schritt 204 des Anwendens von Bildverarbeitungstechniken beinhalten, um Merkmale und Eigenschaften zu isolieren. Zum Beispiel können die Bildverarbeitungstechniken verwendet werden, um Lenkrad- und Handposition(en) zu bestimmen.
Das Verfahren kann einen Schritt 206 des Anwendens eines abgrenzungsbasierten Algorithmus beinhalten, um ungleiche Pixel in den Bildern zu identifizieren. In einem Beispiel kann der abgrenzungsbasierte Algorithmus Kanten-/Abschnittsdetektion beinhalten, um zwischen Pixeln, die ein Lenkrad angeben, und Pixeln, die eine Hand angeben, zu unterscheiden. In einigen Fällen können die Pixel, die entweder als Lenkrad oder Hand identifiziert werden, weiter verarbeitet werden. Die verbleibenden Teile der Bilder können ignoriert werden. In Schritt 208 kann ein Teilmengenbild des Bilds/der Bilder unter Verwendung von Techniken zur adaptiven Schwellenwertbildung verarbeitet werden, um Veränderungen der Beleuchtungsbedingungen zu berücksichtigen.
Das Verfahren kann auch einen Schritt 210 des Anwendens von Rauschfilterung und Bildschärfung beinhalten. In einigen Fällen kann das Verfahren einen Schritt 212 des erneuten Anwendens des Kantendetektionsalgorithmus beinhalten, um unerwünschte und unnötige Bildinformationen weiter zu entfernen. Ein optionaler Schritt 214 beinhaltet ein zweitmaliges Anwenden von Rauschfilterung und Bildschärfung.
Als Nächstes beinhaltet das Verfahren einen Schritt 216 des Vergleichens eines verarbeiteten Bilds mit einem Array von bekannten registrierten Bildern für Handpositionen und -winkel auf (einer) Kontrollfläche(n). Somit wird das verarbeitete Bild mit einem Trainingssatz von Bildern verglichen, die zuvor in Bezug auf Handpositionen an Kontrollflächen, wie etwa Lenkrädern, verarbeitet und kategorisiert wurden.
Das Verfahren kann auch einen Schritt 218 des Berechnens einer normalisierten Korrelationswertmatrix für die Bilder relativ zu dem Trainingssatz beinhalten. Die normalisierte Korrelationswertmatrix gibt an, wie nahe das verarbeitete Bild im Vergleich zu einem oder mehreren Bildern in dem Trainingssatz ist. Es versteht sich, dass die resultierenden Werte eine Genauigkeitskorrelation für den Hand-Rad-Kontakt darstellen. Unter Verwendung dieser berechneten Werte kann das Verfahren einen Schritt 220 des Reduzierens einer Anzahl oder Häufigkeit von Warnnachrichten basierend auf den Genauigkeitskorrelationen beinhalten. Das heißt, wenn die Bildverarbeitung angibt, dass sich die Hand des Fahrers wahrscheinlich an dem Lenkrad befindet, kann die Bereitstellung von Warnnachrichtungen reduziert oder beseitigt werden. In einem alternativen Prozess, wenn sich die Hand des Fahrers wahrscheinlich an dem Lenkrad befindet, kann das ADAS Schwellenwerte in Bezug auf die Hand-Rad-Drehkraft selektiv einstellen, um Fehlauslösungen und falsche Warnungen zu minimieren.
Zusätzlich zum Verwenden von Bildverarbeitung zum Identifizieren von Fahrerkontrolle können diese Merkmale mit zusätzlichen Verfahren kombiniert werden. Zum Beispiel kann die Handpositionsüberwachung durch das ADAS 110 mit elektronischen Horizontdaten und GPS-Positionsdaten kombiniert werden, um zu bestimmen, wann eine Straße gerade ist und wie konstant der Kurs des Fahrers über einen Zeitraum oder eine Entfernung gewesen ist. Zum Beispiel kann das ADAS 110 bestimmen, wie konsistent der Kurs des Fahrzeugs in den letzten hundert Metern gewesen ist. Wenn das ADAS 110 unter Verwendung der elektronischen Horizontdaten bestimmt, dass die Straße gerade ist, und der Fahrer basierend auf GPS-Positionsdaten einen konstanten Kurs beibehalten hat, kann das ADAS 110 eine Anzahl an Warnnachrichten reduzieren oder beseitigen. Die Straße kann als gerade betrachtet werden, wenn die elektronischen Horizontdaten angeben, dass es unwahrscheinlich ist, dass das Fahrzeug 102 innerhalb einer vorbestimmten Entfernung vor dem Fahrzeug 102 auf eine Kurve trifft. Als Beispiel kann das ADAS 110 Bilder verarbeiten, die von der Straße vor dem Fahrzeug erlangt werden, um zu bestimmen, dass das Fahrzeug für mehrere hundert Meter nicht auf eine Kurve treffen wird. Die elektronischen Horizontdaten können durch Kameras gesammelt werden, die außerhalb des Fahrzeugs positioniert sind. Ähnliche Daten können aus einer Karte bezogen werden, die in einem Navigationssystem des Fahrzeugs verwendet wird.
In einigen Fällen erfolgt diese Reduzierung oder Beseitigung erst, nachdem das ADAS 110 zuerst bestimmt hat, dass der Fahrer seine Hände an dem Lenkrad hat. In noch anderen Fällen kann das ADAS 110 auch eine Reduzierung oder Beseitigung von Warnnachrichten ermöglichen, nachdem das ADAS 110 bestimmt hat, dass der Fahrer geradeaus schaut (z. B. die Augen auf die Straße vor sich gerichtet sind). In einigen Fällen erfolgt die Reduzierung oder Beseitigung von Warnnachrichten, wenn das ADAS 110 bestimmt hat, (1) dass sich die Hand/Hände des Fahrers an dem Lenkrad befindet/befinden; (2) der Fahrer geradeaus schaut; (3) dass die Straße gerade oder wahrscheinlich gerade ist; und (4) dass sich das Fahrzeug für einen Zeitraum oder eine Entfernung auf einem konstanten Kurs befunden hat. In einigen Fällen kann das ADAS 110 dazu konfiguriert sein, Warnnachrichten basierend auf einer oder mehrerer dieser Bestimmungen zu reduzieren. Die Reduzierung von Warnnachrichten kann basierend darauf, wie viele dieser Bestimmungen vorgenommen werden, zunehmen. Zum Beispiel können Warnnachrichten um eine erste Menge, wenn nur eine Bestimmung vorgenommen wird, um eine zweite Menge, wenn zwei vorgenommen werden, und so weiter reduziert werden.
Die Handgesten-Bilderkennungslogik kann ferner dazu angepasst sein, nachteilige Betriebs- und/oder Wetterbedingungen zu kompensieren, was es dem ADAS 110 ermöglicht, zu bestimmen, wann der Fahrer wahrscheinlich Handschuhe oder andere Handbedeckungen trägt, welche die Bilderkennungsgenauigkeit und/oder -leistungsfähigkeit beeinträchtigen könnten. Zum Beispiel kann das ADAS 110 von einem bordeigenen Wetterdatenmodul, wie etwa einem bordeigenen Thermometer, Wetterinformationen erlangen. Wetterdaten können auch von einer Online-Ressource erlangt werden, wenn das Fahrzeug ein vernetztes Fahrzeug ist, das unter Verwendung eines drahtlosen Verbindungsprotokolls auf ein Netzwerk zugreifen kann. Wetterinformationen, wie etwa niedrige Temperatur oder Wind, können angeben, dass die Hände des Fahrers durch eine Bedeckung, wie etwa Handschuhe, verdeckt sein können. Das ADAS 110 kann diese Informationen nutzen, um einzustellen, wie die Bilderkennungslogik Pixel verarbeitet. Allgemein kann die Bilderkennungslogik nicht nur nach hautfarbenen Pixeln sondern in einem größeren Bereich von Farben suchen sowie allgemeine Handformen identifizieren. Ganz allgemein kann das ADAS 110 bestimmen, wann die Hand des Fahrers mit der Bedeckung verdeckt ist, indem die Bedeckung basierend auf Kontextinformationen vorhergesagt wird. Die Kontextinformationen können Wetterdaten beinhalten, es können jedoch auch andere Faktoren verwendet werden, wie etwa ein Dienstplan. Wenn der Fahrer zum Beispiel ein Auslieferungsfahrer ist, der zwischen 8 und 17 Uhr arbeitet, dann kann der Fahrer zu Schutzzwecken Handschuhe tragen. Das ADAS 110 kann dazu konfiguriert sein, während dieser Stunden zu kompensieren und anzunehmen, dass der Fahrer Handschuhe trägt.
Das ADAS 110 kann dazu konfiguriert sein, es einem Fahrer zu ermöglichen, selektiv einzustellen, wie Warnungen kommuniziert und kalibriert werden. Zum Beispiel kann es dem Fahrer ermöglicht werden, Warnnachrichten vollständig auszuschalten. Der Fahrer kann auch ändern, wie häufig Nachrichten dargestellt werden, unabhängig von den tatsächlichen gemessenen Fahrbedingungen oder Lenkrad-Hand-Interaktionen. Wenn diese Arten von Warnsystemen vorgeschrieben sind, der Benutzer jedoch nicht mag, dass eine Innenkamera seine Hände überwacht, kann er auf das standardmäßige (bestehende) und möglicherweise nervende Verfahren der Handdetektion umschalten.
3 zeigt ein beispielhaftes Verfahren der vorliegenden Offenbarung. Das Verfahren kann einen Schritt 302 des Bestimmens eines Fehlens von Eingabe durch eine Hand eines Fahrers in Bezug auf ein Lenkrad eines Fahrzeugs beinhalten. Dies kann Verwenden eines beliebigen Verfahrens oder Mechanismus beinhalten, das/der bestimmt, wann eine Hand eines Fahrers nicht in physischem Kontakt mit dem Lenkrad steht, wie etwa Drehkraftsensoren oder kapazitive Berührung. In einigen Fällen beinhaltet das Bestimmen des Fehlens von Eingabe Bestimmen, dass ein Hand-Drehkraftwert unter einem Hand-Drehkraftschwellenwert liegt.
Wie vorstehend angemerkt, können dem Fahrer normalerweise Warnnachrichten dargestellt werden, wenn das Fehlen von Eingabe für einen Zeitraum oder über eine bestimmte Entfernung auftritt. Um jedoch falsch-positive und übermäßige Warnungen zu reduzieren, kann das Verfahren einen Schritt 304 des Bestimmens einer Handposition einer Hand eines Fahrers relativ zu einem Lenkrad eines Fahrzeugs unter Verwendung von Bildern, die für einen Bereich um das Lenkrad herum erlangt werden, beinhalten. Wie vorstehend angemerkt, gibt die Handposition an, ob die Hand des Fahrers das Lenkrad berührt oder nicht. Somit kann bestimmt werden, dass sich die Hand des Fahrers in Kontakt mit oder nahe dem Lenkrad befindet, obwohl durch den/die primären Hand-Lenkrad-Sensor(en) das Fehlen von Eingabe erfasst wird.
Wenn basierend auf Bildverarbeitung bestimmt wird, dass die Hand vorhanden ist, kann das Verfahren einen Schritt 306 des selektiven Reduzierens einer Anzahl oder Häufigkeit von Warnnachrichten, wenn bestimmt wird, dass sich die Hand des Fahrers an dem Lenkrad befindet, im Vergleich zu der Anzahl oder Häufigkeit von Warnnachrichten, die basierend auf nur dem Fehlen von Eingabe dargestellt würden, beinhalten. Somit gibt es eine Anzahl oder Häufigkeit (z. B. Frequenz) von Nachrichten, die ausschließlich basierend auf dem Fehlen von Eingabe, wie in Schritt 302 bestimmt, dargestellt würde. Das Verfahren reduziert die Anzahl oder Häufigkeit (z. B. Frequenz) von Nachrichten, wenn in Schritt 304 die Hand des Fahrers detektiert wird.
Das Verfahren kann auch einen Schritt 308 des Bewertens elektronischer Horizontdaten und Positionsdaten für das Fahrzeug beinhalten, um zu bestimmen, wann das Fahrzeug für einen Zeitraum einen konstanten Kurs beibehalten hat. Diese Bestimmung kann in Kombination mit der in Schritt 304 vorgenommenen Bestimmung verwendet werden, um die Darstellung von Warnnachrichten zu reduzieren.
4 ist ein Ablaufdiagramm eines beispielhaften Verfahrens der vorliegenden Offenbarung. Das Verfahren beinhaltet einen Schritt 402 des Bereitstellens von Warnnachrichten an einen Fahrer eines Fahrzeugs basierend auf Lenkradeingabe oder Hand-Rad-Kontakt durch den Fahrer. Die Warnnachrichten werden gemäß einem ersten Schema, wenn die Lenkradeingabe über einem Schwellenwert liegt, und gemäß einem zweiten Schema, wenn die Lenkradeingabe unter einem Schwellenwert liegt und Bilder, die durch eine Kamera in dem Fahrzeug erlangt werden, angeben, dass sich mindestens eine Hand des Fahrers an dem Lenkrad befindet, bereitgestellt. Das erste Schema kann Bereitstellen von Warnnachrichten mit einer ersten Frequenz beinhalten. Das zweite Schema kann Bereitstellen von Warnnachrichten mit einer zweiten Frequenz beinhalten, wobei die zweite Frequenz kleiner als die erste Frequenz ist.
Als Nächstes kann das Verfahren einen Schritt 404 des Bewertens elektronischer Horizontdaten und Positionsdaten für das Fahrzeug beinhalten, um zu bestimmen, wann das Fahrzeug für einen Zeitraum einen konstanten Kurs beibehalten hat. Das zweite Schema wird verwendet, wenn das Fahrzeug den konstanten Kurs für den Zeitraum beibehalten hat.
Wie vorstehend angemerkt, können basierend auf dem Fahrkontext verschiedene Prozesse zum Kompensieren verwendet werden. Somit kann das Verfahren einen Schritt 406 des Bestimmens basierend auf Kontextinformationen, wann die Hand des Fahrers durch eine Bedeckung verdeckt ist, sowie einen Schritt 408 des Kompensierens von Fehlern bei der Bilderkennung, die zum Verarbeiten der Bilder verwendet wird, wenn die Bedeckung bestimmt wird, beinhalten. In einigen Fällen kann das Verfahren einen Schritt 410 des Bestimmens anhand der Bildern beinhalten, dass der Fahrer geradeaus schaut. Es können einer oder mehrere der Schritte 406-410 verwendet werden, um die Bildverarbeitungslogik zu verbessern oder abzustimmen.
Umsetzungen der in dieser Schrift offenbarten Systeme, Einrichtungen, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer beinhalten oder verwenden, der Computerhardware beinhaltet, wie zum Beispiel einen oder mehrere von in dieser Schrift behandelten Prozessoren und Systemspeichern. Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung auf einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Eine Umsetzung der in dieser Schrift offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen.
Wenngleich der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen konkreter Sprache beschrieben worden ist, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen sind vielmehr als beispielhafte Formen zum Umsetzen der Patentansprüche offenbart.
Wenngleich vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben worden sind, versteht es sich, dass diese lediglich als Beispiele und nicht zur Einschränkung dargestellt worden sind. Der Fachmann auf dem einschlägigen Gebiet wird erkennen, dass verschiedene Änderungen bezüglich Form und Detail daran vorgenommen werden können, ohne von Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollten Breite und Umfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt, sondern lediglich in Übereinstimmung mit den folgenden Ansprüchen und deren Äquivalenten definiert werden.Die vorangehende Beschreibung ist zum Zwecke der Veranschaulichung und Beschreibung dargestellt worden.Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die vorliegende Offenbarung nicht auf die exakte offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehren möglich.Ferner ist anzumerken, dass eine beliebige oder alle der vorangehend genannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Zum Beispiel können beliebige der unter Bezugnahme auf eine konkrete Vorrichtung oder Komponente beschriebenen Funktionen durch eine andere Vorrichtung oder eine andere Komponente durchgeführt werden. Mit Formulierungen, die konditionale Zusammenhänge ausdrücken, wie unter anderem „kann“, „könnte“ , „können“ oder „könnten“, soll im Allgemeinen vermittelt werden, dass gewisse Ausführungsformen gewisse Merkmale, Elemente und/oder Schritte beinhalten könnten, wohingegen andere Ausführungsformen diese nicht beinhalten können, es sei denn, es ist konkret etwas anderes angegeben oder es ergibt sich etwas anderes aus dem jeweils verwendeten Kontext. Somit sollen derartige Formulierungen, die konditionale Zusammenhänge ausdrücken, nicht implizieren, dass Merkmale, Elemente und/oder Schritte für eine oder mehrere Ausführungsformen in irgendeiner Weise erforderlich sind.
Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, die Darstellung der Warnnachricht durch selektives Reduzieren einer Anzahl oder Häufigkeit der Warnnachricht zu verändern.
Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, elektronische Horizontdaten und Positionsdaten für das Fahrzeug zu bewerten, um zu bestimmen, wann das Fahrzeug für einen Zeitraum einen konstanten Kurs beibehalten hat.
Gemäß einer Ausführungsform ist der Prozessor zu Folgendem konfiguriert: Bestimmen, wann die Hand des Fahrers mit einer Bedeckung verdeckt ist; und Kompensieren von Fehlern bei der Bilderkennung, die verwendet wird, um die Bilder zu verarbeiten, wenn die Bedeckung vorhanden ist.
Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, die Bedeckung basierend auf Kontextinformationen vorherzusagen.
Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, die Kamera dazu zu veranlassen, Bilder eines Bereichs um das Lenkrad herum zu erlangen.

Claims

Verfahren, das Folgendes umfasst: Bestimmen eines Fehlens von Eingabe durch eine Hand eines Fahrers in Bezug auf ein Lenkrad eines Fahrzeugs; Bestimmen einer Handposition der Hand des Fahrers relativ zu dem Lenkrad des Fahrzeugs unter Verwendung von Bildern, die für einen Bereich um das Lenkrad herum erlangt werden, wobei die Handposition angibt, ob die Hand des Fahrers das Lenkrad berührt oder nicht; und selektives Reduzieren einer Anzahl oder Häufigkeit von Warnnachrichten, wenn bestimmt wird, dass sich die Hand des Fahrers an dem Lenkrad befindet, im Vergleich zu der Anzahl oder Häufigkeit von Warnnachrichten, die basierend auf nur dem Fehlen von Eingabe dargestellt würden.
Verfahren nach Anspruch 1, wobei das Bestimmen des Fehlens von Eingabe Bestimmen umfasst, dass ein Hand-Drehkraftwert unter einem Hand-Drehkraftwertschwellenwert liegt.
Verfahren nach Anspruch 1, das ferner Bewerten elektronischer Horizontdaten und Positionsdaten für das Fahrzeug umfasst, um zu bestimmen, wann das Fahrzeug für einen Zeitraum einen konstanten Kurs beibehalten hat.
Verfahren nach Anspruch 1, das ferner Folgendes umfasst: Bestimmen, wann die Hand des Fahrers mit einer Bedeckung verdeckt ist; und Kompensieren von Fehlern bei der Bilderkennung, die verwendet wird, um die Bilder zu verarbeiten, wenn die Bedeckung bestimmt wird.
Verfahren nach Anspruch 4, wobei das Bestimmen, wann die Hand des Fahrers mit der Bedeckung verdeckt ist, Vorhersagen der Bedeckung basierend auf Kontextinformationen umfasst.
Verfahren, das Folgendes umfasst: Bestimmen von Warnnachrichten an einen Fahrer eines Fahrzeugs basierend auf einer Lenkradeingabe oder eines Hand-Rad-Kontakts durch den Fahrer an einem Lenkrad, wobei die Warnnachrichten gemäß (i) einem ersten Schema, wenn die Lenkradeingabe über einem Schwellenwert liegt, und (ii) einem zweiten Schema, wenn die Lenkradeingabe unter dem Schwellenwert liegt und Bilder, die durch eine Kamera in dem Fahrzeug erlangt werden, angeben, dass sich eine Hand des Fahrers an dem Lenkrad befindet, bestimmt werden.
Verfahren nach Anspruch 6, wobei die Lenkradeingabe einen Hand-Drehkraftwert umfasst.
Verfahren nach Anspruch 6, das ferner Bewerten elektronischer Horizontdaten und Positionsdaten für das Fahrzeug umfasst, um zu bestimmen, wann das Fahrzeug für einen Zeitraum einen konstanten Kurs beibehalten hat, wobei das zweite Schema verwendet wird, wenn das Fahrzeug für den Zeitraum den konstanten Kurs beibehalten hat.
Verfahren nach Anspruch 6, das ferner Folgendes umfasst: Bestimmen basierend auf Kontextinformationen, wann die Hand des Fahrers mit einer Bedeckung verdeckt ist; und Kompensieren von Fehlern bei der Bilderkennung, die verwendet wird, um die Bilder zu verarbeiten, wenn die Bedeckung bestimmt wird.
Verfahren nach Anspruch 6, das ferner Bestimmen anhand der Bilder umfasst, dass der Fahrer geradeaus schaut.
Verfahren nach Anspruch 10, das ferner Isolieren von Merkmalen und Eigenschaften des Lenkrads und der Hand anhand der Bilder zusammen mit relativen Positionen des Lenkrads und der Hand umfasst.
Verfahren nach Anspruch 11, das ferner Folgendes umfasst: Bestimmen ungleicher Pixel in den Bildern unter Verwendung von Kantendetektion; und Verarbeiten der ungleichen Pixel unter Verwendung von adaptiver Schwellenwertbildung, um verschiedene Beleuchtungsbedingungen zu berücksichtigen.
Verfahren nach Anspruch 12, das ferner erneutes Anwenden der Kantendetektion umfasst, um unerwünschte und unnötige Bildinformationen weiter zu entfernen.
Verfahren nach Anspruch 13, das ferner Vergleichen der Bilder mit einem Array von bekannten registrierten Bildern für Handpositionen und -winkel an einer Kontrollfläche umfasst, um zu bestimmen, wann sich die Hand an dem Lenkrad befindet.
Fahrzeug, das Folgendes umfasst: einen Lenkradeingabesensor; eine Kamera; ein fortschrittliches Fahrerassistenzsystem, das einen Prozessor und einen Speicher umfasst, wobei der Prozessor Anweisungen für Folgendes ausführt: Bestimmen eines Fehlens von Eingabe durch eine Hand eines Fahrers in Bezug auf ein Lenkrad des Fahrzeugs basierend auf Signalen, die von dem Lenkradeingabesensor empfangen werden, wobei dem Fahrer eine Warnnachricht dargestellt wird, wenn das Fehlen von Eingabe für einen Zeitraum auftritt; Bestimmen einer Handposition der Hand des Fahrers relativ zu dem Lenkrad des Fahrzeugs unter Verwendung von Bildern, die von der Kamera erlangt werden, wobei die Handposition angibt, ob die Hand des Fahrers das Lenkrad berührt oder nicht; und Verändern einer Darstellung der Warnnachricht, wenn bestimmt wird, dass sich die Hand des Fahrers an dem Lenkrad befindet und das Fehlen von Eingabe vorliegt.