DE102020123658B4

DE102020123658B4 - Fahrerassistenzapparat und verfahren dafür

Info

Publication number: DE102020123658B4
Application number: DE102020123658.1A
Authority: DE
Inventors: Minchae Lee
Original assignee: HL Klemove Corp
Current assignee: HL Klemove Corp
Priority date: 2019-09-11
Filing date: 2020-09-10
Publication date: 2023-11-09
Anticipated expiration: 2040-09-11
Also published as: DE102020123658A1; KR20210031128A; CN112477858A; KR102658769B1; US20210070359A1; US11560176B2

Abstract

Fahrerassistenzvorrichtung (DAS), umfassend:eine äußere Kamera (100), angeordnet an einem Fahrzeug (1), um ein äußeres Blickfeld des Fahrzeugs (1) zu haben, konfiguriert, Bilddaten für das äußere Blickfeld des Fahrzeugs (1) zu erhalten;eine innere Kamera (200), angeordnet in dem Fahrzeug (1) zum Erfassen eines Blicks des Fahrers an Bord des Fahrzeugs (1), konfiguriert, Blickdaten des Fahrers zu erhalten; undeinen Controller (400), umfassend mindestens einen Prozessor (410), konfiguriert zum Verarbeiten der Bilddaten und der Blickdaten,wobei der Controller (400) konfiguriert ist, den Blick des Fahrers basierend auf den Blickdaten zu erfassen, und basierend auf einer Feststellung, dass sich der Fahrer in einem unachtsamen Zustand befindet, eine Änderung mindestens eines aus einem Steuerzeitpunkt einer Lenkvorrichtung (40) und einem lateralen Distanzgrenzwert zum Ausführen der Lenkvorrichtung (40) zu steuern,wobei der laterale Distanzgrenzwert ein Referenzwert ist, der mit einem lateralen Positionsfehler elaverglichen wird, wobei der lateralen Positionsfehler elaeine Distanz zwischen dem Mittelpunkt des Fahrzeugs (1) von der Mitte einer Spur darstellt, und der Controller (400) die Lenkkontrolle ausführen kann, wenn der laterale Positionsfehler eladen lateralen Distanzgrenzwert überschreitet,wobei der laterale Positionsfehler elades Fahrzeugs (1) bei Fahrt des Fahrzeugs (1) gemäß Gleichung 1ela=e+dlaψ+dla2γ+dla3γ˙berechnet wird,wobei ein voreingestellter vordere Abstand dlaeinen Vorlaufabstand des Fahrzeugs (1) zu einer Position angibt, an der der laterale Positionsfehler elaermittelt werden soll,wobei e eine laterale Position basierend auf einem rechteckigen Koordinatensystem unter der Annahme angibt, dass das Fahrzeug (1) stationär ist, wobei angenommen wird, dass das Fahrzeug (1) zwischen Spuren fährt und das Koordinatensystem auf der Mitte des Fahrzeugs (1) basierend festgelegt ist,wobei ψ einen Winkel zwischen dem Fahrzeug (1) und der Spur angibt, γ eine Biegung der Spur angibt, und γ̇ eine Änderungsrate der Biegung der Spur angibt.

Description

QUERVERWEIS FÜR VERWANDTE ANMELDUNG(EN)
Diese Anmeldung basiert auf und beansprucht die Priorität unter 35 U.S.C. §119 der koreanischen Patentanmeldung Nr. 10-2019-0112681 , eingereicht am 11. September 2019 im Korean Intellectual Property Office, deren Offenbarung hierin durch Verweis vollumfänglich eingeschlossen ist.
TECHNISCHES GEBIET
Die Offenbarung bezieht sich auf eine Fahrerassistenzvorrichtung und genauer auf die Fahrerassistenzvorrichtung, die in der Lage ist, einen Aufmerksamkeitszustand des Fahrers widerzuspiegeln.
HINTERGRUND
Existierende Fahrerassistenzsysteme (ADAS) haben eine Steuerung basierend auf Spurinformationen außerhalb eines Fahrzeugs und Objektinformationen außerhalb des Fahrzeugs. Beispielsweise steuert ein Spurhalteassistenzsystem (LKAS) zum Halten einer Spur basierend auf den Objektinformationen und den Spurinformationen, die von einem Bild außerhalb des Fahrzeugs erhalten wurden. Weiterhin verhindert ein automatisches Notfallbremssystem eine Kollision basierend auf den Objektinformationen außerhalb des Fahrzeugs und der Bewegungsinformationen des Fahrzeugs durch einen Fahrer.
Da jedoch das existierende ADAS den Zustand des Fahrers nicht in Betracht zieht, ist es nicht ausreichend, Unfälle nur in typischen Situationen zu verhindern.
EP 2 253 499 B1 offenbart ein Fahrzeug mit einem Fahrerassistenzsystem zur Querführung des Fahrzeugs und Verfahren zur Unterstützung eines Fahrzeugführers beim Einhalten einer Spur. EP 3 100 927 A1 offenbart ein Verfahren zum Steuern eines Fahrzeugsystems in einem Kraftfahrzeug, umfassend ein Empfangen von Überwachungsinformationen; ein Bestimmen eines Körperzustandsindex für einen Fahrer, wobei der Körperzustandsindex Schläfrigkeit charakterisiert; ein Bestimmen eines Steuerparameters unter Verwendung des Körperzustandsindex; und ein Betreiben eines Fahrzeugsystems unter Verwendung des Steuerparameters.
ZUSAMMENFASSUNG
Ein Aspekt der Offenbarung ist es, eine Fahrerassistenzvorrichtung nach Anspruch 1, die den Zustand eines Fahrers widerspiegelt, ein Verfahren zum Steuern der Fahrerassistenzvorrichtung nach Anspruch 10 sowie ein nichttransitorisches computerlesbares Medium, das entsprechende Programmanweisungen umfasst, nach Anspruch 19 bereitzustellen.
Weitere Aspekte der Offenbarung werden teilweise in der folgenden Beschreibung dargelegt und teilweise aus der Beschreibung offenkundig, oder können durch Ausführung der Offenbarung erfahren werden.
Laut einem Aspekt der Offenbarung umfasst eine Fahrerassistenzvorrichtung eine äußere Kamera, die an einem Fahrzeug angeordnet ist, um ein äußeres Sichtfeld des Fahrzeugs zu erhalten, konfiguriert zum Erfassen von Bilddaten eines äußeren Blickfelds des Fahrzeugs; eine innere Kamera, die in dem Fahrzeug angeordnet ist, um den Blick eines Fahrers an Bord des Fahrzeugs einzufangen, konfiguriert, die Blickdaten des Fahrers zu erhalten; und einen Controller mit mindestens einem Prozessor, der konfiguriert ist, die Bilddaten und die Blickdaten zu verarbeiten. Der Controller kann konfiguriert sein, den Blick des Fahrers basierend auf den Blickdaten zu erfassen, und basierend auf einer Feststellung, dass sich der Fahrer in einem unachtsamen Zustand befindet, eine Änderung mindestens eines aus einem Steuerzeitpunkt einer Lenkvorrichtung und einem lateralen Distanzgrenzwert zum Bedienen der Lenkvorrichtung zu steuern.
Wenn der Blick des Fahrers nicht nach vorne weist, kann der Controller konfiguriert sein, festzustellen, dass der Fahrer in dem unachtsamen Zustand ist und den Steuerzeitpunkt der Lenkvorrichtung um einen vorgegebenen Zeitraum im Vergleich mit einem bestehenden Steuerzeitpunkt nach vorne zu bewegen.
Wenn der Blick des Fahrers nicht nach vorne gerichtet ist, kann der Controller konfiguriert sein, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und den lateralen Distanzgrenzwert auf einen Wert zu ändern, der kleiner als ein bestehender lateraler Distanzgrenzwert ist.
Wenn ein Ziel, das von außerhalb des Fahrzeugs erkannt wird, innerhalb des Blickfelds des Fahrers existiert, kann der Controller konfiguriert sein, festzustellen, dass der Fahrer nicht in dem unachtsamen Zustand ist, und nicht in die Steuerung der Lenkvorrichtung einzugreifen.
Wenn ein Ziel, das von außerhalb des Fahrzeugs erkannt wird, nicht innerhalb des Blickfelds des Fahrers existiert, kann der Controller konfiguriert sein, festzustellen, dass der Fahrer in dem unachtsamen Zustand ist.
Die innere Kamera kann konfiguriert sein, Blickdaten des Fahrers basierend auf der Blickrichtung des Fahrers und der Pupillenrichtung des Fahrers zu erfassen.
Die Fahrerassistenzvorrichtung kann ferner die Lenkvorrichtung umfassen, die konfiguriert ist, eine Fahrtrichtung des Fahrzeugs zu ändern. Die Lenkvorrichtung kann konfiguriert sein, die Fahrtrichtung des Fahrzeugs nach einem Steuersignal zu ändern, das durch den Controller geändert wird.
Die Fahrerassistenzvorrichtung kann ferner eine Bremsvorrichtung umfassen, die konfiguriert ist, das Fahrzeug abzubremsen oder das Fahrzeug anzuhalten. Wenn der Blick des Fahrers nicht nach vorne weist, kann der Controller konfiguriert sein, festzustellen, dass der Fahrer in dem unachtsamen Zustand ist und einen Steuerzeitpunkt der Bremsvorrichtung um einen vorgegebenen Zeitraum im Vergleich mit einem bestehenden Steuerzeitpunkt nach vorne zu bewegen.
Die Fahrerassistenzvorrichtung kann ferner eine Bremsvorrichtung umfassen, die konfiguriert ist, das Fahrzeug abzubremsen oder das Fahrzeug anzuhalten. Wenn der Blick des Fahrers nicht nach vorne weist, kann der Controller konfiguriert sein, festzustellen, dass der Fahrer in dem unachtsamen Zustand ist und eine Bremsmomentmenge der Bremsvorrichtung höher einzustellen als eine bestehende Bremsmomentmenge.
Nach einem anderen Aspekt der Offenbarung umfasst ein Verfahren des Steuerns einer Fahrerassistenzvorrichtung das Erfassen von Daten durch eine äußere Kamera, Bilddaten im äußeren Blickfeld eines Fahrzeugs; Erfassen von Blickdaten eines Fahrers zum Erkennen des Blicks des Fahrers an Bord des Fahrzeugs; und Erfassen des Blicks des Fahrers durch einen Controller basierend auf den Blickdaten und auf Grundlage einer Feststellung, dass sich der Fahrer in einem unachtsamen Zustand befindet, Steuern von mindestens einem aus einem Steuerzeitpunkt einer Lenkvorrichtung und einem lateralen Distanzgrenzwert zum Bedienen der Lenkvorrichtung, die geändert werden soll.
Das Steuern kann umfassen, wenn der Blick des Fahrers nicht nach vorne gerichtet ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und den Steuerzeitpunkt der Lenkvorrichtung zu steuern, um einen voreingestellte Zeit im Vergleich mit einem bestehenden Steuerzeitpunkt vorzubewegen.
Das Steuern kann umfassen, wenn der Blick des Fahrers nicht nach vorne gerichtet ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und den lateralen Distanzgrenzwert auf einen Wert zu ändern, der kleiner als ein bestehender lateraler Distanzgrenzwert ist.
Das Steuern kann umfassen, wenn ein Objekt, das von außerhalb des Fahrzeugs erkannt wird, im Blickfeld des Fahrers existiert, festzustellen, dass sich der Fahrer nicht in dem unachtsamen Zustand befindet, und nicht in die Steuerung der Lenkvorrichtung einzugreifen.
Das Steuern kann umfassen, wenn ein Objekt, das von außerhalb des Fahrzeugs erkannt wurde, nicht in dem Blickfeld des Fahrers existiert, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet.
Die Blickdaten können Informationen zur Blickrichtung des Fahrers und der Pupillenrichtung des Fahrers umfassen.
Das Verfahren kann ferner die Lenkvorrichtung umfassen, die konfiguriert ist, eine Fahrtrichtung des Fahrzeugs zu ändern. Das Steuern kann umfassen, die Lenkvorrichtung zu steuern, die Fahrtrichtung des Fahrzeugs dem geänderten Steuersignal entsprechend zu ändern.
Das Verfahren kann ferner eine Bremsvorrichtung umfassen, die konfiguriert ist, das Fahrzeug abzubremsen oder das Fahrzeug anzuhalten. Das Steuern kann umfassen, wenn der Blick des Fahrers nicht nach vorne gerichtet ist festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und einen Steuerzeitpunkt der Bremsvorrichtung zu steuern, um einen voreingestellte Zeit im Vergleich mit einem bestehenden Steuerzeitpunkt vorzubewegen.
Das Verfahren kann ferner eine Bremsvorrichtung umfassen, die konfiguriert ist, das Fahrzeug abzubremsen oder das Fahrzeug anzuhalten. Das Steuern kann umfassen, wenn der Blick des Fahrers nicht nach vorne gerichtet ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und eine Bremsdrehmomentmenge der Bremsvorrichtung höher einzustellen als eine bestehende Bremsdrehmomentmenge.
Nach einem anderen Aspekt der Offenbarung, einem nichttransitorischen computerlesbaren Medium, das Programmanweisungen umfasst, die durch einen Prozessor ausgeführt werden, umfasst das computerlesbare Medium Programmanweisungen zum Erfassen von Bilddaten eines äußeren Blickfelds eines Fahrzeugs durch eine äußere Kamera; Programmanweisungen, die durch eine innere Kamera Blickdaten eines Fahrers Blickdaten des Fahrers an Bord des Fahrzeugs erfasst; und Programmanweisungen, die durch einen Controller, den Blick des Fahrers basierend auf den Blickdaten erfassen und basierend auf einer Feststellung, dass sich der Fahrer in einem unachtsamen Zustand befindet, mindestens eines aus einem Steuerzeitpunkt einer Lenkvorrichtung und einem lateralen Distanzgrenzwert zum Bedienen der zu ändernden Lenkvorrichtung steuert.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Diese und/oder andere Aspekte der Offenbarung werden offensichtlich und aus der folgenden Beschreibung der Ausführungsform in Verbindung mit den beiliegenden Zeichnungen leichter zu verstehen, wobei gilt:

1 ist ein Blockdiagramm, das Komponenten eines Fahrzeugs nach einer Ausführungsform illustriert.
2 ist ein Blockdiagramm, das Fahrerassistenzsystem nach einer Ausführungsform illustriert.
3 ist ein Ablaufdiagramm, das ein Verfahren zum Steuern eines Fahrzeugs nach einer Ausführungsform illustriert.
4 ist ein Ablaufdiagramm, das ein Verfahren zum Steuern eines Fahrzeugs nach einer anderen Ausführungsform illustriert.
5 und 6 sind Ansichten zum Beschreiben der Berechnung eines lateralen Positionsfehlers.
7 ist eine Ansicht, die ein Beispiel illustriert, in dem die Steuerung einer Bremsvorrichtung geändert ist.

AUSFÜHRLICHE BESCHREIBUNG
Gleiche Referenzziffern beziehen sich in der gesamten Vorgabe auf gleiche Elemente. Nicht alle Elemente der Ausführungsformen der Offenbarung werden beschrieben, und die Beschreibung davon, was üblicherweise in dem Gebiet bekannt ist, werden alle Elemente der Ausführungsformen der Offenbarung beschrieben, und die Beschreibung davon, was üblicherweise in dem Gebiet bekannt ist oder sich in den beispielhaften Ausführungsformen überlappt, wird ausgelassen.
Es versteht sich ferner, dass der Begriff „verbinden“ und seine Ableitungen sich sowohl auf direkte als auch auf indirekte Verbindung beziehen, und die indirekte Verbindung eine Verbindung über ein drahtloses Kommunikationsnetzwerk umfasst.
Die Begriffe „einschließen (oder einschließend)“ und „umfassen (oder umfassend)“ sind einschließlich und mit offenem Ende zu verstehen und schließen weitere, nicht genannte Elemente oder Verfahrensschritte nur aus, wenn dies anders erwähnt wird. Es ist ferner zu verstehen, dass der Begriff „Element“ und seine Ableitungen sich darauf beziehen, wenn ein Element mit einem anderen Element in Kontakt ist sowie darauf, wenn ein anderes Element zwischen den beiden Elementen existiert.
Es versteht sich, dass die Singularform „ein“, „eine“ und „der/die/das“ Pluralverweise umfasst, sofern der Kontext nicht klar etwas anderes verlangt.
Wie hierin verwendet, beziehen sich die Begriffe „Abschnitt“, „Einheit“, „Block“, „Element“ und „Modul“ auf eine Einheit, die mindestens eine Funktion oder Operation ausführen kann. Die Begriffe können sich auf eine elektrische Schaltung beziehen, und können sich auf mindestens einen Prozess beziehe, der durch mindestens ein Stück Hardware ausgeführt wird, wie etwa ein im Feld programmierbares Gatearray (FPGA) und eine anwendungsspezifisch integrierte Schaltung (ASIC), und mindestens ein Stück Software, das in einem Speicher oder einem Prozessor gespeichert ist.
Referenzziffern, die für Verfahrensschritte verwendet werden, werden nur zur bequemeren Erklärung verwendet, aber nicht zur Einschränkung einer Reihenfolge der Schritte. So kann, sofern der Kontext nicht klar etwas anderes vorgibt, die schriftliche Reihenfolge anders praktiziert werden.
Nachfolgend werden Ausführungsformen einer Fahrerassistenzvorrichtung und ein Verfahren zum Steuern der Fahrerassistenzvorrichtung ausführlich mit Verweis auf die beiliegenden Zeichnungen beschrieben.
1 ist ein Blockdiagramm, das Komponenten eines Fahrzeugs nach einer Ausführungsform illustriert.
Wie in 1 illustriert, kann ein Fahrzeug 1 einen Motor 10, ein Getriebe 20, eine Bremsvorrichtung 30 und eine Lenkvorrichtung 40 umfassen. Der Motor 10 kann mindestens einen Zylinder und mindestens einen Kolben umfassen, und kann Leistung erzeugen, die erforderlich ist, das Fahrzeug 1 abzutreiben. Das Getriebe 20 kann mehrere Gänge umfassen und kann Leistung, die durch den Motor 10 erzeugt wird, auf Räder des Fahrzeugs 1 übertragen. Die Bremsvorrichtung 30 kann das Fahrzeug 1 durch Reibkraft an den Rädern abbremsen oder anhalten. Die Bremsvorrichtung 30 kann ein oder mehrere Bremsbeläge und Bremsschuhe umfassen, die funktionieren, das Fahrzeug abzubremsen oder anzuhalten. Die Lenkvorrichtung 40 kann eine Fahrtrichtung des Fahrzeugs 1 ändern.
Das Fahrzeug 1 kann mehrere elektronische Bestandteile umfassen. Beispielsweise kann das Fahrzeug 1 ferner ein Engine Management System (EMS) 11, einen Getriebecontroller, auch bezeichnet als Transmission Control Unit (TCU) 21, einen elektronischen Bremscontroller, auch bezeichnet als Electronic Brake Control Module (EBCM) 31, eine elektronische Leistungssteuerungsvorrichtung (EPS-Vorrichtung) 41, ein Body Control Module (BCM) und eine Fahrerassistenzvorrichtung DAS umfassen.
Das EMS 11 kann den Motor 10 in Reaktion auf entweder das Beschleunigungsvorhaben des Fahrers über das Gaspedal oder ein Anfragesignal der Fahrerassistenzvorrichtung DAS steuern. Beispielsweise kann das EMS 11 das Drehmoment des Motors 10 steuern.
Die TCU 21 kann das Getriebe 20 in Reaktion auf entweder einen Getriebeschaltbefehl des Fahrers, der durch einen Schalthebel und/oder eine Fahrgeschwindigkeit des Fahrzeugs 1 aktiviert wird, steuern. Beispielsweise kann die TCU 21 ein Getriebeschaltverhältnis von dem Motor 10 auf Räder des Fahrzeugs 1 anpassen oder regeln.
Das EBCM 31 kann eine Bremsvorrichtung 30 in Reaktion auf das Bremsvorhaben des Fahrers über ein Bremspedal oder ein Rutschen der Räder steuern. Beispielsweise kann das EBCM 31 temporär des Radbremsen in Reaktion auf das erkannt Rutschen der Räder in einem Bremsmodus des Fahrzeugs 1 aufheben, was zur Umsetzung eines Antiblockiersystems (ABS) führt. Das EBCM 31 kann selektiv das Bremsen von Rädern in Reaktion auf Übersteuern und/oder Untersteuern aufheben, das in einem Steuermodus des Fahrzeugs 1 erkannt wird, was zu einer Umsetzung der elektronischen Stabilitätskontrolle (ESC) führt. Weiterhin kann das EBCM 31 temporär die Räder in Reaktion auf Rutschen der Räder bremsen, das beim Fahren des Fahrzeugs erkannt wird, was zur Umsetzung eines Traction Control System (TCS) führt.
Die EPS-Vorrichtung 41 kann die Lenkvorrichtung 40 in Reaktion auf das Lenkvorhaben des Fahrers von dem Lenkrad unterstützen, sodass die EPS-Vorrichtung 41 dem Fahrer beim leichten Handhaben des Lenkrads hilft. Beispielsweise kann die EPS-Vorrichtung 41 das Lenkrad 40 in einer Weise unterstützten, dass die Lenkkraft in einem Fahrmodus mit geringer Geschwindigkeit oder im Parkmodus des Fahrzeugs 1 absinkt aber in einem Hochgeschwindigkeitsfahrtmodus des Fahrzeugs 1 ansteigt.
Ein Karosseriesteuerungsmodul 51 kann verschiedene Elektronische Komponenten steuern, die in der Lage sind, dem Fahrer eine bequeme Benutzung bereitzustellen oder die Sicherheit des Fahrers zu garantieren. Beispielsweise kann das Karossieresteuerungsmodul 51 Scheinwerfer (Frontscheinwerfer), Scheibenwischer, einen Instrumente- oder anderen Cluster, einen Multifunktionsschalter, Richtungssignalanzeigen oder dergleichen steuern.
Die Fahrerassistenzvorrichtung DAS kann dem Fahrer dabei helfen, das Fahrzeug 1 leicht zu handhaben (z. B. Fahren, Bremsen und Lenken). Beispielsweise kann die Fahrerassistenzvorrichtung DAS kann periphere Umgebungen (z. B. ein peripheres Fahrzeug, einen Fußgänger, einen Radfahrer, eine Fahrbahn, ein Verkehrsschild oder dergleichen) des Fahrzeugs 1 (d. h. das Fahrzeug selbst) erkennen und Fahren, Bremsen und/oder Lenken des Fahrzeugs 1 in Reaktion auf die erkannten peripheren Umgebungen ausführen.
Die Fahrerassistenzvorrichtung DAS kann dem Fahrer verschiedene Funktionen bereitstellen. Beispielsweise kann die Fahrerassistenzvorrichtung DAS dem Fahrer eine Spurverlassenswarnfunktion (LDW-Funktion), eine Spurhalteassistentenfunktion (LKA-Funktion), eine Aufblendlichtassistenzfunktion (HBA-Funktion), eine autonome Notfallbremsfunktion (AEB-Funktion), eine Verkehrsschilderkennungsfunktion (TSR-Funktion), eine Smart-Cruise-Control-Funktion (SCC-Funktion), eine Erkennungsfunktion für den blinden Winkel (BSD-Funktion) oder dergleichen bereitstellen.
Die Fahrerassistenzvorrichtung DAS kann ein Kameramodul 101 umfassen, das funktioniert, Bilddaten eines peripheren Bereichs des Fahrzeugs 1 (z. B. eines Bereichs außerhalb des Fahrzeugs und um das Fahrzeug 1 herum) und ein Radarmodul 102, das funktioniert, Daten um ein peripheres Objekt herum zu erhalten, das in dem peripheren Bereich des Fahrzeugs 1 vorhanden ist.
Das Kameramodul 101 kann eine Kamera 101a oder mehrere Kameras und einen elektrischen Steuereinheiten-Controller (ECU-Controller) 101b umfassen. Die Kamera 101a kann ein Bild erfassen, das einen Bereich vor dem Fahrzeug 1 umfasst (z. B. einen Bereich vor der Vorderseite des Fahrzeugs 1), und kann einen Bildprozessor umfassen, der funktioniert, das erfasste Bild zu verarbeiten, um periphere Fahrzeuge, Fußgänger, Radfahrer, Fahrbahnen, Verkehrsschilder oder dergleichen in dem erfassten Bild umfassen.
Das Radarmodul 102 kann einen Radar 102a oder mehrere Radare und einen elektronischen Steuereinheitencontroller (ECU-Controller) 102b umfassen, und kann eine relative Position, eine relative Geschwindigkeit oder dergleichen des peripheren Objekts (z. B. ein peripheres Fahrzeug, einen Fußgänger oder einen Radfahrer) des Fahrzeugs 1 basierend auf erkannten Radardaten erfassen oder feststellen.
Die oben genannten elektronischen Bestandteile können miteinander durch ein Fahrzeugkommunikationsnetzwerk (NT) kommunizieren. Beispielsweise können die elektronischen Komponenten Datenkommunikation durch Ethernet, medienorientierten Systemtransport (MOST), ein FlexRay, ein Controllerbereichsnetzwerk (CAN), ein örtliches Zwischenverbindungsnetzwerk (LIN) oder dergleichen ausführen. Beispielsweise kann die Fahrerassistenzvorrichtung DAS jeweils ein Fahrsteuersignal, ein Bremssignal und ein Steuersignal auf das EMS 11, das EBCM 31 und die EPS-Vorrichtung 41 über das Fahrzeugkommunikationsnetzwerk (NT) übertragen.
2 ist ein Blockdiagramm, das Fahrerassistenzsystem nach einer Ausführungsform illustriert.
Das Fahrzeug 1 kann eine äußere Kamera 100 umfassen, um ein äußeres Blickfeld des Fahrzeugs 1 zu erhalten und Objekte und Straßen in dem äußeren Blickfeld zu erfassen, eine innere Kamera 200, um Blickdaten des Fahrers zu erfassen, einen Fahrzeuginformationsbeschaffer 300 zum Beschaffen eines Zustands des Fahrzeugs 1, einen Controller 400, die Bremsvorrichtung 30, die Lenkvorrichtung 40 und einen Warner 500.
Die äußere Kamera 100 kann ein Blickfeld (FOV) 110a umfassen, das zu dem Bereich vor dem Fahrzeug 1 gewendet ist. Die äußere Kamera 100 kann an einer Windschutzscheibe des Fahrzeugs 1 installiert sein.
Die äußere Kamera 100 kann ein Bild des Bereichs vor dem Fahrzeug 1 erfassen und kann Daten von dem Vorwärtsansichtsbild des Fahrzeugs 1 erfassen. Die Vorwärtsansichtsbilddaten des Fahrzeugs 1 können Informationen zu der Position eines peripheren Fahrzeugs, eines Fußgängers, eines Radfahrers oder einer Fahrbahn umfassen, die sich in dem folgenden Bereich des Fahrzeugs 1 befinden.
Die äußere Kamera 100 kann mehrere Linsen und mehrere Bildsensoren umfassen. Jeder Bildsensor kann mehrere Photodioden umfassen, um Licht in elektronische Signale umzuwandeln, und die Photodioden können in einer zweidimensionalen (2D) Matrix angeordnet sein.
Die äußere Kamera 100 kann elektrisch mit dem Prozessor oder dem Controller 140 gekoppelt sein. Beispielsweise kann die äußere Kamera 100 mit dem Controller 140 über ein Fahrzeugkommunikationsnetzwerk (NT), feste Verkabelung oder eine Leiterplatte (PCB) gekoppelt sein.
Die äußere Kamera 100 kann die Vorwärtsansichtsbilddaten des Fahrzeugs 1 an den Controller 140 übertragen.
Die innere Kamera 200 kann eine Kamera sein, die in dem Fahrzeug 1 installiert ist, um das Gesicht des Fahrers zu erfassen. Dementsprechend kann die innere Kamera 200 die Blickdaten durch Erfassen des Gesichts des Fahrers erfassen. Die innere Kamera 200 kann verschiedene Erfassungsvorrichtungen umfassen, die in der Lage sind, Daten für Bildverarbeitung durch Erfassen des Gesichtsbild eines Fahrers bereitzustellen. Weiterhin kann die innere Kamera 200 eine Infrarotkamera (IR-Kamera) sein, um das Gesichtsbild des Fahrers auch bei Nachtfahrten korrekt zu erfassen. Die innere Kamera 200 kann an verschiedenen Positionen in dem Fahrzeug 1 installiert sein, kann aber auch in einem einzigen Reihenraum mit einem Fahrersitz und einem Beifahrersitz installiert sein, wie etwa einem Cluster und einer Mittelblende, um den Blick des Fahrers leicht zu erfassen.
Die innere Kamera 200 kann Blickdaten des Fahrers in dem Fahrzeug 1 an den Controller 400 übertragen.
Der Fahrzeuginformationsbeschaffer 300 kann mindestens einen aus verschiedenen Sensoren umfassen, die in der Lage sind, Informationen zu einer Geschwindigkeit oder Position des Fahrzeugs 1 zu erfassen. Der Fahrzeuginformationsbeschaffer 300 kann einen Fahrzeuggeschwindigkeitssensor zum Erkennen der Geschwindigkeit des Fahrzeugs 1, einen Beschleunigungssensor zum Erkennen einer Beschleunigung des Fahrzeugs 1, und einen Winkelgeschwindigkeitssensor zum Erkennen einer Winkelgeschwindigkeit des Fahrzeugs 1 umfassen.
Der Fahrzeuggeschwindigkeitssensor kann als ein Radgeschwindigkeitssensor umgesetzt sein, der eine Radgeschwindigkeit erkennt, und der Radgeschwindigkeitssensor kann einen Radgeschwindigkeitssensor umfassen, der die Geschwindigkeit von mindestens entweder den Vorder- oder den Hinterrädern des Fahrzeugs 1 erkennt.
Der Beschleunigungssensor kann einen Längsbeschleunigungssensor umfassen, der Beschleunigung in einer Höhenrichtung des Fahrzeugs 1 ausgibt, also die Beschleunigung in einer Z-Achsenrichtung, und einen lateralen Beschleunigungssensor, der Beschleunigung in einer lateralen Richtung des Fahrzeugs 1 ausgibt, also die Beschleunigung in einer Y-Achsenrichtung.
Der Längsbeschleunigungssensor und der laterale Beschleunigungssensor kann als separate Sensormodule umgesetzt sein oder kann als ein Sensormodul umgesetzt sein. Der Winkelgeschwindigkeitssensor kann ein Sensor sein, der eine Höhe des Fahrzeugs 1 misst, und kann auch als ein Gyrosensor bezeichnet werden. Der Winkelgeschwindigkeitssensor kann einen Rollratensensor umfassen, der eine Drehwinkelgeschwindigkeit des Fahrzeugs 1 in einer Rollrichtung erkennt, und einen Gierratensensor, der eine Drehwinkelgeschwindigkeit des Fahrzeugs 1 in einer Gierrichtung erkennt. Der Rollratensensor und der Gierratensensor kann auch als separate Sensormodule umgesetzt sein oder kann als ein Sensormodul umgesetzt sein.
Das Bremssystem 32 kann das EBCM 31 (siehe 1) und die Bremsvorrichtung 30 (siehe 1) umfassen. Das Lenksystem 42 kann die EPS-Vorrichtung 41 (siehe 1) und die Lenkvorrichtung 40 (siehe 1) umfassen.
Die Bremsvorrichtung 30 kann mit dem EBCM 31 verbunden sein (siehe 1), das mit Verweis auf 1 beschrieben ist, und die Lenkvorrichtung 40 kann mit der EPS-Vorrichtung 41 (siehe 1) verbunden sein, die mit Verweis auf 1 beschrieben ist.
Der Warner 500 kann den Fahrer informieren, dass eine Steueroperation beginnt, wenn die Operation nach der Steuerung des Controllers 400 ausgeführt wird. Der Warner 500 kann den Fahrer über ein Kollisionsrisiko informieren, indem er mindestens einen der Sinne Sehen, Hören oder Fühlen des Fahrers stimuliert.
Beispielsweise kann der Warner 500 eine Anzeige und einen Warnton für den Fahrer durch eine Mensch-Maschine-Schnittstelle (MMS) bereitstellen, die in den Fahrzeug 1 bereitgestellt ist, oder kann ein Vorwarnsignal oder ein Warnsignal für den Fahrer durch eine Schwingung bereitstellen, die aus einem haptischen Modul erzeugt wird, das in dem Fahrzeug 1 erzeugt wird.
Der Controller 400 kann einen Prozessor 410 und einen Speicher 420 umfassen.
Der Prozessor 410 kann die Bilddaten der äußeren Kamera 100 und die Blickdaten der inneren Kamera 200, und kann ein Bremssignal erzeugen und die Bremsvorrichtung 30 steuern, und ein Lenksignal, das die Lenkvorrichtung 40 steuert.
Der Prozessor 410 kann eine Zeit bis zur Kollision (TTC) zwischen dem Fahrzeug 1 und dem vorhergehenden Objekt basierend auf den Positionsdaten (Distanz) und den Geschwindigkeitsdaten (relative Geschwindigkeit) jedes vorhergehenden Objekts berechnen, kann die berechnete TTC mit einer vorgegebenen Referenzzeit vergleichen und kann den Fahrer vor einer hohen Wahrscheinlichkeit der Kollision mit dem vorhergehenden Objekt warnen oder kann das Bremssignal an die Bremsvorrichtung 30 und die Lenkvorrichtung 40 übermitteln.
In einem anderen Beispiel kann der Prozessor 410 eine Distanz bis zur Kollision (DTC) basierend auf der Geschwindigkeitsinformation jedes vorhergehenden Objekts berechnen und kann den Fahrer vor einer hohen Wahrscheinlichkeit einer Kollision mit dem vorhergehenden Objekt warnen oder kann ein Steuersignal an die Bremsvorrichtung 30 und die Lenkvorrichtung 40 dem Ergebnis des Vergleichs zwischen der berechneten DTC und der Distanz von jedem vorhergehenden Objekt berechnen.
Der Speicher 420 kann Programme und/oder Daten speichern, die benötigt werden, um dem Prozessor 410 zu ermöglichen, Bilddaten zu verarbeiten, kann Programme und/oder Daten speichern, die für den Prozessor 410 benötigt werden, oder Radardaten und kann Programme und/oder Daten, die benötigt werden, damit der Prozessor 410 ein Bremssignal und/oder ein Steuersignal erzeugen kann, speichern.
Der Speicher 420 kann temporär die Bilddaten speichern, die von der äußeren Kamera 100 empfangen wurden, und/oder die Blickdaten, die von der inneren Kamera 200 empfangen wurden, und kann außerdem temporär die verarbeiteten Ergebnisse der Bilddaten und/oder die Blickdaten, die durch den Prozessor 410 gehandhabt werden, speichern.
Der Speicher 420 kann nicht nur einen flüchtigen Speicher wie etwa statischen Direktzugriffspeicher (SRAM) oder einen dynamischen Direktzugriffspeicher (DRAM), sondern auch einen nichtflüchtigen Speicher, wie etwa einen Flashspeicher, einen Festwertspeicher (ROM) oder einen löschbaren programmierbaren Festwertspeicher (EPROM) umfassen.
Nachfolgend wird ein Steuerverfahren, das durch die Komponenten des Fahrzeugs 1, die oben beschrieben sind, ausgeführt wird, ausführlich mit Verweis auf 3 und 4 beschrieben.
3 ist ein Ablaufdiagramm, das ein Verfahren zum Steuern eines Fahrzeugs nach einer Ausführungsform illustriert.
Der Controller 400 kann die äußere Kamera 100 steuern, um das äußere Blickfeld des Fahrzeugs 1 zu erfassen, und kann die innere Kamera 200 steuern, um den Blick des Fahrers in dem Fahrzeug 1 (301) zu überwachen. Dann kann der Controller 400 die Bilddaten und die Blickdaten, die in Operation 301 erfasst wurden, empfangen. Hier kann die innere Kamera 200 Blickdaten des Fahrers basierend auf der Blickrichtung des Fahrers und der Pupillenrichtung des Fahrers zu erfassen.
Der Controller 400 stellt basierend auf einer Bilddatenanalyse (302) fest, ob das Fahrzeug 1 Gefahr läuft, die Spur zu verlassen. Aufgrund der Feststellung, wenn kein Risiko der Spurabweichung vorliegt, kann der Controller 400 ständig das äußere Blickfeld und den Blick des Fahrers überwachen.
Wenn das Risiko einer Spurabweichung vorliegt, kann der Controller 400 feststellen, ob der Fahrer sich in einem unachtsamen Zustand (303) befindet. Hier kann der unachtsame Zustand des Fahrers der Fall sein, in dem der Blick des Fahrers nicht nach vorne weist. Weiterhin kann neben den oben beschriebenen Zuständen der unachtsame Zustand des Fahrers alle Fälle umfassen, in denen der Zustand des Fahrers nicht normal betrachtet werden kann, wie etwa, wenn die Pupille des Fahrers nicht sichtbar ist oder eine Bewegung des Augenlids sich von der normalen unterscheidet. In diesem Fall kann der Controller 400 ein Bild des Blicks des Fahrers in dem Speicher 420 speichern und den unachtsamen Zustand des Fahrers mit dem gespeicherten Bild vergleichen, um den unachtsamen Zustand des Fahrers festzustellen.
Aufgrund der Feststellung, ob der Fahrer sich in dem unachtsamen Zustand befindet, wenn keine Abnormalität des Zustands des Fahrers vorliegt, kann der Controller 400 einen bestehenden Steuerzustand ohne Änderung des Eintrittspunkts der Lenksteuerung oder einer Steuerreferenz (305) beibehalten.
Nach einer Ausführungsform kann der Controller 400 feststellen, dass der Fahrer nicht in einem unachtsamen Zustand ist, wenn das Objekt, das von außerhalb des Fahrzeugs 1 erkannt wurde, im Blickfeld des Fahrers vorliegt, und kann die Lenkvorrichtung 40 steuern, nicht einzugreifen. Beispielsweise kann das Blickfeld ein Bereich konstanter Größe basierend auf der Mitte der Blickrichtung des Fahrers sein. In diesem Fall kann das Blickfeld ein runder oder elliptische verschiedene virtuelle Bereiche sein. Die Größe des Blickfelds kann verschiedene Größen je nach Einstellungen aufweisen.
Nach einer anderen Ausführungsform kann der Controller 400 feststellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, wenn das Objekt, das von außerhalb des Fahrzeugs 1 erkannt wird, nicht im Blickfeld des Fahrers vorliegt.
Wenn sich der Fahrer in dem unachtsamen Zustand befindet, kann der Controller 400 steuern, einen Steuerzeitpunkt der Lenkvorrichtung 40 (304) vorzubewegen, und kann die Lenkkontrolle der Lenkvorrichtung 40 steuern, am vorbewegten Steuerzeitpunkt (306) ausgeführt zu werden. Zu diesem Zeitpunkt kann der Controller 400 eine Änderung des Steuerzeitpunkts der Lenkvorrichtung 40 steuern, und die Änderung eines lateralen Distanzgrenzwerts zum Bedienen der Lenkvorrichtung 40 neben dem Steuerzeitpunkt steuern. Die verbundene Beschreibung wird ausführlich mit Verweis auf 4 beschrieben.
Nach der Ausführungsform kann der Controller 400, wenn der Blick Fahrers nicht nach vorne gerichtet ist, feststellen, dass sich der Fahrer in einem unachtsamen Zustand befindet, und kann den Steuerzeitpunkt der Lenkvorrichtung 40 steuern, um einen voreingestellten Wert im Vergleich mit dem bestehenden Steuerzeitpunkt nach vorne bewegt zu werden. Zu diesem Zeitpunkt kann der Steuerzeitpunkt der Einstellung entsprechend geändert werden. Die Lenkvorrichtung 40 kann die Fahrtrichtung des Fahrzeugs 1 durch das Steuersignal ändern, das durch den Controller 400 geändert wird. Zu diesem Zeitpunkt wird das Steuersignal für die voreingestellte Zeit gesteuert, als der bestehende Kontrolleingangspunkt der Lenkvorrichtung 40, sodass das Fahrzeug 1 nicht von der Spur abweicht.
4 ist ein Ablaufdiagramm, das ein Verfahren zum Steuern eines Fahrzeugs nach einer anderen Ausführungsform illustriert. Das oben beschriebene Steuerverfahren kann den Zustand des Fahrers widerspiegeln und eine Spurabweichung des Fahrzeugs 1 durch Vorbewegen des Steuerzeitpunkts der Lenkvorrichtung 40 verhindern. Das Steuerverfahren nach 4 kann den Zustand des Fahrers widerspiegeln, aber wenn sich der Fahrer in dem unachtsamen Zustand befindet wird der Standard für die Bedienung der Lenkvorrichtung 40 entspannt, um zu verhindern, dass das Fahrzeug 1 die Spur frühzeitig verlässt.
Der Controller 400 kann die äußere Kamera 100 steuern, um das äußere Blickfeld des Fahrzeugs 1 zu erfassen, und kann die innere Kamera 200 steuern, um den Blick des Fahrers in dem Fahrzeug 1 (401) zu überwachen. Dann kann der Controller 400 die Bilddaten und die Blickdaten, die in Operation 401 erfasst wurden, empfangen. Hier kann die innere Kamera 200 Blickdaten des Fahrers basierend auf der Blickrichtung des Fahrers und der Pupillenrichtung des Fahrers zu erfassen.
Der Controller 400 stellt basierend auf einer Bilddatenanalyse (402) fest, ob das Fahrzeug 1 Gefahr läuft, die Spur zu verlassen. Aufgrund der Feststellung, wenn kein Risiko der Spurabweichung vorliegt, kann der Controller 400 ständig das äußere Blickfeld und den Blick des Fahrers überwachen.
Wenn das Risiko einer Spurabweichung vorliegt, kann der Controller 400 feststellen, ob der Fahrer sich in einem unachtsamen Zustand (403) befindet. Hier kann der unachtsame Zustand des Fahrers der Fall sein, in dem der Blick des Fahrers nicht nach vorne weist. Weiterhin kann neben den oben beschriebenen Zuständen der unachtsame Zustand des Fahrers alle Fälle umfassen, in denen der Zustand des Fahrers nicht normal betrachtet werden kann, wie etwa, wenn die Pupille des Fahrers nicht sichtbar ist oder eine Bewegung des Augenlids sich von der normalen unterscheidet. In diesem Fall kann der Controller 400 ein Bild des Blicks des Fahrers in dem Speicher 420 speichern und den unachtsamen Zustand des Fahrers mit dem gespeicherten Bild vergleichen, um den unachtsamen Zustand des Fahrers festzustellen.
Aufgrund der Feststellung, ob der Fahrer sich in dem unachtsamen Zustand befindet, wenn keine Abnormalität des Zustands des Fahrers vorliegt, kann der Controller 400 den bestehenden Steuerzustand ohne Änderung des lateralen Distanzgrenzwerts der Lenksteuerung (408) beibehalten. Hier ist der laterale Distanzgrenzwert ein Referenzwert, der mit dem lateralen Positionsfehler verglichen wird, der die Distanz zwischen dem Mittelpunkt des Fahrzeugs 1 von der Mitte der Spur darstellt, und der Controller 400 kann die Lenkkontrolle ausführen, wenn der laterale Positionsfehler den lateralen Distanzgrenzwert überschreitet. Und wenn der laterale Positionsfehler weniger ist als der laterale Distanzgrenzwert, kann der Controller 400 die Lenkkontrolle nicht ausführen. Ein Verfahren zum Berechnen des lateralen Positionsfehlers wird mit Verweis auf 5 und 6 beschrieben.
Wenn sich der Fahrer in dem unachtsamen Zustand befindet, kann der Controller 400 den vorher eingestellten lateralen Distanzgrenzwert auf einen kleineren Wert (404) einstellen. Dementsprechend ist es, da der Controller 400 die Lenkkontrolle auch dann ausführt, wenn das Fahrzeug 1 weniger als einen vorhandenen Abfahrtsgrad von der Mitte der Spur entfernt ist, möglich, ein plötzliches Verlassen der Spur zu verhindern.
Wenn der laterale Distanzgrenzwert geändert wird, kann der Controller 400 den aktuellen lateralen Positionsfehler (405) berechnen. Wenn der laterale Positionsfehler größer ist als der geänderte laterale Distanzgrenzwert (406), kann der Controller 400 die Lenkkontrolle so ausführen, dass die Mitte des Fahrzeugs 1 der Mitte der Spur (407) entspricht.
Nach der Ausführungsform kann, wenn der Blick des Fahrers nicht nach vorne gerichtet ist, der Controller 400 feststellen, dass der Fahrer der unachtsame Zustand ist, und den lateralen Distanzgrenzwert auf einen Wert zu ändern, der kleiner als der bestehende laterale Distanzgrenzwert ist.
Jedes der Steuerverfahren, die oben mit Verweis auf 3 und 4 beschrieben sind, können unabhängig voneinander ausgeführt werden, und können auch gleichzeitig ausgeführt werden.
Dabei wurde in 4 das Steuerverfahren basierend auf dem lateralen Positionsfehler beschrieben. Nachfolgend ist ein Verfahren zum Berechnen des lateralen Positionsfehlers in den obigen Ausführungsformen mit Verweis auf 5 und 6 beschrieben.
Wie in 5 illustriert, wird angenommen, dass das Fahrzeug 1 zwischen Spuren fährt, und ein virtuelles Koordinatensystem wird auf der Mitte des Fahrzeugs 1 basierend festgelegt. Hier zeigt e basierend auf einem rechteckigen Koordinatensystem eine laterale Position unter der Annahme an, dass das Fahrzeug 1 stationär ist, ψ zeigt einen Winkel zwischen dem Fahrzeug 1 und der Spur an, und γ zeigt eine Biegung der Spur an, und γ̇ zeigt eine Änderungsrate der Biegung der Spur an.
Mit Verweis auf 6 und Gleichung 1 unten, kann der laterale Positionsfehler des Fahrzeugs 1 bei Fahrt des Fahrzeugs 1 wie folgt berechnet werden. $e_{l a} = e + d_{l a} ψ + d_{l a}^{2} γ + d_{l a}^{3} \dot{γ}$
Insbesondere ein lateraler Positionsfehler (e_la) entspricht einem Distanzfehler basierend auf der Mitte der Spur, die einer künftigen Laufbahn des gefahrenen Fahrzeugs 1 entspricht. Weiterhin zeigt eine voreingestellte vordere Distanz (d_la) eine Vorwärtsdistanz des Fahrzeugs 1 an einem Zeitpunkt (einer Position) an, um den lateralen Positionsfehler zu erhalten.
Wie in 4 beschrieben, erfolgt die Lenkkontrolle durch Vergleichen des berechneten lateralen Positionsfehlers mit einem bestehenden lateralen Distanzgrenzwert oder einem geänderten Grenzwert.
7 ist eine Ansicht, die ein Beispiel illustriert, in dem die Steuerung einer Bremsvorrichtung geändert ist.
Wie oben beschrieben, kann die Offenbarung die Lenkkontrolle ausführen, indem sie den Aufmerksamkeitszustand des Fahrers weckt. Außerdem ist es nach der Offenbarung möglich, eine Bremskontrolle auszuführen, indem der Aufmerksamkeitszustand des Fahrers geweckt wird.
Die Fahrerassistenzvorrichtung DAS kann ferner die Bremsvorrichtung 30 zum Abbremsen des Fahrzeugs 1 oder Anhalten des Fahrzeugs 1 umfassen. Hier kann der Controller 400, wenn der Blick des Fahrers nicht nach vorne gerichtet ist, feststellen, dass der Fahrer der unachtsame Zustand ist, und kann den Steuerzeitpunkt der Bremsvorrichtung 30 steuern, um den voreingestellten Wert im Vergleich mit dem bestehenden Steuerzeitpunkt nach vorne bewegt zu werden. Beispielsweise kann, wie in 7 illustriert ist, wenn der Fahrer versucht, an einer Kreuzung nach rechts anzubieten, zur Vorbereitung auf einen Fall, in dem der Fahrer einen Fußgänger bei einem Weg einer rechten Abbiegung nicht erkennt, weil der Fahrer nur auf das andere Fahrzeug 2 blickt, das von links kommt, der Controller 400 die Bremssteuerung zu einem früheren Zeitpunkt ausführen als einem bestehenden Bremssteuerzeitpunkt.
Weiterhin kann nach der Ausführungsform neben dem vorwärtsbewegen des Steuerzeitpunkts der Bremsvorrichtung 30 der Controller 400 eine Bremsdrehmomentmenge der Bremsvorrichtung 30 steuern, höher zu sein als eine bestehende Bremsdrehmomentmenge.
Nach den Ausführungsformen der Offenbarung kann, da die der Aufmerksamkeitszustand des Fahrers widergespiegelt wird, Spurabweichung und Kollision in ungewöhnlichen Situationen verhindert werden.
Die offenbarten Ausführungsformen können in der Form eines Aufzeichnungsmediums umgesetzt werden, auf dem computerausführbare Anweisungen gespeichert sind, die durch einen Prozessor ausführbar sind. Die Anweisungen können in der Form eines Programmcodes gespeichert werden und bei Ausführung durch einen Prozessor können die Anweisungen ein Programmmodul erzeugen, um Operationen der offenbarten Ausführungsformen auszuführen. Das Aufzeichnungsmedium kann nichttransitorisch als computerlesbares Aufzeichnungsmedium umgesetzt sein.
Das nichttransitorische computerlesbare Aufzeichnungsmedium kann alle Arten von Aufzeichnungsmedien umfassen, auf denen Befehle gespeichert sind, die durch einen Computer interpretiert werden können. Beispielsweise kann das nichttransitorische computerlesbare Aufzeichnungsmedium beispielsweise ROM, RAM, ein Magnetband, eine Magnetscheibe, Flashspeicher, eine optionale Datenspeichervorrichtung und dergleichen sein.
Ausführungsformen dieser Offenbarung wurden bislang mit Verweis auf die beiliegenden Zeichnungen beschrieben. Es sollte einem gewöhnlichen Fachmann auf dem Gebiet klar sein, dass die Offenbarung in anderen Formen als den Ausführungsformen wie oben beschrieben ausgeführt werden kann, ohne den technischen Gedanken oder wesentliche Merkmale der Offenbarung zu ändern. Die obigen Ausführungsformen sind rein beispielhaft und sollte nicht eingeschränkt ausgelegt werden.

Claims

Fahrerassistenzvorrichtung (DAS), umfassend: eine äußere Kamera (100), angeordnet an einem Fahrzeug (1), um ein äußeres Blickfeld des Fahrzeugs (1) zu haben, konfiguriert, Bilddaten für das äußere Blickfeld des Fahrzeugs (1) zu erhalten; eine innere Kamera (200), angeordnet in dem Fahrzeug (1) zum Erfassen eines Blicks des Fahrers an Bord des Fahrzeugs (1), konfiguriert, Blickdaten des Fahrers zu erhalten; und einen Controller (400), umfassend mindestens einen Prozessor (410), konfiguriert zum Verarbeiten der Bilddaten und der Blickdaten, wobei der Controller (400) konfiguriert ist, den Blick des Fahrers basierend auf den Blickdaten zu erfassen, und basierend auf einer Feststellung, dass sich der Fahrer in einem unachtsamen Zustand befindet, eine Änderung mindestens eines aus einem Steuerzeitpunkt einer Lenkvorrichtung (40) und einem lateralen Distanzgrenzwert zum Ausführen der Lenkvorrichtung (40) zu steuern, wobei der laterale Distanzgrenzwert ein Referenzwert ist, der mit einem lateralen Positionsfehler e_la verglichen wird, wobei der lateralen Positionsfehler e_la eine Distanz zwischen dem Mittelpunkt des Fahrzeugs (1) von der Mitte einer Spur darstellt, und der Controller (400) die Lenkkontrolle ausführen kann, wenn der laterale Positionsfehler e_la den lateralen Distanzgrenzwert überschreitet, wobei der laterale Positionsfehler e_la des Fahrzeugs (1) bei Fahrt des Fahrzeugs (1) gemäß Gleichung 1 $e_{l a} = e + d_{l a} ψ + d_{l a}^{2} γ + d_{l a}^{3} \dot{γ}$
berechnet wird, wobei ein voreingestellter vordere Abstand d_la einen Vorlaufabstand des Fahrzeugs (1) zu einer Position angibt, an der der laterale Positionsfehler e_la ermittelt werden soll, wobei e eine laterale Position basierend auf einem rechteckigen Koordinatensystem unter der Annahme angibt, dass das Fahrzeug (1) stationär ist, wobei angenommen wird, dass das Fahrzeug (1) zwischen Spuren fährt und das Koordinatensystem auf der Mitte des Fahrzeugs (1) basierend festgelegt ist, wobei ψ einen Winkel zwischen dem Fahrzeug (1) und der Spur angibt, γ eine Biegung der Spur angibt, und γ̇ eine Änderungsrate der Biegung der Spur angibt.
Fahrerassistenzvorrichtung (DAS) nach Anspruch 1, wobei, wenn der Blick des Fahrers nicht nach vorne weist, der Controller (400) konfiguriert ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und den Steuerzeitpunkt der Lenkvorrichtung (40) um einen vorgegebenen Zeitraum im Vergleich mit einem bestehenden Steuerzeitpunkt nach vorne zu bewegen.
Fahrerassistenzvorrichtung (DAS) nach Anspruch 1, wobei, wenn der Blick des Fahrers nicht nach vorne gerichtet ist, der Controller (400) konfiguriert ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und den lateralen Distanzgrenzwert auf einen Wert zu ändern, der kleiner als ein bestehender lateraler Distanzgrenzwert ist.
Fahrerassistenzvorrichtung (DAS) nach Anspruch 1, wobei, wenn ein Ziel, das von außerhalb des Fahrzeugs (1) erkannt wird, innerhalb des Blickfelds des Fahrers existiert, der Controller (400) konfiguriert ist, festzustellen, dass der Fahrer nicht in dem unachtsamen Zustand ist, und nicht in die Steuerung der Lenkvorrichtung (40) einzugreifen.
Fahrerassistenzvorrichtung (DAS) nach Anspruch 1, wobei, wenn ein Ziel, das von außerhalb des Fahrzeugs (1) erkannt wird, nicht innerhalb des Blickfelds des Fahrers existiert, der Controller (400) konfiguriert ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet.
Fahrerassistenzvorrichtung (DAS) nach Anspruch 1, wobei die innere Kamera (200) konfiguriert ist, Blickdaten des Fahrers basierend auf der Blickrichtung des Fahrers und der Pupillenrichtung des Fahrers zu erfassen.
Fahrerassistenzvorrichtung (DAS) nach Anspruch 1, ferner umfassend: die Lenkvorrichtung (40), konfiguriert zum Ändern einer Fahrtrichtung des Fahrzeugs (1), wobei die Lenkvorrichtung (40) konfiguriert ist, die Fahrtrichtung des Fahrzeugs (1) nach einem Steuersignal zu ändern, das durch den Controller (400) geändert wird.
Fahrerassistenzvorrichtung (DAS) nach Anspruch 1, ferner umfassend: eine Bremsvorrichtung (30), die konfiguriert ist, das Fahrzeug (1) abzubremsen oder das Fahrzeug (1) anzuhalten, wobei, wenn der Blick des Fahrers nicht nach vorne weist, der Controller (400) konfiguriert ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und einen Steuerzeitpunkt der Bremsvorrichtung (30) um einen vorgegebenen Zeitraum im Vergleich mit einem bestehenden Steuerzeitpunkt vorzubewegen.
Fahrerassistenzvorrichtung (DAS) nach Anspruch 1, ferner umfassend: eine Bremsvorrichtung (30), die konfiguriert ist, das Fahrzeug (1) abzubremsen oder das Fahrzeug (1) anzuhalten, wobei, wenn der Blick des Fahrers nicht nach vorne weist, der Controller (400) konfiguriert ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und eine Bremsmomentmenge der Bremsvorrichtung (30) höher einzustellen als eine bestehende Bremsmomentmenge.
Verfahren zum Steuern einer Fahrerassistenzvorrichtung (DAS), umfassend: Erhalten von Bilddaten zu dem äußeren Blickfeld eines Fahrzeugs (1) durch eine äußere Kamera (100); Erhalten von Blickdaten eines Fahrers durch eine innere Kamera (200) zum Erfassen des Blicks des Fahrers an Bord des Fahrzeugs (1); und Erfassen des Blicks des Fahrers basierend auf den Blickdaten durch einen Controller (400), und basierend auf einer Feststellung, dass sich der Fahrer in einem unachtsamen Zustand befindet, Steuern von mindestens einem aus einem Steuerzeitpunkt einer Lenkvorrichtung (40) und einem lateralen Distanzgrenzwert zum Bedienen der Lenkvorrichtung (40), der geändert werden soll, wobei der laterale Distanzgrenzwert ein Referenzwert ist, der mit einem lateralen Positionsfehler e_la verglichen wird, wobei der lateralen Positionsfehler e_la eine Distanz zwischen dem Mittelpunkt des Fahrzeugs (1) von der Mitte einer Spur darstellt, und der Controller (400) die Lenkkontrolle ausführen kann, wenn der laterale Positionsfehler e_la den lateralen Distanzgrenzwert überschreitet, wobei der laterale Positionsfehler e_la des Fahrzeugs (1) bei Fahrt des Fahrzeugs (1) gemäß Gleichung 1 $e_{l a} = e + d_{l a} ψ + d_{l a}^{2} γ + d_{l a}^{3} \dot{γ}$
berechnet wird, wobei ein voreingestellter vordere Abstand d_la einen Vorlaufabstand des Fahrzeugs (1) zu einer Position angibt, an der der laterale Positionsfehler e_la ermittelt werden soll, wobei e eine laterale Position basierend auf einem rechteckigen Koordinatensystem unter der Annahme angibt, dass das Fahrzeug (1) stationär ist, wobei angenommen wird, dass das Fahrzeug (1) zwischen Spuren fährt und das Koordinatensystem auf der Mitte des Fahrzeugs (1) basierend festgelegt ist, wobei ψ einen Winkel zwischen dem Fahrzeug (1) und der Spur angibt, γ eine Biegung der Spur angibt, und γ̇ eine Änderungsrate der Biegung der Spur angibt.
Verfahren nach Anspruch 10, wobei das Steuern umfasst: wenn der Blick des Fahrers nicht nach vorne gerichtet ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und den Steuerzeitpunkt der Lenkvorrichtung (40) zu steuern, um einen voreingestellte Zeit im Vergleich mit einem bestehenden Steuerzeitpunkt vorzubewegen.
Verfahren nach Anspruch 10, wobei das Steuern umfasst: wenn der Blick des Fahrers nicht nach vorne gerichtet ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und den lateralen Distanzgrenzwert auf einen Wert zu ändern, der kleiner als ein bestehender lateraler Distanzgrenzwert ist.
Verfahren nach Anspruch 10, wobei das Steuern umfasst: wenn ein Objekt, das von außerhalb des Fahrzeugs (1) erkannt wird, im Blickfeld des Fahrers existiert, festzustellen, dass sich der Fahrer nicht in dem unachtsamen Zustand befindet, und nicht in die Steuerung der Lenkvorrichtung (40) einzugreifen.
Verfahren nach Anspruch 10, wobei das Steuern umfasst, wenn ein Ziel, das von außerhalb des Fahrzeugs (1) erkannt wird, nicht innerhalb des Blickfelds des Fahrers existiert, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet.
Verfahren nach Anspruch 10, wobei die Blickdaten Informationen zur Blickrichtung des Fahrers und der Pupillenrichtung des Fahrers umfassen.
Verfahren nach Anspruch 10, ferner umfassend: die Lenkvorrichtung (40), konfiguriert, eine Fahrtrichtung des Fahrzeugs (1) zu ändern, wobei die Steuerung umfasst: Steuern der Lenkvorrichtung (40) zum Ändern der Fahrtrichtung des Fahrzeugs (1) nach dem geänderten Steuersignal.
Verfahren nach Anspruch 10, ferner umfassend: eine Bremsvorrichtung (30), konfiguriert, das Fahrzeug (1) abzubremsen oder das Fahrzeug (1) anzuhalten, wobei das Steuern umfasst: wenn der Blick des Fahrers nicht nach vorne gerichtet ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und einen Steuerzeitpunkt der Bremsvorrichtung (30) zu steuern, um eine voreingestellte Zeit im Vergleich mit einem bestehenden Steuerzeitpunkt vorzubewegen.
Verfahren nach Anspruch 10, ferner umfassend: eine Bremsvorrichtung (30), konfiguriert, das Fahrzeug (1) abzubremsen oder das Fahrzeug (1) anzuhalten, wobei das Steuern umfasst: wenn der Blick des Fahrers nicht nach vorne gerichtet ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und eine Bremsdrehmomentmenge der Bremsvorrichtung (30) höher einzustellen als eine bestehende Bremsdrehmomentmenge.
Nichttransitorisches computerlesbares Medium, das Programmanweisungen umfasst, die durch einen Prozessor (410) ausgeführt werden, das computerlesbare Medium umfassend: Programmanweisungen, die Bilddaten zu dem äußeren Blickfeld eines Fahrzeugs (1) durch eine äußere Kamera (100) erhalten; Programmanweisungen, die Blickdaten eines Fahrers durch eine innere Kamera (200) zum Erfassen des Blicks des Fahrers an Bord des Fahrzeugs (1) erhalten; und Programmanweisungen, die den Blick des Fahrers basierend auf den Blickdaten durch einen Controller (400) erfassen, und basierend auf einer Feststellung, dass sich der Fahrer in einem unachtsamen Zustand befindet, mindestens eines aus einem Steuerzeitpunkt einer Lenkvorrichtung (40) und einem lateralen Distanzgrenzwert zum Bedienen der Lenkvorrichtung (40), der geändert werden soll, steuern, wobei der laterale Distanzgrenzwert ein Referenzwert ist, der mit einem lateralen Positionsfehler e_la verglichen wird, wobei der lateralen Positionsfehler e_la eine Distanz zwischen dem Mittelpunkt des Fahrzeugs (1) von der Mitte einer Spur darstellt, und der Controller (400) die Lenkkontrolle ausführen kann, wenn der laterale Positionsfehler e_la den lateralen Distanzgrenzwert überschreitet, wobei der laterale Positionsfehler e_la des Fahrzeugs (1) bei Fahrt des Fahrzeugs (1) gemäß Gleichung 1 $e_{l a} = e + d_{l a} ψ + d_{l a}^{2} γ + d_{l a}^{3} \dot{γ}$
berechnet wird, wobei ein voreingestellter vordere Abstand d_la einen Vorlaufabstand des Fahrzeugs (1) zu einer Position angibt, an der der laterale Positionsfehler e_la ermittelt werden soll, wobei e eine laterale Position basierend auf einem rechteckigen Koordinatensystem unter der Annahme angibt, dass das Fahrzeug (1) stationär ist, wobei angenommen wird, dass das Fahrzeug (1) zwischen Spuren fährt und das Koordinatensystem auf der Mitte des Fahrzeugs (1) basierend festgelegt ist, wobei ψ einen Winkel zwischen dem Fahrzeug (1) und der Spur angibt, γ eine Biegung der Spur angibt, und γ̇ eine Änderungsrate der Biegung der Spur angibt.
Computerlesbares Medium nach Anspruch 19, wobei das Steuern umfasst: wenn der Blick des Fahrers nicht nach vorne gerichtet ist, festzustellen, dass sich der Fahrer in dem unachtsamen Zustand befindet, und den lateralen Distanzgrenzwert auf einen Wert zu ändern, der kleiner als ein bestehender lateraler Distanzgrenzwert ist.