-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Kraftfahrzeugs mit zumindest einer Umgebungserfassungseinrichtung zum Erfassen einer Umgebung des Kraftfahrzeugs. Die Erfindung betrifft zudem ein Kraftfahrzeug zum Durchführen eines derartigen Verfahrens.
-
Ein Kraftfahrzeug kann zumindest eine Umgebungserfassungseinrichtung aufweisen, die dazu ausgebildet ist, eine Umgebung des Kraftfahrzeugs zu erfassen. Die Umgebungserfassungseinrichtung kann dazu ausgebildet sein, kontinuierlich die Umgebung des Kraftfahrzeugs zu erfassen, wodurch jedoch kontinuierlich Erfassungsdaten bereitgestellt werden. Dies kann dazu führen, dass eine relativ große Menge an Erfassungsdaten im Kraftfahrzeug bereitgestellt wird. Das Erfassen einer deratigen Menge an Erfassungsdaten sowie deren Auswerten ist jedoch ressourcenintensiv. Es kann daher sinnvoll sein, die Menge an Erfassungsdaten im Kraftfahrzeug verglichen mit deren Menge bei kontinuierlicher Bereitstellung zu reduzieren.
-
Die
DE 10 2018 220 395 A1 zeigt eine Steuervorrichtung zur Steuerung einer Sensoranordnung, um einen Arbeitsbereich einer Arbeitsmaschine zu überwachen. In Abhängigkeit von einer Drehrichtung eines Arbeitsarms der Arbeitsmaschine kann ein aktivierter oder deaktivierter Zustand einer Überwachungsfunktion der Sensoranordnung hinsichtlich zumindest eines Teils des Arbeitsbereichs der Arbeitsmaschine bereitgestellt werden.
-
Die
DE 100 39 795 A1 zeigt ein Verfahren zur Warnung eines Fahrzeugführers, wobei die Ausgabe der Warnung abhängig von einer Aufmerksamkeit des Fahrers erfolgt.
-
Die
DE 10 2008 040 149 A1 zeigt eine Vorrichtung zur Freigabe einer automatischen Führung eines Fahrzeugs mit einer Auswerteinheit zum Vergleich eines sich aus einer Überwachung eines Fahrers bestimmten Gesichtsfeldes des Fahrers mit einer Fahrtrichtung des Fahrzeugs. Die automatische Führung wird nur dann freigegeben, wenn die Fahrtrichtung des Fahrzeugs bei der automatischen Führung in dem Gesichtsfeld des Fahrers liegt.
-
Es ist die Aufgabe der Erfindung, eine Lösung bereitzustellen, mittels derer ein Energieverbrauch einer Umgebungserfassungseinrichtung eines Kraftfahrzeugs und/oder eine im Kraftfahrzeug benötigte Rechenleistung zur Auswertung von Erfassungsdaten der Umgebungserfassungseinrichtung reduziert werden kann.
-
Die Aufgabe wird durch die Gegenstände des unabhängigen sowie des nebengeordneten Patentanspruchs gelöst.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Kraftfahrzeugs mit zumindest einer Umgebungserfassungseinrichtung zum Erfassen einer Umgebung des Kraftfahrzeugs. Die Umgebung ist ein Bereich, der an das Kraftfahrzeug angrenzt und durch einen Erfassungsbereich der Umgebungserfassungseinrichtung räumlich begrenzt ist. Die Umgebungserfassungseinrichtung ist beispielsweise eine Kameraeinrichtung, die zum Beispiel eine Frontkamera, eine Seitenkamera und/oder eine Heckkamera umfasst. Alternativ oder zusätzlich dazu kann die Umgebungserfassungseinrichtung ein Radargerät, ein Lidargerät, ein Ultraschallsensor und/oder ein Infrarotmessgerät sein. Mit anderen Worten ist die Umgebungserfassungseinrichtung eine Sensoreinrichtung, die zur Erfassung eines Außenbereichs des Kraftfahrzeugs ausgebildet ist.
-
Das Verfahren umfasst ein Ermitteln von Blickbereichsdaten. Die Blickbereichsdaten beschreiben einen Blickbereich eines Fahrers des Kraftfahrzeugs. Die Blickbereichsdaten können beispielsweise durch Erfassen und Auswerten einer Blickrichtung sowie eines Fokusbereichs von Augen des Fahrers bestimmt werden. Das Ermitteln der Blickbereichsdaten basiert bevorzugt auf mittels des Kraftfahrzeugs erfassten Daten, die zum Beispiel mittels einer Innenraumerfassungseinrichtung des Kraftfahrzeugs erfasst werden. Der Blickbereich ist bevorzugt in Form eines Winkelbereich bereitgestellt. Zudem umfasst das Verfahren ein Ermitteln von Teilbereichsdaten durch Auswerten der erfassten Blickbereichsdaten. Die Teilbereichsdaten beschreiben einen Teilbereich der Umgebung des Kraftfahrzeugs, der mit dem Blickbereich des Fahrers überlappt. Der Teilbereich kann dem Blickbereich entsprechen, das heißt Teilbereich und Blickbereich können ein identischer Bereich in der Umgebung des Kraftfahrzeugs sein.
-
Das Verfahren umfasst ein Betreiben des Kraftfahrzeugs derart, dass ein Erfassen und/oder Auswerten von Erfassungsdaten, die mittels der zumindest einen Umgebungserfassungseinrichtung erfasst werden und die den Teilbereich gemäß der ermittelten Teilbereichsdaten beschreiben, zumindest reduziert wird. Mit anderen Worten wird das Kraftfahrzeug beispielsweise in einem Modus betrieben, in dem zum Beispiel weniger Erfassungsdaten im Teilbereich erfasst werden, als es in einem Normalmodus des Kraftfahrzeugs der Fall wäre. Hierfür wird die Umgebungserfassungseinrichtung entsprechend angesteuert. Alternativ oder zusätzlich dazu kann beispielsweise die Umgebungserfassungseinrichtung im Normalmodus betrieben werden, jedoch die Auswertung der bereitgestellten Erfassungsdaten reduziert oder vereinfacht werden, sodass ein Energieverbrauch beim Auswerten der Erfassungsdaten reduziert werden kann. Der Normalmodus ist beispielsweise immer dann aktiviert, wenn das Verfahren nicht durchgeführt wird, beispielsweise da es von einem Benutzer des Kraftfahrzeugs nicht gewünscht ist.
-
Das veränderte Betreiben des Kraftfahrzeugs hinsichtlich des Erfassens und/oder Auswertens der Erfassungsdaten betrifft nicht die gesamte Umgebung des Kraftfahrzeugs, sondern nur den Teilbereich, der auf Basis der Blickbereichsdaten bestimmt wurde. Es kommt somit ausschließlich zu einem reduzierten Erfassen und/oder Auswerten von Daten im Blickbereich des Fahrers. Dies ist beispielsweise immer dann sinnvoll, wenn davon ausgegangen wird, dass der Fahrer seinen Blickbereich manuell kontrolliert, das heißt bei einem manuellen Betätigen des Kraftfahrzeugs auf Ereignisse, wie beispielsweise ein sich bewegendes Objekt im Blickbereich, selbstständig reagiert. Im Blickbereich ist daher eine reduzierte Leistung von Seiten der Umgebungserfassungseinrichtung möglich, sodass für den Blickbereich und somit den Teilbereich gemäß der ermittelten Teilbereichsdaten das Erfassen von Erfassungsdaten und/oder das Auswerten von Erfassungsdaten heruntergefahren und somit in einem kleineren Umfang betrieben werden kann, als in den Bereichen der Umgebung, die außerhalb des Teilbereichs und somit des Blickbereichs des Fahrers liegen. Durch dieses Reduzieren der Aktivität sowie des Auswertungsaufwands der Umgebungserfassungseinrichtung kann Energie im Kraftfahrzeugs gespart, eine Systemauslastung, beispielsweise durch eine Auswerteeinrichtung des Kraftfahrzeugs, reduziert werden und/oder ein Hardwarealterungsprozess der Auswerteeinrichtung verlangsamt werden. Die Auswerteeinrichtung kann eine Steuervorrichtung des Kraftfahrzeugs sein. Ferner kann es hierdurch möglich sein, eine geringere mittlere Systemauslastung und einen geringeren mittleren Energieverbrauch mit kleineren Hardwarekomponenten zu planen, wodurch beispielsweise Kosten gespart werden können. Es wird also letztendlich die Rechenleistung sowie der Energieverbrauch bei Dauerbetrieb der Umgebungserfassungseinrichtung reduziert, da zumindest in einem Teilbereich das Kraftfahrzeug die beschrieben Reduktion erfolgt. Durch Anwenden des Verfahrens wird also erreicht, dass der Energieverbrauch der Umgebungserfassungseinrichtung des Kraftfahrzeugs und/oder die im Kraftfahrzeug benötigte Rechenleistung zur Auswertung der Erfassungsdaten der Umgebungserfassungseinrichtung reduziert wird.
-
Die Erfindung sieht vor, dass Fahrerzustandsdaten, die einen Zustand des Fahrers beschreiben, erfasst werden. Die Fahrerzustandsdaten können beispielsweise die Information beschreiben, ob der Fahrer aktuell müde oder wach ist. Zudem werden Aufmerksamkeitsdaten ermittelt, die einen Grad an Aufmerksamkeit beschreiben, mit der der Fahrer in den Blickbereich blickt. Die Aufmerksamkeitsdaten werden durch Anwenden eines Aufmerksamkeitsermittlungskriteriums auf die ermittelten Fahrerzustandsdaten ermittelt. Das Aufmerksamkeitsermittlungskriterium ist ein Algorithmus und/oder eine Vorschrift, anhand dessen beziehungsweise derer die Aufmerksamkeitsdaten aus den Fahrerzustandsdaten berechnet werden. Indem das Aufmerksamkeitsermittlungskriterium durchgeführt wird, werden somit die Fahrerzustandsdaten derart ausgewertet, dass ausgesagt werden kann, ob der Fahrer aktuell aufmerksam ist oder nicht. Ist der Fahrer gemäß den Fahrerzustandsdaten müden kann er als unaufmerksam bewertet werden. Ist er jedoch gemäß den Fahrerzustandsdaten wach kann er als aufmerksam bewertet werden. Es kann ferner eine Abstufung zwischen „aufmerksam“ und „unaufmerksam“ erfolgen, indem der Grad an Aufmerksamkeit beispielsweise als Zwischenwert zwischen 0 und 1 bestimmt wird. Hierbei kann beispielsweise 0 für unaufmerksam und 1 für aufmerksam angenommen werden oder umgekehrt. Je nachdem, wie groß die Aufmerksamkeitsdaten sind, desto aufmerksamer ist in diesem Beispiel der Fahrer zum aktuellen Zeitpunkt.
-
Es ist vorgesehen, dass nur falls die ermittelten Aufmerksamkeitsdaten in einem vorgegebenen Aufmerksamkeitswertebereich liegen, das Erfassen und/oder Auswerten der Erfassungsdaten reduziert wird. Es wird also zunächst überprüft werden, ob der Fahrer aktuell ausreichend aufmerksam ist, um das Reduzieren des Erfassens und/oder Auswertens der Erfassungsdaten im Teilbereich und somit im Blickbereich des Fahrers zu ermöglichen oder nicht. Der vorgegebene Aufmerksamkeitswertebereich liegt im oben genannten Beispiel beispielsweise zwischen 0,5 und 1. Wurde beispielsweise anhand der Fahrerzustandsdaten festgestellt, dass der Fahrer aktuell müde ist, da beispielsweise seine Lidschlagfrequenz im Vergleich zu einem Lidschlagfrequenznormalbereich erhöht ist und somit über einem Lidschlagfrequenzgrenzwert liegt, der einen müden Zustand des Fahrers definiert, können die Aufmerksamkeitsdaten einen Wert annehmen, der nicht im Aufmerksamkeitswertebereich liegt. In diesem Fall wird davon ausgegangen, dass der Fahrer nicht aufmerksam genug ist und daher wird die Reduktion des Erfassens und/oder Auswertens der Erfassungsdaten im Teilbereich in diesem Beispiel nicht durchgeführt. Falls jedoch festgestellt ist, dass der Fahrer aufmerksam ist, werden Aufmerksamkeitsdaten ermittelt die im vorgegebenen Aufmerksamkeitswertebereich liegen und somit kann das beschriebene Reduzieren des Erfassens und/oder Auswertens der Erfassungsdaten erfolgen. Hierdurch kann zuverlässig erreicht werden, dass nur in Situationen, in denen tatsächlich der Blickbereich vom Fahrer aktiv überwacht wird, die Reduktion erfolgt.
-
Es kann vorgesehen sein, dass, wenn die Aufmerksamkeitsdaten außerhalb des Aufmerksamkeitswertebereichs liegen, die Umgebungserfassungseinrichtung beziehungsweise das Kraftfahrzeug im Normalmodus betrieben wird.
Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.
-
Eine Ausführungsform sieht vor, dass das Reduzieren des Erfassens umfasst, dass eine Abtastrate der Umgebungserfassungseinrichtung reduziert wird. Es kann also vorgesehen sein, dass beispielsweise anstelle von bisher 20 Messungen pro Sekunde nur noch 10 Messungen pro Sekunde mittels der Umgebungserfassungseinrichtung erfolgen. Anstatt beispielsweise 20 Bildern, die mittels einer Frontkamera pro Sekunde erfasst werden, werden dann zum Beispiel nur noch 10 Bilder pro Sekunde mittels der Frontkamera erfasst. Hierdurch kann eine Anzahl an Erfassungsdaten der entsprechenden mittels der Frontkamera , das heißt beispielsweise der Frontkamera, halbiert werden, wodurch die Rechenleistung sowie der Energieverbrauch der Umgebungserfassungseinrichtung reduziert werden kann. Die Abtastrate kann alternativ als Anzahl an Erfassungsdaten pro Zeitintervall bezeichnet werden. Es sind beliebige Reduktionen der Abtastrate möglich, beispielsweise um 5 Prozent, 10 Prozent, 20 Prozent, 25 Prozent, 30 Prozent, 40 Prozent, 50 Prozent, 60 Prozent, 70 Prozent, 75 Prozent, 80 Prozent, oder insbesondere 90 Prozent möglich. Die Abtastrate kann um einen Prozentsatz zwischen den genannten Werten reduziert werden.
-
Alternativ oder zusätzlich dazu kann das Reduzieren des Erfassens umfassen, dass die Umgebungserfassungseinrichtung deaktiviert wird. Es kann beispielsweise vorgesehen sein, dass jegliche Erfassung von Erfassungsdaten im Teilbereich ausgeschaltet wird und beispielsweise nur die restliche Umgebung des Kraftfahrzeugs erfasst wird. Dies führt zu einer besonders drastischen Reduktion des Energieverbrauchs der Umgebungserfassungseinrichtung.
-
Alternativ oder zusätzlich dazu kann das Reduzieren des Erfassens umfassen, dass bei zumindest zwei redundanten Umgebungserfassungseinrichtungen eine der zumindest zwei Umgebungserfassungseinrichtungen deaktiviert wird. Falls beispielsweise sowohl ein Radargerät als auch ein Infrarotmessgerät vorgesehen sind, um einen Abstand zu zumindest einem Objekt in der Umgebung des Kraftfahrzeugs zu ermitteln, kann eine dieser beiden Umgebungserfassungseinrichtungen für den Teilbereich deaktiviert werden, sodass nur noch mittels der anderen Umgebungserfassungseinrichtung, die Umgebung erfasst wird. Hierdurch kann ebenfalls eine Anzahl an Erfassungsdaten für den Teilbereich reduziert werden. Redundante Umgebungserfassungseinrichtungen sind hierbei Umgebungserfassungseinrichtungen, die dazu ausgebildet sind, zumindest eine gemeinsame Art oder einen gemeinsamen Typ von Erfassungsdaten zu erfassen. Es kann also besonders vielseitig und effektiv das Erfassen der Erfassungsdaten reduziert werden.
-
Eine weitere Ausführungsform sieht vor, dass das Reduzieren des Auswertens umfasst, dass ein Anteil der Erfassungsdaten, die ausgewertet werden, an den insgesamt mittels der Umgebungserfassungseinrichtung erfassten Erfassungsdaten reduziert wird. Es kann also beispielsweise vorgesehen sein, dass nur noch jeder zweite, jeder dritte, jeder fünfte, jeder zehnte oder insbesondere jeder fünfzigste Messwert, der mittels der Umgebungserfassungseinrichtung erfasst und bereitgestellt wird, überhaupt ausgewertet wird. Hierdurch kann erreicht werden, dass beispielsweise eine Gesamtmenge an Erfassungsdaten, die auszuwerten ist, verkleinert wird, wodurch die Rechenleistung, die im Kraftfahrzeug für das Auswerten der Erfassungsdaten der Umgebungserfassungseinrichtung benötigt wird, im Vergleich zum Normalmodus reduziert wird. Hiervon sind nur die Erfassungsdaten betroffen, die dem Teilbereich der Umgebung gemäß den Teilbereichsdaten zugeordnet sind. Es findet somit nicht eine generelle Reduzierung des Anteils der auszuwertenden Erfassungsdaten für die gesamte Umgebung des Kraftfahrzeugs statt, sondern nur für den zuvor ermittelten Teilbereich. Hierdurch kann besonders effektiv die Reduktion der Rechenleistung erreicht werden.
-
Eine zusätzliche Ausführungsform sieht vor, dass die Fahrerzustandsdaten zumindest einen von folgenden Zuständen des Fahrers beschreiben: Müdigkeit; Abgelenktheit durch Bedienen zumindest einer Bedieneinrichtung im Kraftfahrzeug; Abgelenktheit durch eine Ausgabe zumindest einer Ausgabeeinrichtung im Kraftfahrzeug; Reaktionsvermögen auf ein Objekt im Blickbereich; und/oder Ändern des Blickbereichs durch zumindest einen Blickrichtungswechsel. Die Müdigkeit wird typischerweise mittels einer Innenraumerfassungseinrichtung, wie beispielsweise einer Innenraumkamera, ermittelt, die beispielsweise die Lidschlagfrequenz der Augen des Fahrers erfasst. Anhand der Lidschlagfrequenz kann erkannt werden, ob der Fahrer beispielsweise die Augen geschlossen hält und folglich schläft, ob er häufig blinzelt, was auf Müdigkeit hindeuten kann, oder ob er hinsichtlich der Lidschlagfrequenz in einem Normalbereich für einen Wachzustand liegt und somit als wach zu bewerten ist. Ferner kann eine Haltung eines Kopfes des Fahrers Einfluss darauf haben, ob der Zustand des Fahrers als müde oder als nicht müde identifiziert wird. Ein gesenkter Kopf kann auf Müdigkeit zumindest hindeuten. Es kann ferner auf beispielsweise Messdaten zur Körpertemperatur und/oder einer Pulsfrequenz des Fahrers zurückgegriffen werden. Die Pulsfrequenz kann beispielsweise mittels eines kapazitiven Sensors in einem Lenkrad des Kraftfahrzeugs ermittelt werden. Die Körpertemperatur kann beispielsweise mittels einer Infrarotmessung im Innenraum des Kraftfahrzeugs bestimmt werden. Es kann generell auf typische Informationen zurückgegriffen werden, die zumindest dazu beitragen, einen wachen und/oder gesunden Fahrer von einem müden beziehungsweise kranken oder ungesunden Fahrer unterscheiden zu können. Zusätzlich oder alternativ zur Müdigkeit kann ein Gesundheitszustand des Fahrers erkannt werden und gegebenenfalls ebenfalls derart bewertet werden, dass die Aufmerksamkeitsdaten beim ungesunden oder kranken Zustand außerhalb des vorgegebenen Aufmerksamkeitsbereichs liegen.
-
Die Abgelenktheit durch das Bedienen und/oder Ausgeben kann beispielsweise umfassen, dass der Benutzer aktuell eine Bedieneinrichtung im Kraftfahrzeug, wie beispielsweise einen berührungssensitiven Bildschirm, einen Knopf, einen Drehdrückschalter und/oder eine Taste bedient, um beispielsweise eine Funktion des Kraftfahrzeugs anzusteuern. Die Funktion des Kraftfahrzeugs kann beispielsweise ein Navigationssystem, eine Multimediaeinrichtung und/oder eine Klimaanlage des Kraftfahrzeugs sein. Durch das Bedienen kann der Fahrer als abgelenkt eingeschätzt werden, sodass in solchen Situationen das Reduzieren des Erfassens und/oder Auswertens der Erfassungsdaten beispielsweise nicht erfolgen sollte. Bei der Abgelenktheit durch die Ausgabe der Ausgabeeinrichtung kann beispielsweise verstanden werden, dass der Fahrer aktuell telefoniert und somit als Ausgabeeinrichtung ein mobiles Endgerät und/oder zumindest ein Lautsprecher im Kraftfahrzeug angeordnet ist. Bei der Ausgabe kann es sich alternativ oder zusätzlich dazu um einen Multimediainhalt handeln, wie beispielsweise ein Hörbuch und/oder ein Video, das gegebenenfalls zu einer Ablenkung des Fahrers führt, weshalb es vorgesehen sein kann, dass bei einer derartigen Ausgabe das Erfassen und/oder Auswerten der Erfassungsdaten nicht reduziert werden soll.
-
Das Reaktionsvermögen auf ein Objekt im Blickbereich kann mittels einer Blickverfolgung mittels beispielsweise der Innenraumsensoreinrichtung realisiert sein. Wird beispielsweise festgestellt, dass der Fahrer einem sich bewegenden Objekt in der Umgebung mit seinem Blick folgt, kann daraus geschlossen werden, dass dieser aufmerksam ist. Es werden dann entsprechende Aufmerksamkeitsdaten berechnet, gemäß derer das beschriebene Reduzieren zugelassen wird. Unter dem Ändern des Blickbereichs durch zumindest einen Blickrichtungswechsel kann beispielsweise ein Schulterblick oder ein Blickwechsel von links nach rechts und umgekehrt verstanden werden. Der Blickwechsel kann darauf hindeuten, dass der Fahrer aktiv am Verkehrsgeschehen teilnimmt, was wiederum für eine Aufmerksamkeit spricht, bei der das Reduzieren erfolgen kann.
-
Durch die beschriebenen Informationen kann zuverlässig der Fahrerzustand ermittelt werden und auf dessen Basis die Aufmerksamkeit beziffert werden. Die verschiedenen genannten Zustände werden mittels des Aufmerksamkeitsermittlungskriteriums gewichtet und ausgewertet, sodass insgesamt zuverlässig und nur in den Situationen, in denen der Fahrer tatsächlich ausreichend aufmerksam ist, das beschriebene Betreiben des Kraftfahrzeugs aktiviert wird.
-
Außerdem sieht es eine Ausführungsform vor, dass eine Stärke des Reduzierens des Erfassens und/oder Auswertens der Erfassungsdaten abhängig von den ermittelten Aufmerksamkeitsdaten ist. Wird beispielsweise festgestellt, dass der Fahrer zwar an sich ausreichend aufmerksam ist, jedoch zumindest ein Anzeichen für Unaufmerksamkeit vorliegen, beispielsweise da die Lidschlagfrequenz im Vergleich zum Normalzustand erhöht ist, kann sicherheitshalber beispielsweise die Abtastrate der Umgebungserfassungseinrichtung und/oder der Anteil der Erfassungsdaten, die ausgewertet werden, weniger stark reduziert werden, als dies beispielsweise bei Aufmerksamkeitsdaten der Fall wäre, die auf einen hellwachen Zustand des Fahrers hindeuten, zum Beispiel bei einem Wert von 0,8 anstelle von 1 für die Aufmerksamkeitsdaten. Es sind also verschiedene Zwischenstufen zwischen dem Normalmodus ohne Reduktion des Erfassens und/oder Auswertens der Erfassungsdaten und einem maximal reduzierten Erfassen und/oder Auswerten der Erfassungsdaten vorgesehen. Das maximale Reduzieren umfasst beispielsweise das vollständige Deaktivieren der Umgebungserfassungseinrichtung sowie einen maximal kleinen Anteil der Erfassungsdaten, die ausgewertet werden, an den insgesamt erfassten Erfassungsdaten für den Teilbereich. Hierdurch ist eine feine und exakte Anpassung der Reduktion an die Aufmerksamkeit des Fahrers möglich.
-
Gemäß einer Ausführungsform ist es vorgesehen, dass zumindest die Blickbereichsdaten durch Auswerten von Kameradaten einer Innenraumkamera des Kraftfahrzeugs ermittelt werden. Der Innenraumerfassungssensor ist also bevorzugt die Innenraumkamera. Es kann ferner vorgesehen sein, dass die Kameradaten der Innenraumkamera zum Ermitteln der Müdigkeit, des Reaktionsvermögens auf ein Objekt im Blickbereich und/oder das Ändern des Blickbereichs durch zumindest einen Blickrichtungswechsel ausgewertet werden. Ferner können die Kameradaten dazu beitragen, die Abgelenktheit des Benutzers festzustellen. Mit anderen Worten kann bevorzugt vom Kraftfahrzeug selbst, ohne dass beispielsweise Informationen von weiteren und gegebenenfalls externen Sensoreinrichtungen benötigt werden, festgestellt werden, welcher Teilbereich in der Umgebung vom Fahrer überwacht wird. Hierdurch kann das Verfahren mit besonders geringem Aufwand durchgeführt werden.
-
Gemäß einer weiteren Ausführungsform ist der Teilbereich gemäß den ermittelten Teilbereichsdaten kleiner als der Blickbereich gemäß den ermittelten Blickbereichsdaten. Mit anderen Worten ist der Teilbereich nur ein Subbereich des Blickbereichs und umfasst diesen bevorzugt nicht vollständig. Insbesondere ein Randbereich des Blickbereichs kann frei von der Überlappung mit dem Teilbereich sein. Mit anderen Worten können im Randbereich des Blickbereichs Bereiche, das heißt die Randbereiche, vorgegeben sein, in denen unverändert zum Normalmodus mittels der Umgebungserfassungseinrichtung die Erfassungsdaten bereitgestellt und ausgewertet werden. Hierdurch wird eine Art Toleranzbereich vorgegeben werden, über den beispielsweise nicht mit Genauigkeit gesagt werden kann, dass dieser vom Fahrer mit seinem Blick überwacht wird, da er am Rand des Blickbereichs angeordnet ist. Dieser Randbereich wird daher bevorzugt dennoch mittels der Umgebungserfassungseinrichtung überwacht, sodass sich das beschriebene Reduzieren des Erfassens und/oder Auswertens der Erfassungsdaten nur auf beispielsweise einen Mittelbereich des Blickbereichs als Teilbereich begrenzt. Hierdurch werden beispielsweise Ungenauigkeiten betreffend eine Bestimmung des Blickbereichs irrelevant für die Bestimmung des Teilbereichs, sodass das Verfahren stets zuverlässig den Teilbereich festlegt, der tatsächlich vom Fahrer überwacht wird.
-
In diesem Zusammenhang sieht es eine weitere Ausführungsform vor, dass eine Größe des nicht überlappenden Randbereichs abhängig von einer Genauigkeit der Innenraumkamera vorgegeben wird. Je größer eine Genauigkeit der Innenraumkamera und somit der Ermittlung des Blickbereichs des Fahrers, desto kleiner wird der Bereich vorgegeben, für den weiterhin das Erfassen und Auswerten der Erfassungsdaten ohne Reduktion erfolgt, da in diesem Fall davon ausgegangen werden kann, dass der ermittelte Blickbereich zuverlässig dem tatsächlichen Blickbereich des Fahrers entspricht. Kann der Blickbereich jedoch nur mit einer vergleichsweise geringen Genauigkeit bestimmt werden, wird dies auch bei der Größe des Randbereichs berücksichtigt, sodass in diesem Fall nur für einen vergleichsweise kleinen Teilbereich die beschriebene Reduktion durchgeführt wird. Dies trägt weiter zur zuverlässigen Wahl des Teilbereichs bei.
-
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
-
Ein weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug. Das Kraftfahrzeug weist die zumindest eine Umgebungserfassungseinrichtung auf. Das Kraftfahrzeug ist dazu ausgebildet, das oben beschriebene Verfahren durchzuführen. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
-
Zu der Erfindung gehört auch die Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein. Die Prozessorschaltung der Prozessoreinrichtung kann z.B. zumindest eine Schaltungsplatine und/oder zumindest ein SoC (System on Chip) aufweisen.
-
Bevorzugt wird das beschriebene Verfahren von der Steuervorrichtung des Kraftfahrzeugs durchgeführt.
-
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs sowie der erfindungsgemäßen Steuervorrichtung, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen hier nicht noch einmal beschrieben.
-
Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Programmcode, der bei der Ausführung durch eine Prozessorschaltung eines Computers oder eines Computerverbunds diese veranlasst, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nichtflüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in der Prozessorschaltung in deren Datenspeicher angeordnet sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) und/oder als Programmskript (z.B. Python) bereitgestellt sein.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Darstellung eines Kraftfahrzeugs, in der ein Blickbereich eines Fahrers eingezeichnet ist; und
- 2 in schematischer Darstellung einen Signalflussgraphen eines Verfahrens zum Betreiben eines Kraftfahrzeugs mit zumindest einer Umgebungserfassungseinrichtung.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
-
1 zeigt ein Kraftfahrzeug 1, das mehrere Umgebungserfassungseinrichtungen 2 aufweist. Diese können beispielsweise eine Frontkamera, Seitenkamera sowie eine Heckkamera sein. Ferner kann die Umgebungserfassungseinrichtung 2 ein Radargerät, ein Lidargerät, ein Ultraschallsensor und/oder ein Infrarotmessgerät sein. Das Kraftfahrzeug 1 weist ferner eine Innenraumkamera 3 sowie eine Steuervorrichtung 4 auf. Die Steuervorrichtung 4 ist eine Recheneinrichtung. Die Umgebungserfassungseinrichtung 2 ist dazu ausgebildet, Erfassungsdaten zu erfassen, die eine Umgebung 5 des Kraftfahrzeugs 1 beschreiben. Die Umgebung 5 wird bevorzugt von einer Grenze des Erfassungsbereichs der jeweiligen Umgebungserfassungseinrichtung 2 begrenzt. Die Grenze des Erfassungsbereichs der Umgebungserfassungseinrichtung 2 ist hier mit einer gestrichelten Linie 6 skizziert.
-
Im Kraftfahrzeug 1 befindet sich ein Fahrer 7, dessen Blick mittels der Innenraumkamera 3 erfasst wird. Ein Blickbereich 8 des Fahrers 7 kann somit ermittelt werden. Es ist hier ferner ein Teilbereich 9 der Umgebung 5 skizziert, sowie zwei Randbereiche 10 des Blickbereichs 8.
-
2 zeigt ein Verfahren zum Betreiben des Kraftfahrzeugs 1 mit der zumindest einen Umgebungserfassungseinrichtung 2. In einem Verfahrensschritt S1 können mittels der Innenraumkamera 3 Kameradaten 11 erfasst werden, die den Fahrer 7 und dessen Blick beschreiben. Hierdurch können die Blickbereichsdaten 12 ermittelt werden, die den Blickbereich 8 des Fahrers 7 des Kraftfahrzeugs 1 beschreiben. In einem Verfahrensschritt S2 erfolgt ein Ermitteln von Teilbereichsdaten 13 durch Auswerten der ermittelten Blickbereichsdaten 12. Die Teilbereichsdaten 13 beschreiben den Teilbereich 9 der Umgebung 5 des Kraftfahrzeugs 1, der mit dem Blickbereich 8 des Fahrers 7 überlappt. In diesem Beispiel kann beispielsweise der Teilbereich 9 den gesamten Bereich des Blickbereichs 8 umfassen, der außerhalb des Kraftfahrzeugs 1 angeordnet ist und somit im Erfassungsbereich der Umgebungserfassungseinrichtung 2.
-
In einem Verfahrensschritt S3 können Fahrerzustandsdaten 14 ermittelt werden, die einen Zustand des Fahrers 7 beschreiben. Die Fahrerzustandsdaten 14 können zumindest einen von folgenden Zuständen des Fahrers 7 beschreiben: Müdigkeit, Abgelenktheit durch Bedienen zumindest einer Bedieneinrichtung im Kraftfahrzeug 1, Abgelenktheit durch eine Ausgabe zumindest einer Ausgabeeinrichtung im Kraftfahrzeug 1, Reaktionsvermögen auf ein Objekt im Blickbereich 8 und/oder Ändern des Blickbereichs 8 durch zumindest einen Blickrichtungswechsel. Es wird also eine aktuelle Verfassung des Fahrers 7 ermittelt und mittels der Fahrerzustandsdaten 14 beziffert.
-
In einem Verfahrensschritt S4 können Aufmerksamkeitsdaten 15 ermittelt werden, die einen Grad an Aufmerksamkeit beschreiben, mit dem der Fahrer 7 in den Blickbereich 8 blickt. Die Aufmerksamkeitsdaten 15 werden durch Anwenden eines Aufmerksamkeitsermittlungskriteriums 16 auf die ermittelten Fahrerzustandsdaten 14 ermittelt. Es wird also letztendlich durch Auswerten der verschiedenen Zustände des Fahrers 7 beziffert, wie aufmerksam dieser aktuell ist.
-
In einem Verfahrensschritt S5 wird überprüft, ob die ermittelten Aufmerksamkeitsdaten 15 in einem vorgegebenen Aufmerksamkeitswertebereich 17 liegen. Nur falls dies der Fall ist, wird zu einem Verfahrensschritt S6 übergegangen. Im Verfahrensschritt S6 erfolgt ein Betreiben des Kraftfahrzeugs 1 derart, dass ein Erfassen und/oder Auswerten der Erfassungsdaten, die mittels der zumindest einen Umgebungserfassungseinrichtung 2 erfasst werden und die den Teilbereich 9 gemäß der ermittelten Teilbereichsdaten 13 beschreiben, zumindest reduziert wird. Der Verfahrensschritt S6 kann unmittelbar nach dem Verfahrensschritt S2 oder erst nach dem Verfahrensschritt S5 erfolgen. Im Verfahrensschritt S6 kann das Reduzieren des Erfassens umfassen, dass eine Abtastrate 18 der Umgebungserfassungseinrichtung 2 reduziert wird. Alternativ oder zusätzlich dazu kann die Umgebungserfassungseinrichtung 2 deaktiviert werden und/oder bei zumindest zwei redundanten Umgebungserfassungseinrichtungen 2 eine der zumindest zwei Umgebungserfassungseinrichtungen 2 deaktiviert werden. Bei der Deaktivierung der redundanten Umgebungserfassungseinrichtungen 2 bleibt immer zumindest eine der redundanten Umgebungserfassungseinrichtungen 2 aktiviert. Alternativ oder zusätzlich dazu kann das Reduzieren des Auswertens umfassen, dass ein Anteil 19 der Erfassungsdaten, die ausgewertet werden, an den insgesamt mittels der Umgebungserfassungseinrichtung 2 erfassten Erfassungsdaten reduziert wird. Es sind somit verschiedene Möglichkeiten zum Durchführen des Verfahrensschritts S6 möglich. Die Stärke des Reduzierens kann abhängig von den ermittelten Aufmerksamkeitsdaten 15 sein. Je weniger aufmerksam der Fahrer 7 zum Beispiel ist, desto stärker kann das Reduzieren ausgestaltet sein.
-
Der Teilbereich 9 gemäß den ermittelten Teilbereichsdaten 13 ist bevorzugt kleiner als der Blickbereich 8 gemäß den ermittelten Blickbereichsdaten 12. Insbesondere ein oder mehrere Randbereiche 10 des Blickbereichs 8 können frei von der Überlappung mit dem Teilbereich 9 sein, das heißt in diesen Bereichen kann kein Reduzieren des Erfassens und/oder Auswertens der Erfassungsdaten im Verfahrensschritt S6 erfolgen. Die Größe des nicht überlappenden Randbereichs 10 kann abhängig von einer Genauigkeit der Innenraumkamera 3 vorgegeben werden.
-
Es ist bevorzugt vorgesehen, dass, sobald der Blickbereich 8 sich ändert und/oder sobald die Aufmerksamkeitsdaten 15 nicht mehr im Aufmerksamkeitswertebereich 17 liegen, das Reduzieren des Erfassens und/oder Auswerten der Erfassungsdaten für den Teilbereich 9 wieder rückgängig gemacht wird, das heißt das Kraftfahrzeug 1 wieder derart betrieben wird, dass keine Reduktion im Teilbereich 9 erfolgt. Es kann jedoch gegebenenfalls in einem neuen Teilbereich 9, der zumindest teilweise vom bisherigen Teilbereich 9 verschieden ist, die Reduktion erfolgen, wobei der neue Teilbereich 9 von einem neuen Blickbereich 8 des Fahrers 7 abhängt.
-
Das Ermitteln der Blickbereichsdaten 12, der Teilbereichsdaten 13, der Fahrerzustandsdaten 14 sowie der Aufmerksamkeitsdaten 15 und das beschriebene Betreiben des Kraftfahrzeugs 1 wird bevorzugt mittels der Steuervorrichtung 4 des Kraftfahrzeugs 1 durchgeführt oder zumindest unterstützt.
-
Falls das Überprüfen in Schritt S5 nicht erfolgreich ist, kann ein Beenden 20 des Verfahrens erfolgen.
-
Insgesamt zeigen die Beispiele ein System zum ressourcenschonenden Einsatz von Hardware für Fahrerassistenzsysteme. Es wird eine bedarfsabhängige Verwendung von Umgebungserfassungseinrichtungen 2 für die Umweltwahrnehmung unter Berücksichtigung der Blickrichtung des Fahrers 7, das heißt des Blickbereichs 8, vorgeschlagen. Bei Innenraumkameras 3 und weiteren Innenraumsensoren wird die Blickrichtung beziehungsweise der Fokusbereich des Fahrers 7 ermittelt sowie dessen Grad der Aufmerksamkeit abgeschätzt, das heißt es werden die Blickbereichsdaten 12 sowie die Aufmerksamkeitsdaten 15 ermittelt. Wird bei einer durch ein Assistenzsystem unterstützten Fahrsituation festgestellt, dass der Fahrer 7 seine volle Aufmerksamkeit auf einen Teil des Fahrzeugumfelds richtet, kann die Auswertung der Umgebungserfassungseinrichtung 2 für diesen Bereich temporär reduziert werden. Das heißt, es kann im Teilbereich 9 die beschriebene Reduktion erfolgen. Des Weiteren ist denkbar, nicht nur die Auswertung der Umgebungserfassungseinrichtung 2 zu reduzieren, sondern ebenfalls die Sensoraktivität temporär einzuschränken. Die Reduzierung beziehungsweise Einschränkung kann bis zu einer temporären Deaktivierung umgesetzt werden.
