DE102023001695A1

DE102023001695A1 - Verfahren zur Unterstützung eines Fahrzeugnutzers eines Fahrzeuges während eines Rückwärtsfahrens mit dem Fahrzeug

Info

Publication number: DE102023001695A1
Application number: DE102023001695.0A
Authority: DE
Inventors: Alexander Hanuschkin
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2023-04-27
Filing date: 2023-04-27
Publication date: 2023-07-06

Abstract

Die Erfindung betrifft ein Verfahren zur Unterstützung eines Fahrzeugnutzers (2) eines Fahrzeuges (1) während eines Rückwärtsfahrens mit dem Fahrzeug (1), wobei das Fahrzeug (1) eine Anzahl von Spiegeln (4 bis 6) zur Erfassung zumindest eines rückwärtigen Bereiches aufweist. Erfindungsgemäß ist vorgesehen, dass- anhand einer ermittelten Kopf- und Augenhöhe des Fahrzeugnutzers (2) relativ zu den Spiegeln (4 bis 6) ein Blickwinkel des Fahrzeugnutzers (2) auf den jeweiligen Spiegel (4 bis 6) ermittelt wird,- anhand einer Augenposition des Fahrzeugnutzers (2), des Blickwinkels des Fahrzeugnutzers (2) auf die Spiegel (4 bis 6) und einer Ausrichtung der Spiegel (4 bis 6) ein jeweiliger Sichtbereich (SB1 bis SB3) des Fahrzeugnutzers (2) über die Spiegel (4 bis 6) ermittelt wird,- anhand eines Erfassungsbereiches (E) einer Umgebungssensorik (3) ein jeweiliger Umgebungsbereich ermittelt wird, welcher sich mittels des jeweiligen Spiegels (4 bis 6) im Sichtbereich (SB1 bis SB3) des Fahrzeugnutzers (2) befindet und- im Fall eines bei einer Rückwärtsfahrt anhand der erfassten Signale der Umgebungssensorik (3) in dem rückwärtigen Bereich des Fahrzeuges (1) detektierten Objektes (01, 02) dem Spiegel (4 bis 6) ein höherer Nützlichkeitswert zugeordnet wird, in dessen Sichtbereich (SB1 bis SB3) sich das detektierte Objekt (01, 02) befindet.

Description

Die Erfindung betrifft ein Verfahren zur Unterstützung eines Fahrzeugnutzers eines Fahrzeuges während eines Rückwärtsfahrens mit dem Fahrzeug, wobei das Fahrzeug eine Anzahl von Spiegeln zur Erfassung zumindest eines rückwärtigen Bereiches aufweist.
Aus der WO 2004/110817 A1 sind ein Spiegelpositions-Einstellsystem und ein Einstellverfahren für ein Fahrzeug bekannt. Mittels des Verfahrens ist die Position eines oder mehrerer Rückspiegel in Reaktion auf die Drehbewegungen des Fahrzeuges um zwei oder drei orthogonale Achsen automatisch einzustellen, um einem Fahrer des Fahrzeuges ein optimiertes Sichtfeld bereitzustellen. Mittels eines an dem Fahrzeug angeordneten Drehsensors werden Eingangssignale in Reaktion auf eine Drehung des Fahrzeuges um zwei orthogonale Achsen erzeugt. Mittels einer Steuereinheit werden in Reaktion auf die Eingangssignale Ausgangssignale erzeugt. Mittels eines mit jedem Spiegel gekoppelter Antriebsmechanismus dreht den Spiegel in Reaktion auf die Ausgangssignale um die orthogonalen Achsen.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Unterstützung eines Fahrzeugnutzers eines Fahrzeuges während eines Rückwärtsfahrens mit dem Fahrzeug anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die in Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Ein Verfahren zur Unterstützung eines Fahrzeugnutzers eines Fahrzeuges während eines Rückwärtsfahrens mit dem Fahrzeug, wobei das Fahrzeug eine Anzahl von Spiegeln, insbesondere zwei Außenspiegel und einen Innenspiegel, zur Erfassung zumindest eines rückwärtigen Bereiches aufweist, sieht erfindungsgemäß vor, dass

- anhand einer ermittelten Kopf- und Augenhöhe des Fahrzeugnutzers relativ zu den Spiegeln ein Blickwinkel des Fahrzeugnutzers auf den jeweiligen Spiegel ermittelt wird,
- anhand einer Augenposition des Fahrzeugnutzers, des Blickwinkels des Fahrzeugnutzers auf die Spiegel und einer Ausrichtung der Spiegel ein jeweiliger Sichtbereich des Fahrzeugnutzers über die Spiegel ermittelt wird,
- anhand eines Erfassungsbereiches einer Umgebungssensorik ein jeweiliger Umgebungsbereich ermittelt wird, welcher sich mittels des jeweiligen Spiegels im Sichtbereich des Fahrzeugnutzers befindet und
- im Fall eines bei einer Rückwärtsfahrt anhand der erfassten Signale der Umgebungssensorik in dem rückwärtigen Bereich des Fahrzeuges detektierten Objektes dem Spiegel ein höherer Nützlichkeitswert zugeordnet wird, in dessen Sichtbereich sich das detektierte Objekt befindet.

Durch Anwendung des Verfahrens wird also der Spiegel, das heißt einer der Außenspiegel oder der Innenspiegel ermittelt, in dessen Sichtbereich sich das detektierte Objekt befindet. Der ermittelte Nützlichkeitswert kann dann dazu verwendet werden, den Fahrzeugnutzer auf den Außenspiegel oder den Innenspiegel aufmerksam zu machen, um beispielsweise eine Kollision mit dem sich im rückwärtigen Bereich des Fahrzeuges befindlichen Objekt weitestgehend zu vermeiden.
Insbesondere kann mittels des Verfahrens eine Sicherheit des Fahrzeuges bei einem Rückwärtsfahren erhöht werden.
In einer Ausführung wird der Spiegel, insbesondere der Außenspiegel oder der Innenspiegel, mit dem höchsten Nützlichkeitswert für den Fahrzeugnutzer in einer vorliegenden Rückwärtsfahrsituation optisch und/oder akustisch hervorgehoben. Das heißt, dass der Fahrzeugnutzer mittels des Hervorhebens darauf aufmerksam gemacht wird, in welchen Spiegel er schauen soll, um nicht mit einem in dem rückwärtigen Bereich des Fahrzeuges befindlichen Objekt zu kollidieren. Schaut der Fahrzeugnutzer in den hervorgehobenen Spiegel, so kann der Fahrzeugnutzer das Objekt sehen und mittels Lenken und/oder Bremsen auf dieses reagieren, insbesondere um die Kollision zu vermeiden. Mittels des Verfahrens kann also eine Blickführung des Fahrzeugnutzers in einer Rückwärtsfahrsituation des Fahrzeuges optimiert werden.
In einer weiteren Ausführung werden mittels eines trainierten Vorhersagemodells und/oder mittels einer heuristischen Formel Faktoren gewichtet, um den jeweiligen Nützlichkeitswert in Bezug auf die Spiegel, insbesondere den Außenspiegel und den Innenspiegel, zu ermitteln. Dabei erfolgt die Gewichtung insbesondere dahingehend, dass zwischen Gegenständen und Personen als detektierte Objekte unterschieden wird, und ermittelt wird, ob sich das jeweils detektierte Objekt bewegt.
Als Faktoren werden in einer möglichen Ausführung des Verfahrens ein optischer Fluss, eine Änderung des optischen Flusses, eine Objektdetektion sowie eine Distanz zwischen dem Fahrzeug und dem jeweils im rückwärtigen Bereich detektierten Objekt gewichtet. Es ist also vorgesehen, dass zwischen Bewegungen, Bewegungsgeschwindigkeiten und auch einer Kategorie des jeweils detektierten Objektes unterschieden wird, um den Nützlichkeitswert in Bezug auf die Spiegel zu ermitteln. Daraufhin wird der Spiegel optisch und/oder akustisch hervorgehoben, dessen Nützlichkeitswert für den Fahrzeugnutzer in der vorliegenden Rückwärtsfahrsituation am höchsten ist.
In einer weiteren Ausführung ist vorgesehen, als Faktoren zusätzlich die Distanzen der Objekte zum Egofahrzeug zu berücksichtigen, so dass ein vergleichsweise nah zu dem Fahrzeug befindlicher Baum, eine Mülltonne oder eine Wand stärker gewichtet werden, als wenn sich das jeweilige Objekt, insbesondere ein Baum, eine Mülltonne oder eine Wand, vergleichsweise weit entfernt zu dem Fahrzeug befindet.
Dazu ist in einer weiteren Ausführung vorgesehen, dass ein als Person detektiertes Objekt in einer Umgebung des Fahrzeuges in Bezug auf den Nützlichkeitswert höher gewichtet wird als ein als Gegenstand detektiertes Objekt. Das heißt, dass aufgrund des ermittelten Nützlichkeitswertes der Spiegel des Fahrzeuges akustisch und/oder optisch hervorgehoben wird, in dessen Sichtbereich sich eine Person als detektiertes Objekt befindet. Kollidiert das Fahrzeug mit einem Baum als detektiertes Objekt, dann ist dieser Umstand weniger schlimm, als wenn eine Person, beispielsweise ein Kind, von dem Fahrzeug angefahren wird. Beispielsweise kann hierzu auch vorgesehen sein, dass der Spiegel, in dessen Sichtbereich sich der Baum befindet, woraus ein Kollisionsrisiko für das Fahrzeug resultiert, ebenfalls optisch und/oder akustisch hervorgehoben wird, wobei zwischen den Hervorhebungen unterschieden werden kann, so dass der Fahrzeugnutzer ein Risiko oder eine Kritikalität anhand der jeweiligen Hervorhebung abschätzen kann.
Wenn in einer Weiterbildung des Verfahrens ermittelt wird, dass sich in einem Sichtbereich eines der Spiegel, insbesondere der Außenspiegel oder des Innenspiegels, ein Objekt befindet und/oder eine Bewegung detektiert wird, dann ist der Nützlichkeitswert dieses Außenspiegels oder des Innenspiegels höher als der Nützlichkeitswert des Außenspiegels oder des Innenspiegels, in dessen Sichtbereich der optische Fluss geringer ist oder kein Objekt erkannt wurde. Auch hier wird zwischen verschiedenen Situationen unterschieden, um den Spiegel des Fahrzeuges optisch und/oder akustisch hervorzuheben, bei welchem ein höheres Risiko für eine Kollision des Fahrzeuges besteht, insbesondere mit einer sich bewegenden Person als detektiertes Objekt.
In einer weiteren möglichen Ausführung wird der optische Fluss in dem jeweiligen Sichtbereich zur Quantisierung einer Bewegung eines detektierten Objektes ermittelt. Beispielsweise kann dann anhand einer ermittelten Bewegungsrichtung und einer Bewegungsgeschwindigkeit des detektierten Objektes ermittelt werden, in welchem Sichtbereich welchen Spiegels sich das detektierte Objekt zu einem momentanen Zeitpunkt und zu einem späteren Zeitpunkt befindet und der entsprechende Spiegel optisch und/oder akustisch hervorgehoben wird. Beispielsweise kann anhand eines Verlaufes der optischen und/oder akustischen Hervorhebung die ermittelte Bewegungsrichtung des detektierten Objektes angezeigt werden.
Darüber hinaus wird bei der Ermittlung des optischen Flusses in dem Sichtbereich der Spiegel eine aus einer Eigenbewegung des Fahrzeuges resultierende Relativbewegung zwischen dem Fahrzeug und seiner Umgebung anhand erfasster Signale zumindest eines fahrzeugseitigen Beschleunigungssensors ermittelt und kompensiert. Durch die Erfassung und Kompensation der Relativbewegung kann eine genaue Position des detektieren Objektes in Bezug auf das Fahrzeug ermittelt werden, so dass der Nützlichkeitswert bestimmt werden kann, um den Spiegel optisch und/oder akustisch hervorzuheben, in dessen Sichtbereich sich das detektierte Objekt befindet.
Zur weiteren Unterstützung des Fahrzeugnutzers beim Rückwärtsfahren ist vorgesehen, dass zumindest ein Ausschnitt des Sichtbereiches des jeweiligen Spiegels, beispielsweise des jeweiligen Außenspiegels und des Innenspiegels, nach dem ermittelten Nützlichkeitswert sortiert auf einer Anzeigeeinheit in dem Fahrzeug dargestellt wird. Somit hat der Fahrzeugnutzer zumindest die Ausschnitte des jeweiligen Sichtbereiches in seinem Blickfeld, so dass der Fahrzeugnutzer selbst eine Bewegungsrichtung eines detektierten sich bewegenden Objektes ermitteln und entsprechend lenken und/oder bremsen kann, um eine Kollision mit dem Objekt zu vermeiden.
In einer Weiterbildung des Verfahrens wird das Vorhersagemodell mittels Methoden maschinellen Lernens trainiert, wobei das Trainieren insbesondere auf von Fahrzeugen einer Fahrzeugflotte, beispielsweise eines Fahrzeugherstellers, an eine mit den Fahrzeugen datentechnisch gekoppelte zentrale Rechnereinheit übermittelten Informationen beruht. Insbesondere werden hierbei der Blickwinkel des jeweiligen Fahrzeugnutzers auf den jeweiligen Spiegel und/oder aus dem Fenster sowie jeweilige Aufzeichnungen einer Fahrzeugsteuerung, Einstellungen der Spiegel, eine Augenposition der Fahrzeugnutzer, Sensorinformationen der Umgebungssensorik des jeweiligen Fahrzeuges berücksichtigt, um beispielsweise zu ermitteln, welche Informationen im Sichtbereich des angeschauten Spiegels zu einer Bremsung oder gar Notbremsung des jeweiligen Fahrzeuges führten. Das Vorhersagemodell kann dann eine Näherung einer Wahrscheinlichkeit einer Bremsung oder gar Notbremsung bestimmen, welche als Nützlichkeitswert zur optischen und/oder akustischen Hervorhebung des entsprechenden Spiegels interpretiert werden kann.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:

1 schematisch ein Fahrzeug mit einem Fahrzeugnutzer, einem Erfassungsbereich einer Umgebungssensorik und einem Sichtbereich eines jeweiligen Außenspiegels und eines Innenspiegels,
2 schematisch das Fahrzeug mit einem im Erfassungsbereich der Umgebungssensorik und in einem Sichtbereich des Innenspiegels befindlichen Objekt und
3 schematisch das Fahrzeug mit dem im Erfassungsbereich der Umgebungssensorik und in dem Sichtbereich des Innenspiegels befindlichen Objekt sowie einem im Sichtbereich eines Außenspiegels befindlichen weiteren Objekt.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
1 zeigt ein Fahrzeug 1 mit einem Fahrzeugnutzer 2, einem Erfassungsbereich E, insbesondere einen erfassten rückwärtigen Bereich, einer zwei Kameras 3.1 aufweisenden Umgebungssensorik 3 sowie einer Anzahl von Spiegeln 4 bis 6 mit einem jeweiligen Sichtbereich SB1 bis SB3, wobei die Anzahl der Spiegel 4 bis 6 variieren kann. Auch eine Anzahl der Kameras 3.1 kann variieren, so dass die Umgebungssensorik 3 auch nur eine Kamera 3.1 oder mehr als zwei Kameras 3.1 aufweisen kann.
Im Folgenden wird ein Spiegel 4 als linker Außenspiegel 4, ein Spiegel 5 als Innenspiegel 5 und ein Spiegel 6 als rechter Außenspiegel 6 des Fahrzeuges 1 bezeichnet. Dabei ist ein Sichtbereich SB1 dem linken Außenspiegel 4, ein Sichtbereich SB2 dem Innenspiegel 5 und ein Sichtbereich SB3 dem rechten Außenspiegel 6 des Fahrzeuges 1 zugeordnet.
2 zeigt das Fahrzeug 1 mit dem Fahrzeugnutzer 2, die Umgebungssensorik 3 und einem in dem Erfassungsbereich E und in einem Sichtbereich SB2 des Innenspiegels 5 befindlichem Objekt 01.
In 3 ist das Fahrzeug 1 mit dem im Erfassungsbereich E der Umgebungssensorik 3 und in dem Sichtbereich SB2 des Innenspiegels 5 befindlichen Objekt 01 sowie einem im Sichtbereich SB1 des linken Außenspiegels 4 befindlichen weiteren Objekt 02 dargestellt.
Im Allgemeinen ist bekannt, dass mit steigenden Anforderungen an eine passive Sicherheit von Fahrzeugen 1 eine Sicht des Fahrzeugnutzers 2, insbesondere bei einem Rückwärtsfahren, zum Beispiel durch eine verbreiterte A-Säule, B-Säule und/oder C-Säule, sowie damit einhergehende Verkleinerungen von Fensterflächen verringert wird.
Darüber hinaus ist ein direkter Blick eines Fahrzeugnutzers 2, beispielsweise in einem Transporter oder in einem Lastkraftwagen, aus einer Fahrerkabine nach außen nur eingeschränkt möglich. Dieser Umstand kann zum Beispiel mittels einer Umgebungssensorik 3 kompensiert werden.
Dem Fahrzeugnutzer 2 stehen üblicherweise die beiden seitlichen Außenspiegel 4, 6 und der Innenspiegel 5 zur Verfügung, um beispielsweise rückwärts aus einer Garage herauszufahren. Hierbei kann der Fahrzeugnutzer 2 sein Augenmerk auf einen der beiden Außenspiegel 4, 6 oder auf den Innenspiegel 5 oder auf eine Anzeigeeinheit, mittels welcher erfasste Bilddaten der Umgebungssensorik 3 angezeigt werden, richten. Dadurch kann die Gefahr bestehen, dass sich in einem geplanten Fahrweg des Fahrzeuges 1 befindliche Objekte 01, 02, beispielsweise Bäume 7, Gegenstände und/oder Personen 8, gar nicht oder, vergleichsweise spät oder zu spät von dem Fahrzeugnutzer 2 wahrgenommen werden.
Im Folgenden wird ein Verfahren zur Unterstützung eines Fahrzeugnutzers 2 eines Fahrzeuges 1 während eines Rückwärtsfahrens mit dem Fahrzeug 1 beschrieben, wobei das Verfahren vorsieht, eine Blickführung des Fahrzeugnutzers 2 zu optimieren.
Dabei wird zunächst eine Kopf- und Augenposition des Fahrzeugnutzers 2, insbesondere eine Kopf- und Augenhöhe, relativ zu den beiden Außenspiegeln 4, 6 und dem Innenspiegel 5 sowie eine Einstellung, das heißt einen Kippwinkel und einen Neigungswinkel, der beiden Außenspiegel 4, 6 und des Innenspiegels 5 ermittelt. Die Einstellungen der Außenspiegel 4, 6 und des Innenspiegels 5 werden sensorisch erfasst, wobei die Einstellungen alternativ oder zusätzlich aus einer Steuereinheit einer Ansteuerung der Außenspiegel 4, 6 und des Innenspiegels 5 ausgelesen wird, sofern eine automatisierte Ansteuerung in Bezug auf den jeweiligen Kipp- und Neigungswinkel mittels der Steuereinheit vorgesehen ist.
Beispielsweise wird die Kopf- und Augenposition des Fahrzeugnutzers 2 anhand erfasster Signale eines im Fahrzeug 1 verbauten Sensors, beispielsweise in Form einer Innenraumkamera und/oder einem anderen geeigneten Sensor, mittels einer Steuereinheit ermittelt.
Basierend auf der ermittelten Kopf- und Augenposition des Fahrzeugnutzers 2 relativ zu den Außenspiegeln 4, 6 und dem Innenspiegel 5 wird eine virtuelle Trajektorie zwischen den Augen des Fahrzeugnutzers 2 und den Außenspiegeln 4, 6 sowie zu dem Innenspiegel 5 bestimmt. Das heißt, dass ein Blickwinkel auf den jeweiligen Außenspiegel 4, 6 und den Innenspiegel 5 ermittelt wird.
Mittels der Kameras 3.1 der Umgebungssensorik 3, welche zusätzlich weitere, nicht näher dargestellte Erfassungseinheiten umfasst, die beispielsweise lidarbasiert und/oder ultraschallbasiert ausgeführt sind, werden fortlaufend Bilddaten erfasst. Anhand dieser erfassten Bilddaten werden eine Umgebung des Fahrzeuges 1 und sich in dieser befindenden Objekte 01, 02 detektiert. Beispielsweise werden zusätzlich zu sogenannten framebasierten, beispielsweise APS-Kameras, auch eventbasierte Kameras 3.1, beispielsweise mit dynamischem Bild-Sensor (engl. „dynamic vision sensor“, abgekürzt „DVS“), verwendet. Derartige eventbasierte Kameras 3.1 weisen aufgrund ihrer Funktion einen höheren dynamischen Bereich auf als beispielsweise die framebasierten Kameras 3.1, so dass eine Sensorik bei vergleichsweise schwierigen Sichtverhältnissen geeigneter ist, wobei auch eine höhere Zeitauflösung vorhanden sein kann. Somit sind die eventbasierten Kameras 3.1 in Kombination mit framebasierten Kameras 3.1 im Sinne einer diversitären Redundanz zur zusätzlichen Absicherung von kamerabasierten sicherheitsrelevanten Anwendungen geeignet und ermöglichen eine aufgrund der höheren Zeitauflösung bewährte Implementation des beschriebenen Verfahrens.
Anhand der ermittelten Kopf- und Augenhöhe des Fahrzeugnutzers 2, der ermittelten Einstellung der Außenspiegel 4, 6 und des Innenspiegels 5 und des Erfassungsbereiches E der Umgebungssensorik 3 wird ein jeweiliger Umgebungsbereich ermittelt, welcher sich mittels des jeweiligen Außenspiegel 4, 6 und des Innenspiegels 5 im Sichtbereich SB1 bis SB3 des Fahrzeugnutzers 2 befindet. Dabei werden Abbildungseigenschaften der Außenspiegel 4, 6 und des Innenspiegels 5, beispielsweise eine Brennweite, auf die von den Kameras 3.1 der Umgebungssensorik 3 aufgenommenen Bilddaten unter Berücksichtigung der Abbildungseigenschaften der Kameras 3.1 abgebildet. Die Abbildungseigenschaften und eine Position der Außenspiegel 4, 6 und des Innenspiegels 5 sowie Eigenschaften der Außenspiegel 4, 6 und des Innenspiegels 5, zum Beispiel Brennweiten, Positionen und Ausrichtungen, liegen zur Durchführung des Verfahrens vor.
Der Sichtbereich SB1 bis SB3 der Außenspiegel 4, 6 und des Innenspiegels 5 wird insbesondere anhand der Augenposition des Fahrzeugnutzers 2, des Blickwinkels auf die Außenspiegel 4, 6 und den Innenspiegel 5 und die Position sowie Ausrichtung der Außenspiegel 4, 6 und des Innenspiegels 5 und anhand der Abbildungseigenschaften der Außenspiegel 4, 6 und des Innenspiegels 5 bestimmt. Das heißt, dass in Bezug auf den Erfassungsbereich E der Umgebungssensorik 3 die Umgebungsbereiche ermittelt werden, welche sich in dem jeweiligen Sichtbereich SB1 bis S3 der Außenspiegel 4, 6 und des Innenspiegels 5 befinden.
Mittels Methoden des computergestützten Sehens können nun charakteristische Werte eines relevanten Informationsgehaltes für den Fahrzeugnutzer 2 in dem jeweiligen Sichtbereich SB1 bis SB3 ermittelt werden. So kann beispielsweise ein optischer Fluss in den jeweiligen Sichtbereich SB1 bis SB3 bestimmt werden, um Bewegungen in den Sichtbereichen SB1 bis SB3 zu quantisieren. Hierbei kann eine durch eine Eigenbewegung des Fahrzeuges 1 verursachte Relativbewegung zwischen dem Fahrzeug 1 und der Umgebung anhand erfasster Signale zumindest eines fahrzeugseitig verbauten Beschleunigungssensors erfasst und kompensiert werden. Dazu wird zum Beispiel eine durch die Eigenbewegung des Fahrzeuges 1 verursachte mittlere optische Flussdichte von einer gemessenen optischen Flussdichte subtrahiert. Des Weiteren kann eine relative zeitliche Änderung des optischen Flusses ausgewertet werden, um ein sich beschleunigendes Objekt 02, insbesondere eine Person 8 etc., in der Umgebung des Fahrzeuges 1, insbesondere im rückwärtigen Bereich, zu erkennen.
Ist eine der beiden Kameras 3.1 als eventbasierte Kamera 3.1 ausgebildet, können erfasste Bilddaten zur Charakterisierung des relevanten Informationsgehaltes in den Sichtbereichen SB1 bis SB3 der Außenspiegel 4, 6 und des Innenspiegels 5 verwendet werden. So kann die vergleichsweise hohe zeitliche Auflösung genutzt werden, um die Kameraereignisse, also in den Bilddaten erfasste Objekte 01, 02 über relativ kurze Zeitintervalle zu aggregieren und um über eine Änderung, das heißt eine zeitliche Ableitung, von Ereignishäufigkeiten auf eine Relativbewegung in dem betrachteten SichtbereichSB1 bis SB3 zu schließen.
Des Weiteren können Standardverfahren des computergestützten Sehens verwendet werden, um Objekte 01, 02 in den Sichtbereichen SB1 bis SB3, zum Beispiel Gegenstände, Bäume 7, Personen 8 etc., zu detektieren und zu klassifizieren.
Ein trainiertes Vorhersagemodell und/oder eine während einer Fahrzeugentwicklung ermittelte heuristische Formel wird verwendet, um unterschiedliche Faktoren, insbesondere ein optischer Fluss, eine Änderung des optischen Flusses, eine Objektdetektion etc., zu gewichten und den Außenspiegeln 4, 6 und dem Innenspiegel 5 einen Nützlichkeitswert zuzuweisen. Werden beziehungsweise wird in einem Sichtbereich S1, S3 einer der Außenspiegel 4, 6 oder in dem Sichtbereich SB2 des Innenspiegels 5 ein Gegenstand und/oder eine Person 8 als Objekt 01, 02 und/oder eine schnelle Bewegung erkannt, so ist der Nützlichkeitswert dieses Außenspiegels 4, 6 oder des Innenspiegels 5 höher als bei einem Außenspiegel 4, 6 oder dem Innenspiegel 5, bei welchem der optische Fluss klein ist und kein Objekt 01, 02 erkannt wurde. Darüber hinaus ist vorgesehen, dass ein als Person 8 erfasstes Objekt 02 höher gewichtet wird als beispielsweise ein Baum 7 als erfasstes Objekt 01.
Zur Unterstützung des Fahrzeugnutzers 2 während des Rückwärtsfahrens wird der Außenspiegel 4, 6 oder der Innenspiegel 5 optisch und/oder akustisch hervorgehoben, welchem der höchste Nützlichkeitswert in einer vorliegenden Rückwärtsfahrsituation zugewiesen ist.
Um das Vorhersagemodell mittels Methoden maschinellen Lernens zu trainieren, wird wie folgt vorgegangen: zunächst wird die Blickrichtung des Fahrzeugnutzers auf die Außenspiegel 4, 6, den Innenspiegel 5 oder aus dem Fenster ermittelt. Darüber hinaus werden eine Fahrzeugsteuerung, Einstellungen der Außenspiegel 4, 6 und des Innenspiegels 5, die Augenposition des Fahrzeugnutzers 2, erfasste Bilddaten der Umgebungssensorik 3 des Fahrzeuges 1 aufgezeichnet. Diese erfassten Informationen aus Fahrzeugen 1 einer Fahrzeugflotte, insbesondere eines Fahrzeugherstellers, werden an eine datentechnisch mit den Fahrzeugen 1 der Fahrzeugflotte gekoppelten zentralen Rechnereinheit übermittelt, um die Informationen dort zu speichern und gegebenenfalls zu aggregieren. Insbesondere werden die Informationen übermittelt und gespeichert, um zu ermitteln, auf Grundlage welches Informationsgehaltes des angeschauten Außenspiegels 4, 6 und des Innenspiegels 5 eine Bremsung oder gar Notbremsung eingeleitet wurde.
Ein Trainieren des Vorhersagemodells erfolgt also auf Basis der aus der Fahrzeugflotte gesammelten Informationen, wobei das Vorhersagemodell die in den Sichtbereichen SB1 bis SB3 vorhandenen Informationsgehalte, insbesondere des zuletzt betrachteten Sichtbereiches SB1 bis SB3, in Bezug auf die Fahrzeugsteuerung und insbesondere in Bezug auf eine Bremsung des Fahrzeuges 1 abbildet.
Das Vorhersagemodell liefert eine Näherung einer Wahrscheinlichkeit einer Bremsung oder gar Notbremsung, wobei die Wahrscheinlichkeit als Nützlichkeitswert interpretiert werden kann. Beispielsweise kann ein tiefes neuronales Netz verwendet werden, welches Merkmalswerte auf die Fahrzeugsteuerung und insbesondere auf die Bremsung des Fahrzeuges 1 abbildet, das heißt, welcher Außenspiegel 4, 6 oder Innenspiegel 5 wurde angeschaut, welcher Sichtbereich SB1 bis SB3 wurde basierend darauf von dem Fahrzeugnutzer 2 gesehen, welcher Informationsgehalt liegt in dem jeweiligen angeschauten Sichtbereich SB1 bis SB3 vor. Dabei werden dieses Merkmalswerte insbesondere anhand von Bilddaten oder extrahierter Merkmale, abgebildet.
In einer Ausführung des Verfahrens kann eine Darstellung wichtigster Bildausschnitte des Sichtbereiches SB1 bis SB3 der Außenspiegel 4, 6 und des Innenspiegels 5 auf einer Anzeigeeinheit als Benutzerschnittstelle des Fahrzeuges 1, sortiert und/oder hervorgehoben nach den Nützlichkeitswerten, generiert und dem Fahrzeugnutzer 2 angezeigt werden.
In einer weiteren Ausführung kann ein Verhalten des Fahrzeugnutzers 2 dahingehend trainiert werden, den Außenspiegel 4, 6 oder Innenspiegel 5 mit dem höchsten Nützlichkeitswert als Informationsquelle zu verwenden. Hierzu wird zunächst die Kopf- und Augenposition des Fahrzeugnutzers 2 fortlaufend erfasst und verwendet, um zu ermitteln, welchen Außenspiegel 4, 6, Innenspiegel 5 oder welches Kamerabild der Fahrzeugnutzer 2 während seiner Rückwärtsfahrt genutzt hat. Anschließend wird das Fahrerverhalten unter Berücksichtigung des Nützlichkeitswertes der verwendeten Informationsquelle analysiert, um somit eine relative Güte des Verhaltens des Fahrzeugnutzers 2 zu ermitteln. Eine solche Bewertung wird dem Fahrzeugnutzer 2 angezeigt und es können dem Fahrzeugnutzer 2 Anreize geben werden, diese Bewertung und somit eine Sicherheit beim Rückwärtsfahren des Fahrzeuges 1 zu optimieren.
In einer weiteren naheliegenden Ausführung kann beziehungsweise können zusätzlich zu den Sichtbereichen SB1 bis SB3 der Außenspiegel 4, 6 oder des Innenspiegels 5 ein oder mehrere nicht gezeigte weitere Sichtbereiche des Fahrzeugnutzers 2 bei einer Drehung und einem rückwärtigen Herausschauen aus Rückfenstern oder hinteren Seitenfenstern des Fahrzeuges 1 mittels des oben beschriebenen Verfahrens bestimmt und verwendet werden. Beispielsweise kann dem Fahrzeugnutzer 2 somit die Drehung und das rückwärtige Herausschauen aus den Rückfenstern oder Seitenfenstern des Fahrzeuges 1 empfohlen werden, wenn der Nützlichkeitswert bei Ausführen der Drehung und rückwärtigem Herausschauen aus dem Fahrzeug 1 höher ist als die Nützlichkeitswerte der Außenspiegel 4, 6 oder des Innenspiegels 5.
Im Folgenden wird das Verfahren anhand eines Anwendungsbeispieles näher beschrieben.
Der Fahrzeugnutzer 2 eines Fahrzeuges 1 fährt rückwärts aus seiner Garage auf eine vor dieser liegenden Straße. Im Sichtbereich SB1 des linken Außenspiegels 4 befindet sich eine Mülltonne als erfasstes Objekt 1, im Sichtbereich SB3 des rechten Außenspiegels 6 befindet sich ein Kind auf einem Bobbycar als erfasstes Objekt 02. Die Nützlichkeitswerte der beiden Außenspiegel 4, 6 werden automatisiert, wie oben beschrieben, ermittelt. Gemäß diesem Anwendungsbeispieles ist der Nützlichkeitswert des rechten Außenspiegels 6 größer als der Nützlichkeitswert des linken Außenspiegels 4, da in dem Sichtbereich SB3 des rechten Außenspiegels 6 eine Person 8, insbesondere ein Kind, erkannt wurde, wobei sich die Person 8 bewegt und dadurch der mittlere optische Fluss höher ist als der der Mülltonne, bei welcher es sich im Wesentlichen um ein stationäres Objekt 01 handelt. In Abhängigkeit der ermittelten Nützlichkeitswerte wird der rechte Außenspiegel 6, zum Beispiel optisch mittels einer durch eine rote LED erzeugten Beleuchtung hervorgehoben und/oder es wird ein akustischer Signalton auf einer rechten Fahrzeugseite ausgegeben. Alternativ oder zusätzlich können beziehungsweise kann eine Ausgabe eines haptischen Reizes und/oder akustischen Reizes, zum Beispiel mittels Vibrieren eines Fahrersitzes, insbesondere im rechten Sitzbereich, eines mittels Innenraumlautsprechern, insbesondere eines rechten Innenraumlautsprechers ausgegebenen Warntones, erfolgen, um die Aufmerksamkeit des Fahrzeugnutzers 2 auf den rechten Außenspiegel 6 zu lenken.
Gemäß dem in 2 gezeigten Ausführungsbeispiel befindet sich in dem Sichtbereich SB2 des Innenspiegels 5 ein Baum 7, welcher als Objekt 01 anhand der erfassten Bilddaten der Kameras 3.1 detektiert wird. Dementsprechend ist der ermittelte Nützlichkeitswert des Innenspiegels 5 im Vergleich zu dem ermittelten Nützlichkeitswert des jeweiligen Außenspiegels 4, 6 höher, so dass der Innenspiegel 5 zumindest optisch hervorgehoben wird.
In dem in 3 gezeigten Ausführungsbeispiel wird in dem Erfassungsbereich E der Umgebungssensorik 3 zusätzlich zu dem Baum 7 eine Person 8 als weiteres Objekt 02 detektiert. Diese Person 8 befindet sich zudem in dem Sichtbereich SB1 des linken Außenspiegels 4 des Fahrzeuges 1. Der ermittelte Nützlichkeitswert des linken Außenspiegels 4 ist dementsprechend hoch, da, wie oben beschrieben, in dem rückwärtigen Bereich detektierte Personen 8 höher gewichtet werden als Gegenstände und Bäume 7. Da der Nützlichkeitswert des linken Außenspiegels 4 höher ist als der Nützlichkeitswert des Innenspiegels 5 und des rechten Außenspiegels 6, wird der linke Außenspiegel 4 zumindest optisch hervorgehoben.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2004110817 A1 [0002]

Claims

Verfahren zur Unterstützung eines Fahrzeugnutzers (2) eines Fahrzeuges (1) während eines Rückwärtsfahrens mit dem Fahrzeug (1), wobei das Fahrzeug (1) eine Anzahl von Spiegeln (4 bis 6) zur Erfassung zumindest eines rückwärtigen Bereiches aufweist, dadurch gekennzeichnet, dass - anhand einer ermittelten Kopf- und Augenhöhe des Fahrzeugnutzers (2) relativ zu den Spiegeln (4 bis 6) ein Blickwinkel des Fahrzeugnutzers (2) auf den jeweiligen Spiegel (4 bis 6) ermittelt wird, - anhand einer Augenposition des Fahrzeugnutzers (2), des Blickwinkels des Fahrzeugnutzers (2) auf die Spiegel (4 bis 6) und einer Ausrichtung der Spiegel (4 bis 6) ein jeweiliger Sichtbereich (SB1 bis SB3) des Fahrzeugnutzers (2) über die Spiegel (4 bis 6) ermittelt wird, - anhand eines Erfassungsbereiches (E) einer Umgebungssensorik (3) ein jeweiliger Umgebungsbereich ermittelt wird, welcher sich mittels des jeweiligen Spiegels (4 bis 6) im Sichtbereich (SB1 bis SB3) des Fahrzeugnutzers (2) befindet und - im Fall eines bei einer Rückwärtsfahrt anhand der erfassten Signale der Umgebungssensorik (3) in dem rückwärtigen Bereich des Fahrzeuges (1) detektierten Objektes (01, 02) dem Spiegel (4 bis 6) ein höherer Nützlichkeitswert zugeordnet wird, in dessen Sichtbereich (SB1 bis SB3) sich das detektierte Objekt (01, 02) befindet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Spiegel (4 bis 6) mit dem höchsten Nützlichkeitswert für den Fahrzeugnutzer (2) in einer vorliegenden Rückwärtsfahrsituation optisch und/oder akustisch hervorgehoben wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mittels eines trainierten Vorhersagemodells und/oder mittels einer heuristischen Formel Faktoren gewichtet werden, um den jeweiligen Nützlichkeitswert in Bezug auf die Spiegel (4 bis 6) zu ermitteln.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als Faktoren ein optischer Fluss, eine Änderung des optischen Flusses, eine Objektdetektion und eine Distanz zwischen dem Fahrzeug (1) und dem detektierten Objekt (01, 02) gewichtet werden.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass ein als Person (8) detektiertes Objekt (02) in einer Umgebung des Fahrzeuges (1) in Bezug auf den Nützlichkeitswert höher gewichtet wird als ein als Gegenstand detektiertes Objekt (01).
Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass wenn ermittelt wird, dass sich in einem Sichtbereich (SB1 bis SB3) eines der Spiegel (4 bis 6) ein Objekt (01, 02) befindet und/oder eine Bewegung detektiert wird, der Nützlichkeitswert dieses Spiegels (4 bis 6) höher ist als der Nützlichkeitswert des Spiegels (4 bis 6), in dessen Sichtbereich (SB1 bis SB3) der optische Fluss geringer ist oder kein Objekt (01, 02) erkannt wurde.
Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass der optische Fluss in dem jeweiligen Sichtbereich (SB1 bis SB3) zur Quantisierung einer Bewegung eines detektierten Objektes (01, 02) ermittelt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass bei der Ermittlung des optischen Flusses in dem Sichtbereich (SB1 bis SB3) der Spiegel (4 bis 6) eine aus einer Eigenbewegung des Fahrzeuges (1) resultierende Relativbewegung zwischen dem Fahrzeug (1) und seiner Umgebung anhand erfasster Signale zumindest eines fahrzeugseitigen Beschleunigungssensors ermittelt und kompensiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest ein Ausschnitt des Sichtbereiches (SB1 bis SB3) des jeweiligen Spiegels (4 bis 6) nach dem ermittelten Nützlichkeitswert sortiert auf einer Anzeigeeinheit in dem Fahrzeug (1) dargestellt wird.
Verfahren nach einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, dass das Vorhersagemodell mittels Methoden maschinellen Lernens trainiert wird.