-
Die Erfindung betrifft ein Kraftfahrzeug mit einer Anzeigevorrichtung sowie mit einem Kamerasystem zur Aufnahme zumindest eines Bildstromes von der Umgebung des Kraftfahrzeuges, wobei das Kraftfahrzeug eine Blickrichtungssensorik zur Erfassung der Blickrichtung eines Fahrers des Kraftfahrzeuges umfasst.
-
Die
DE 10 2006 047 777 A1 offenbart ein Fahrzeugassistenzsystem, wobei mittels einer Kamera Bilddaten aus dem Umfeld eines Fahrzeugs aufgenommen und die Bilddaten nach einer Objekterkennung und Bildverarbeitung zumindest teilweise auf einer Anzeige dargestellt werden. Nach der Aufnahme der Bilddaten durch die Kamera werden diese mittels einer Objekterkennung verarbeitet, um Objekte in den aufgenommenen Bilddaten zu erkennen. Die so erkannten Objekte werden zumindest teilweise bei der Darstellung von Bilddaten auf der Anzeige hervorgehoben.
-
Die
DE 10 2014 220 524 A1 offenbart ein Fahrzeugassistenzsystem mit einer Frontkamera, die ein Kameragehäuse aufweist, das an der Frontscheibe eines Kraftfahrzeugs angebracht werden kann sowie eine Spiegeleinrichtung, welche ein Spiegelgehäuse aufweist, das an der der Frontscheibe abgewandten Seite des Kameragehäuses angeordnet ist. Das Fahrzeugassistenzsystem umfasst eine Recheneinrichtung, die für ein von der Kamera aufgenommenes Bild, basierend auf einer erfassten Kopfposition einen relevanten Bildausschnitt berechnet und zur Anzeige bereitstellt. Dabei kann zudem vorgesehen sein, dass in Abhängigkeit von dynamischen Kopfbewegungen des Fahrers ein anzuzeigender Bildausschnitt vergrößert wird.
-
Die
DE 10 2014 016 612 A1 offenbart ein Verfahren zur Darstellung von Umgebungsinformationen in einem Fahrzeug, wobei Bilder einer der Fahrzeug vorausliegenden Umgebung zeitlich nacheinander erfasst werden und in Abhängigkeit einer Fahrzeuggeschwindigkeit vergrößerte Ausschnitte der erfassten Bilder derart gewählt und zeitlich nacheinander als Videovollbild dargestellt werden, dass ein Vergrößerungsgrad mit wachsender Fahrzeuggeschwindigkeit steigt.
-
Es ist Aufgabe der Erfindung, den Fahrer eines Kraftfahrzeugs bei möglichst geringer Zeitinanspruchnahme durch den Fahrer zu unterstützen.
-
Vorgenannte Aufgabe wird durch ein Kraftfahrzeug mit einer Anzeigevorrichtung sowie mit einem Kamerasystem zur Aufnahme zumindest eines Bildstromes von der Umgebung des Kraftfahrzeuges gelöst, wobei das Kraftfahrzeug eine Blickrichtungssensorik zur Erfassung der Blickrichtung eines Fahrers des Kraftfahrzeuges umfasst, wobei das Kraftfahrzeug eine Recheneinrichtung zur Darstellung eines stationären Bildes mittels der Anzeigevorrichtung aufweist, und wobei das stationäre Bild ein, insbesondere vergrößertes und/oder aufbereitetes, Bild des Bildstroms oder ein, insbesondere vergrößerter und/oder aufbereiteter, Ausschnitt des Bildes des Bildstroms zu einem Zeitpunkt (ggf. zuzüglich Latenzzeit) ist, an dem eine Auslösebedingung erfüllt ist.
-
Ein Kamerasystem im Sinne der Erfindung kann (insbesondere) eine Mehrzahl von Kameras umfassen, deren Bilder zu einem Bild zusammengefügt werden bzw. deren Bildströme zu einem Bildstrom zusammengefügt werden. Die Begriffe Kamerasystem und Kameraanordnung werden im Folgenden Synonym verwendet. Aufbereitung eines Bildes bzw. eines Ausschnitt eines Bildes kann im Sinne der Erfindung zum Beispiel Kontrastveränderung, Farbveränderung und/oder die Verwendung von Falschfarben bedeuten.
-
In vorteilhafter Ausgestaltung der Erfindung ist die Auslösebedingung erfüllt,
- – wenn mittels der Blickrichtungssensorik erkannt wird, dass der Blick des Fahrers auf die Anzeigevorrichtung gerichtet ist, und/oder wenn mittels der Blickrichtungssensorik erkannt wird, dass der Blick des Fahrers für eine Dauer, die einen Grenzwert überschreitet, auf denselben Bereich der Umgebung des Kraftfahrzeuges gerichtet ist; oder
- – wenn mittels der Blickrichtungssensorik erkannt wird, dass der Blick des Fahrers auf die Anzeigevorrichtung gerichtet ist; oder
- – wenn mittels der Blickrichtungssensorik erkannt wird, dass der Blick des Fahrers für eine Dauer, die einen Grenzwert (z.B. 15) überschreitet, auf denselben Bereich der Umgebung des Kraftfahrzeuges gerichtet ist.
-
In weiterhin vorteilhafter Ausgestaltung der Erfindung ist die Auflösung des Kamerasystems zumindest 200 Mal so groß wie die Auflösung der Anzeigevorrichtung.
-
In weiterhin vorteilhafter Ausgestaltung der Erfindung ist das stationäre Bild ein Bild des Bildstroms oder ein Ausschnitt des Bildes des Bildstroms, der dem Bereich der Umgebung des Kraftfahrzeugs entspricht, auf den der Blick des Fahrers unmittelbar vor der Auslösebedingung oder zum Zeitpunkt der Auslösebedingung gerichtet ist.
-
In weiterhin vorteilhafter Ausgestaltung der Erfindung weist die Kameraanordnung eine erste Kamera zur Aufnahme eines ersten Teilbildstromes von der Umgebung des Kraftfahrzeuges und zumindest eine zweite Kamera zur Aufnahme eines zweiten Teilbildstromes von der Umgebung des Kraftfahrzeuges auf. In weiterhin vorteilhafter Ausgestaltung der Erfindung werden der erste Teilbildstrom und der zumindest zweite Teilbildstrom zu einem Gesamtbildstrom zusammengeführt. In alternativer Ausgestaltung wird bei vorliegender Auslösebedingung aus dem ersten Bildstrom ein erstes stationäres Bild und aus dem zweiten Bildstrom ein zweites stationäres Bild erhalten, wobei das erste stationäre Bild und das zweite stationäre Bild zu einem stationären Gesamtbild zusammengefasst werden.
-
In weiterhin vorteilhafter Ausgestaltung der Erfindung ist die Anzeigevorrichtung ein Head-up-Display, das insbesondere in einem Teil (bzw. Bereich) der Windschutzscheibe des Kraftfahrzeuges angeordnet ist, der nicht in der Geradeausblickrichtung des Fahrers des Kraftzeugs liegt. In weiterer vorteilhafter Ausgestaltung der Erfindung umfasst das Kraftfahrzeug Tiefensensorik. Tiefensensorik im Sinne der Erfindung kann zum Beispiel als Radar, als Lidar oder als Stereo-Kamerasystem ausgestaltet sein. Es ist insbesondere vorgesehen, dass die Kameraanordnung und die Tiefensensorik zueinander kalibriert sind ("Hand-Eye-Calibration"). Dabei ist jedem Pixel der Kamera ein Tiefenwert zugeordnet. Es ist insbesondere vorgesehen, dass mittels der Tiefensensorik ein Objekt oder Objekte im Bild bzw. Bildstrom der Kameraanordnung detektiert bzw. erkannt werden. Dabei ist vorteilhafterweise vorgesehen, dass in Abhängigkeit erkannter Objekte aus dem stationären Bild ein Ausschnitt ausgewählt wird, der mittels der Anzeigevorrichtung zur Anzeige gebracht wird.
-
Vorgenannte Aufgabe wird zudem durch ein Verfahren zum Betrieb eines, eines oder mehrere der vorgenannten Merkmalen aufweisenden, Kraftfahrzeuges mit einer Anzeigevorrichtung sowie mit einem Kamerasystem zur Aufnahme zumindest eines Bildstromes von der Umgebung des Kraftfahrzeuges gelöst, wobei das Kraftfahrzeug einen Blickrichtungssensorik zur Erfassung der Blickrichtung eines Fahrers des Kraftfahrzeuges umfasst, wobei mittels der Anzeigevorrichtung ein stationäres Bild dargestellt wird und wobei das stationäre Bild ein Bild des Bildstroms zu einem Auslösezeitpunkt ist.
-
In weiterhin vorteilhafter Ausgestaltung weist die Kameraanordnung eine erste Kamera zur Aufnahme eines ersten Teilbildstromes von der Umgebung des Kraftfahrzeuges und zumindest eine zweite Kamera zur Aufnahme eines zweiten Teilbildstromes von der Umgebung des Kraftfahrzeuges auf, wobei der erste Teilbildstrom und der zweite Teilbildstrom zum Bildstrom zusammengeführt werden.
-
Es kann vorgesehen sein, dass das stationäre Bild oder der Ausschnitt des stationären Bildes zusätzlich oder alternativ auf einem Display im Bereich des Armaturenbrettes zwischen Fahrersitz und Beifahrersitz zur Anzeige gebracht werden. Ein solches Display ist in 3 beispielhaft mit Bezugszeichen 4‘ bezeichnet. Es ist insbesondere vorgesehen, dass mittels dieses Displays zudem die Bedienung eines Navigationssystems, eines Infotainmentsystems und/oder eines Telefons erfolgt. Eine Darstellung zu Bedienung dieser Funktionen wird beispielsweise bei Vorliegen der Auslösebedingung unterbrochen und das stationäre Bild bzw. der Ausschnitt des stationären Bildes angezeigt. Entsprechend ist insbesondere vorgesehen, dass das Kraftfahrzeug ein Navigationssystem, ein Infotainmentsystem und/oder eine Telefonschnittstelle umfasst.
-
Kraftfahrzeug im Sinne der Erfindung ist insbesondere ein individuell im Straßenverkehr benutzbares Landfahrzeug. Kraftfahrzeuge im Sinne der Erfindung sind insbesondere nicht auf Landfahrzeuge mit Verbrennungsmotor beschränkt.
-
Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen:
-
1 ein Ausführungsbeispiel eines Kraftfahrzeugs,
-
2 ein Ausführungsbeispiel für ein Assistenzsystem des Kraftfahrzeugs gemäß 1,
-
3 das Kraftfahrzeug gemäß 1 in einer ausschnittsweisen Innenansicht,
-
4 ein Ausführungsbeispiel für ein Verfahren zum Betrieb des Assistenzsystems gemäß 2,
-
5 ein Ausführungsbeispiel für die Blickrichtung eines Fahrers des Kraftfahrzeugs gemäß 1,
-
6 die Blickrichtung gemäß 5 in einer anderen Darstellung,
-
7 ein Ausführungsbeispiel für die Anzeige eines stationären Bildes,
-
8 ein Teil eines Bildes von der Umgebung des Fahrzeugs gemäß 1,
-
9 ein Ausführungsbeispiel für das Mappen (Transformieren) des Bildes gemäß 8 auf eine Kugel,
-
10 ein alternatives Ausführungsbeispiel zum Betrieb eines Assistenzsystems gemäß 2, und
-
11 ein weiteres alternatives Ausführungsbeispiel zum Betrieb eines Assistenzsystems gemäß 2.
-
1 offenbart ein Kraftfahrzeug 1, das ein Kamerasystem 5 zur Aufnahme zumindest eines Bildstroms von der Umgebung des Kraftfahrzeugs 1 sowie eine in 2 dargestellte Blickrichtungssensorik 8 zur Erfassung der Blickrichtung eines Fahrers 111 des Kraftfahrzeugs 1 umfasst. Zur Implementierung der Blickrichtungssensorik kann zum Beispiel folgende Ausführung eingesetzt werden: kontinuierliche Erfassung mittels eines 1- oder Mehrkamerasystems, z. B. Fa. SmartEye, Tobii EyeTracker: Dabei wird die Blickrichtung beider Augen unabhängig erfasst. Als Ergebnis werden die Koordinaten des Objektes im Raum (x, y, z) innerhalb oder außerhalb des Fahrzeugs erhalten, auf den der Fahrer seine Sicht fokussiert.
-
Alternativ kann vorgesehen sein, dass lediglich die Kopfdrehrichtung des Fahrers 111 erfasst wird, und die Kopfdrehrichtung als Näherung der Blickrichtung des Fahrers 111 verwendet wird. In dieser alternativen Ausgestaltung können zum Beispiel folgende Implementierungen verwendet werden:
- – Kontinuierliche Erfassung der Stellung des Kopfes des Fahrers 111 mittels eines 1- oder Mehrkamerasystems, z. B. Fa. ART (www.ar-tracking.com)
- – Kontinuierliche Erfassung der Stellung des Kopfes des Fahrers 111 mit anderen Sensorsystemen, z. B. Radar (www.computerbase.de/2015-05/project-soli-google-erforscht-fingergesten-erkennung-per-radar/)
Im Ergebnis werden eine Koordinate des Kopfes des Fahrers 111 im Raum (x, y, z) sowie die Drehrichtung des Kopfes des Fahrers 111 im Raum (xr, yr, zr) innerhalb oder außerhalb des Kraftfahrzeugs 1 erhalten.
-
Das Kraftfahrzeug 1 umfasst zudem eine Recheneinrichtung 7 zur Darstellung eines stationären Bildes mittels einer Anzeigevorrichtung, wobei das stationäre Bild ein, insbesondere vergrößertes und/oder aufbereitetes, Bild des Bildstroms oder ein, insbesondere vergrößerter und/oder aufbereiteter, Ausschnitt des Bildes des Bildstroms zu einem Zeitpunkt ist, an dem eine Auslösebedingung erfüllt ist. Im Ausführungsbeispiel gemäß 2 ist die Anzeigevorrichtung durch ein Head-up-Display mit einer bildgebenden Einheit 6 (z.B. Projektor) vorgesehen, das ein Bild in einem in 3 mit Bezugszeichen 4 bezeichneten Ausschnitt der Windschutzscheibe projiziert. Dieser Ausschnitt liegt insbesondere nicht in Geradeausrichtung vor dem Fahrer, sondern daneben, zum Beispiel im Bereich der Mittelkonsole (zwischen Fahrersitz und Beifahrersitz).
-
4 zeigt ein mittels des in 2 dargestellten Fahrerassistenzsystems implementiertes Verfahren. Dabei wird zunächst in einem Schritt 21 mittels des Kamerasystems 5 der Bildstrom von der Umgebung des Kraftfahrzeugs 1 aufgenommen. In einem Schritt 22 wird mittels der Blickrichtungssensorik 8 die in 5 bzw. 6 beispielhaft dargestellte Blickrichtung 112 des Fahrers 111 ermittelt. Die Schritte 21 und 22 können vorteilshafterweise gleichzeitig erfolgen, sie können jedoch auch subsequent erfolgen, wobei der Schritt 21 dem Schritt 22 folgen oder der Schritt 22 dem Schritt 21 folgen kann.
-
Es folgt als beispielhafte Implementierung der Auslösebedingung eine Abfrage 23, ob die Blickrichtung 112 auf den Bereich 4 gerichtet ist. Ist die Blickrichtung 112 nicht auf den Bereich 4 gerichtet, folgen der Abfrage 23 die Schritte 21 bzw. 22. Ist die Blickrichtung 112 dagegen auf den Bereich 4 gerichtet, so folgt ein Schritt 24, in dem ein stationäres Bild bzw. der Ausschnitt eines stationären Bildes bestimmt wird, das bzw. der, wie in 5 dargestellt, in einem Schritt 25 zur Anzeige vorgesehen ist. Dabei ist zu erkennen, dass die Blickrichtung 112 nunmehr auf den Bereich 4 gerichtet ist, sodass in dem Bereich 4 ein Bild bzw. Bildausschnitt dargestellt wird, der zur in 5 dargestellten Blickrichtung 112 korrespondiert.
-
Dem Schritt 25 folgt ein Schritt 26, der den Schritten 21 und 22 entspricht. Dem Schritt 26 folgt eine Abfrage 27, ob die Blickrichtung 112 von dem Bereich 4 abgewandt ist. Ist die Blickrichtung 112 nach wie vor auf den Bereich 4 gerichtet, so folgt der Schritt 26. Ist dagegen die Blickrichtung 112, insbesondere für eine bestimmte Zeitdauer, von dem Bereich 4 abgewandt, so wird das im Bereich 4 dargestellte Bild in einem Schritt 28 gelöscht. Dem Schritt 28 folgen die Schritte 21 und 22.
-
Das Kraftfahrzeug 1 kann zum Beispiel, wie in 2 gezeigt, Tiefensensorik 9 für die Umgebungserfassung des Kraftfahrzeugs 1 umfassen. Derartige Tiefensensorik 9 kann zum Beispiel Radar, Lidar oder ein Stereokamerasystem umfassen. In diesem Fall kann die Auswahl eines mittels des Bereichs 4 angezeigten Bildausschnitts wie folgt erfolgen:
- – Kameraanordnung 5 und Tiefensensorik 9 werden zueinander kalibriert (Fachbegriff: „Hand-Eye Calibration“), d. h. es kann zugeordnet werden, welcher Tiefenwert zu welchem Bildpunkt der Kameraanordnung 5 gehört.
- – Bestimmung der Entfernung des angepeilten Bildpunktes zum Kraftfahrzeug 1.
- – Je nach Entfernung des angepeilten Bildpunktes wird bei nahen Objekten ein großer Bildausschnitt des Kamerabildes ausgewählt, bei entfernten Objekten ein kleiner Bildausschnitt des Kamerabildes.
-
Ist keine Tiefensensorik 9 im Kraftfahrzeug 1 implementiert, so kann vorgesehen sein, dass ein fest definierter Bildausschnitt um den ermittelten Bildpunkt, der einer Blickrichtung entspricht, ausgewählt wird. Ein solcher Ausschnitt kann zum Beispiel 800×600 Pixel umfassen. Anstelle der unter Bezugnahme auf 2 beschriebenen Projektion eines Bildes auf die Windschutzscheibe 2 kann auch vorgesehen sein, dass in der Windschutzscheibe 2 ein transparentes Display, zum Beispiel das Display CES2010 der Firma Samsung implementiert ist. Es kann auch eine sogenannte Aufprojektion des gewählten Bildausschnitts auf eine geeignete intransparente, nicht spiegelnde Fläche erfolgen. Als Anzeigevorrichtung kann auch eine Datenbrille eingesetzt werden.
-
Zum Erzielung einer schnellen Selektion des in dem Bereich 4 anzuzeigenden stationären Bildes (bzw. dessen Ausschnitts) kann vorgesehen sein, dass ein Kamerabild, wie es zum Beispiel in 8 gezeigt ist, auf eine Kugel gemapt wird, die das Kraftfahrzeug 1 umgibt, siehe 9. Durch Nutzung von Polarkoordinaten kann der gewünschte Ausschnitt des stationären Bildes besonders schnell im Bereich 4 angezeigt werden.
-
10 zeigt ein zu dem in 4 beschriebenen Verfahren alternatives Verfahren. Dabei ist die Abfrage 23 durch eine Abfrage 31 ersetzt, ob der Blick des Fahrers 111 für eine Dauer, die einen Grenzwert überschreitet, auf denselben Bereich der Umgebung des Kraftfahrzeugs 1 gerichtet ist. Ein geeigneter Grenzwert ist zum Beispiel 1 Sekunde. Ist beispielsweise der Blick des Fahrers 111 für mehr als 1 Sekunde auf denselben Bereich der Umgebung des Kraftfahrzeugs 1 gerichtet, so folgt der Abfrage der Schritt 24. Andernfalls folgen die Schritte 21 und 22.
-
11 zeigt ein weiteres alternatives Verfahren, wobei im Vergleich mit dem in 4 beschriebenen Verfahren die Abfrage 23 zusätzlich durch die Abfrage 31 ergänzt ist. Auf diese Weise ist die Ablösebedingung erfüllt, wenn mittels der Blickrichtungssensorik 8 erkannt wird, dass der Blick des Fahrers 111 auf die Anzeigevorrichtung gerichtet ist oder wenn mittels der Blickrichtungssensorik 8 erkannt wird, dass der Blick des Fahrers 111 für eine Dauer, die einen Grenzwert überschreitet, auf denselben Bereich der Umgebung des Kraftfahrzeugs 1 gerichtet ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102006047777 A1 [0002]
- DE 102014220524 A1 [0003]
- DE 102014016612 A1 [0004]
-
Zitierte Nicht-Patentliteratur
-
- www.ar-tracking.com [0030]
- www.computerbase.de/2015-05/project-soli-google-erforscht-fingergesten-erkennung-per-radar/ [0030]
