-
Die vorliegende Erfindung betrifft ein Monitorsystem für ein Fahrzeug. Insbesondere betrifft die Erfindung ein Monitorsystem zur verbesserten Information eines Fahrers des Fahrzeugs.
-
Ein Kraftfahrzeug kann durch einen Fahrer gesteuert werden, der sich auf einem vorbestimmten Sitzplatz im Innenraum des Fahrzeugs befindet. Durch Sichtscheiben kann der Fahrer ein Umfeld des Fahrzeugs optisch wahrnehmen. Zwischen den Sichtscheiben kann jedoch eine Fahrzeugsäule stehen, die seine Sicht nach draußen einschränkt. Ein für den Fahrer hinter der Fahrzeugsäule liegender Bereich kann für ihn verschattet sein, sodass er ein dort stattfindendes, möglicherweise für die Steuerung des Fahrzeugs relevantes Ereignis nicht zur Kenntnis nehmen kann.
-
Es wurde vorgeschlagen, eine Anzeigeeinrichtung auf einer dem Fahrer zugewandten Seite der Fahrzeugsäule anzubringen und auf dieser ein Bild darzustellen, das mittels einer auf der anderen Seit der Fahrzeugsäule liegenden Kamera im Umfeld aufgenommen wurde. Eine sich dabei ergebende Schwierigkeit betrifft eine zeitliche Verzögerung, die unweigerlich zwischen dem Aufnehmen eines Bilds mittels der Kamera und der Wiedergabe des Bilds verstreicht. Insbesondere dann, wenn sich das Fahrzeug gegenüber dem Umfeld bewegt, kann das auf der Anzeige dargebotene Bild nicht zu optischen Informationen passen, die der Fahrer durch eine der Sichtscheiben wahrnehmen kann.
-
Eine der vorliegenden Erfindung zugrunde liegende Aufgabe besteht in der Angabe eines verbesserten Monitorsystems, um ein intransparentes Element an Bord eines Fahrzeugs virtuell transparent zu gestalten. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
-
Ein Fahrzeug umfasst ein intransparentes Element, das einen Abschnitt eines Umfelds des Fahrzeugs von einer vorbestimmten Position im Innenraum des Fahrzeugs aus verschattet. Ein Monitorsystem für ein solches Fahrzeug umfasst eine Kamera zur optischen Abtastung des Umfelds in einem vorbestimmten Abtastbereich; eine Anzeigevorrichtung zur Anbringung an dem intransparenten Element; und eine Steuervorrichtung. Die Steuervorrichtung ist dazu eingerichtet, ein sich bezüglich des Fahrzeugs bewegendes Objekt im Abtastbereich zu bestimmen und einen Abschnitt des Objekts, der von der vorbestimmten Position aus verschattet ist, auf der Anzeigevorrichtung darzustellen. Zwischen der Abtastung und der Darstellung verstreicht eine vorbestimmte Latenzzeit, wobei die Steuervorrichtung dazu eingerichtet ist, den dargestellten Abschnitt um die Latenzzeit zu korrigieren.
-
Dadurch kann der auf der Anzeigevorrichtung dargestellte Abschnitt des Objekts dem tatsächlich verschatteten Abschnitt des dahinterliegenden Objekts entsprechen. Der auf der Anzeigevorrichtung sichtbare Abschnitt des Objekts kann mit einem direkt sichtbaren Abschnitt des Objekts, der sich seitlich daran anschließt, verbessert zusammenpassen. Von der vorbestimmten Position aus kann sich in verbesserter Weise der Eindruck ergeben, dass das Element tatsächlich transparent ist. Eine Wahrnehmung des außerhalb des Fahrzeugs liegenden Objekts kann so erleichtert sein. Eine Person an Bord des Fahrzeugs kann das Fahrzeug verbessert in Abhängigkeit des Objekts und seiner Bewegung steuern.
-
Es ist bevorzugt, dass der durch das Element verschattete Abschnitt auf der Basis der Bewegung des Objekts bezüglich des Fahrzeugs für einen Zeitpunkt vorhergesagt wird, der vom Zeitpunkt der Abtastung um die Latenzzeit in der Zukunft liegt. Beträgt die Latenzzeit beispielsweise 50 ms, so kann bestimmt werden, welchen Weg das Objekt in der Latenzzeit zurücklegt. Gegenüber einem aktuell verschatteten Abschnitt des Objekts kann ein Abschnitt bestimmt werden, der um diese Distanz in Bewegungsrichtung des Objekts liegt. Das Darstellen dieses Abschnitts kann dann gerade so viel Zeit erfordern, dass zum Darstellungszeitpunkt der dargestellte Abschnitt und der inzwischen verschobene, verschattete Abschnitt des Objekts zusammenpassen.
-
Es ist besonders bevorzugt, dass die die vorbestimmte Position von einer Person an Bord des Fahrzeugs eingenommen ist. Die Person kann insbesondere einen Fahrer des Fahrzeugs betreffen. Weiter bevorzugt betrifft die Position den Kopf oder ein Auge der Person.
-
In einer weiter bevorzugten Ausführungsform ist eine Vorrichtung zur Bestimmung der Position der Person vorgesehen. Insbesondere kann die Position des Kopfs oder eines Auges der Person bestimmt werden. So kann berücksichtigt werden, dass sich die Person bewegt oder dass unterschiedlich große Personen in unterschiedlichen Haltungen das Monitorsystem benutzen können.
-
Der Abtastbereich der Kamera ist bevorzugt größer als der von der Position aus verschattete Abschnitt des Umfelds. Insbesondere kann ein horizontaler Öffnungswinkel des Abtastbereichs größer als der verschattete Abschnitt des Umfelds in horizontaler Richtung sein. Es ist weiterhin bevorzugt, dass sich der Abtastbereich zu beiden Seiten des verschatteten Abschnitts im Umfeld erstreckt. So kann ein Objekt abgetastet werden, das sich von einer beliebigen Seite dem verschatteten Abschnitt nähert.
-
Es ist weiterhin bevorzugt, dass die Steuervorrichtung dazu eingerichtet ist, die Bewegung des Objekts auf der Basis mehrerer zeitversetzter Abtastungen des Umfelds zu bestimmen. Dazu kann eine grafikbasierte Analyse erfolgen oder das Objekt kann auf den Abtastungen erkannt und seine Bewegung daraus abgeleitet werden. Eine zusätzliche Vorrichtung zur Bestimmung einer Bewegung des Objekts kann dadurch nicht erforderlich sein.
-
Die Bewegung kann eine Richtung, eine Entfernung und/oder eine Geschwindigkeit umfassen. Komponenten der Bewegung sind bevorzugt bezüglich des Fahrzeugs ausgedrückt. Erfolgt eine rein grafische Bestimmung der Bewegung des Objekts bezüglich des Fahrzeugs, so kann es ausreichen, vorherzusagen, welcher Bildinhalt aufgrund der Bewegung des Objekts in welcher Weise in einem Abtastbereich der Kamera bewegt wird.
-
Es ist weiterhin bevorzugt, dass sich das Objekt gegenüber einem Umfeld des Fahrzeugs bewegt. Ein stillstehendes Objekt, beispielsweise ein Verkehrsschild, kann einem Hintergrund zugerechnet und vernachlässigt werden. Das Objekt kann einen anderen Verkehrsteilnehmer umfassen, der auf der Basis der Abtastung erkannt werden kann. Insbesondere können unterschiedliche Verkehrsteilnehmer erkannt werden, wobei die Darstellung des verdeckten Abschnitts auf den erkannten Verkehrsteilnehmer abgestimmt sein kann.
-
Beispielsweise kann ein Abschnitt eines erkannten Verkehrsteilnehmers als invariant angenommen werden. So kann beispielsweise eine sichtbare Drehung eines Rads eines Fahrzeugs von der Darstellung ausgenommen werden. In einem weiteren Beispiel können sich bewegende Extremitäten eines Fußgängers nicht dargestellt werden, sodass sich keine unnatürlichen Ansichten ergeben.
-
In noch einer weiteren Ausführungsform kann auf der Anzeigevorrichtung ausschließlich der bestimmte Abschnitt des Objekts ausgegeben werden. Andere abgetastete Elemente des Umfelds können nicht dargestellt werden. So kann eine Gefahr einer Darstellung von inkorrekten Bildinhalten oder der Erzeugung von Artefakten verringert sein.
-
Nach einem zweiten Aspekt der vorliegenden Erfindung umfasst ein Fahrzeug ein hierin beschriebenes Monitorsystem. Das Fahrzeug kann insbesondere ein Kraftfahrzeug umfassen, weiter bevorzugt einen Personenkraftwagen, einen Lastkraftwagen oder einen Bus.
-
Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Verfahren Schritte des Abtastens eines Bilds eines Umfelds eines Fahrzeugs; wobei sich im Umfeld ein Objekt bezüglich des Fahrzeugs bewegt; wobei ein Abschnitt des Umfelds von einer vorbestimmten Position in einem Innenraum des Fahrzeugs aus durch ein intransparentes Element des Fahrzeugs verschattet ist; wobei das Element von der Position aus durch eine Anzeigevorrichtung verschattet ist; des Bestimmens eines Abschnitts des Objekts, der nach Verstreichen einer vorbestimmten Zeit von der Position aus verschattet ist; und des Darstellens des Abschnitts auf der Anzeigevorrichtung. Dabei umfasst die Zeit eine Latenzzeit, die zwischen dem Abtasten des Bilds und der Darstellung des Abschnitts auf der Anzeigevorrichtung verstreicht.
-
Das Verfahren kann teilweise oder ganz mittels eines hierin beschriebenen Monitorsystems ausgeführt werden. Insbesondere kann das Verfahren mittels einer Steuervorrichtung eines Monitorsystems ausgeführt werden. Dazu kann die Steuervorrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.
-
Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:
- 1 ein Monitorsystem an Bord eines Fahrzeugs;
- 2 ein Ablaufdiagramm eines Verfahrens; und
- 3 eine Visualisierung einer Darstellung mit einem Monitorsystem
illustriert.
-
1 zeigt ein Monitorsystem 100 an Bord eines Fahrzeugs 105. An Bord des Fahrzeugs 105 befindet sich eine Person 110 an einer vorbestimmten Position. Die Person 110 kann insbesondere einen Fahrer des Fahrzeugs 105 umfassen. Das Fahrzeug 105 umfasst eine Frontscheibe 115 und eine Seitenscheibe 120, durch die die Person 110 ein Umfeld des Fahrzeugs 105 optisch erfassen kann. Zwischen den Scheiben 115, 120 ist eine Fahrzeugsäule 125 vorgesehen, die intransparent ist.
-
Das Monitorsystem 100 umfasst eine Steuervorrichtung 130, eine Kamera 135 und eine Anzeigevorrichtung 140. Die Anzeigevorrichtung 140 ist bevorzugt derart bezüglich der Person 110 angebracht, dass sie die Fahrzeugsäule 125 für die Person 110 verschattet. Insbesondere kann die Anzeigevorrichtung 140 unmittelbar an der Fahrzeugsäule 125 angebracht sein. Die Kamera 135 ist bevorzugt auf einer Außenseite der Fahrzeugsäule 125 angebracht. Ein Abstand zwischen der Kamera 135 und der Anzeigevorrichtung 140 ist bevorzugt möglichst klein.
-
Die Steuervorrichtung 130 ist dazu eingerichtet, ein Umfeld des Fahrzeugs 105 mittels der Kamera 135 abzutasten und einen Abschnitt der Abtastung auf der Anzeigevorrichtung 140 darzustellen. Dabei soll die Darstellung derart erfolgen, dass der dargestellte Bildinhalt mit einem unmittelbar durch eine der Scheiben 115, 120 erkennbaren Objekt im Umfeld des Fahrzeugs 105 möglichst gut zusammenpasst. Dazu kann sich die Anzeigevorrichtung 140 bis in einen Sichtbereich durch eine der Scheiben 115, 120 erstrecken.
-
Um eine lagerichtige Darstellung eines Bilds auf der Anzeigevorrichtung 140 sicherzustellen, kann eine Abtastvorrichtung 145 vorgesehen sein, die dazu eingerichtet ist, eine Position der Person 110 im Innenraum des Fahrzeugs 105 zu bestimmen. Die Abtastvorrichtung 145 kann insbesondere eine Kamera, eine Tiefenkamera, eine Stereokamera oder einen LiDAR-Sensor umfassen. Eine bestimmte Position der Person 110 bezieht sich bevorzugt auf einen Kopf oder ein Auge der Person 110.
-
In einem Umfeld bewegt sich ein Objekt 150 bezüglich des Fahrzeugs 105. Eine Bewegung 155 des Objekts 150 ist durch einen unterbrochenen Pfeil symbolisiert. Das Objekt 150 ist zu zwei unterschiedlichen Zeitpunkten t1 und t2 dargestellt, wobei der Zeitpunkt t2 nach dem Zeitpunkt t1 liegt.
-
Ein Abtastbereich 160 der Kamera 135 ist ausreichend groß, um das Objekt 150 zu beiden Zeitpunkten t1, t2 abzutasten. Innerhalb des Abtastbereichs 160 liegt ein Abschnitt 165, der von der Position der Person 110 aus durch die Fahrzeugsäule 125 verschattet ist. In diesem Bereich liegt ein Abschnitt 170 des Objekts 150 zum Zeitpunkt t2.
-
Da die Kamera 135 den Abschnitt 170 im Umfeld erfassen kann, kann aus einem mittels der Kamera 135 bereitgestellten Bild bezüglich der Position der Person 110 der Abschnitt 170 bestimmt und auf der Anzeigevorrichtung 140 dargestellt werden. Allerdings benötigt der Prozess des Abtastens des Objekts 150 mittels der Kamera 135, des Verarbeitens mittels der Steuervorrichtung 130 und des Darstellens mittels der Anzeigevorrichtung 140 eine vorbestimmte Latenzzeit, die beispielsweise ca. 50 ms betragen kann. Innerhalb der Latenzzeit bewegt sich das Objekt 150 bezüglich des Fahrzeugs 105 um eine bestimmte Strecke.
-
Es wird daher vorgeschlagen, zum Zeitpunkt t2 nicht denjenigen Abschnitt 170 des Objekts 150 auf der Anzeigevorrichtung 140 darzustellen, der zu diesem Zeitpunkt mittels der Kamera 135 im verschatteten Abschnitt 165 erfasst werden kann, sondern ein korrespondierender Abschnitt 170, der zu einem um die Latenzzeit früheren Zeitpunkt mittels der Kamera 135 abgetastet wurde. In Kenntnis der Latenzzeit und der Bewegung 155 des Objekts 150 kann bestimmt werden, welcher Abschnitt eines zu einem früheren Zeitpunkt abgetasteten Bildes den Abschnitt 170 des Objekts 150 zeigt.
-
Die Steuervorrichtung 130 kann dazu eingerichtet sein, sowohl ein Objekt 150 zu erkennen, insbesondere indem es von einem anderen Objekt 150 oder einem Hintergrund unterschieden wird, als auch dazu, eine Bewegung des Objekts 150 bezüglich des Fahrzeugs 105 zu bestimmen. Dazu kann die Steuervorrichtung 130 ganz oder teilweise in der Kamera 135 aufgenommen sein.
-
In einer Ausführungsform ist die Steuervorrichtung 130 unmittelbar an einen lichtempfindlichen Sensor der Kamera 135 angeschlossen und kann die Erkennung und/oder Bewegungsbestimmung auf der Basis von Rohdaten durchführen. Dazu können Methoden des maschinellen Lernens verwendet werden, insbesondere der künstlichen Intelligenz. Beispielsweise kann ein Objekt mittels eines entsprechend trainierten neuronalen Netzwerks erkannt werden. Ein Resultat der Bestimmung kann Bilddaten des Sensors beigefügt werden. Ein Bild der Kamera 135 kann mehrere MByte an Speicherplatz beanspruchen, während Metadaten, die eines oder mehrere auf dem Bild zu sehende Objekte 150 und deren Bewegungsinformationen umfassen, nur wenige KByte umfassen können. Diese Informationen können mittels einer zur Kamera 135 externen Steuervorrichtung 130 weiterverarbeitet werden.
-
2 zeigt ein Ablaufdiagramm eines Verfahrens 200. Das Verfahren 200 kann insbesondere mittels eines Monitorsystems 100 an Bord eines Fahrzeugs 105 ausgeführt werden.
-
In einem Schritt 205 kann ein Umfeld des Fahrzeugs 105 abgetastet werden. Ein Ergebnis der Abtastung kann ein Kamerabild umfassen, das abgespeichert werden kann. Bevorzugt wird das Kamerabild in einem Ringspeicher abgelegt, der zyklisch neu mit Kamerabilder gefüllt werden kann.
-
In einem Schritt 210 kann ein sich bewegendes Objekt 150 im Umfeld des Fahrzeugs 105 bestimmt werden. Dazu können zeitversetzte Kamerabilder des Objekts 150 analysiert werden. Optional kann das Objekt 150 auf einem Kamerabild erkannt werden. Die Erkennung kann beispielsweise auf der Basis maschinellen Lernens, etwa mittels eines neuronalen Netzwerks erfolgen.
-
In einem Schritt 215 kann eine Bewegung 155 des Objekts 150 bezüglich des Fahrzeugs 105 bestimmt werden. Die Bewegung 155 wird bevorzugt auf der Basis der abgespeicherten Kamerabilder bestimmt und kann in die Zukunft extrapoliert werden. Dazu kann eine beobachtete Beschleunigung oder Richtungsänderung des Objekts 150 berücksichtigt werden.
-
In einem Schritt 220 kann bestimmt werden, welcher Abschnitt 170 des Objekts 150 zu einem zukünftigen Zeitpunkt von der Position der Person 110 aus im verschatteten Abschnitt 165 liegen wird. Eine Ansicht des Abschnitts 170 kann in einem der Kamerabilder bestimmt werden, die bereits abgetastet wurden.
-
In einem Schritt 225 kann der aus einem vergangenen Kamerabild bestimmte Abschnitt 170 am Ende der Latenzzeit auf der Anzeigevorrichtung 140 dargestellt werden, sodass er zeitlich und räumlich korrekt mit einem direkt beobachtbaren Teil des Objekts 150 an der Position der Person 110 zusammenpasst.
-
Das Verfahren 200 kann zum Anfang zurückkehren und zyklisch durchlaufen.
-
3 zeigt eine Visualisierung einer Darstellung mit einem Monitorsystem 100. In vertikaler Richtung sind 3A bis 3E dargestellt, die zeitlich aufeinander folgen. In horizontaler Richtung ist eine Achse x dargestellt, entlang der die Bewegung 155 des Objekts 150 erfolgt. Das Objekt 150 ist beispielhaft als Fahrzeug dargestellt.
-
Das Objekt 150 bewegt sich in den 3A bis 3E von links nach rechts über einen Anzeigebereich, der dem Abtastbereich 160 der Kamera 135 entspricht. Dabei passiert das Objekt 150 den durch die Fahrzeugsäule 125 verschatteten Abschnitt 165, der in 3 als schraffierte Fläche dargestellt ist.
-
Um beispielsweise in 3B den Abschnitt 170 des Objekts 150 auf der Anzeigevorrichtung 140 darzustellen, der sich zu diesem Zeitpunkt im verschatteten Abschnitt 165 befindet, kann der korrekte Abschnitt 170 in der zuvor erfolgten Abtastung von 3A verwendet werden. Eine Strecke Δx, die zwischen den Abschnitten 170 und 165 liegt, hängt von einer Relativgeschwindigkeit des Objekts 150 bezüglich des Fahrzeugs 105 und einer Latenzzeit zwischen Zeitpunkten von Aufnahmen der 3A und 3D ab.
-
Je schneller sich das Objekt 150 bewegt oder je kürzer die Latenzzeit ist, desto näher können die Abschnitte 170 und 165 aneinander liegen. Es ist zu beachten, dass die Abschnitte 170 und 165 einander auch überlappen können. Die weiteren 3C bis 3E führen das beschriebene Prinzip für folgende Zeitpunkte fort.
-
In der vorliegenden Darstellung ist lediglich eine Verschiebung des Abschnitts 170 in horizontaler Richtung erforderlich. Es ist jedoch zu beachten, dass auch eine Verschiebung in vertikaler Richtung erforderlich sein kann. Sollte sich ein Abstand des Objekts 150 vom Fahrzeug 105 innerhalb des Vorhersagezeitraums verändern, kann auch eine Größe des Abschnitts 170 angepasst werden.
-
Bezugszeichenliste
-
- 100
- Monitorsystem
- 105
- Fahrzeug
- 110
- Person
- 115
- Frontscheibe
- 120
- Seitenscheibe
- 125
- Fahrzeugsäule
- 130
- Steuervorrichtung
- 135
- Kamera
- 140
- Anzeigevorrichtung
- 145
- Abtastvorrichtung
- 150
- Objekt
- 155
- Bewegung
- 160
- Abtastbereich
- 165
- verschatteter Abschnitt von der Position der Person aus
- 170
- Abschnitt des Objekts
- 200
- Verfahren
- 205
- Umfeld abtasten
- 210
- sich bewegendes Objekt im Umfeld bestimmen
- 215
- Bewegung des Objekts relativ zum Fahrzeug bestimmen
- 220
- verschatteten Abschnitt um Latenzzeit vorhersagen
- 225
- Abschnitt darstellen
