DE102022124717A1

DE102022124717A1 - Fahren eines Kraftfahrzeugs in einer virtuellen Umgebung

Info

Publication number: DE102022124717A1
Application number: DE102022124717.1A
Authority: DE
Inventors: Alexander Kuttner
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-09-26
Filing date: 2022-09-26
Publication date: 2024-03-28
Also published as: WO2024068367A1

Abstract

Ein System (100) umfasst ein Headset, das dazu eingerichtet ist, an einem Kopf eines Fahrers (120) eines Kraftfahrzeugs (105) angebracht zu werden, wobei das Headset eine Kamera (130) zur Bereitstellung einer ersten Ansicht (205) eines Innenraums des Kraftfahrzeugs (105) und eine optische Anzeige für den Fahrer (120) umfasst; ferner ein Modell (170) zur Bereitstellung einer Ansicht einer virtuellen Umgebung des Kraftfahrzeugs (105) bezüglich einer vorbestimmten Pose; eine Einrichtung zur Bestimmung einer Pose des Kopfs des Fahrers (120) bezüglich der realen Umgebung des Kraftfahrzeugs (105) und eine Verarbeitungseinrichtung (110). Dabei ist die Verarbeitungseinrichtung (110) dazu eingerichtet, die erste Ansicht (205) des Innenraums mit einer zweiten Ansicht (210) der virtuellen Umgebung bezüglich der bestimmten Pose zu überlagern und dem Fahrer (120) bereitzustellen.

Description

Ein Kraftfahrzeug kann durch einen Fahrer in einer vorbestimmten Umgebung gesteuert werden. Beispielsweise kann das Kraftfahrzeug auf einer Teststrecke abseits eines öffentlichen Straßenverkehrs bewegt werden, um den Fahrer bei der Steuerung des Kraftfahrzeugs auszubilden. Die Teststrecke kann Einrichtungen umfassen, um den Fahrer dynamisch in eine vorbestimmte Fahrsituation zu bringen, sodass er deren Bewältigung verbessert erlernen kann. So kann der Fahrer ausgebildet werden, ohne das Kraftfahrzeug, den Fahrer oder eine andere Person einer übermäßigen Gefahr auszusetzen.
Eine Trainingseinrichtung auf der Teststrecke ist üblicherweise so beschaffen, dass auch wenn der Fahrer eine ihm gestellte Aufgabe nicht erfüllen kann oder sogar die Kontrolle über das Kraftfahrzeug verliert, möglichst kein Schaden eintritt. Beispielsweise kann eine Reihe vertikaler Wasserfontänen vorgesehen sein, auf die das Kraftfahrzeug zufahren kann. Hat es einen vorbestimmten Abstand erreicht, so können einige der Fontänen abgestellt werden, sodass sich eine Lücke ergibt, durch die der Fahrer das Kraftfahrzeug steuern kann. Sollte er die Lücke verfehlen, so wird das Kraftfahrzeug von einer Wasserfontäne getroffen, prallt aber auf keinen festen Gegenstand auf.
Eine solche Trainingseinrichtung ist aufwendig in der Einrichtung und im Betrieb. Nicht alle Fahrmanöver, die mit dem Kraftfahrzeug möglich sind, können mit einer einzigen Trainingseinrichtung trainiert werden. Beispielsweise ist die genannte Reihe von Wasserfontänen üblicherweise fest installiert und kann nicht verändert werden, um eine vorbestimmte Kurve zu begrenzen.
Umgekehrt kann eine Teststrecke auch dazu verwendet werden, die Funktion eines Kraftfahrzeugs in einer vorbestimmten Fahrsituation zu überprüfen. So können beispielsweise wichtige Aspekte eines Fahrwerks, eines Bremssystems oder eines Lenksystems praktisch erfahren werden. Auch hier gilt, dass selbst eine gut ausgestattete Teststrecke nur eine begrenzte Flexibilität aufweist und nicht beliebig viele unterschiedliche Tests auf einer vorbestimmten, begrenzten Fläche durchführbar sind.
Es wurde vorgeschlagen, das Verhalten des Kraftfahrzeugs in einer vorbestimmten Fahrsituation zu simulieren. Ein Fahrer kann in einem Simulator Platz nehmen, der einem Innenraum des Kraftfahrzeugs nachempfunden ist. Der Außenbereich des Kraftfahrzeugs kann durch eine entsprechende Anzeige, beispielsweise ein Projektorsystem, vermittelt werden. Der Simulator kann geneigt werden, um in Längs- oder Querrichtung wirkende Kräfte auf den Fahrer zu simulieren.
Mit Hilfe des Simulators können prinzipiell beliebig viele verschiedene Fahrsituationen nachgestellt werden. Allerdings kann der Simulator eine reale Fahrt dem Fahrer nur in Teilaspekten vermitteln. Beispielsweise kann eine Beschleunigung mit einer Stärke, die über die Erdbeschleunigung hinausgeht, nicht erzeugt werden. Kurvenfahrten, Beschleunigungen und Verzögerungen im Grenzbereich des Fahrzeugs können nicht immer realistisch vermittelt werden. Die Ausbildung des Fahrers im Simulator kann daher lückenhaft sein. Der Simulator kann auch nur beschränkt zum Testen eines Kraftfahrzeugs eingesetzt werden, da dessen tatsächliches Fahrverhalten in der Regel nicht genau genug bekannt ist und somit unter Umständen nicht korrekt simuliert werden kann.
Eine der vorliegenden Erfindung zugrunde liegende Aufgabe besteht in der Bereitstellung einer Technik zum verbessert realistischen Fahren eines Kraftfahrzeugs in einer virtuellen Umgebung. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
Ein erfindungsgemäßes System umfasst ein Headset, das dazu eingerichtet ist, an einem Kopf eines Fahrers eines Kraftfahrzeugs angebracht zu werden. Das Headset umfasst eine Kamera zur Bereitstellung einer ersten Ansicht eines Innenraums des Kraftfahrzeugs und eine optische Anzeige für den Fahrer. Ferner umfasst das System ein Modell zur Bereitstellung einer Ansicht einer virtuellen Umgebung des Kraftfahrzeugs bezüglich einer vorbestimmten Pose; eine Einrichtung zur Bestimmung einer Pose des Kopfs des Fahrers bezüglich der realen Umgebung des Kraftfahrzeugs und eine Verarbeitungseinrichtung. Die Verarbeitungseinrichtung ist dazu eingerichtet, die erste Ansicht des Innenraums mit einer zweiten Ansicht der virtuellen Umgebung bezüglich der bestimmten Pose zu überlagern und dem Fahrer bereitzustellen.
Es wurde erkannt, dass ein realistisches Fahrgefühl eines Kraftfahrzeugs am besten dadurch vermittelt werden kann, dass ein reales Kraftfahrzeug in einer realen Umgebung bewegt wird. Gleichzeitig können Umstände, die eine vorbestimmte Fahrsituation kennzeichnen, am besten nachgestellt werden, indem eine virtuelle Umgebung aufgebaut wird.
Es wird vorgeschlagen, Ansichten der realen Umgebung und der virtuellen Umgebung miteinander zu mischen und dem Fahrer darzubieten. Dabei soll der Fahrer Elemente im Innenraum des Kraftfahrzeugs unverändert erkennen können, während eine Ansicht auf Elemente außerhalb des Kraftfahrzeugs ersetzt wird durch eine korrespondierende Ansicht auf die virtuelle Umgebung. Der Fahrer kann das Kraftfahrzeug auf diese Weise in der realen Umgebung bewegen, dabei aber den Eindruck erlangen, er führe durch die virtuelle Umgebung.
Durch das Mischen von realen und virtuellen Inhalten kann sich für den Fahrer ein überzeugender und widerspruchsfreier Sinneseindruck ergeben. Er kann das Kraftfahrzeug vollständig steuern und alle an Bord des Kraftfahrzeugs vorhandenen Systeme nutzen. Solche Systeme können beispielsweise ein Fahrerassistenzsystem, ein Unterhaltungssystem oder ein Komfortsystem umfassen. Die virtuelle Umgebung kann derart gesteuert werden, dass der Fahrer eine vorbestimmte Fahrsituation erleben und das Steuern des Kraftfahrzeugs in der Situation erlernen kann.
Beispielsweise kann eine Fahrtechnik wie das Driften entlang einer vorbestimmten Kurve auf diese Weise gefahrlos vermittelt werden. Eine Begrenzung der Kurve kann lediglich in der virtuellen Umgebung existieren, während in der realen Umgebung weder eine Begrenzung noch ein Hindernis vorhanden sind. Sollte das Kraftfahrzeug die virtuelle Kurve verlassen, so kann dadurch kein realer Schaden am Kraftfahrzeug eintreten. Auf diese Weise können beliebige Kurven oder Sequenzen von Kurven in der virtuellen Umgebung erstellt werden, die der Fahrer mit dem Kraftfahrzeug real durchfahren kann. Die Kurven können platzsparend und verzögerungsfrei bezüglich einer relativ kleinen realen Fläche bereitgestellt werden. Das Erstellen oder Einrichten einer realen Infrastruktur in der realen Umgebung kann entfallen. Das Kraftfahrzeug kann verbessert in einer vorbestimmten Fahrsituation beobachtet werden, die durch den Fahrer in der virtuellen Umgebung herbeigeführt werden kann. So kann das Kraftfahrzeug verbessert zielgerichtet getestet werden.
Der Innenraum des Kraftfahrzeugs kann durch eine Scheibe begrenzt sein. Die Überlagerung wird bevorzugt derart bereitgestellt, dass die virtuelle Umgebung für den Fahrer nur im Bereich der Scheibe sichtbar ist. Der restliche Innenraum, der beispielsweise einen Fahrzeughimmel, einen Fahrzeugholm, ein Armaturenbrett, ein Lenkrad, einen Fahrzeugsitz, ein Bedienelement, eine Seitentür, einen Fahrzeugboden oder eine Mittelkonsole umfassen kann, wird dem Fahrer bevorzugt aus der Perspektive angezeigt, die sein Kopf bezüglich des Kraftfahrzeugs einnimmt.
Es können auch mehrere Scheiben vorgesehen sein, die in derselben Weise behandelt werden können. Beispielsweise kann vor dem Fahrer eine Frontscheibe liegen, seitlich von ihm eine rechte oder linke Seitenscheibe oder im Dach kann ein Dachfenster mit einer weiteren Scheibe eingebaut sein. Die Scheibe des Kraftfahrzeugs ist transparent und lässt einer Person an Bord des Kraftfahrzeugs, die kein Headset trägt, den Blick auf die reale Umgebung des Kraftfahrzeugs zu.
An einer Scheibe kann eine vorbestimmte optische Markierung angebracht sein. Die Verarbeitungseinrichtung kann dazu eingerichtet sein, die Lage der Scheibe in der ersten Ansicht des Innenraums bezüglich der Markierung zu bestimmen.
Die optische Markierung kann leichter automatisch zu erkennen sein als eine Begrenzung der Scheibe auf einer Abtastung des Innenraums. So kann verhindert werden, dass ein Abschnitt der virtuellen Umgebung, die der Fahrer im Bereich der Scheibe sieht, gegenüber der Ansicht des Innenraums eine falsche Größe oder Orientierung aufweist. Außerdem kann verbessert verhindert werden, dass sich die erkannte Position der Scheibe in der ersten Ansicht verschiebt, beispielsweise während eines dynamischen Manövers des Kraftfahrzeugs. Das Verschieben der Ansichten gegeneinander könnte ansonsten zu einem unrealistischen Eindruck beim Fahrer führen, der zu Nebenwirkungen wie Orientierungsschwierigkeiten oder Übelkeit führen kann.
Der Markierung kann eine Form der Scheibe zugeordnet sein. Beispielsweise kann die Markierung einen zweidimensionalen binären optischen Code umfassen, etwa in Form eines QR-Codes, und dem Code kann die Form zugeordnet sein. Ferner kann auch eine Größe oder Lage der Markierung beziehungsweise dem durch sie ausgedrückten Code zugeordnet sein. Das System kann zum Einsatz an verschiedenen Kraftfahrzeugen eingerichtet sein, wobei Kraftfahrzeuge, die unterschiedlich geformte Scheiben umfassen, unterschiedliche Markierungen aufweisen können. Anhand einer erkannten Markierung kann das System verbessert feststellen, an Bord welches Typs von Kraftfahrzeug es sich befindet, beziehungsweise welche Form der Scheibe korrekt ist.
Die Einrichtung kann einen ersten Sensor zur Bestimmung einer Pose des Kraftfahrzeugs in der realen Umgebung und einen zweiten Sensor zur Bestimmung einer Pose des Kopfs des Fahrers im Kraftfahrzeug umfassen. So kann, beispielsweise mittels der Verarbeitungseinrichtung, die Pose des Kopfs des Fahrers bezüglich der realen Umgebung auf der Basis der beiden mittels der Sensoren bestimmten Posen bestimmt werden. Es hat sich gezeigt, dass ein realistischer Fahreindruck nur dann erzielt werden kann, wenn das reale und die virtuelle Umgebung mit hoher Qualität aufeinander abgestimmt sind. Mittels der beiden Sensoren kann die Pose des Kopfs des Fahrers bezüglich der realen Umgebung verbessert bestimmt werden. In der Folge kann die Abstimmung der ersten und der zweiten Ansicht aufeinander mit erhöhter Präzision gelingen.
Es ist weiter bevorzugt, dass noch einer oder mehrere andere Sensoren oder Informationsquellen an Bord des Kraftfahrzeugs genutzt werden, um die Pose des Kopfs des Fahrers oder die Pose des Kraftfahrzeugs in der virtuellen Umgebung verbessert zu bestimmen. Ein solcher Sensor kann dazu eingerichtet sein, eine Position oder eine Orientierung beziehungsweise Ausrichtung zu bestimmen oder beides zusammen in Form einer Pose.
Die Einrichtung kann eine absolute Positioniereinrichtung umfassen. Diese kann insbesondere durch einen Empfänger für ein satellitengestütztes Navigationssystem (GNSS) gebildet sein. Die Positioniereinrichtung kann zusätzlich dazu eingerichtet sein, eine Bewegungsrichtung und Bewegungsgeschwindigkeit zu bestimmen und bereitzustellen.
Ferner kann die Einrichtung eine relative Positioniereinrichtung umfassen. Diese kann insbesondere durch ein Odometer gebildet sein. Das Odometer kann auf der Basis von Drehsensoren an Rädern des Kraftfahrzeugs arbeiten. Ein Lenkwinkel oder eine Fahrgeschwindigkeit des Kraftfahrzeugs können für die Bestimmung der relativen Position des Kraftfahrzeugs ebenfalls genutzt werden. In einer anderen Ausführungsform kann ein kamerabasiertes Odometer vorgesehen sein, bei dem eine Position des Kraftfahrzeugs bezüglich scheinbarer Positionen von Landmarken in der realen Umgebung des Kraftfahrzeugs und bekannten, den Landmarken zugeordneten absoluten Positionen bestimmt wird.
Die Einrichtung kann auch einen Beschleunigungssensor umfassen. Der Beschleunigungssensor ist bevorzugt dazu eingerichtet, eine Beschleunigung entlang oder um eine Längsachse, ein Hochachse oder eine Querachse des Kraftfahrzeugs zu bestimmen. So kann insbesondere ein Nicken, ein Wanken oder ein Gieren des Kraftfahrzeugs berücksichtigt werden. Der Beschleunigungssensor kann auch verwendet werden, um eine Erschütterung des Kraftfahrzeugs zu bestimmen.
Das System kann eine Einrichtung zur Begrenzung einer Position des Kraftfahrzeugs auf einen vorbestimmten Bereich der realen Umgebung umfassen. Eine derartige Technik ist als Geofencing bekannt. Überschreitet das Kraftfahrzeug den vorbestimmten Bereich oder besteht die Aussicht darauf, so kann das Kraftfahrzeug in Längsrichtung und/oder Querrichtung gesteuert werden, um dem entgegenzuwirken. Der Bereich kann so gewählt sein, dass Hindernisse oder verletzliche Gegenstände außerhalb des Bereichs angeordnet sind. Eine Sicherheit innerhalb und außerhalb des Kraftfahrzeugs kann so verbessert gewährleistet sein.
Eine andere Maßnahme zur Sicherstellung der Sicherheit kann eine zusätzliche Bedieneinrichtung zur Längs- oder Quersteuerung des Kraftfahrzeugs für eine weitere Person an Bord umfassen. Beispielsweise kann ein zusätzliches Bremspedal für einen Beifahrer vorgesehen sein, der weiter bevorzugt kein Headset trägt. Der Beifahrer kann die Kontrolle über das Kraftfahrzeug übernehmen, falls ein vorbestimmter, kontrollierbarer Fahrzustand verlassen wird.
Es ist weiter bevorzugt, dass das System eine Anzeige in einem Innen- oder Außenspiegel korrekt wiedergibt. Ist der Innenraum des Kraftfahrzeugs durch eine Scheibe begrenzt, auf dessen Außenseite ein Rückspiegel angebracht ist, so kann eine weitere Ansicht der virtuellen Umgebung bezüglich des Rückspiegels bestimmt und derart mit der ersten Ansicht überlagert werden, dass sie für den Fahrer im Rückspiegel sichtbar ist. In entsprechender Weise kann eine weitere Ansicht der virtuellen Umgebung bezüglich eines im Innenraum angebrachten Innenspiegels bestimmt und an der entsprechenden Stelle der ersten Ansicht überlagert werden. Der Fahrer kann dadurch verbessert und in gewohnter Weise einen hinter ihm liegenden Bereich der virtuellen Umgebung einsehen.
Nach einem weiteren Aspekt umfasst ein Kraftfahrzeug ein hierin beschriebenes System. Das Kraftfahrzeug kann dazu eingesetzt werden, einen Fahrer zur Führung des Kraftfahrzeugs auszubilden oder dazu anzuleiten, das Kraftfahrzeug in eine vorbestimmte Fahrsituation zu bringen, beispielsweise um das Fahrverhalten zu studieren.
Ein erfindungsgemäßes Verfahren umfasst Schritte des Bestimmens einer Pose eines Kopfs eines Fahrers eines Kraftfahrzeugs bezüglich einer realen Umgebung des Kraftfahrzeugs; des Bestimmens einer ersten Ansicht eines Innenraums des Kraftfahrzeugs vom Kopf des Fahrers aus; des Bestimmens einer zweiten Ansicht einer virtuellen Umgebung des Kraftfahrzeugs bezüglich der bestimmten Pose; des Überlagerns der ersten Ansicht des Innenraums mit der zweiten Ansicht der virtuellen Umgebung; und des Bereitstellens der Überlagerung an den Fahrer.
Das Verfahren kann teilweise oder vollständig mittels eines hierin beschriebenen Systems ausgeführt werden. Insbesondere kann zumindest ein Teil des Verfahrens mittels einer vom System umfassten Verarbeitungseinrichtung ausgeführt werden. Diese kann insbesondere elektronisch ausgeführt sein und beispielsweise einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen. Das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Systems können auf das Verfahren übertragen werden oder umgekehrt.
Die virtuelle Umgebung kann in Abhängigkeit einer Bewegung des Kraftfahrzeugs angepasst werden. So kann der Fahrer dynamisch, also in Abhängigkeit der von ihm ausgehenden Steuerung, dazu angeleitet werden, das Kraftfahrzeug auf eine vorbestimmte Weise zu steuern. Beispielsweise kann ein Hinweis zur Veränderung eines Lenkwinkels gegeben werden oder eine Ideallinie, auf der er das Fahrzeug halten soll, kann angezeigt werden. Das Erlernen einer vorbestimmten Fahrtechnik, beispielsweise des Driftens, beziehungsweise das Führen des Kraftfahrzeugs in einen vorbestimmten Fahrzustand, kann dadurch in spielerischer Weise erfolgen. Die Ausbildung des Fahrers oder ein Durchführen eines vorbestimmten Tests des Kraftfahrzeugs können dadurch beschleunigt werden.
In einer Weiterführung kann das Verfahren auf zwei Systeme an Bord von zwei Kraftfahrzeugen angewendet werden. Es können auch noch mehr Kraftfahrzeuge am Verfahren teilnehmen, die jeweils ein hierin beschriebenes System an Bord tragen. Die Kraftfahrzeuge befinden sich dabei in realen, aber voneinander getrennten Umgebungen. Virtuelle Umgebungen für die Systeme beziehungsweise Kraftfahrzeuge sind dabei miteinander identisch. So kann eine Interaktion zwischen den Kraftfahrzeugen verbessert realistisch, aber gefahrlos nachgestellt werden.
Das Modell kann für jedes der Kraftfahrzeuge einen Avatar umfassen, wobei der Avatar in Abhängigkeit einer Bewegung des jeweiligen Kraftfahrzeugs aktualisiert werden kann. So kann beispielsweise eine Kollision der Avatare bestimmt werden, ohne dass eine Kollision der Kraftfahrzeuge stattfindet. Optional kann ein optischer Hinweis auf den Avatar des jeweils anderen Kraftfahrzeugs an Bord eines Kraftfahrzeugs dargestellt werden. So kann sich für einen Fahrer an Bord eines der Kraftfahrzeuge der Eindruck ergeben, er sähe das andere Kraftfahrzeug in der Umgebung des eigenen Kraftfahrzeugs. Eine Kollision zweier Kraftfahrzeuge kann an Bord anderer Kraftfahrzeuge entsprechend dargestellt werden.
Diese Fortführung kann verwendet werden, um komplexe Szenarien darzustellen oder Fahrer bezüglich einer vorbestimmten Aufgabe gegeneinander antreten zu lassen. Eine Fahrsituation, die mehr als ein Fahrzeug erfordert, kann durch konzertiertes Führen der Fahrer mehrerer Fahrzeuge herbeigeführt werden.
Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:

1 ein System an Bord eines Kraftfahrzeugs;
2 eine Überlagerung von Ansichten;
3 einen Fahrer an Bord eines Kraftfahrzeugs; und
4 ein Ablaufdiagramm eines Verfahrens

1 zeigt ein System 100 an Bord eines Kraftfahrzeugs 105. Das dargestellte System 100 umfasst eine Verarbeitungseinrichtung 110, die mit einem Headset 115 verbunden ist. Das Headset 115 ist dazu eingerichtet, am Kopf eines Fahrers 120 des Kraftfahrzeugs 105 angebracht zu werden. Der Fahrer 120 befindet sich in einem Innenraum an Bord des Kraftfahrzeugs 105 und kann eine Längs- oder Querbewegung des Kraftfahrzeugs 105 steuern. Darüber hinaus kann er noch weitere Systeme oder Einrichtungen an Bord des Kraftfahrzeugs 105 nutzen.
Das Headset 115 umfasst wenigstens eine optische Anzeige 125 für den Fahrer 120. Das Headset 115 ist bevorzugt derart ausgeführt, dass die Anzeige 125 für den Fahrer 120 total ist, das heißt, dass er optisch lediglich die Inhalte wahrnehmen kann, die ihm mittels der Anzeige 125 bereitgestellt werden. In der dargestellten Ausführungsform ist für jedes Auge des Fahrers 120 eine Anzeige 125 vorgesehen. Außerdem ist am Headset 115 eine Kamera 130 angebracht, die dazu eingerichtet ist, eine Ansicht zumindest des Innenraums des Kraftfahrzeugs 105 bereitzustellen.
Abbildungseigenschaften der Kamera 130 sind bevorzugt an optische Eigenschaften des visuellen Apparats des Fahrers 120 angepasst, sodass eine mittels der Kamera 130 bereitgestellte Ansicht auf einer Anzeige 125 ausgegeben werden kann und sich für den Fahrer 120 ein optischer Eindruck einstellt, der möglichst nahe an dem liegt, den er ohne das Headset 115 erhielte. Falls erforderlich, kann die Ansicht mittels der Verarbeitungseinrichtung 110 in diesem Sinne angepasst werden. Es ist zu beachten, dass auch mehrere Kameras 130 vom Headset 115 umfasst beziehungsweise an ihm angebracht sein können.
Am Headset 115 kann ein Marker 135 angebracht sein, der als optisches Referenzmuster verwendet werden kann. Der Marker 135 ist bevorzugt derart geformt und am Headset 115 angebracht, dass er in optischer Weise auf eine Position und/oder Ausrichtung des Headsets 115 hinweist. Beispielsweise kann eine weitere Kamera 130 an einem Strukturelement des Kraftfahrzeugs 105 angebracht und dazu eingerichtet sein, das Headset 115 optisch abzutasten. Auf der Abtastung kann der Marker 135 leicht erkannt werden, sodass eine Position oder Ausrichtung des Headsets 115 bestimmt werden kann.
In entsprechender Weise kann ein Marker 135 an einem Strukturelement des Kraftfahrzeugs 105 angebracht sein und eine Position oder Ausrichtung des Headsets 115 kann bezüglich einer optischen Abtastung des Markers 135 mittels der am Headset 115 angebrachten Kamera 130 erfolgen.
Rein beispielhaft ist in 1 als Strukturelement ein Rahmen 140 einer Scheibe 145, die den Innenraum des Kraftfahrzeugs 105 begrenzt, gewählt. Ein Marker 135 kann beispielsweise an einem oberen Rand des Rahmens 140 im Bereich eines Innenspiegels 150 angebracht sein. Die Kamera 130 ist exemplarisch am unteren Rand des Rahmens 140 angeordnet.
Optional ist an der Scheibe 145 eine optische Markierung 155 angebracht, die bevorzugt eindimensional oder zweidimensional ausgeführt ist. Die Markierung 155 kann binär codiert sein, wobei sie helle und dunkle Abschnitte umfasst, deren Anordnung und Ausdehnungen automatisch verarbeitet werden können, um eine dadurch codierte Nachricht zu entschlüsseln. Die Nachricht kann auf eine Geometrie der Scheibe 145 hinweisen. Die Geometrie kann insbesondere eine Größe oder Form der Scheibe 145 betreffen. In einer weiteren Ausführungsform umfasst die Nachricht 155 einen Hinweis auf einen Eintrag in einem Datenspeicher, wobei dem Eintrag Informationen über die Geometrie der Scheibe 145 zugeordnet sind. Der Datenspeicher kann eine Vielzahl Einträge und zugeordnete Geometrien umfassen.
Bevorzugt umfasst das System 100 ferner einen Empfänger 160 für Signale eines globalen satellitengestützten Navigationssystems (GNSS). Auf der Basis empfangener Signale kann der Empfänger 160 eine geografische Position des Kraftfahrzeugs 105 sowie optional eine Bewegungsrichtung und Bewegungsgeschwindigkeit des Kraftfahrzeugs 105 bestimmen.
Ein Beschleunigungssensor 165 kann vorgesehen sein, um eine Beschleunigung oder Drehbeschleunigung des Kraftfahrzeugs 105 um eine oder mehrere Raumachsen zu bestimmen. Bevorzugt ist der Beschleunigungssensor 165 zur Bestimmung bezüglich einer Längsachse, einer Hochachse und einer Querachse des Kraftfahrzeugs 105 eingerichtet. Dabei kann eine Beschleunigung entlang einer der Achsen (Translation) oder um eine der Achsen (Rotation) bestimmt werden. Ein entsprechender Beschleunigungssensor 165 kann auch am Headset 115 angebracht und mit der Verarbeitungseinrichtung 110 verbunden sein.
Das System 100 umfasst ferner ein Modell 170, das dazu eingerichtet ist, eine virtuelle Umgebung nachzustellen. Die virtuelle Umgebung ist auf die reale Umgebung des Kraftfahrzeugs 105 abgestimmt. Dazu ist eine Lage der virtuellen Umgebung bezüglich der realen Umgebung vorbestimmt. Bewegt sich das Kraftfahrzeug 105 in der realen Umgebung, so bewegt es sich in derselben Weise in der virtuellen Umgebung. Folgt das Kraftfahrzeug 105 einer vorbestimmten Trajektorie, so nimmt es eine Serie von Posen ein, bezüglich denen jeweils Ansichten der virtuellen Umgebung mittels des Modells 170 bestimmt werden können. Die Serie der bereitgestellten Ansicht entspricht dem Eindruck einer Fahrt entlang der Trajektorie durch die virtuelle Umgebung.
Der Verlauf eines Untergrunds der realen Umgebung des Kraftfahrzeugs 105 ist bevorzugt in der virtuellen Umgebung nachempfunden. So kann insbesondere ein Gefälle, eine Straße, ein Objekt oder eine Landmarke der realen Umgebung in der virtuellen Umgebung reflektiert sein.
Weiter bevorzugt ist eine Schnittstelle 175 zur Verbindung mit einer Einrichtung an Bord des Kraftfahrzeugs 105 vorgesehen. Über die Schnittstelle 175 kann insbesondere ein Positions-, Ausrichtungs- oder Bewegungsparameter des Kraftfahrzeugs 105 bezogen werden. Beispielhafte Einrichtungen an Bord des Kraftfahrzeugs 105, die solche Informationen bereitstellen können, umfassen ein ABS-System, eine elektronische Fahrwerkssteuerung, eine Motorsteuerung für einen Antriebsmotor oder ein Navigationssystem. Optional kann auch ein Sensor an Bord des Kraftfahrzeugs 105 für das System 100 genutzt werden. Beispielsweise kann eine bereits vorhandene Innenraumkamera 130 zur Abtastung des Headsets 115 benutzt werden.
Optional ist eine drahtlose Kommunikationseinrichtung 180 vorgesehen, die dazu eingerichtet sein kann, mit einer zentralen Stelle oder einem anderen System 100 an Bord eines weiteren Kraftfahrzeugs 105 zu kommunizieren.
2 zeigt eine Überlagerung 200, die sich einem Fahrer 120 an Bord eines Kraftfahrzeugs 105 beim Blick durch ein Headset 115 darstellen kann. Die Überlagerung 200 umfasst Abschnitte einer ersten Ansicht 205 und einer zweiten Ansicht 210. Die erste Ansicht 205 ist mittels einer am Headset 115 des Fahrers 120 angebrachten Kamera 130 bereitgestellt. Die zweite Ansicht 210 ist bezüglich einer Ansicht der virtuellen Umgebung des Kraftfahrzeugs 105 bezüglich einer Pose des Kopfs des Fahrers 120 bestimmt.
Die erste Ansicht 205 betrifft den Innenraum des Kraftfahrzeugs 105 und reflektiert, was der Fahrer 120 ohne das Headset 115 bei entsprechender Kopfhaltung ebenfalls sehen könnte. Dazu zählen alle Ausstattungs- und Funktionsbestandteile des Kraftfahrzeugs 105, insbesondere ein Lenkrad und ein Cockpit. Der Fahrer 120 sieht auch sich selbst, wie in 2 beispielhaft durch die Hände des Fahrers 120 am Lenkrad erkennbar ist.
Ein Abschnitt der zweiten Ansicht 210 ist in die erste Ansicht 205 dort eingeblendet, wo der Innenraum des Kraftfahrzeugs 105 durch eine Scheibe 145 begrenzt ist. Ein Übergang zwischen der ersten Ansicht 205 und der zweiten Ansicht 210 ist in 2 durch unterbrochene Linien hervorgehoben. Diese Linien sind in der Regel nicht Teil der Ansichten 205, 210 und vom Fahrer 120 nicht erkennbar.
In der Darstellung von 2 sind eine Frontscheibe und eine Seitenscheibe vorgesehen, wobei durch die Seitenscheibe ein Außenspiegel 215 erkennbar ist. Optional kann auf einer Spiegelfläche des Außenspiegels 215 ein Abschnitt einer dritten Ansicht 220 dargestellt werden, die mittels des Modells 170 in der virtuellen Umgebung bezüglich einer Pose des Außenspiegels 215 bestimmt ist. In entsprechender Weise kann ein gegenüber liegender Außenspiegel oder ein Innenspiegel behandelt werden.
Zur Illustration einer möglichen Funktionsweise des Systems 100 sind in 2 in der virtuellen Umgebung des Kraftfahrzeugs 105 zwei nebeneinanderliegende Tore 225 dargestellt.
Der Fahrer 120 kann die Aufgabe haben, durch dasjenige Tor 225 zu fahren, das ihm in einer bestimmten Weise angezeigt wird, beispielsweise in einer vorbestimmten Farbe, und das andere, das ihm in einer anderen vorbestimmten Farbe angezeigt werden kann, zu meiden. Die Farben der Tore 225 können beispielsweise nach einem vorbestimmten Muster oder auch zufällig wechseln. Insbesondere können die Farben in Abhängigkeit einer Fahrgeschwindigkeit und eines Abstands des Kraftfahrzeugs 105 von den Toren 225 erst spät eingeblendet werden. Eine Reaktionsfähigkeit und eine Fähigkeit des Fahrers 120, das Kraftfahrzeug 105 auch bei hoher Geschwindigkeit kontrolliert durch das richtige Tor 225 zu fahren, können so trainiert werden.
3 zeigt eine beispielhafte Ansicht eines Fahrers 120 an Bord eines Kraftfahrzeugs 105 mit einem System 100. Am Kopf des Fahrers 120 ist das Headset 115 angebracht. Dabei ist das Headset 115 bevorzugt relativ klein und leicht, sodass es den Fahrer 120 nicht behindert und eine Bewegung seines Kopfes nicht stört. In einem Bereich, der nahe vor den Augen des Fahrers 120 liegt, sind zwei Kameras 130 angebracht. An einem Rahmen des Headsets 115 sind Elemente eines Markers 135 verteilt.
Durch eine Seitenscheibe und eine Heckscheibe sind Abschnitte einer realen Umgebung des Kraftfahrzeugs 105 erkennbar. Der Fahrer 120 kann die reale Umgebung nicht sehen und über das Headset 115 werden ihm im Bereich der Scheiben 145 Ausschnitte der virtuellen Umgebung des Kraftfahrzeugs 105 eingeblendet.
4 zeigt ein Ablaufdiagramm eines Verfahrens 400. Das Verfahren 400 kann insbesondere mittels eines Systems 100 ausgeführt werden.
In einem Schritt 405 kann das Headset 115 vom Fahrzeug 105 aus erfasst werden. Dazu kann das Headset 115 mittels einer fest angebrachten Kamera 130 abgetastet werden.
In einem Schritt 410 kann eine Pose des Kopfs des Fahrers 120 im Fahrzeug 105 bestimmt werden. Dazu kann die Pose des Headsets 115 bestimmt werden, beispielsweise bezüglich der Lage des Markers 135 auf der optischen Abtastung.
In einem Schritt 415 kann der Innenraum des Fahrzeugs 105 vom Headset 115 aus abgetastet werden. Dazu kann die am Headset 115 angebrachte Kamera 130 eingesetzt werden. Optional kann die Pose des Kopfs des Fahrers 120 auch auf der Basis dieser Abtastung bestimmt werden. Dazu kann insbesondere die Lage eines Markers 135, der fest am Kraftfahrzeug 105 angebracht ist, in der Abtastung bestimmt werden.
Zur Bestimmung der Pose des Kraftfahrzeugs 105 in der realen Umgebung kann in einem Schritt 420 eine absolute Position des Kraftfahrzeugs 105 bestimmt werden. Dazu kann beispielsweise der GNSS-Empfänger 160 oder eine kamerabasierte Positionserkennung verwendet werden, die mittels der Schnittstelle 175 an das System 100 angeschlossen sein kann.
In einem Schritt 425 kann eine Beschleunigung des Kraftfahrzeugs 105 bestimmt werden. Die Beschleunigung kann mittels eines Beschleunigungssensors 165 oder auf der Basis eines Systems an Bord des Kraftfahrzeugs 105 bestimmt werden, beispielsweise eines Antriebs- oder Bremssystems.
Eine relative Position des Kraftfahrzeugs 105 kann in einem Schritt 430 bestimmt werden. Die relative Position kann insbesondere bezüglich Bewegungs- beziehungsweise Geschwindigkeitsinformationen des Kraftfahrzeugs 105 bestimmt werden. Dazu können insbesondere Signale eines Odometers des Kraftfahrzeugs 105 ausgewertet werden, die über die Schnittstelle 175 bezogen werden können.
Auf der Basis von in den Schritten 420 bis 430 gesammelten Informationen kann die Pose des Kraftfahrzeugs 105 in der realen Umgebung in einem Schritt 435 bestimmt werden.
In einem Schritt 440 kann die Pose des Kopfs des Fahrers 120 in der realen Umgebung auf der Basis der Pose seines Kopfs im Kraftfahrzeug 105 und der Pose des Kraftfahrzeugs 105 in der realen Umgebung bestimmt werden. Für optimale Ergebnisse sollte die Pose des Kopfs im Schritt 440 mit möglichst hoher Genauigkeit und im dynamischen Fall mit möglichst geringer zeitlicher Verzögerung bestimmt werden. Zwischenergebnisse können auf der Basis weiterer Informationen verbessert werden.
In einem Schritt 445 kann auf der Basis der bestimmten Pose eine Ansicht der virtuellen Umgebung bestimmt werden. Diese Ansicht ist hierin auch als zweite Ansicht bezeichnet.
Auf der Basis der Abtastung des Innenraums im Schritt 415 kann eine Ansicht des Innenraums bestimmt sein, die hierin auch als erste Ansicht bezeichnet ist. In einem optionalen Schritt 450 kann in der ersten Ansicht die Lage einer Scheibe 145 bestimmt werden. Dazu kann eine Begrenzung der Scheibe 145 in der ersten Ansicht bestimmt werden, oder geometrische Informationen über die Form oder Ausdehnung der Scheibe 145 können entsprechend angewendet werden.
In einem Schritt 455 können die erste und die zweite Ansicht überlagert werden. Dabei werden bevorzugt Abschnitte der ersten Ansicht, die im Bereich einer Scheibe 145 liegen, durch entsprechende Abschnitte der zweiten Ansicht ersetzt.
In einem Schritt 460 kann die Überlagerung an den Fahrer 120 über die wenigstens eine Anzeige 125 des Headsets 115 ausgegeben werden.
Bezugszeichen

100: System
105: Kraftfahrzeug
110: Verarbeitungseinrichtung
115: Headset
120: Fahrer
125: Anzeige
130: Kamera
135: Marker
140: Rahmen
145: Scheibe
150: Innenspiegel
155: Markierung
160: GNSS Empfänger
165: Beschleunigungssensor
170: Modell
175: Schnittstelle
180: Kommunikationseinrichtung
200: Überlagerung
205: erste Ansicht
210: zweite Ansicht
215: Außenspiegel
220: dritte Ansicht
225: Tor
400: Verfahren
405: Headset vom Fahrzeug aus erfassen
410: Pose des Kopfs des Fahrers im Fahrzeug bestimmen
415: Innenraum des Fahrzeugs vom Headset aus abtasten
420: absolute Position bestimmen
425: Beschleunigung bestimmen
430: relative Position bestimmen
435: Pose des Fahrzeugs in der realen Umgebung bestimmen
440: Pose des Kopfs des Fahrers in der realen Umgebung bestimmen
445: Ansicht der virtuellen Umgebung bestimmen
450: Scheibe bestimmen
455: Ansichten Überlagern
460: an den Fahrer ausgeben

Claims

System (100), wobei das System (100) folgendes umfasst: - ein Headset, das dazu eingerichtet ist, an einem Kopf eines Fahrers (120) eines Kraftfahrzeugs (105) angebracht zu werden, - wobei das Headset eine Kamera (130) zur Bereitstellung einer ersten Ansicht (205) eines Innenraums des Kraftfahrzeugs (105) und eine optische Anzeige für den Fahrer (120) umfasst; - ein Modell (170) zur Bereitstellung einer Ansicht einer virtuellen Umgebung des Kraftfahrzeugs (105) bezüglich einer vorbestimmten Pose; - eine Einrichtung zur Bestimmung einer Pose des Kopfs des Fahrers (120) bezüglich der realen Umgebung des Kraftfahrzeugs (105); - eine Verarbeitungseinrichtung (110), die dazu eingerichtet ist, die erste Ansicht (205) des Innenraums mit einer zweiten Ansicht (210) der virtuellen Umgebung bezüglich der bestimmten Pose zu überlagern und dem Fahrer (120) bereitzustellen.
System (100) nach Anspruch 1, wobei der Innenraum des Kraftfahrzeugs (105) durch eine Scheibe begrenzt ist; wobei die Überlagerung derart bereitgestellt wird, dass die virtuelle Umgebung für den Fahrer (120) nur im Bereich der Scheibe sichtbar ist.
System (100) nach Anspruch 2, wobei eine vorbestimmte optische Markierung an der Scheibe angebracht ist und wobei die Verarbeitungseinrichtung (110) dazu eingerichtet ist, die Lage der Scheibe in der ersten Ansicht (205) des Innenraums bezüglich der Markierung zu bestimmen.
System (100) nach Anspruch 3, wobei der Markierung eine Form der Scheibe zugeordnet ist.
System (100) nach einem der vorangehenden Ansprüche, wobei die Einrichtung einen ersten Sensor (160, 165, 175) zur Bestimmung einer Pose des Kraftfahrzeugs (105) in der realen Umgebung und einen zweiten Sensor (130) zur Bestimmung einer Pose des Kopfs des Fahrers (120) im Kraftfahrzeug (105) umfasst.
System (100) nach Anspruch 5, wobei die Einrichtung eine absolute Positioniereinrichtung (160) umfasst.
System (100) nach Anspruch 5 oder 6, wobei die Einrichtung eine relative Positioniereinrichtung (175) umfasst.
System (100) nach einem der Ansprüche 5 bis 7, wobei die Einrichtung einen Beschleunigungssensor (165) umfasst.
System (100) nach einem der vorangehenden Ansprüche, ferner umfassend eine Einrichtung zur Begrenzung einer Position des Kraftfahrzeugs (105) auf einen vorbestimmten Bereich der realen Umgebung.
System (100) nach einem der vorangehenden Ansprüche, wobei der Innenraum des Kraftfahrzeugs (105) durch eine Scheibe (145) begrenzt ist, auf dessen Außenseite ein Rückspiegel (215) angebracht ist; wobei eine weitere Ansicht (215) der virtuellen Umgebung bezüglich des Rückspiegels (215) bestimmt und derart mit der ersten Ansicht (205) überlagert wird, dass sie für den Fahrer (120) im Rückspiegel (215) sichtbar ist.
Kraftfahrzeug (105), umfassend ein System (100) nach einem der vorangehenden Ansprüche.
Verfahren (400) mit folgenden Schritten: - Bestimmen (440) einer Pose eines Kopfs eines Fahrers (120) eines Kraftfahrzeugs (105) bezüglich einer realen Umgebung des Kraftfahrzeugs (105); - Bestimmen (415) einer ersten Ansicht (205) eines Innenraums des Kraftfahrzeugs (105) vom Kopf des Fahrers (120) aus; - Bestimmen (445) einer zweiten Ansicht (210) einer virtuellen Umgebung des Kraftfahrzeugs (105) bezüglich der bestimmten Pose; - Überlagern (455) der ersten Ansicht (205) des Innenraums mit der zweiten Ansicht (210) der virtuellen Umgebung; und - Bereitstellen der Überlagerung an den Fahrer (120).
Verfahren (400) nach Anspruch 12, wobei die virtuelle Umgebung in Abhängigkeit einer Bewegung des Kraftfahrzeugs (105) angepasst wird.
Verfahren (400) nach Anspruch 12 oder 13, wobei Systeme (100) an Bord von zwei Kraftfahrzeugen (105) in zwei realen, voneinander getrennten Umgebungen vorgesehen sind, wobei für die Systeme (100) nur eine gemeinsame virtuelle Umgebung verwendet wird.