DE102016218602A1 - A method for changing the perception of the outside world of a vehicle - Google Patents

A method for changing the perception of the outside world of a vehicle Download PDF

Info

Publication number
DE102016218602A1
DE102016218602A1 DE102016218602.7A DE102016218602A DE102016218602A1 DE 102016218602 A1 DE102016218602 A1 DE 102016218602A1 DE 102016218602 A DE102016218602 A DE 102016218602A DE 102016218602 A1 DE102016218602 A1 DE 102016218602A1
Authority
DE
Germany
Prior art keywords
vehicle
detected
objects
real
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016218602.7A
Other languages
German (de)
Inventor
Peter Wouda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102016218602.7A priority Critical patent/DE102016218602A1/en
Publication of DE102016218602A1 publication Critical patent/DE102016218602A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F21/00Mobile visual advertising
    • G09F21/04Mobile visual advertising by land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/656Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F21/00Mobile visual advertising
    • G09F21/04Mobile visual advertising by land vehicles
    • G09F21/049Mobile visual advertising by land vehicles giving information to passengers inside the vehicles
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address
    • G09F27/005Signs associated with a sensor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/164Infotainment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77Instrument locations other than the dashboard
    • B60K2360/785Instrument locations other than the dashboard on or in relation to the windshield or windows
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • B60K35/233Head-up displays [HUD] controlling the size or position in display areas of virtual images depending on the condition of the vehicle or the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs durch eine Scheibe des Fahrzeugs weist das Fahrzeug mindestens eine Scheibe auf, die als Anzeigevorrichtung (16, 17) ausgestaltet ist und einerseits so angesteuert werden kann, dass sie transparent erscheint und einem Passagier des Fahrzeugs eine optische Wahrnehmung der Außenwelt ermöglicht, und andererseits so angesteuert werden kann, dass Bildinhalte auf ihr dargestellt werden können. Das Umfeld des Fahrzeugs wird durch Sensoren erfasst. Mindestens ein reales Objekt im erfassten Umfeld des Fahrzeugs wird erkannt. Die Anzeigevorrichtung (16, 17) wird so angesteuert, dass ein virtuelles Objekt dargestellt wird und dabei das erkannte reale Objekt teilweise oder vollständig überlagert wird. To change the perception of the outside world of a vehicle through a window of the vehicle, the vehicle has at least one disc, which is designed as a display device (16, 17) and on the one hand can be controlled so that it appears transparent and a passenger of the vehicle an optical perception of Outside world allows, and on the other hand can be controlled so that image content can be displayed on it. The environment of the vehicle is detected by sensors. At least one real object in the detected environment of the vehicle is detected. The display device (16, 17) is activated in such a way that a virtual object is displayed and the detected real object is partially or completely superimposed on it.

Figure DE102016218602A1_0001
Figure DE102016218602A1_0001

Description

Gebiet der Erfindung Field of the invention

Die vorliegende Erfindung betrifft ein Verfahren zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs durch eine Scheibe des Fahrzeugs, sowie eine Vorrichtung zur Durchführung des Verfahrens. The present invention relates to a method for changing the perception of the outside world of a vehicle through a window of the vehicle, as well as a device for carrying out the method.

Hintergrund der Erfindung Background of the invention

Auch in der Fahrzeugtechnik erfolgt vermehrt eine computergestützte Erweiterung der Realitätswahrnehmung (englisch: Augmented Reality, kurz AR), insbesondere im Bereich der visuellen Darstellung von Informationen. Hierbei werden beispielsweise Zusatzinformationen oder virtuelle Objekte auf die Windschutzscheibe projiziert und dem wahrgenommenen realen Fahrzeugumfeld überlagert. So können beispielsweise vorausfahrende Fahrzeuge mit zu geringem Abstand optisch hervorgehoben werden oder Abbiegehinweise auf der Fahrbahn wiedergegeben werden. Bei einer sogenannten kontaktanalogen Anzeige werden die Informationen dabei so eingeblendet, dass sie als fester Bestandteil der Umwelt erscheinen, ein Navigationspfeil erscheint beispielsweise so, als wenn er direkt auf der Straße liegen würde. Also in vehicle technology is increasingly a computer-aided expansion of the perception of reality (English: Augmented Reality, short AR), especially in the field of visual representation of information. Here, for example, additional information or virtual objects are projected onto the windshield and superimposed on the perceived real vehicle environment. Thus, for example, vehicles driving ahead can be visually highlighted at too short a distance or turn-by-turn indications can be reproduced on the roadway. In a so-called contact-analogue display, the information is displayed in such a way that it appears as an integral part of the environment, for example a navigation arrow appears as if it were lying directly on the street.

Häufig werden hierfür sogenannte Head-up-Display eingesetzt, bei denen die darzustellenden Bildinhalte auf die Windschutzscheibe oder auf eine separate, davor angebrachte Scheibe, beispielsweise eine transparente Kunststoffscheibe, projiziert werden. Dies ermöglicht dem Fahrer bei der Fahrt seine Kopfhaltung bzw. Blickrichtung beizubehalten und sowohl die projizierten Informationen als auch die vor ihm liegende Straße gleichzeitig zu sehen. Es entsteht hierbei der Eindruck, als ob sich in einigen Metern Entfernung vor der Motorhaube eine Anzeige befände. Frequently, for this purpose, so-called head-up display are used, in which the image content to be displayed on the windshield or on a separate, mounted in front of it, for example, a transparent plastic disc projected. This allows the driver while driving to maintain his head posture or line of vision and to see both the projected information and the road ahead. The result is the impression as if there were an ad in front of the bonnet a few meters away.

Gegenwärtig in Fahrzeugen verbaute Head-up-Displays bestehen üblicherweise aus einer bildgebenden Einheit, einem Optikmodul und der Windschutzscheibe bzw. der davor angebrachten Scheibe als Projektionsfläche. Bei dieser Bauform kann jedoch eine Anzeige nur in einem Teilbereich der Windschutzscheibe erfolgen. Currently installed in vehicles head-up displays usually consist of an imaging unit, an optical module and the windshield or the front mounted disc as a projection screen. In this design, however, an indication can be made only in a portion of the windshield.

Es sind jedoch auch Anzeigevorrichtungen möglich, die sich über die komplette Windschutzscheibe erstrecken. So offenbart die DE 10 2005 003 181 A1 eine Multifunktionsfensterscheibe, bei der die Transparenz einzelner Segmente selektiv verändert werden kann um so Teile der Scheibe abzudunkeln oder auch eine Wiedergabe von Informationen zu Objekten in der Umgebung eines Fahrzeuges oder von Filmen und ähnlichem zu ermöglichen. Ebenso zeigt die DE 10 2014 208 740 A1 eine Anzeigevorrichtung für ein Fahrzeug, bei dem auf der gesamten Windschutzscheibe oder auch einer seitlichen Fahrzeugscheibe eine Anzeige erfolgen kann. Sensoren erfassen hierbei die Umgebung des Fahrzeugs und erlauben so Informationen zu außerhalb des Fahrzeugs befindlichen Objekten anzuzeigen. However, there are also display devices possible, which extend over the entire windshield. So revealed the DE 10 2005 003 181 A1 a multifunctional window pane, in which the transparency of individual segments can be selectively changed so as to darken parts of the pane or also to enable reproduction of information about objects in the surroundings of a vehicle or of films and the like. Likewise shows the DE 10 2014 208 740 A1 a display device for a vehicle, in which a display can be made on the entire windshield or a side window pane. Sensors detect the surroundings of the vehicle and thus allow information to be displayed on objects located outside the vehicle.

Solche Anzeigetechnologien ermöglichen den Passagieren Filme und andere Inhalte anzuzeigen und können in einem autonomen Fahrmodus auch vom Fahrer betrachtet werden, da sich dieser nicht der Fahraufgabe widmen muss, haben aber kein Bezug zur Fahrzeugaußenwelt. Andererseits kann insbesondere bei längeren Fahrten in einem autonomen Fahrmodus die Wahrnehmung der realen Umwelt für die Passagiere langweilig oder sogar frustrierend sein. Such display technologies allow passengers to view movies and other content and can also be viewed by the driver in an autonomous driving mode, as this does not have to be dedicated to the driving task, but have no relation to the vehicle's outside world. On the other hand, especially for longer trips in an autonomous driving mode, the perception of the real environment for the passengers may be boring or even frustrating.

Zusammenfassung der Erfindung Summary of the invention

Es ist eine Aufgabe der Erfindung insbesondere bei autonom fahrenden Fahrzeugen die Wahrnehmung der Fahrzeugaußenwelt für die Passagiere interessanter und abwechslungsreicher zu gestalten. It is an object of the invention, in particular for autonomously driving vehicles, to make the perception of the vehicle's outside world more interesting and varied for the passengers.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 und eine Vorrichtung zur Durchführung des Verfahrens gemäß Anspruch 8 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche. This object is achieved by a method having the features of claim 1 and an apparatus for carrying out the method according to claim 8. Preferred embodiments of the invention are the subject of the dependent claims.

Bei dem erfindungsgemäßen Verfahren zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs weist dieses mindestens eine Scheibe auf, die als Anzeigevorrichtung ausgestaltet ist, die einerseits so angesteuert werden kann, dass sie transparent erscheint und einem Passagier des Fahrzeugs eine optische Wahrnehmung der Außenwelt ermöglicht, und andererseits so angesteuert werden kann, dass Bildinhalte auf ihr dargestellt werden können. Das Umfeld des Fahrzeugs wird durch Sensoren erfasst. Wenn mindestens ein reales Objekt im erfassten Umfeld des Fahrzeugs erkannt wird; wird die Anzeigevorrichtung so angesteuert, dass ein virtuelles Objekt dargestellt wird und dabei das erkannte reale Objekt teilweise oder vollständig überlagert wird. In the inventive method for changing the perception of the outside world of a vehicle, this has at least one disc which is configured as a display device, which can be controlled on the one hand so that it appears transparent and allows a passenger of the vehicle, a visual perception of the outside world, and so on can be controlled that image content can be displayed on it. The environment of the vehicle is detected by sensors. If at least one real object is detected in the detected environment of the vehicle; the display device is controlled so that a virtual object is displayed and thereby the detected real object is partially or completely superimposed.

Gemäß einer Ausführungsform der Erfindung umfasst diese die folgenden Schritte:

  • – eine optische Bilderfassung (1) des Fahrzeugumfelds mit einem oder mehreren externen Kameras (6, 7);
  • – eine Bildverarbeitung (2) der durch die Kameras (6, 7) erfassten Bildsignale, wobei in dem jeweiligen Bildsignal einzelne reale Objekte separiert und erkannt werden;
  • – eine Ermittlung (3) eines dem realen Objekt entsprechenden virtuellen Objektes;
  • – eine Skalierung (4) des virtuellen Objektes entsprechend der Größe des erkannten realen Objekts und eine Ermittlung (4) der perspektivisch korrekten Darstellung des virtuellen Objektes entsprechend der Perspektive zu dem erkannten realen Objekt; und
  • – eine skalierte und perspektivisch korrekte Darstellung (5) des virtuellen Objekts.
According to one embodiment of the invention, this comprises the following steps:
  • - an optical image capture ( 1 ) of the vehicle environment with one or more external cameras ( 6 . 7 );
  • - an image processing ( 2 ) by the cameras ( 6 . 7 ) detected image signals, wherein in the respective image signal individual real objects are separated and detected;
  • - an investigation ( 3 ) a virtual object corresponding to the real object;
  • - a scaling ( 4 ) of the virtual object corresponding to the size of the recognized real object and a determination ( 4 ) the perspective correct representation of the virtual object according to the perspective of the recognized real object; and
  • A scaled and perspective correct representation ( 5 ) of the virtual object.

Eine optische Bilderfassung des Fahrzeugumfelds durch Kameras ermöglicht hierbei beliebige reale Objekte zu erfassen und mittels bekannter Objekterkennung-Algorithmen zu separieren und zu erkennen. Dies ermöglicht das reale Objekt durch ein entsprechendes virtuelles Objekt zu ersetzen. So können beispielsweise bewegte reale Objekte wie andere Fahrzeuge durch bewegte virtuelle Objekte wie Tiere und unbewegliche reale Objekte wie beispielsweise Häuser durch unbewegliche virtuelle Objekte wie Pflanzen, Berge oder Korallenriffe ersetzt werden. An optical image capture of the vehicle surroundings by cameras makes it possible to detect any real objects and to separate and recognize them by means of known object recognition algorithms. This allows the real object to be replaced by a corresponding virtual object. For example, moving real objects like other vehicles can be replaced by moving virtual objects such as animals and immobile real objects such as houses by immovable virtual objects such as plants, mountains or coral reefs.

Vorteilhafterweise wird das durch die Scheibe wahrgenommene Umfeld nur dann teilweise oder vollständig durch virtuelle Objekte ersetzt, wenn sich das Fahrzeug in einem autonomen Fahrmodus befindet. Advantageously, the environment perceived by the disc is only partially or completely replaced by virtual objects when the vehicle is in an autonomous driving mode.

Eine weitere Ausführungsform der Erfindung sieht vor, dass die Blickrichtung des Nutzers erfasst wird und eine Ersetzung der realen Objekte durch virtuelle Objekte nur in dieser Richtung erfolgt. Dies hat den Vorteil, dass lediglich in der Blickrichtung des Nutzers virtuelle Objekte berechnet und wiedergegeben werden müssen, sodass der erforderliche Rechenaufwand deutlich reduziert wird. A further embodiment of the invention provides that the viewing direction of the user is detected and a replacement of the real objects by virtual objects takes place only in this direction. This has the advantage that only in the line of sight of the user virtual objects must be calculated and reproduced, so that the required computational effort is significantly reduced.

Vorteilhafterweise werden Längs- und/oder Querbeschleunigungen des Fahrzeugs durch Sensoren erfasst, wobei die Darstellung des virtuellen Objektes synchron zu den erfassten Längs- und/oder Querbeschleunigungen erfolgt. Dieses hat den Vorteil, dass einer Kinetose vorgebeugt wird oder diese sogar ausgeschlossen wird, da widersprüchliche Informationen zwischen der Anzeige und der Bewegung des Körpers des Passagiers vermieden werden. Advantageously, longitudinal and / or transverse accelerations of the vehicle are detected by sensors, wherein the representation of the virtual object takes place synchronously with the detected longitudinal and / or transverse accelerations. This has the advantage that kinetosis is prevented or even ruled out, as conflicting information between the display and the movement of the passenger's body is avoided.

Eine weitere Ausführungsform der Erfindung sieht vor, dass eine Eingabe eines Nutzers des Fahrzeugs, ob das durch die Scheibe von ihm wahrgenommene Umfeld teilweise oder vollständig durch virtuelle Objekte ersetzt werden soll, erfasst wird. Der Passagier hat damit die freie Wahl und kann selbst entscheiden in welchem Maße die von ihm außerhalb des Fahrzeugs liegende reale Welt durch eine virtuelle Welt ersetzt wird. A further embodiment of the invention provides that an input by a user of the vehicle as to whether the environment perceived by the pane is to be partially or completely replaced by virtual objects is detected. The passenger has a free choice and can decide for himself to what extent the real world outside of the vehicle is replaced by a virtual world.

Vorzugsweise können auch Positionsangaben des Fahrzeugs, die mittels eines GPS-Detektor ermittelt werden, herangezogen werden um unbewegliche reale Objekte zu erkennen. Preferably also position information of the vehicle, which are determined by means of a GPS detector, can be used to detect immobile real objects.

Die erfindungsgemäße Vorrichtung zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs weist mindestens eine Scheibe auf, die als Anzeigevorrichtung ausgestaltet ist, die einerseits so angesteuert werden kann, dass sie transparent erscheint und einem Passagier des Fahrzeugs eine optische Wahrnehmung der Außenwelt ermöglicht, und andererseits so angesteuert werden kann, dass Bildinhalte auf ihr dargestellt werden können. Weiterhin umfasst sie Sensoren zum Erfassen des Umfelds des Fahrzeugs. Wenn mindestens ein reales Objekt im erfassten Umfeld des Fahrzeugs erkannt wird, wird die Anzeigevorrichtung durch eine Bildverarbeitungs- und AR-Ausgabeeinheit so ansteuert, dass ein virtuelles Objekt dargestellt wird und dabei das erkannte reale Objekt teilweise oder vollständig überlagert wird. The device according to the invention for changing the perception of the outside world of a vehicle has at least one disc which is designed as a display device which on the one hand can be controlled in such a way that it appears transparent and enables a passenger of the vehicle to visually perceive the outside world, and on the other hand is activated may be that image content can be displayed on it. Furthermore, it includes sensors for detecting the environment of the vehicle. If at least one real object is detected in the detected environment of the vehicle, the display device is controlled by an image processing and AR output unit so that a virtual object is displayed and thereby the detected real object is partially or completely superimposed.

Vorzugsweise weist die erfindungsgemäße Vorrichtung folgendes auf:

  • – mindestens eine Kamera, die reale Objekte im Umfeld des Fahrzeugs erfasst;
  • – eine Steuereinheit, die die Bildverarbeitungs- und AR-Ausgabeeinheit ansteuert und der Signale von einem oder mehreren Fahrzeugsensoren und/oder Eingaben von einem Nutzer zugeführt werden;
  • – einen Speicher, in dem Darstellungen von einer Vielzahl von realen Objekten und/oder Verknüpfungen zwischen realen Objekten und virtuellen Objekten und/oder Darstellungen bzw. 3D-Modelle der virtuellen Objekte abgelegt sind.
Preferably, the device according to the invention has the following:
  • - At least one camera that detects real objects in the vicinity of the vehicle;
  • A control unit which drives the image processing and AR output unit and which receives signals from one or more vehicle sensors and / or inputs from a user;
  • A memory in which representations of a plurality of real objects and / or links between real objects and virtual objects and / or representations or 3D models of the virtual objects are stored.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich. Further features of the present invention will become apparent from the following description and claims taken in conjunction with the figures.

Kurze Beschreibung der Figuren Brief description of the figures

In den Figuren zeigen: In the figures show:

1 schematisch ein Ablaufdiagramm für das erfindungsgemäße Verfahren; 1 schematically a flowchart for the inventive method;

2 schematisch eine Blockdiagramm für eine erfindungsgemäße Vorrichtung; 2 schematically a block diagram for a device according to the invention;

3 schematisch mehrere Teilansichten des Fahrzeuginnenraums mit unterschiedlichen Anzeigen auf den Fahrzeugscheiben. 3 schematically several partial views of the vehicle interior with different displays on the vehicle windows.

Detaillierte Beschreibung der Ausführungsformen Detailed description of the embodiments

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen. For a better understanding of the principles of the present invention, embodiments of the invention will be explained in more detail below with reference to the figures. It should be understood that the invention is not limited to these embodiments, and that the features described may also be combined or modified without departing from the scope of the invention as defined in the claims.

1 zeigt schematisch das erfindungsgemäße Verfahren zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs. Gemäß Verfahrensschritt 1 erfolgt zunächst eine optische Erfassung des Fahrzeugumfelds mit einem oder mehreren externen Kameras. Zusätzlich können Signale verschiedener Fahrzeugsensoren ausgewertet werden. In Verfahrensschritt 2 erfolgt nun eine Bildverarbeitung der durch die Kameras erfassten Bildsignale. Hierbei werden in dem jeweiligen Bildsignal mittels bekannter Objekterkennungsverfahren einzelne reale Objekte zunächst separiert, und dann beispielsweise basierend auf einer Datenbank, in der Darstellungen verschiedenster Objekte hinterlegt sind, erkannt. Zusätzlich können hierbei auch Positionsangaben des Fahrzeugs, die beispielsweise mit einem GPS-Detektor und digitalen Kartendaten ermittelt werden, herangezogen werden um unbewegliche Objekte wie beispielsweise Gebäude zu erkennen. In einem Verfahrensschritt 3 wird dann dem erkannten realen Objekt ein passendes virtuelles Objekt zugeordnet. So können beispielsweise bewegliche Objekte wie andere Fahrzeuge als Tiere oder Weltraumschiffe dargestellt werden oder unbewegliche Objekte wie die das Fahrzeug umgebenden Häuser durch Pflanzen, Berge oder Korallenriffe ersetzt werden. In einem Verfahrensschritt 4 erfolgt dann eine Skalierung der Darstellung des virtuellen Objektes um dieses der Größe des realen Objektes anzupassen. Ebenso ist eine korrekte räumliche Darstellung erforderlich, beispielsweise sollte ein reales Objekt in Form eines Fahrzeuges, welches sich schräg links vor dem Passagier befindet und damit von schräg hinten zu sehen ist, durch ein virtuelles Objekt ersetzt werden welches ebenfalls von schräg hinten zu sehen ist. Hierfür können in der Datenbank eine Vielzahl von Darstellungen des virtuellen Objektes aus unterschiedlicher Perspektive vorgehalten werden, es kann aber auch eine Berechnung der perspektivischen Darstellung des virtuellen Objektes vorgenommen werden, wenn dieses in der Datenbank als 3-D Modell vorliegt. In Verfahrensschritt 5 erfolgt dann eine Darstellung des virtuellen Objekts auf einer als Display ausgestalteten Scheibe des Fahrzeugs, wobei das ursprünglich sichtbare reale Objekt durch das virtuelle Objekt ersetzt wird. 1 schematically shows the inventive method for changing the perception of the outside world of a vehicle. According to process step 1 First, an optical detection of the vehicle environment with one or more external cameras. In addition, signals from various vehicle sensors can be evaluated. In process step 2 An image processing of the image signals captured by the cameras now takes place. In this case, individual real objects are first separated in the respective image signal by means of known object recognition methods, and then recognized, for example, based on a database in which representations of very different objects are stored. In addition, in this case also position information of the vehicle, which are determined for example with a GPS detector and digital map data, can be used to detect immovable objects such as buildings. In one process step 3 Then a matching virtual object is assigned to the recognized real object. For example, moving objects such as other vehicles can be displayed as animals or space ships or immovable objects such as houses surrounding the vehicle can be replaced by plants, mountains or coral reefs. In one process step 4 then a scaling of the representation of the virtual object takes place in order to adapt this to the size of the real object. Likewise, a correct spatial representation is required, for example, should a real object in the form of a vehicle, which is located diagonally to the left in front of the passenger and thus seen obliquely from behind, be replaced by a virtual object which is also seen from diagonally behind. For this purpose, a plurality of representations of the virtual object from different perspectives can be held in the database, but it is also possible to perform a calculation of the perspective representation of the virtual object if this is present in the database as a 3-D model. In process step 5 Then, a representation of the virtual object takes place on a disk designed as a display of the vehicle, wherein the originally visible real object is replaced by the virtual object.

2 zeigt schematisch ein Blockdiagramm für eine erfindungsgemäße Vorrichtung. Es ist mindestens eine Kamera 6 vorgesehen, die das Umfeld des Fahrzeugs erfasst. Für eine genauere Erfassung des Umfelds und insbesondere wenn dieses in allen Richtungen um das Fahrzeug erfasst werden soll, werden ein oder mehrere zusätzliche Kameras 7 verwendet. Vorzugsweise überlappen sich hierbei die Bilderfassungsbereiche der verschiedenen Kameras 6, 7. Die durch die Kameras erfassten Bildsignale werden einer Bildverarbeitungs- und AR-Ausgabeeinheit 8 zugeführt, in der die in 1 beschriebenen Verfahrensschritte ausgeführt werden. Die Bildverarbeitungs- und AR-Ausgabeeinheit 8 wird hierbei von einer Steuereinheit 9 angesteuert. Steuereinheit 9 wiederum werden Signale von verschiedenen Fahrzeugsensoren zugeführt. So können einem ersten Eingang 10 Signale von einem nicht dargestellten Eyetracking-Sensor zugeführt werden. Der Eyetracking-Sensor erfasst hierbei mit einer oder mehreren Kameras im Fahrzeuginnenraum die Augen und Blickrichtung von einem oder mehreren Passagieren im Fahrzeug. Vorzugsweise ist für jede der im Fahrzeug befindlichen Sitze jeweils eine Kamera vorgesehen die so ausgerichtet ist, dass sie für einen auf dem jeweiligen Sitz befindlichen Passagier die Augen erfassen kann. Die Erfassung der Blickrichtung ermöglicht eine deutliche Reduktion des Verarbeitungsaufwandes, da nur in den Richtungen, in die einer der Passagiere schaut, eine Ersetzung von realen Objekten durch virtuelle Objekte wahrgenommen wird und in anderen Richtungen nicht erfolgen muss. Ebenso können der Steuereinheit 9 über einen zweiten Eingang 11 Daten von einem GPS-Sensor zugeführt werden. Dieses ermöglicht, zusammen mit digitalem Kartenmaterial, reale Objekte im Fahrzeugumfeld wie Gebäude zu identifizieren. Weiterhin können über einen dritten Eingang 12 Daten von einem Beschleunigungssensor erfasst werden, die ein Maß für die aktuelle Längs- und Querbeschleunigung des Fahrzeuges angeben und bei der Wiedergabe der virtuellen Objekte berücksichtigt werden um so einer Kinetose vorzubeugen. Ebenso können über einen vierten Eingang 13 Eingaben von einem der Passagiere erfasst werden. So kann es vorgesehen sein, dass der Passagier entscheiden kann ob er die reale Welt außerhalb des Fahrzeuges so wie sie vorliegt sehen möchte oder ob diese teilweise oder komplett durch virtuelle Objekte ersetzt werden soll. Die Scheiben des Fahrzeugs können hierbei auch als Touch-Screen ausgestaltet sein und es dem Passagier ermöglichen reale Objekte oder auch virtuelle Objekte anzuwählen, beispielsweise um über diese weitere Information zu erhalten. 2 schematically shows a block diagram for a device according to the invention. It is at least a camera 6 provided that detects the environment of the vehicle. For a more accurate detection of the environment and especially if this is to be detected in all directions around the vehicle, one or more additional cameras 7 used. In this case, the image capture areas of the different cameras preferably overlap 6 . 7 , The image signals captured by the cameras become an image processing and AR output unit 8th supplied in which the in 1 described method steps are performed. The image processing and AR output unit 8th This is done by a control unit 9 driven. control unit 9 in turn, signals from different vehicle sensors are supplied. So can a first entrance 10 Signals are fed from an eye tracking sensor, not shown. The eye-tracking sensor captures the eyes and viewing direction of one or more passengers in the vehicle with one or more cameras in the vehicle interior. Preferably, a camera is provided for each of the seats located in the vehicle which is aligned so that it can detect the eyes for a passenger located on the respective seat. The detection of the viewing direction allows a significant reduction of the processing effort, since only in the directions in which one of the passengers looks, a replacement of real objects by virtual objects is perceived and does not have to be done in other directions. Likewise, the control unit can 9 via a second entrance 11 Data is fed from a GPS sensor. This, together with digital map material, makes it possible to identify real objects in the vehicle environment like buildings. Furthermore, via a third input 12 Data from an acceleration sensor are detected, which provide a measure of the current longitudinal and lateral acceleration of the vehicle and are taken into account during the playback of the virtual objects so as to prevent kinetosis. Likewise, via a fourth input 13 Inputs are captured by one of the passengers. Thus, it can be provided that the passenger can decide whether he wants to see the real world outside the vehicle as it exists or whether it should be partially or completely replaced by virtual objects. The windows of the vehicle can in this case also be designed as a touch screen and allow the passenger to select real objects or even virtual objects, for example in order to obtain more information about them.

Die Bildverarbeitungs- und AR-Ausgabeeinheit 8 führt eine Erkennung und Analyse der in den erfassten Bildsignalen vorhandenen realen Objekte durch und kann hierbei auf eine in einem Speicher 14 abgelegte Datenbank zurückgreifen. In dieser Datenbank können einerseits Darstellungen von einer Vielzahl von Objekten hinterlegt sein um die Erkennung der realen Objekte zu unterstützen. Weiterhin können in der Datenbank Verknüpfungen zwischen realen, durch die Kameras erfassten Objekten und virtuellen Objekten abgelegt sein. Schließlich können in dieser auch die Darstellungen bzw. 3D-Modelle der virtuellen Objekte abgelegt sein. The image processing and AR output unit 8th Performs a recognition and analysis of existing in the captured image signals real objects and can in this case to one in a memory 14 access stored database. In this database, on the one hand representations of a large number of objects can be stored around the recognition to support the real objects. Furthermore, links between real objects captured by the cameras and virtual objects can be stored in the database. Finally, the representations or 3D models of the virtual objects can also be stored there.

Die verschiedenen anzuzeigenden virtuelle Objekte bzw. Inhalte können in der Vorrichtung vorinstalliert sein. Ebenso ist es aber auch möglich das diese je nach Bedarf und Vorlieben der Passagiere von diesen beispielsweise auf einer speziellen Inhalteplattform erworben und über das Internet 15 in den Speicher geladen werden. Dieses kann vor Antritt der Fahrt des Fahrzeuges erfolgen oder auch während der Fahrt, wobei letzteren Fall angepasst an die Route des Fahrzeugs virtuelle Objekte bzw. Inhalte nach geladen werden können. The various virtual objects or contents to be displayed can be pre-installed in the device. Likewise, it is also possible that these depending on the needs and preferences of passengers of these, for example, on a special content platform purchased and the Internet 15 be loaded into the memory. This can be done before starting the drive of the vehicle or even while driving, the latter case adapted to the route of the vehicle virtual objects or content can be loaded after.

Die virtuellen Objekte bzw. Inhalte werden dann auf mindestens einer als Display 16 ausgestalteten Scheibe des Fahrzeugs angezeigt. Wenn eine ausreichende Rechenleistung vorliegt und beispielsweise verschiedene Passagiere durch verschiedene Scheiben des Fahrzeugs schauen, können weitere virtuelle Objekte bzw. Inhalte auf einem oder mehreren weiteren als Display 17 ausgestalteten Scheiben wiedergegeben werden. The virtual objects or contents are then on at least one as a display 16 designed disc of the vehicle. If there is sufficient computing power and, for example, different passengers are looking through different panes of the vehicle, further virtual objects or contents can be displayed as one display on one or more others 17 designed discs are played.

Die Abarbeitung der Bildverarbeitungs- und AR-Algorithmen ist sehr rechenaufwendig und erfolgt daher vorzugsweise durch einen oder mehrere Hochleistungsprozessoren, FPGAs, oder GPUs in der Bildverarbeitungs- und AR-Ausgabeeinheit 8. Die Steuereinheit 9 kann aus einem einzelnen elektronischen Steuergerät bestehen, dass üblicherweise einen oder mehrere Eingangs- und Ausgangsstufen, eine Schnittstelle für die Datenkommunikation und einen Mikrocontroller umfasst, der wiederum üblicherweise aus einem Prozessorkern, einem oder mehreren Speicherbausteinen für die Software und einem Arbeitsspeicher besteht. Ebenso kann die Erfindung mittels mehrerer Steuergeräte implementiert werden, die dann über geeignete Schnittstellen kommunizieren. Die als Display ausgestalteten Scheiben können vorzugsweise auf der TOLED(Transparent Organic Light-Emitting Device)-Technologie basieren, bei der die einzelnen Leuchtdioden im inaktiven Zustand transparent sind und erst bei Aktivierung der gewünschte Bildschirm sichtbar wird. Es ist aber auch denkbar, die virtuellen Objekte und Inhalte auf die Scheiben des Fahrzeugs zu projizieren. The processing of the image processing and AR algorithms is very computationally intensive and is therefore preferably done by one or more high performance processors, FPGAs, or GPUs in the image processing and AR output unit 8th , The control unit 9 can consist of a single electronic control unit that usually includes one or more input and output stages, an interface for data communication and a microcontroller, which in turn usually consists of a processor core, one or more memory chips for the software and a working memory. Likewise, the invention can be implemented by means of a plurality of control devices, which then communicate via suitable interfaces. The discs designed as display can preferably be based on the TOLED (Transparent Organic Light-Emitting Device) technology, in which the individual LEDs are transparent in the inactive state and only when activated the desired screen is visible. However, it is also conceivable to project the virtual objects and contents onto the windows of the vehicle.

3 zeigt schematisch mehrere Teilansichten eines zukünftigen Fahrzeuginnenraums mit unterschiedlichen Anzeigen auf den Fahrzeugscheiben, wobei ein erster Passagier 18 im vorderen Bereich des Fahrzeugs und ein zweiter Passagier 19 im hinteren Bereich des Fahrzeugs dargestellt ist. In Teilfigur 3a) ist durch die Fahrzeugscheiben die reale Fahrzeugumgebung zu sehen. In Teilfigur 3b) werden der realen Fahrzeugumgebung nun Informationen 20 überlagert, beispielsweise zu vom Fahrzeug gerade passierten Gebäuden. In Teilfigur 3c) wird nun die reale Fahrzeugumgebung durch virtuelle Objekte 21, in diesem Fall einen Dinosaurier, überlagert, in Teilfigur 3d) werden zusätzlich auch die Gebäude in der Fahrzeugumgebung durch andere Darstellung ersetzt. In Teilfigur 3e) schließlich wird die Fahrzeugumgebung mit einer Fantasiewelt in Form einer Darstellung einer Unterwasserwelt überlagert. 3 schematically shows several partial views of a future vehicle interior with different displays on the vehicle windows, wherein a first passenger 18 in the front of the vehicle and a second passenger 19 is shown in the rear of the vehicle. In part 3a) is through the vehicle windows to see the real vehicle environment. In subfigure 3b) the real vehicle environment is now information 20 superimposed, for example, to the vehicle just passed buildings. In subfigure 3c), the real vehicle environment is now transformed by virtual objects 21 , in this case a dinosaur, superimposed, in subfigure 3d) in addition, the buildings in the vehicle environment are replaced by other representation. In subfigure 3e) finally, the vehicle environment is superimposed with a fantasy world in the form of a representation of an underwater world.

In den Darstellungen gemäß den Teilfiguren 3b) bis 3e) werden zunehmend virtuelle Objekte und Inhalte gezeigt und hierbei auch zunehmend reale Objekte ersetzt. Beispielsweise der Straßenverlauf ist aber weiterhin zu erkennen, so dass ein Bezug zur Realität bestehen bleibt. Durch die Darstellung der virtuellen Inhalte wird die Fahrt jedoch für die Passagiere zu einem Erlebnis. In the representations according to the subfigures 3b) to 3e), virtual objects and contents are increasingly shown and in this case increasingly also real objects are replaced. For example, the road is still recognizable, so that a reference to reality remains. However, presenting the virtual content makes the journey an experience for the passengers.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1
Verfahrensschritt mit Bilderfassung des Fahrzeugumfelds Process step with image capture of the vehicle environment
2 2
Verfahrensschritt mit Bildverarbeitung zur Erkennung und Analyse von einem realem Objekt im erfassten Fahrzeugumfeld Process step with image processing for the detection and analysis of a real object in the detected vehicle environment
3 3
Verfahrensschritt mit Ermittlung eines dem realen Objekt entsprechenden virtuellen ObjektesMethod step with determination of a virtual object corresponding to the real object
4 4
Verfahrensschritt mit Skalierung und perspektivisch korrekter Ermittlung des virtuellen ObjektesProcess step with scaling and perspective correct determination of the virtual object
5 5
Verfahrensschritt mit Darstellung von einem virtuellem Objekt Process step with presentation of a virtual object
6 6
Kamera camera
7 7
weitere Kamera another camera
8 8th
Bildverarbeitungs- und AR-Ausgabe-Einheit Image processing and AR output unit
9 9
Steuereinheit control unit
10 10
Signal von Eyetracking-Sensor Signal from eye tracking sensor
11 11
Daten von GPS-Sensor Data from GPS sensor
12 12
Daten von Beschleunigungssensor Data from accelerometer
13 13
Passagiereingaben passenger entries
14 14
Speicher Storage
15 15
Internet Internet
16 16
als Fahrzeugscheibe ausgestaltetes Display designed as a vehicle window display
17 17
weiteres als Fahrzeugscheibe ausgestaltetes Display another designed as a vehicle window display
18 18
Passagier im Frontbereich Passenger in the front area
19 19
Passagier im Heckbereich Passenger in the stern area
20 20
eingeblendete Informationen information displayed
21 21
virtuelles Objekt virtual object

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102005003181 A1 [0005] DE 102005003181 A1 [0005]
  • DE 102014208740 A1 [0005] DE 102014208740 A1 [0005]

Claims (10)

Verfahren zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs, wobei das Fahrzeug mindestens eine Scheibe aufweist, die als Anzeigevorrichtung (16, 17) ausgestaltet ist, die einerseits so angesteuert werden kann, dass sie transparent erscheint und einem Passagier des Fahrzeugs eine optische Wahrnehmung der Außenwelt ermöglicht, und andererseits so angesteuert werden kann, dass Bildinhalte auf ihr dargestellt werden können, und wobei das Umfeld des Fahrzeugs durch Sensoren erfasst wird, dadurch gekennzeichnet, das mindestens ein reales Objekt im erfassten Umfeld des Fahrzeugs erkannt wird; und die Anzeigevorrichtung (16, 17) so angesteuert wird, dass ein virtuelles Objekt dargestellt wird und dabei das erkannte reale Objekt teilweise oder vollständig überlagert. A method for changing the perception of the outside world of a vehicle, wherein the vehicle has at least one disc serving as a display device ( 16 . 17 ), which on the one hand can be controlled so that it appears transparent and allows a passenger of the vehicle an optical perception of the outside world, and on the other hand can be controlled so that image content can be displayed on it, and wherein the environment of the vehicle by sensors is detected, characterized in that the at least one real object is detected in the detected environment of the vehicle; and the display device ( 16 . 17 ) is controlled so that a virtual object is displayed, thereby partially or completely superimposed on the recognized real object. Verfahren nach Anspruch 1, gekennzeichnet durch die folgenden Schritte – eine optische Bilderfassung (1) des Fahrzeugumfelds mit einem oder mehreren externen Kameras (6, 7); – eine Bildverarbeitung (2) der durch die Kameras (6, 7) erfassten Bildsignale, wobei in dem jeweiligen Bildsignal einzelne reale Objekte separiert und erkannt werden; – eine Ermittlung (3) eines dem realen Objekt entsprechenden virtuellen Objektes; – eine Skalierung (4) des virtuellen Objektes entsprechend der Größe des erkannten realen Objekts und eine Ermittlung (4) der perspektivisch korrekten Darstellung des virtuellen Objektes entsprechend der Perspektive zu dem erkannten realen Objekt; und – eine skalierte und perspektivisch korrekte Darstellung (5) des virtuellen Objekts. Method according to claim 1, characterized by the following steps - an optical image acquisition ( 1 ) of the vehicle environment with one or more external cameras ( 6 . 7 ); - an image processing ( 2 ) by the cameras ( 6 . 7 ) detected image signals, wherein in the respective image signal individual real objects are separated and detected; - an investigation ( 3 ) a virtual object corresponding to the real object; - a scaling ( 4 ) of the virtual object corresponding to the size of the recognized real object and a determination ( 4 ) the perspective correct representation of the virtual object according to the perspective of the recognized real object; and - a scaled and perspective correct representation ( 5 ) of the virtual object. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das durch die Scheibe wahrgenommene Umfeld nur dann teilweise oder vollständig durch virtuelle Objekte ersetzt wird, wenn sich das Fahrzeug in einem autonomen Fahrmodus befindet. A method according to claim 1 or 2, characterized in that the perceived by the disc environment is only partially or completely replaced by virtual objects when the vehicle is in an autonomous driving mode. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Blickrichtung des Nutzers erfasst wird und eine Ersetzung der realen Objekte durch virtuelle Objekte nur in dieser Richtung erfolgt. Method according to one of the preceding claims, characterized in that the viewing direction of the user is detected and a replacement of the real objects by virtual objects takes place only in this direction. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Längs- und/oder Querbeschleunigungen des Fahrzeugs durch Sensoren erfasst werden und die Darstellung des virtuellen Objektes synchron zu den erfassten Längs- und/oder Querbeschleunigungen erfolgt. Method according to one of the preceding claims, characterized in that longitudinal and / or transverse accelerations of the vehicle are detected by sensors and the representation of the virtual object takes place synchronously to the detected longitudinal and / or transverse accelerations. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Eingabe eines Nutzers des Fahrzeugs, ob das durch die Scheibe von ihm wahrgenommene Umfeld teilweise oder vollständig durch virtuelle Objekte ersetzt werden soll, erfasst wird. Method according to one of the preceding claims, characterized in that an input of a user of the vehicle, whether the environment perceived by the disc is partially or completely replaced by virtual objects, is detected. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Positionsangaben des Fahrzeugs, die mittels eines GPS-Detektor ermittelt werden, herangezogen werden um unbewegliche reale Objekte zu erkennen. Method according to one of the preceding claims, characterized in that position information of the vehicle, which are determined by means of a GPS detector, are used to detect immovable real objects. Vorrichtung zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs mit mindestens einer Scheibe, die als Anzeigevorrichtung (16, 17) ausgestaltet ist, die einerseits so angesteuert werden kann, dass sie transparent erscheint und einem Passagier des Fahrzeugs eine optische Wahrnehmung der Außenwelt ermöglicht, und andererseits so angesteuert werden kann, dass Bildinhalte auf ihr dargestellt werden können, und Sensoren zum Erfassen des Umfelds des Fahrzeugs, gekennzeichnet durch eine Bildverarbeitungs- und AR-Ausgabeeinheit (8), mit der mindestens ein reales Objekt im erfassten Umfeld des Fahrzeugs erkannt wird und die Anzeigevorrichtung (16, 17) so ansteuert, dass ein virtuelles Objekt dargestellt wird und dabei das erkannte reale Objekt teilweise oder vollständig überlagert. Device for changing the perception of the outside world of a vehicle with at least one disc serving as a display device ( 16 . 17 ), which on the one hand can be controlled so that it appears transparent and allows a passenger of the vehicle an optical perception of the outside world, and on the other hand can be controlled so that image content can be displayed on it, and sensors for detecting the environment of the vehicle characterized by an image processing and AR output unit ( 8th ), with which at least one real object is detected in the detected environment of the vehicle and the display device ( 16 . 17 ) so that a virtual object is displayed, thereby partially or completely superimposing the recognized real object. Vorrichtung nach Anspruch 8, mit – mindestens einer Kamera (6, 7), die reale Objekte im Umfeld des Fahrzeugs erfasst; – einer Steuereinheit (9), die die Bildverarbeitungs- und AR-Ausgabeeinheit (8) ansteuert und der Signale (10, 11, 12) von einem oder mehreren Fahrzeugsensoren und/oder Eingaben (13) von einem Nutzer zugeführt werden; – einem Speicher (14), in dem Darstellungen von einer Vielzahl von realen Objekten und/oder Verknüpfungen zwischen realen Objekten und virtuellen Objekten und/oder Darstellungen bzw. 3D-Modelle der virtuellen Objekte abgelegt sind. Apparatus according to claim 8, comprising - at least one camera ( 6 . 7 ) that detects real objects around the vehicle; - a control unit ( 9 ) containing the image processing and AR output unit ( 8th ) and the signals ( 10 . 11 . 12 ) of one or more vehicle sensors and / or inputs ( 13 ) are supplied by a user; - a memory ( 14 ) in which representations of a plurality of real objects and / or links between real objects and virtual objects and / or representations or 3D models of the virtual objects are stored. Kraftfahrzeug, dadurch gekennzeichnet, dass es eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 7 auszuführen oder eine Vorrichtung gemäß Anspruch 8 oder 9 aufweist. Motor vehicle, characterized in that it is arranged to carry out a method according to one of claims 1 to 7 or has a device according to claim 8 or 9.
DE102016218602.7A 2016-09-27 2016-09-27 A method for changing the perception of the outside world of a vehicle Pending DE102016218602A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016218602.7A DE102016218602A1 (en) 2016-09-27 2016-09-27 A method for changing the perception of the outside world of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016218602.7A DE102016218602A1 (en) 2016-09-27 2016-09-27 A method for changing the perception of the outside world of a vehicle

Publications (1)

Publication Number Publication Date
DE102016218602A1 true DE102016218602A1 (en) 2018-03-29

Family

ID=61564201

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016218602.7A Pending DE102016218602A1 (en) 2016-09-27 2016-09-27 A method for changing the perception of the outside world of a vehicle

Country Status (1)

Country Link
DE (1) DE102016218602A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3670236A1 (en) 2018-12-19 2020-06-24 Audi Ag A vehicle comprising a display device and an electronic control unit
DE102019115522A1 (en) * 2019-06-07 2020-12-10 Bayerische Motoren Werke Aktiengesellschaft Method and system for avoiding kinetosis and / or boredom for a vehicle
WO2023175080A3 (en) * 2022-03-16 2023-10-26 Wayray Ag System and method for displaying information to a driver using ar

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005003181A1 (en) 2005-01-19 2006-07-27 Volkswagen Ag Multi-function window pane for use as windshield in motor vehicle, has information layer detecting image in form of opaque background and formed parallel to another layer whose transparency is selectively changeable
DE102014208740A1 (en) 2014-05-09 2015-11-05 Conti Temic Microelectronic Gmbh DISPLAY DEVICE AND VEHICLE

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005003181A1 (en) 2005-01-19 2006-07-27 Volkswagen Ag Multi-function window pane for use as windshield in motor vehicle, has information layer detecting image in form of opaque background and formed parallel to another layer whose transparency is selectively changeable
DE102014208740A1 (en) 2014-05-09 2015-11-05 Conti Temic Microelectronic Gmbh DISPLAY DEVICE AND VEHICLE

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3670236A1 (en) 2018-12-19 2020-06-24 Audi Ag A vehicle comprising a display device and an electronic control unit
WO2020127043A1 (en) 2018-12-19 2020-06-25 Audi Ag A vehicle comprising a display device and an electronic control unit
DE102019115522A1 (en) * 2019-06-07 2020-12-10 Bayerische Motoren Werke Aktiengesellschaft Method and system for avoiding kinetosis and / or boredom for a vehicle
WO2023175080A3 (en) * 2022-03-16 2023-10-26 Wayray Ag System and method for displaying information to a driver using ar

Similar Documents

Publication Publication Date Title
EP3055650B1 (en) Method and device for augmented display
EP3512739B1 (en) Method for providing a rear-view-mirror view of the surroundings of a vehicle
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
DE102011079913A1 (en) Visual assistance system for a driver and vehicle with such a system
DE102014206623A1 (en) Localization of a head-mounted display (HMD) in the vehicle
DE102014214516A1 (en) Apparatus and method for reproducing data in augmented reality for an occupant of a vehicle
WO2012152475A1 (en) Method and device for calibrating a projection device of a vehicle
EP2559236A1 (en) Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle
DE102015101183A1 (en) Method for operating a driver assistance system of a motor vehicle with display of environmental data in an autonomous driving mode, driver assistance system and motor vehicle
DE102015204281A1 (en) Method for calibrating a camera for a viewing direction detection in a vehicle, device for a motor vehicle with a camera and at least one further element and computer program product
DE102013206435A1 (en) Visualization system and device for generating and displaying a virtual image of a vehicle environment
DE102016008231A1 (en) Method and device for generating a virtual view from a vehicle
DE102014214774A1 (en) Curved display device and method of curved display for a vehicle
DE102008059269A1 (en) Method for improving circumferential visibility in passenger car, involves producing image of angle area of environment, indicating produced image on image indicator system, and extracting and bringing section of camera image
DE102017208806B3 (en) External representation of image recordings of a vehicle interior in a VR glasses
DE102016014712B4 (en) Vehicle and method for outputting information to a vehicle environment
DE102020105196A1 (en) Method for operating data glasses in a motor vehicle and a system with a motor vehicle and data glasses
DE102018117548A1 (en) SAFETY ILLUSTRATION FOR RESETTING A VEHICLE
EP2888623B1 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
EP2996327B1 (en) Surround view system for vehicles with attachments
DE102017220268A1 (en) Detection and visualization of system uncertainty when displaying augmented image content in head-up displays
DE102017215163A1 (en) System of a motor vehicle and an augmented reality goggles and method for determining a pose of augmented reality goggles in the interior of a vehicle
DE102016218602A1 (en) A method for changing the perception of the outside world of a vehicle
DE102018216409A1 (en) Method, device and means of transportation for a kinetose-avoiding representation of a liquid in a display in a means of transportation
DE102017210268B3 (en) Apparatus for reproducing image data in a motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed