DE102016218602A1 - A method for changing the perception of the outside world of a vehicle - Google Patents
A method for changing the perception of the outside world of a vehicle Download PDFInfo
- Publication number
- DE102016218602A1 DE102016218602A1 DE102016218602.7A DE102016218602A DE102016218602A1 DE 102016218602 A1 DE102016218602 A1 DE 102016218602A1 DE 102016218602 A DE102016218602 A DE 102016218602A DE 102016218602 A1 DE102016218602 A1 DE 102016218602A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- detected
- objects
- real
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims description 28
- 230000003287 optical effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 5
- 238000011835 investigation Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 235000014653 Carica parviflora Nutrition 0.000 description 2
- 241000243321 Cnidaria Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 241000086550 Dinosauria Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F21/00—Mobile visual advertising
- G09F21/04—Mobile visual advertising by land vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
- B60K35/656—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F21/00—Mobile visual advertising
- G09F21/04—Mobile visual advertising by land vehicles
- G09F21/049—Mobile visual advertising by land vehicles giving information to passengers inside the vehicles
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address
- G09F27/005—Signs associated with a sensor
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/164—Infotainment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/175—Autonomous driving
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/177—Augmented reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/77—Instrument locations other than the dashboard
- B60K2360/785—Instrument locations other than the dashboard on or in relation to the windshield or windows
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
- B60K35/233—Head-up displays [HUD] controlling the size or position in display areas of virtual images depending on the condition of the vehicle or the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
Zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs durch eine Scheibe des Fahrzeugs weist das Fahrzeug mindestens eine Scheibe auf, die als Anzeigevorrichtung (16, 17) ausgestaltet ist und einerseits so angesteuert werden kann, dass sie transparent erscheint und einem Passagier des Fahrzeugs eine optische Wahrnehmung der Außenwelt ermöglicht, und andererseits so angesteuert werden kann, dass Bildinhalte auf ihr dargestellt werden können. Das Umfeld des Fahrzeugs wird durch Sensoren erfasst. Mindestens ein reales Objekt im erfassten Umfeld des Fahrzeugs wird erkannt. Die Anzeigevorrichtung (16, 17) wird so angesteuert, dass ein virtuelles Objekt dargestellt wird und dabei das erkannte reale Objekt teilweise oder vollständig überlagert wird. To change the perception of the outside world of a vehicle through a window of the vehicle, the vehicle has at least one disc, which is designed as a display device (16, 17) and on the one hand can be controlled so that it appears transparent and a passenger of the vehicle an optical perception of Outside world allows, and on the other hand can be controlled so that image content can be displayed on it. The environment of the vehicle is detected by sensors. At least one real object in the detected environment of the vehicle is detected. The display device (16, 17) is activated in such a way that a virtual object is displayed and the detected real object is partially or completely superimposed on it.
Description
Gebiet der Erfindung Field of the invention
Die vorliegende Erfindung betrifft ein Verfahren zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs durch eine Scheibe des Fahrzeugs, sowie eine Vorrichtung zur Durchführung des Verfahrens. The present invention relates to a method for changing the perception of the outside world of a vehicle through a window of the vehicle, as well as a device for carrying out the method.
Hintergrund der Erfindung Background of the invention
Auch in der Fahrzeugtechnik erfolgt vermehrt eine computergestützte Erweiterung der Realitätswahrnehmung (englisch: Augmented Reality, kurz AR), insbesondere im Bereich der visuellen Darstellung von Informationen. Hierbei werden beispielsweise Zusatzinformationen oder virtuelle Objekte auf die Windschutzscheibe projiziert und dem wahrgenommenen realen Fahrzeugumfeld überlagert. So können beispielsweise vorausfahrende Fahrzeuge mit zu geringem Abstand optisch hervorgehoben werden oder Abbiegehinweise auf der Fahrbahn wiedergegeben werden. Bei einer sogenannten kontaktanalogen Anzeige werden die Informationen dabei so eingeblendet, dass sie als fester Bestandteil der Umwelt erscheinen, ein Navigationspfeil erscheint beispielsweise so, als wenn er direkt auf der Straße liegen würde. Also in vehicle technology is increasingly a computer-aided expansion of the perception of reality (English: Augmented Reality, short AR), especially in the field of visual representation of information. Here, for example, additional information or virtual objects are projected onto the windshield and superimposed on the perceived real vehicle environment. Thus, for example, vehicles driving ahead can be visually highlighted at too short a distance or turn-by-turn indications can be reproduced on the roadway. In a so-called contact-analogue display, the information is displayed in such a way that it appears as an integral part of the environment, for example a navigation arrow appears as if it were lying directly on the street.
Häufig werden hierfür sogenannte Head-up-Display eingesetzt, bei denen die darzustellenden Bildinhalte auf die Windschutzscheibe oder auf eine separate, davor angebrachte Scheibe, beispielsweise eine transparente Kunststoffscheibe, projiziert werden. Dies ermöglicht dem Fahrer bei der Fahrt seine Kopfhaltung bzw. Blickrichtung beizubehalten und sowohl die projizierten Informationen als auch die vor ihm liegende Straße gleichzeitig zu sehen. Es entsteht hierbei der Eindruck, als ob sich in einigen Metern Entfernung vor der Motorhaube eine Anzeige befände. Frequently, for this purpose, so-called head-up display are used, in which the image content to be displayed on the windshield or on a separate, mounted in front of it, for example, a transparent plastic disc projected. This allows the driver while driving to maintain his head posture or line of vision and to see both the projected information and the road ahead. The result is the impression as if there were an ad in front of the bonnet a few meters away.
Gegenwärtig in Fahrzeugen verbaute Head-up-Displays bestehen üblicherweise aus einer bildgebenden Einheit, einem Optikmodul und der Windschutzscheibe bzw. der davor angebrachten Scheibe als Projektionsfläche. Bei dieser Bauform kann jedoch eine Anzeige nur in einem Teilbereich der Windschutzscheibe erfolgen. Currently installed in vehicles head-up displays usually consist of an imaging unit, an optical module and the windshield or the front mounted disc as a projection screen. In this design, however, an indication can be made only in a portion of the windshield.
Es sind jedoch auch Anzeigevorrichtungen möglich, die sich über die komplette Windschutzscheibe erstrecken. So offenbart die
Solche Anzeigetechnologien ermöglichen den Passagieren Filme und andere Inhalte anzuzeigen und können in einem autonomen Fahrmodus auch vom Fahrer betrachtet werden, da sich dieser nicht der Fahraufgabe widmen muss, haben aber kein Bezug zur Fahrzeugaußenwelt. Andererseits kann insbesondere bei längeren Fahrten in einem autonomen Fahrmodus die Wahrnehmung der realen Umwelt für die Passagiere langweilig oder sogar frustrierend sein. Such display technologies allow passengers to view movies and other content and can also be viewed by the driver in an autonomous driving mode, as this does not have to be dedicated to the driving task, but have no relation to the vehicle's outside world. On the other hand, especially for longer trips in an autonomous driving mode, the perception of the real environment for the passengers may be boring or even frustrating.
Zusammenfassung der Erfindung Summary of the invention
Es ist eine Aufgabe der Erfindung insbesondere bei autonom fahrenden Fahrzeugen die Wahrnehmung der Fahrzeugaußenwelt für die Passagiere interessanter und abwechslungsreicher zu gestalten. It is an object of the invention, in particular for autonomously driving vehicles, to make the perception of the vehicle's outside world more interesting and varied for the passengers.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 und eine Vorrichtung zur Durchführung des Verfahrens gemäß Anspruch 8 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche. This object is achieved by a method having the features of claim 1 and an apparatus for carrying out the method according to
Bei dem erfindungsgemäßen Verfahren zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs weist dieses mindestens eine Scheibe auf, die als Anzeigevorrichtung ausgestaltet ist, die einerseits so angesteuert werden kann, dass sie transparent erscheint und einem Passagier des Fahrzeugs eine optische Wahrnehmung der Außenwelt ermöglicht, und andererseits so angesteuert werden kann, dass Bildinhalte auf ihr dargestellt werden können. Das Umfeld des Fahrzeugs wird durch Sensoren erfasst. Wenn mindestens ein reales Objekt im erfassten Umfeld des Fahrzeugs erkannt wird; wird die Anzeigevorrichtung so angesteuert, dass ein virtuelles Objekt dargestellt wird und dabei das erkannte reale Objekt teilweise oder vollständig überlagert wird. In the inventive method for changing the perception of the outside world of a vehicle, this has at least one disc which is configured as a display device, which can be controlled on the one hand so that it appears transparent and allows a passenger of the vehicle, a visual perception of the outside world, and so on can be controlled that image content can be displayed on it. The environment of the vehicle is detected by sensors. If at least one real object is detected in the detected environment of the vehicle; the display device is controlled so that a virtual object is displayed and thereby the detected real object is partially or completely superimposed.
Gemäß einer Ausführungsform der Erfindung umfasst diese die folgenden Schritte:
- – eine optische Bilderfassung (
1 ) des Fahrzeugumfelds mit einem oder mehreren externen Kameras (6 ,7 ); - – eine Bildverarbeitung (
2 ) der durch die Kameras (6 ,7 ) erfassten Bildsignale, wobei in dem jeweiligen Bildsignal einzelne reale Objekte separiert und erkannt werden; - – eine Ermittlung (
3 ) eines dem realen Objekt entsprechenden virtuellen Objektes; - – eine Skalierung (
4 ) des virtuellen Objektes entsprechend der Größe des erkannten realen Objekts und eine Ermittlung (4 ) der perspektivisch korrekten Darstellung des virtuellen Objektes entsprechend der Perspektive zu dem erkannten realen Objekt; und - – eine skalierte und perspektivisch korrekte Darstellung (
5 ) des virtuellen Objekts.
- - an optical image capture (
1 ) of the vehicle environment with one or more external cameras (6 .7 ); - - an image processing (
2 ) by the cameras (6 .7 ) detected image signals, wherein in the respective image signal individual real objects are separated and detected; - - an investigation (
3 ) a virtual object corresponding to the real object; - - a scaling (
4 ) of the virtual object corresponding to the size of the recognized real object and a determination (4 ) the perspective correct representation of the virtual object according to the perspective of the recognized real object; and - A scaled and perspective correct representation (
5 ) of the virtual object.
Eine optische Bilderfassung des Fahrzeugumfelds durch Kameras ermöglicht hierbei beliebige reale Objekte zu erfassen und mittels bekannter Objekterkennung-Algorithmen zu separieren und zu erkennen. Dies ermöglicht das reale Objekt durch ein entsprechendes virtuelles Objekt zu ersetzen. So können beispielsweise bewegte reale Objekte wie andere Fahrzeuge durch bewegte virtuelle Objekte wie Tiere und unbewegliche reale Objekte wie beispielsweise Häuser durch unbewegliche virtuelle Objekte wie Pflanzen, Berge oder Korallenriffe ersetzt werden. An optical image capture of the vehicle surroundings by cameras makes it possible to detect any real objects and to separate and recognize them by means of known object recognition algorithms. This allows the real object to be replaced by a corresponding virtual object. For example, moving real objects like other vehicles can be replaced by moving virtual objects such as animals and immobile real objects such as houses by immovable virtual objects such as plants, mountains or coral reefs.
Vorteilhafterweise wird das durch die Scheibe wahrgenommene Umfeld nur dann teilweise oder vollständig durch virtuelle Objekte ersetzt, wenn sich das Fahrzeug in einem autonomen Fahrmodus befindet. Advantageously, the environment perceived by the disc is only partially or completely replaced by virtual objects when the vehicle is in an autonomous driving mode.
Eine weitere Ausführungsform der Erfindung sieht vor, dass die Blickrichtung des Nutzers erfasst wird und eine Ersetzung der realen Objekte durch virtuelle Objekte nur in dieser Richtung erfolgt. Dies hat den Vorteil, dass lediglich in der Blickrichtung des Nutzers virtuelle Objekte berechnet und wiedergegeben werden müssen, sodass der erforderliche Rechenaufwand deutlich reduziert wird. A further embodiment of the invention provides that the viewing direction of the user is detected and a replacement of the real objects by virtual objects takes place only in this direction. This has the advantage that only in the line of sight of the user virtual objects must be calculated and reproduced, so that the required computational effort is significantly reduced.
Vorteilhafterweise werden Längs- und/oder Querbeschleunigungen des Fahrzeugs durch Sensoren erfasst, wobei die Darstellung des virtuellen Objektes synchron zu den erfassten Längs- und/oder Querbeschleunigungen erfolgt. Dieses hat den Vorteil, dass einer Kinetose vorgebeugt wird oder diese sogar ausgeschlossen wird, da widersprüchliche Informationen zwischen der Anzeige und der Bewegung des Körpers des Passagiers vermieden werden. Advantageously, longitudinal and / or transverse accelerations of the vehicle are detected by sensors, wherein the representation of the virtual object takes place synchronously with the detected longitudinal and / or transverse accelerations. This has the advantage that kinetosis is prevented or even ruled out, as conflicting information between the display and the movement of the passenger's body is avoided.
Eine weitere Ausführungsform der Erfindung sieht vor, dass eine Eingabe eines Nutzers des Fahrzeugs, ob das durch die Scheibe von ihm wahrgenommene Umfeld teilweise oder vollständig durch virtuelle Objekte ersetzt werden soll, erfasst wird. Der Passagier hat damit die freie Wahl und kann selbst entscheiden in welchem Maße die von ihm außerhalb des Fahrzeugs liegende reale Welt durch eine virtuelle Welt ersetzt wird. A further embodiment of the invention provides that an input by a user of the vehicle as to whether the environment perceived by the pane is to be partially or completely replaced by virtual objects is detected. The passenger has a free choice and can decide for himself to what extent the real world outside of the vehicle is replaced by a virtual world.
Vorzugsweise können auch Positionsangaben des Fahrzeugs, die mittels eines GPS-Detektor ermittelt werden, herangezogen werden um unbewegliche reale Objekte zu erkennen. Preferably also position information of the vehicle, which are determined by means of a GPS detector, can be used to detect immobile real objects.
Die erfindungsgemäße Vorrichtung zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs weist mindestens eine Scheibe auf, die als Anzeigevorrichtung ausgestaltet ist, die einerseits so angesteuert werden kann, dass sie transparent erscheint und einem Passagier des Fahrzeugs eine optische Wahrnehmung der Außenwelt ermöglicht, und andererseits so angesteuert werden kann, dass Bildinhalte auf ihr dargestellt werden können. Weiterhin umfasst sie Sensoren zum Erfassen des Umfelds des Fahrzeugs. Wenn mindestens ein reales Objekt im erfassten Umfeld des Fahrzeugs erkannt wird, wird die Anzeigevorrichtung durch eine Bildverarbeitungs- und AR-Ausgabeeinheit so ansteuert, dass ein virtuelles Objekt dargestellt wird und dabei das erkannte reale Objekt teilweise oder vollständig überlagert wird. The device according to the invention for changing the perception of the outside world of a vehicle has at least one disc which is designed as a display device which on the one hand can be controlled in such a way that it appears transparent and enables a passenger of the vehicle to visually perceive the outside world, and on the other hand is activated may be that image content can be displayed on it. Furthermore, it includes sensors for detecting the environment of the vehicle. If at least one real object is detected in the detected environment of the vehicle, the display device is controlled by an image processing and AR output unit so that a virtual object is displayed and thereby the detected real object is partially or completely superimposed.
Vorzugsweise weist die erfindungsgemäße Vorrichtung folgendes auf:
- – mindestens eine Kamera, die reale Objekte im Umfeld des Fahrzeugs erfasst;
- – eine Steuereinheit, die die Bildverarbeitungs- und AR-Ausgabeeinheit ansteuert und der Signale von einem oder mehreren Fahrzeugsensoren und/oder Eingaben von einem Nutzer zugeführt werden;
- – einen Speicher, in dem Darstellungen von einer Vielzahl von realen Objekten und/oder Verknüpfungen zwischen realen Objekten und virtuellen Objekten und/oder Darstellungen bzw. 3D-Modelle der virtuellen Objekte abgelegt sind.
- - At least one camera that detects real objects in the vicinity of the vehicle;
- A control unit which drives the image processing and AR output unit and which receives signals from one or more vehicle sensors and / or inputs from a user;
- A memory in which representations of a plurality of real objects and / or links between real objects and virtual objects and / or representations or 3D models of the virtual objects are stored.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich. Further features of the present invention will become apparent from the following description and claims taken in conjunction with the figures.
Kurze Beschreibung der Figuren Brief description of the figures
In den Figuren zeigen: In the figures show:
Detaillierte Beschreibung der Ausführungsformen Detailed description of the embodiments
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen. For a better understanding of the principles of the present invention, embodiments of the invention will be explained in more detail below with reference to the figures. It should be understood that the invention is not limited to these embodiments, and that the features described may also be combined or modified without departing from the scope of the invention as defined in the claims.
Die Bildverarbeitungs- und AR-Ausgabeeinheit
Die verschiedenen anzuzeigenden virtuelle Objekte bzw. Inhalte können in der Vorrichtung vorinstalliert sein. Ebenso ist es aber auch möglich das diese je nach Bedarf und Vorlieben der Passagiere von diesen beispielsweise auf einer speziellen Inhalteplattform erworben und über das Internet
Die virtuellen Objekte bzw. Inhalte werden dann auf mindestens einer als Display
Die Abarbeitung der Bildverarbeitungs- und AR-Algorithmen ist sehr rechenaufwendig und erfolgt daher vorzugsweise durch einen oder mehrere Hochleistungsprozessoren, FPGAs, oder GPUs in der Bildverarbeitungs- und AR-Ausgabeeinheit
In den Darstellungen gemäß den Teilfiguren 3b) bis 3e) werden zunehmend virtuelle Objekte und Inhalte gezeigt und hierbei auch zunehmend reale Objekte ersetzt. Beispielsweise der Straßenverlauf ist aber weiterhin zu erkennen, so dass ein Bezug zur Realität bestehen bleibt. Durch die Darstellung der virtuellen Inhalte wird die Fahrt jedoch für die Passagiere zu einem Erlebnis. In the representations according to the subfigures 3b) to 3e), virtual objects and contents are increasingly shown and in this case increasingly also real objects are replaced. For example, the road is still recognizable, so that a reference to reality remains. However, presenting the virtual content makes the journey an experience for the passengers.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 1 1
- Verfahrensschritt mit Bilderfassung des Fahrzeugumfelds Process step with image capture of the vehicle environment
- 2 2
- Verfahrensschritt mit Bildverarbeitung zur Erkennung und Analyse von einem realem Objekt im erfassten Fahrzeugumfeld Process step with image processing for the detection and analysis of a real object in the detected vehicle environment
- 3 3
- Verfahrensschritt mit Ermittlung eines dem realen Objekt entsprechenden virtuellen ObjektesMethod step with determination of a virtual object corresponding to the real object
- 4 4
- Verfahrensschritt mit Skalierung und perspektivisch korrekter Ermittlung des virtuellen ObjektesProcess step with scaling and perspective correct determination of the virtual object
- 5 5
- Verfahrensschritt mit Darstellung von einem virtuellem Objekt Process step with presentation of a virtual object
- 6 6
- Kamera camera
- 7 7
- weitere Kamera another camera
- 8 8th
- Bildverarbeitungs- und AR-Ausgabe-Einheit Image processing and AR output unit
- 9 9
- Steuereinheit control unit
- 10 10
- Signal von Eyetracking-Sensor Signal from eye tracking sensor
- 11 11
- Daten von GPS-Sensor Data from GPS sensor
- 12 12
- Daten von Beschleunigungssensor Data from accelerometer
- 13 13
- Passagiereingaben passenger entries
- 14 14
- Speicher Storage
- 15 15
- Internet Internet
- 16 16
- als Fahrzeugscheibe ausgestaltetes Display designed as a vehicle window display
- 17 17
- weiteres als Fahrzeugscheibe ausgestaltetes Display another designed as a vehicle window display
- 18 18
- Passagier im Frontbereich Passenger in the front area
- 19 19
- Passagier im Heckbereich Passenger in the stern area
- 20 20
- eingeblendete Informationen information displayed
- 21 21
- virtuelles Objekt virtual object
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102005003181 A1 [0005] DE 102005003181 A1 [0005]
- DE 102014208740 A1 [0005] DE 102014208740 A1 [0005]
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016218602.7A DE102016218602A1 (en) | 2016-09-27 | 2016-09-27 | A method for changing the perception of the outside world of a vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016218602.7A DE102016218602A1 (en) | 2016-09-27 | 2016-09-27 | A method for changing the perception of the outside world of a vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102016218602A1 true DE102016218602A1 (en) | 2018-03-29 |
Family
ID=61564201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102016218602.7A Pending DE102016218602A1 (en) | 2016-09-27 | 2016-09-27 | A method for changing the perception of the outside world of a vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102016218602A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3670236A1 (en) | 2018-12-19 | 2020-06-24 | Audi Ag | A vehicle comprising a display device and an electronic control unit |
DE102019115522A1 (en) * | 2019-06-07 | 2020-12-10 | Bayerische Motoren Werke Aktiengesellschaft | Method and system for avoiding kinetosis and / or boredom for a vehicle |
WO2023175080A3 (en) * | 2022-03-16 | 2023-10-26 | Wayray Ag | System and method for displaying information to a driver using ar |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005003181A1 (en) | 2005-01-19 | 2006-07-27 | Volkswagen Ag | Multi-function window pane for use as windshield in motor vehicle, has information layer detecting image in form of opaque background and formed parallel to another layer whose transparency is selectively changeable |
DE102014208740A1 (en) | 2014-05-09 | 2015-11-05 | Conti Temic Microelectronic Gmbh | DISPLAY DEVICE AND VEHICLE |
-
2016
- 2016-09-27 DE DE102016218602.7A patent/DE102016218602A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005003181A1 (en) | 2005-01-19 | 2006-07-27 | Volkswagen Ag | Multi-function window pane for use as windshield in motor vehicle, has information layer detecting image in form of opaque background and formed parallel to another layer whose transparency is selectively changeable |
DE102014208740A1 (en) | 2014-05-09 | 2015-11-05 | Conti Temic Microelectronic Gmbh | DISPLAY DEVICE AND VEHICLE |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3670236A1 (en) | 2018-12-19 | 2020-06-24 | Audi Ag | A vehicle comprising a display device and an electronic control unit |
WO2020127043A1 (en) | 2018-12-19 | 2020-06-25 | Audi Ag | A vehicle comprising a display device and an electronic control unit |
DE102019115522A1 (en) * | 2019-06-07 | 2020-12-10 | Bayerische Motoren Werke Aktiengesellschaft | Method and system for avoiding kinetosis and / or boredom for a vehicle |
WO2023175080A3 (en) * | 2022-03-16 | 2023-10-26 | Wayray Ag | System and method for displaying information to a driver using ar |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3055650B1 (en) | Method and device for augmented display | |
EP3512739B1 (en) | Method for providing a rear-view-mirror view of the surroundings of a vehicle | |
EP2805183B1 (en) | Method and device for visualizing the surroundings of a vehicle | |
DE102011079913A1 (en) | Visual assistance system for a driver and vehicle with such a system | |
DE102014206623A1 (en) | Localization of a head-mounted display (HMD) in the vehicle | |
DE102014214516A1 (en) | Apparatus and method for reproducing data in augmented reality for an occupant of a vehicle | |
WO2012152475A1 (en) | Method and device for calibrating a projection device of a vehicle | |
EP2559236A1 (en) | Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle | |
DE102015101183A1 (en) | Method for operating a driver assistance system of a motor vehicle with display of environmental data in an autonomous driving mode, driver assistance system and motor vehicle | |
DE102015204281A1 (en) | Method for calibrating a camera for a viewing direction detection in a vehicle, device for a motor vehicle with a camera and at least one further element and computer program product | |
DE102013206435A1 (en) | Visualization system and device for generating and displaying a virtual image of a vehicle environment | |
DE102016008231A1 (en) | Method and device for generating a virtual view from a vehicle | |
DE102014214774A1 (en) | Curved display device and method of curved display for a vehicle | |
DE102008059269A1 (en) | Method for improving circumferential visibility in passenger car, involves producing image of angle area of environment, indicating produced image on image indicator system, and extracting and bringing section of camera image | |
DE102017208806B3 (en) | External representation of image recordings of a vehicle interior in a VR glasses | |
DE102016014712B4 (en) | Vehicle and method for outputting information to a vehicle environment | |
DE102020105196A1 (en) | Method for operating data glasses in a motor vehicle and a system with a motor vehicle and data glasses | |
DE102018117548A1 (en) | SAFETY ILLUSTRATION FOR RESETTING A VEHICLE | |
EP2888623B1 (en) | Operating a head-up display of a vehicle and image determining system for the head-up display | |
EP2996327B1 (en) | Surround view system for vehicles with attachments | |
DE102017220268A1 (en) | Detection and visualization of system uncertainty when displaying augmented image content in head-up displays | |
DE102017215163A1 (en) | System of a motor vehicle and an augmented reality goggles and method for determining a pose of augmented reality goggles in the interior of a vehicle | |
DE102016218602A1 (en) | A method for changing the perception of the outside world of a vehicle | |
DE102018216409A1 (en) | Method, device and means of transportation for a kinetose-avoiding representation of a liquid in a display in a means of transportation | |
DE102017210268B3 (en) | Apparatus for reproducing image data in a motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed |