DE102017220268A1 - Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays - Google Patents
Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays Download PDFInfo
- Publication number
- DE102017220268A1 DE102017220268A1 DE102017220268.8A DE102017220268A DE102017220268A1 DE 102017220268 A1 DE102017220268 A1 DE 102017220268A1 DE 102017220268 A DE102017220268 A DE 102017220268A DE 102017220268 A1 DE102017220268 A1 DE 102017220268A1
- Authority
- DE
- Germany
- Prior art keywords
- head
- display
- image
- representation
- augmented image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 44
- 238000012800 visualization Methods 0.000 title description 3
- 238000001514 detection method Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims description 16
- 239000000463 material Substances 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 description 10
- 230000006978 adaptation Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 231100001261 hazardous Toxicity 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B60K35/23—
-
- B60K35/28—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/24—Acquisition or tracking or demodulation of signals transmitted by the system
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/10—Projectors with built-in or built-on screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- B60K2360/177—
-
- B60K2360/334—
-
- B60K35/654—
-
- B60K35/81—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte (11, 12, 13) in Head-Up-Displays (5, 7). Das Verfahren sieht vor, dass AR-Bildinhalte (11, 12, 13) durch eine Veränderung der Darstellungsform so angepasst werden, dass die vorhandenen Darstellungsungenauigkeiten durch den Beobachter nicht als Fehler wahrgenommen werden. Hierzu wird ein Kennwert ermittelt, der die Systemunsicherheit bei der Darstellung der AR-Bildinhalte (11, 12, 13) quantifiziert. Abhängig von diesem Kennwert erfolgt eine Anpassung der Darstellung auf dem Head-Up-Display (5, 7). Ferner beschreibt die Erfindung eine Vorrichtung, mit deren Hilfe das erfindungsgemäße Verfahren ausgeführt werden kann.
Description
- Die Erfindung betrifft ein Verfahren zur Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays, insbesondere in Kraftfahrzeugen, sowie eine Vorrichtung zur Ausführung des Verfahrens.
- Head-Up-Displays (HUDs) erlangen gerade in Kraftfahrzeugen zunehmend an Bedeutung. Im Gegensatz zu anderen Anzeigevorrichtungen bieten sie die Möglichkeit, dem Fahrer Informationen direkt in sein Blickfeld einzublenden. Damit muss er seinen Blick nicht mehr von dem Verkehrsgeschehen abwenden, was trotz des im allgemeinen kurzen Moments des Wegsehens stets ein gewisses Sicherheitsrisiko mit sich bringt.
- Head-Up-Displays werden heutzutage bereits von vielen Herstellern als Sonderausstattung angeboten. Als Informationen werden dabei insbesondere die Geschwindigkeit, Navigationshinweise und relevante Verkehrszeichen dargestellt.
- Der Einsatz von Head-Up-Displays ist nicht auf Kraftfahrzeuge beschränkt, auch in anderen Verkehrsmitteln, insbesondere in Flugzeugen, stellen sie eine leistungsfähige technische Einrichtung zur Unterstützung des Fahrzeugführers (im Flugzeug: des Piloten) dar.
- Vom Aufbau her lassen sich Head-Up-Displays in die bildgebende Einheit sowie die Projektionsfläche unterteilen. In der bildgebenden Einheit werden die auf dem Head-Up-Display anzuzeigenden Bildelemente generiert und von einer Projektionseinrichtung in Richtung der Projektionsfläche abgestrahlt. Die Lichtstrahlen durchlaufen dabei im allgemeinen einen abgewinkelten Strahlengang, der durch entsprechende Spiegel erzeugt wird. Dieses ist notwendig, um den erforderlichen Einbauraum für die bildgebende Einheit zu begrenzen. Das eigentliche Bild entsteht auf einer speziellen Projektionsfläche. Hierbei kann es sich insbesondere um eine sogenannte Combinerscheibe handeln, die sich im Blickfeld des Fahrers befindet. Alternativ wird das Bild direkt auf der Windschutzscheibe erzeugt, wodurch auf die Combinerscheibe verzichtet werden kann.
- Der Begriff Head-Up-Display wird vielfach für die eigentliche Projektionsfläche verwendet. Streng genommen umfasst die Einrichtung jedoch zusätzlich die bildgebende Einheit, die Einrichtungen zur Herstellung des notwendigen Strahlengangs sowie die erforderlichen Steuervorrichtungen zur Erzeugung der Bildinhalte. Im Sinne der Erfindung wird der Begriff Head-Up-Display gesamtheitlich verwendet, und es wird von einer Darstellung auf dem Head-Up-Display gesprochen, obgleich die eigentliche Darstellung ausschließlich auf der Projektionsfläche erfolgt.
- Um den Informationsgehalt zu erhöhen und einen direkten Bezug zur Umwelt herzustellen, finden zunehmend Augmented-Reality-Technologien (AR-Technologien) Einzug in die Darstellungen auf den Head-Up-Displays. Bei dieser Technologie werden virtuelle Bildelemente angezeigt, die das sichtbare reale Bild erweitern, d.h. augmentieren. Derartige augmentierte Bildinhalte können beispielsweise Navigationshinweise sein, die nicht nur die eigentliche Fahrtrichtung anzeigen, sondern auch auf die Straße verweisen, in die eingebogen werden soll, und die sich dynamisch mit der Fahrzeugbewegung verändern.
- Um das Empfinden eines natürlichen Bildes zu erwecken, wird bei augmentierten Bildinhalten angestrebt, die Informationen entsprechend ihrer Position und Orientierung in der realen Welt darzustellen. Hierbei spricht man von einer kontaktanalogen Darstellung.
- Neben den bekannten Fahrerinformationen lassen sich mit der AR-Technologie auch zusätzlich Bildelemente darstellen, die über die klassischen Anzeigeinhalte in einem Kraftfahrzeug hinausgehen. Ein Beispiel hierfür sind Hinweise auf besondere Fahr- oder Gefährdungssituationen. Dieses kann beispielsweise der Hinweis auf eine Person sein, die sich auf der Fahrbahn befindet oder kurz davor steht, die Fahrbahn zu betreten, oder ein Fahrzeug, das bei einem bevorstehenden Fahrmanöver zu beachten ist.
- Grundsätzlich werden an die Darstellung von augmentierten Bildinhalten in einem realen Umgebungsbild sehr hohe Genauigkeitsanforderungen gestellt. Dieses betrifft sowohl die Positionierung der Bildinhalte als auch die perspektivische Ausrichtung. Schon geringste Abweichungen zwischen dem realen Bild und den augmentierten Bildinhalten werden als Fehler wahrgenommen. Bei sehr großen Abweichungen, z.B. eines Navigationshinweises, kann es auch zu fehlerhaften Fahrmanövern kommen.
- Die Verringerung eines Abbildungsfehlers bei der Darstellung von AR-Bildinhalten sowie die Vermeidung oder Verringerung eines Fehlerempfindens des Bedieners stellen somit wichtige technische Aufgaben bei der Entwicklung von AR-Head-Up-Displays dar.
- In der Schrift
DE 10344120 A1 wird daher ein Verfahren beschrieben, das einen Zuverlässigkeitswert für die Genauigkeit von Navigationshinweisen ermittelt und die Darstellung des Hinweises entsprechend des ermittelten Wertes anpasst. Damit soll eine stets zuverlässig interpretierbare Darstellung von Navigationshinweisen in einem Bild der Fahrumgebung geschaffen werden. - In der Schrift
DE 11 2006 002 459 B4 wird ein Verfahren beschrieben, mit dessen Hilfe in Abhängigkeit von der Zuverlässigkeit, mit der ein Umgebungsobjekt erkannt wird, eine optische Hervorhebung des Objektes erfolgt. Damit wird es möglich, den Fahrer auf sicher erkannte Objekte hinzuweisen. Andere Objekte werden ebenfalls dargestellt, jedoch optisch nicht hervorgehoben. - In der Schrift
DE 10 2015 001 360 A1 wird demgegenüber ein Verfahren vorgestellt, mit dessen Hilfe die Genauigkeit bei der Ermittlung der Fahrzeugposition durch eine wiederholte Positionsermittlung gesteigert wird. Diese erhöhte Genauigkeit der Positionsbestimmung kann bei der Darstellung von AR-Informationen genutzt werden. - Trotz aller Lösungsansätze für die Erhöhung der Darstellungsgenauigkeit läßt sich der Darstellungsfehler nicht vollständig vermeiden. Es besteht daher weiterhin die Aufgabe, die Wahrnehmbarkeit einer Darstellungsungenauigkeit zu verringern.
- Erfindungsgemäß wird diese Aufgabe durch ein Verfahren gemäß des Anspruches 1 sowie einer Vorrichtung gemäß des Anspruches 9 gelöst. Vorteilhafte Ausgestaltungen werden in den Unteransprüchen offenbart.
- Der technische Effekt der vorliegenden Erfindung besteht darin, eine Anzeige von kontaktanalogen AR-Bildinhalten in einem Head-Up-Display dergestalt zu ermöglichen, dass der Nutzer die Darstellung nicht oder nicht so stark als fehlerhaft empfindet.
- Das erfindungsgemäße Verfahren sieht vor, dass zunächst mit Hilfe einer Kamera ein Bild der realen Welt erfasst wird. Dieses Bild wird einer Steuervorrichtung zur Verfügung gestellt, in der es ausgewertet. Aufgabe der Steuervorrichtung ist es dabei, die AR-Bildinhalte sowohl hinsichtlich des Inhaltes als auch der Positionierung in dem realen Bild zu bestimmen.
- Als AR-Bildinhalte kommen insbesondere kontaktanaloge Navigationshinweise oder sonstige Warn- oder Gefahrenhinweise in Betracht. So kann beispielsweise ein Fahrzeug, das sich im Blickfeld des Fahrers befindet und von dem möglicherweise eine Gefahr ausgeht, durch eine geeignete Einblendung hervorgehoben werden. Dem Bediener fällt es damit leichter, eine solche Gefährdungssituation zu erkennen.
- Die AR-Bildinhalte sowie die allgemeinen Fahrerinformationen wie z.B. die Geschwindigkeit werden auf das Head-Up-Display projeziert. Abhängig von der Bauform des HUDs erfolgt die Darstellung dabei entweder direkt auf der Windschutzscheibe oder auf der Combinerscheibe. Der Fahrer nimmt damit sowohl das reale Bild der Umgebung als auch die auf das Head-Up-Display projezierten Bildinhalte wahr.
- In einem weiteren Schritt des erfindungsgemäßen Verfahrens wird ein Kennwert ermittelt, der die Systemunsicherheit bei der Darstellung der augmentierter Bildinhalte beschreibt. Unter einem solchen Kennwert wird ein Zahlenwert verstanden, der die verschiedenen Sensorinformationen bzw. die Informationen verschiedener Computervorrichtungen auswertet und zu einem einzelnen, die Systemunsicherheit bei der Darstellung der AR-Inhalte beschreibenden Wert zusammengefasst.
- Basierend auf dem ermittelten Kennwert werden die augmentierten Bildinhalte sowohl hinsichtlich der Darstellungsform als auch der Positionierung in dem Head-Up-Display angepasst. Unter der Darstellungsform werden grundsätzlich alle geometrischen Formen verstanden, mit denen in dem Head-Up-Display Zusatzinformationen in das reale Bild der Umgebung eingeblendet werden können. Dieses können Kreise, Rechtecke, Pfeile etc. sein. Des Weiteren wird unter der Bezeichnung Darstellungsform neben der geometrischen Form jede zusätzliche Anpassung des Symbols subsumiert. Hierunter fallen insbesondere die Erzeugung unscharfer Kanten, die Abrundung von Ecken oder die Verpixelung des Symbols oder Teile hiervon.
- Bezüglich der Positionierung werden im Sinne der Erfindung insbesondere dynamische Effekte verstanden, mit denen dem Fahrer die ermittelte Systemunsicherheit visualisiert werden kann. Beispiele hierfür sind das Zittern oder Vibrieren der Symbole.
- Für die Ermittlung des Kennwertes, mit dessen Hilfe die Systemunsicherheit der AR-Darstellung beschrieben wird, sieht das erfindungsgemäße Verfahren unterschiedliche Verfahrensschritte vor. Es versteht sich von selbst, dass jede Form der Kennwertermittlung einzeln oder in beliebiger Kombination einer oder mehrerer Verfahrensschritte erfolgen kann.
- In einer ersten bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird zur Ermittlung des Kennwertes auf die GPS-Signalgüte zurückgegriffen. Durch eine Auswertung der Anzahl der Satelliten, die an dem aktuellen Ort verfügbar sind, sowie der Stärke der einzelnen GPS-Signale läßt sich eine Maßzahl für die Signalgüte an dem aktuellen Ort ermitteln. Diese läßt sich der Auswahl und Gestaltung der bestmöglichen Darstellung der AR-Inhalte zugrunde legen.
- In einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird das für den aktuellen Ort vorhandene Kartenmaterial bewertet und als Basis für die Ermittlung eines Kennwertes zur Beschreibung der Systemunsicherheit herangezogen. Diesem Schritt liegt die Erkenntnis zugrunde, dass das Kartenmaterial ortsabhängig unterschiedlich kartografiert ist. So sind bestimmte Zusatzinformationen (Straßenbreite/-neigung, Höhenprofil etc.) nicht für jede Straße bzw. jeden Ort verfügbar. Die daraus resultierende Systemungenauigkeit bei der Darstellung der AR-Bildinhalte ist jedoch von dem Detailgrad der verfügbaren Zusatzinformationen abhängig.
- In einer weiteren bevorzugten Ausgestaltung wird auf die Fahrzeugbewegungen als Maß für die Systemungenauigkeit zurückgegriffen. Diesem Verfahrensschritt liegt die Erkenntnis zugrunde, dass z.B. Nickbewegungen des Fahrzeuges eine wesentliche Einflußgröße für die Darstellungsungenauigkeit der AR-Inhalte sind. Sie ergeben sich einerseits aus der Fahrdynamik (Beschleunigen und Bremsen), andererseits aus Fahrbahnunebenheiten. Da sich das Fahrbahnprofil in der Regel innerhalb weniger Meter nur geringfügig verändert, kann durch die Erfassung der aktuellen Fahrzeugbewegungen mit Hilfe von Beschleunigungs- und Drehratensensoren auf zukünftige Fahrzeugbewegungen geschlossen werden. Die Messung der Fahrzeugaufbaubewegungen kann mittels eines Gyroskops erfolgen. Je höher die Winkeländerung und deren Änderungsgeschwindigkeit sind, desto stärker ist der negative Einfluss auf die Genauigkeit der Anzeige.
- In einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird auf die Inhalte des Kamerabildes zurückgegriffen. Üblicherweise sind die heute verfügbaren Kamera- und Auswertesysteme in der Lage, Fahrbahnmarkierungen sowie ausgewählte ortsfeste Bezugspunkte wie Verkehrszeichen etc. zu erkennen und zu identifizieren. Sind in dem Kamerabild keine dieser ortsfesten Bildbestandteile erkennbar, so ist mit einer höheren Ungenauigkeit bei der Darstellung von AR-Inhalten zu rechnen.
- In einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens wird auf eine zusätzliche Kamera zurückgegriffen. Ordnet man diese Kamera so an, dass das aufgenommene Bild dem Bild entspricht, das der Fahrer auf dem Head-Up-Display sieht, läßt sich aus den resultierenden Verschiebungen zwischen dem realen Bild und den augmentierten Bildinhalten ein Kennwert für die Systemunsicherheit ableiten. Dieser Kennwert läßt sich - ebenso wie die jeweiligen Kennwerte der zuvor beschriebenen bevorzugten Ausgestaltungen - verwenden, um die augmentierten Bildinhalte so zu verändern, dass der Abbildungsfehler nicht als störend empfunden wird.
- Voraussetzung für die beschriebene Weiterbildung des Verfahrens ist, dass die zusätzliche Kamera in der Eyebox des Fahrers, z.B. einem Brillengestell des Fahrers, angebracht ist. Über Bildverarbeitungsalgorithmen läßt sich anschließend berechnen, wie groß die Abweichung zwischen dem Umgebungsbild und den augmentierten Bildinhalten ist.
- Unter der Eyebox wird ein quaderförmiger Körper verstanden, in dem sich die Augen des Betrachters befinden müssen. Ausserhalb der Eyebox sind die Inhalte des Head-Up-Display nicht sichtbar, die Projektionsfläche ist für den Beobachter durchsichtig.
- Für die Anpassung der augmentierten Bildinhalte in Abhängigkeit von der ermittelten Systemunsicherheit sieht das erfindungsgemäße Verfahren zwei unterschiedliche Weiterbildungen vor. In einer ersten Weiterbildung werden die Symbole, mit denen die augmentierten Bildinhalte dargestellt werden, entsprechend der ermittelten Systemunsicherheit grafisch verändert, das heißt, es wird die Art der Darstellung angepasst. Wird beispielsweise mit Hilfe eines Rechteckes ein Ausschnitt des eingeblendeten realen Bildes zur Hervorhebung maskiert, so läßt sich durch eine Weichzeichnung der Umrisse, eine Veränderung der Helligkeit oder eine Verpixelung der Fläche, d.h. Umwandlung der flächigen Darstellung in eine pixelförmige Darstellung, eine Unschärfe erzeugen, die dem Empfinden des Fahrers nach weniger fehleranfällig ist. Eine weitere Anpassung der augmentierten Bildinhalte kann beispielsweise eine gesteigerte Transparenz des Symbols sein.
- In einer anderen Weiterbildung des Verfahrens werden die augmentierten Bildinhalte in eine hochfrequente Eigenbewegung, ein Zittern oder Vibrieren, versetzt. Ein solche Darstellungsform wird von dem Betrachter als weniger fehlerbehaftet eingestuft. Dieses resultiert im Wesentlichen daraus, dass kein direkter Vergleich zwischen den Bildinhalten und der realen Umgebung entlang scharfer Kanten stattfinden kann. Durch die Eigenbewegung verschwimmen optisch die Kanten der augmentierten Bildinhalte. Etwaige Systemungenauigkeiten sind dadurch zwar nicht vermieden, sie werden von dem Betrachter jedoch nicht als fehlerhaft wahrgenommen.
- Die erfindungsgemäße Vorrichtung ist dergestalt ausgebildet, dass sie zur Ausführung des zuvor beschriebenen Verfahrens geeignet ist.
- Sie besitzt mindestens eine Kamera zur Erfassung eines Bildes der realen Welt. Zur Auswertung dieses Bildes ist eine Steuervorrichtung vorgesehen. In ihr sind die notwendigen Algorithmen hinterlegt, mit denen die AR-Bildinhalte bestimmt werden können.
- Die AR-Bildinhalte sowie die sonstigen im Head-Up-Display anzuzeigenden Informationen werden mittels einer Projektionseinrichtung sowie Spiegeln, mit denen ein abgewinkelter Strahlengang erzeugt werden kann, auf die Projektionsfläche übertragen.
- Mit Hilfe einer Computervorrichtung ist auf der Basis von Sensordaten ein Kennwert ermittelbar, der die Systemunsicherheit der augmentierten Bildinhalte beschreibt. Um bei dem Bediener den Eindruck eines Anzeigefehlers zu vermeiden, ist eine Steuervorrichtung vorgesehen, mit deren Hilfe die augmentierten Bildinhalte hinsichtlich ihrer grafischen Darstellung und/oder hinsichtlich ihrer Positionierung angepasst werden. Bei der Positionierung sieht die erfindungsgemäße Vorrichtung insbesondere vor, dass die augmentierten Bildinhalte in eine hochfrequente Eigenschwingung, ein Vibrieren bzw. Zittern, versetzbar sind.
- Die Erfindung wird nun anhand eines Ausführungsbeispiels mit Bezug zu den
1 bis3 näher erläutert. Dabei enthalten: -
1 : Die in einem Kraftfahrzeug verbaute Vorrichtung zur Ausführung des erfindungsgemäßen Verfahrens, -
2 : Anzeigebeispiele für AR-Bildinhalte auf einem Head-Up-Display, -
3 . Das erfindungsgemäße Verfahren zur Darstellung augmentierter Bildinhalte in einem Head-Up-Display. - In
1 sind die einzelnen Bestandteile der erfindungsgemäßen Vorrichtung dargestellt. Zu erkennen ist zunächst ein Kraftfahrzeug1 , das mit einem Head-Up-Display5 ,7 ausgestattet ist. In dem Ausführungsbeispiel besteht dieses Head-Up-Display5 ,7 aus der bildgebenden Einheit7 , die im Armaturenbrett verbaut ist, sowie der sogenannten Combinerscheibe5 , auf der das eigentliche Bild für den Fahrer sichtbar wird. Die Kombination aus Combinerscheibe5 und bildgebender Einheit7 wird nachfolgend als Head-Up-Display5 ,7 bezeichnet, obgleich die eigentliche bildliche Darstellung ausschließlich auf der Combinerscheibe5 sichtbar wird. - Typischerweise werden mit Head-Up-Displays
5 ,7 insbesondere Fahrerinformationen wie die Geschwindigkeit oder Hinweise auf Verkehrszeichen dargestellt. Darüber hinaus können zusätzliche Hinweise an den Fahrer ausgegeben werden, wie z.B. Fahrtrichtungsinformationen oder Gefahrhinweise. - Zur Visualisierung von Gefahrhinweisen
11 ,12 ,13 werden insbesondere einzelne Bildinhalte hervorgehoben. Hierbei kann es sich um Fahrzeuge, Personen und sonstige Gegenstände handeln, auf die der Fahrer aufmerksam gemacht werden soll. - Zur Positionierung der Gefahrhinweise in dem realen, vom Fahrer wahrgenommenen Bild wird mittels einer Kamera
2 , die typischerweise im Bereich des Innenspiegels angebracht ist, ein Bild der Umgebung aufgenommen. Dieses Bild wird einer Steuervorrichtung10 zur Verfügung gestellt. - In der Steuervorrichtung
10 werden die zusätzlichen, augmentierten Bildinhalte berechnet. - Um den Fahrer auf die beispielhaft erwähnten Lebewesen und Gegenstände hinzuweisen, sieht die in dem Anwendungsbeispiel beschriebene Lösung eine Maskierung der entsprechenden Lebewesen bzw. Gegenstände vor. Hierzu werden von der Steuervorrichtung
10 transparente Bildelemente11 ,12 ,13 erzeugt, die dergestalt in dem Head-Up-Display5 ,7 positioniert werden, dass sie die entsprechenden Bildinhalte des realen Bildes abdecken. Der Fahrer erkennt damit weiterhin das im Hintergrund liegende reale Bildelement, von dem möglicherweise eine Gefahr ausgeht. Durch die Überlagerung mit einem transparenten, augmentierten Bildelement11 ,12 ,13 wird seine Aufmerksamkeit jedoch unmittelbar auf dieses Element gelenkt. - Zusätzlich zu der Aufbereitung und Positionierung der einzelnen augmentierten Bildelemente
11 ,12 ,13 übernimmt die Steuervorrichtung10 auch noch die Auswertung von Zusatzinformationen. Hierzu ist sie dergestalt ausgebildet, dass mit ihrer Hilfe auf der Basis hinterlegter Algorithmen einen Kennwert zur Quantifizierung der Systemunsicherheit ableitbar ist. - Dieser Kennwert wird in der Steuervorrichtung
10 weiter verarbeitet. Sie ist dergestalt eingerichtet, dass sie sowohl was die Positionierung als auch die grafische Darstellung angeht, eine Anpassung der AR-Bildinhalte11 ,12 ,13 vornehmen kann. Zur Darstellung der dabei berechneten Bildelemente11 ,12 ,13 ist die Projektionseinrichtung3 so eingerichtet, dass über einen abgewinkelten Strahlengang das Bild in dem HUD-Display5 ,7 dargestellt werden kann. - Zur Ermittlung des Kennwertes, mit dem die Systemunsicherheit beschrieben wird, sieht die erfindungsgemäße Vorrichtung in unterschiedlichen Ausgestaltungen unterschiedliche Berechnungsalgorithmen vor. Grundsätzlich sind diese Algorithmen in dem Ausführungsbeispiel in der Steuervorrichtung
10 implementiert. Es versteht sich von selbst, dass sowohl jede einzelne Ausgestaltung als auch eine beliebige Kombination der unterschiedlichen Ausgestaltungen in der Steuervorrichtung10 hinterlegt sein kann. Folgende Ausgestaltungen der Kennwertermittlung sind in dem Ausführungsbeispiel in dem Algorithmus adressiert: - - Ermittlung des Kennwertes durch eine Auswertung der GPS-Signalgüte;
- - Ermittlung des Kennwertes durch eine Auswertung des am aktuellen Ort verfügbaren Kartenmaterials;
- - Ermittlung des Kennwertes durch eine Auswertung der Fahrzeugaufbaubewegungen;
- - Ermittlung des Kennwertes durch einen Abgleich der im Kartenmaterial hinterlegten ortsbezogenen Informationen mit den Informationen aus dem Kamerabild;
- - Ermittlung des Kennwertes durch eine direkte Auswertung des Bildes auf dem HUD-Display
5 ,7 . - In
2 sind verschiedene Anpassungen eines Bildelementes auf Basis des ermittelten Kennwertes dargestellt. Als Ausgangselement ist die Projektion eines Rechteckes11 zur Hervorhebung eines vorausfahrenden Kraftfahrzeuges erkennbar. Dieses Rechteck ist transparent ausgeführt, so dass der Fahrer das vorausfahrende Kraftfahrzeug deutlich erkennen kann. In einer ersten vorteilhaften Ausgestaltung werden die Kanten des transparenten Rechtecks11 unscharf dargestellt. Diese Darstellungsform verdeutlicht dem Fahrer ebenso wie das transparente Rechteck12 die im System vorhandene, durch den ermittelten Kennwert beschriebene Systemunsicherheit. - In einer weiteren bevorzugten Ausgestaltung wird das transparente Rechteck durch ein Punktraster
13 ersetzt. Ein solches Bildelement läßt einen vorhandenen Positionierungsfehler weniger ausgeprägt erscheinen. - In einer weiteren vorteilhaften Ausgestaltung der erfindungsgemäßen Vorrichtung wird das augmentierte Bildelement
11 ,12 ,13 zur Hervorhebung des Gefahrenobjektes in eine hochfrequente Eigenbewegung, d.h. ein Zittern bzw. Vibrieren, versetzt. Es ist naheliegend, dass diese Anpassung sowohl für die beschriebenen vollflächigen Bildelemente11 ,12 als auch das gerasterte Bildelement13 erfolgen kann. - Grundsätzlich wird durch die Anpassung der AR-Bildelemente
11 ,12 ,13 der technische Effekt erzielt, eine Darstellung zu ermöglichen, die dem Beobachter, im Falle eines Kraftfahrzeuges dem Fahrer9 , als weniger fehlerbehaftet erscheint. Welche Anpassung11 ,12 ,13 dabei gewählt wird, kann sowohl durch die Vorrichtung selber als auch durch eine manuelle Vorgabe seitens des Fahrers9 erfolgen. Hierzu wäre ein entsprechendes Konfigurationsmenü zu hinterlegen, mit dessen Hilfe der Fahrer die Art der Anpassung11 ,12 ,13 manuell vorgeben kann. - In
3 sind die einzelnen Schritte des erfindungsgemäßen Verfahrens in einer beispielhaften Ausgestaltung in einem Kraftfahrzeug1 dargestellt. - In einem ersten Schritt
100 wird das eigentliche HUD-Bild erzeugt und auf die Projektionsfläche5 des HUD-Displays5 ,7 projeziert. Das Bild setzt sich aus mehreren Bildelementen zusammen. Dabei handelt es sich um die Zusatzinformationen für den Fahrer9 , z.B. die Fahrzeuggeschwindigkeit, sowie die augmentierten Bildinhalte11 ,12 ,13 , die von der Steuervorrichtung10 auf Basis des Kamerabildes, das von der Kamera2 erfasst wurde, erzeugt wurden. - In einem Schritt
200 wird der Kennwert zur Beschreibung der Systemunsicherheit ermittelt. Dieser Schritt wird mit entsprechenden Algorithmen in der Steuervorrichtung10 ausgeführt. Dabei werden in dem Ausführungsbeispiel verschiedene Auswertungen vorgenommen und zu einem beschreibenden Kennwert verdichtet. Folgende Auswertungen sind in dem Ausführungsbeispiel vorgesehen: - - eine Bestimmung der GPS-Signalgüte,
- - eine Bestimmung der Genauigkeit des an dem momentanen Ort verfügbaren Kartenmaterials,
- - eine Bestimmung der momentanen Fahrzeugaufbaubewegungen,
- - ein Abgleich der im Kartenmaterial hinterlegten ortsbezogenen Informationen mit den Informationen aus dem Kamerabild,
- Die einzelnen Auswertungen werden zu einem Gesamt-Kennwert zusammengefasst, der die Systemunsicherheit beschreibt.
- Abhängig von dem Kennwert wird im Schritt
300 die Darstellung der augmentierten Bildinhalte11 ,12 ,13 angepasst. In dem Ausführungsbeispiel wird das AR-Bildelement11 ,12 ,13 zur Hervorhebung des vorausfahrenden Fahrzeuges in eine hochfrequente Eigenschwingung versetzt. Der Beobachter nimmt das AR-Bildelement11 ,12 ,13 damit als weniger fehlerbehaftet wahr, obwohl die Konturen des Bildelementes und die Umrisse des vorausfahrenden Fahrzeuges aufgrund der unvermeidbaren Darstellungsungenauigkeit leicht voneinander abweichen. - Im Schritt
400 werden die augmentierten Bildinhalte auf der Combinerscheibe5 des Head-Up-Displays5 ,7 ausgegeben. - Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Kamera
- 3
- Projektionseinheit
- 4
- Windschutzscheibe (Projektionsfläche)
- 5
- Combinerscheibe (Projektionsfläche)
- 6
- GPS-Antenne
- 7
- Bilderzeugungseinheit
- 8
- Armaturenbrett
- 9
- Fahrer
- 10
- Steuervorrichtung
- 11
- Augmented Reality Bildelement (Gefahrenhinweis)
- 12
- Augmented Reality Bildelement (Gefahrenhinweis)
- 13
- Augmented Reality Bildelement (Gefahrenhinweis)
- 100
- Projektion der Bildelemente auf die Projektionsfläche
- 200
- Kennwertermittlung
- 300
- Anpassung der AR-Bildinhalte
- 400
- Projektion der angepassten AR-Bildinhalte
- ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- DE 10344120 A1 [0012]
- DE 112006002459 B4 [0013]
- DE 102015001360 A1 [0014]
Claims (9)
- Verfahren zur Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte (11, 12, 13) in einem Head-Up-Display (5, 7) in einem Fortbewegungsmittel, bei dem - mit Hilfe einer Kamera (2) ein Bild der realen Welt erfasst und an eine Steuervorrichtung (10) übertragen wird, - augmentierte Bildinhalte (11, 12, 13) ermittelt werden, die in dem Head-Up-Display (5, 7) dergestalt darstellbar sind, dass sie aus der Sicht des Betrachters in das Bild der realen Welt integriert sind, - ein Kennwert ermittelt wird, der geeignet ist, die Systemunsicherheit bei der Darstellung der augmentierten Bildinhalte (11, 12, 13) zu bewerten, und - die augmentierten Bildinhalte (11, 12, 13) in Abhängigkeit von dem ermittelten Kennwert angepasst werden, um die Wahrnehmbarkeit der Darstellungsungenauigkeit zu verringern.
- Verfahren nach
Anspruch 1 , dadurch gekennzeichnet, dass eine GPS-Signalgüte erfasst und in die Bewertung der Systemunsicherheit einbezogen wird. - Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass ein an dem aktuellen Ort des Fortbewegungsmittels verfügbares Kartenmaterial bewertet und in die Bewertung der Systemunsicherheit einbezogen wird.
- Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass Bewegungen eines Fahrzeugaufbaus des Fortbewegungsmittels, in dem das Head-Up-Display verbaut ist, erfasst und in die Bewertung der Systemunsicherheit einbezogen werden.
- Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das erfasste Kamerabild mit in dem Kartenmaterial hinterlegten, ortsfesten Informationen verglichen wird und in die Bewertung der Systemunsicherheit einbezogen wird.
- Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass mittels einer weiteren Kamera, die in einer Eyebox des Führers des Fortbewegungsmittels angeordnet ist, ein Bild der Darstellung auf dem Head-Up-Display (5, 7) erfasst wird und aus einem Vergleich der dabei erfassten augmentierten Bildinhalte (11, 12, 13) mit dem Bild der realen Welt ein die Systemunsicherheit beschreibender Kennwert ermittelt wird.
- Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Art der Darstellung der augmentierten Bildinhalte (11, 12, 13) in Abhängigkeit von dem die Systemunsicherheit beschreibenden Kennwert verändert wird.
- Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die augmentierten Bildinhalte (11, 12, 13) entsprechend des ermittelten Kennwertes in eine die Systemunsicherheit beschreibende Eigenbewegung relativ zu dem realen Bild versetzt werden.
- Vorrichtung zur Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in einem Head-Up-Display (5, 7), umfassend - mindestens eine Kamera (2) zur Erfassung eines Bildes der realen Welt, - eine Steuervorrichtung (10), mit deren Hilfe augmentierte Bildinhalte (11, 12, 13) ermittelt werden, die in dem Head-Up-Display (5, 7) kontaktanalog darstellbar sind, - ein Head-Up-Display (5, 7), auf dem die ermittelten augmentierten Bildinhalte (11, 12, 13) darstellbar sind, wobei aus Sicht des Betrachters die Bildinhalte (11, 12, 13) in das reale Bild integriert erscheinen, - wobei die Steuervorrichtung (10) zur Ermittlung eines Kennwertes, der die Systemunsicherheit bei der Ermittlung der augmentierten Bildinhalte (11, 12, 13) in Bezug auf das Bild der realen Welt beschreibt, eingerichtet ist und - wobei die Steuervorrichtung (10) eingerichtet ist, die augmentierten Bildinhalte (11, 12, 13) in Abhängigkeit des ermittelten Kennwertes zu verändern.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017220268.8A DE102017220268B4 (de) | 2017-11-14 | 2017-11-14 | Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays |
EP18199714.9A EP3483654B1 (de) | 2017-11-14 | 2018-10-10 | Erkennung und visualisierung von systemunsicherheit bei der darstellung augmentierter bildinhalte in head-up-displays |
US16/175,040 US10891791B2 (en) | 2017-11-14 | 2018-10-30 | Detection and visualization of system uncertainty in the representation of augmented image content in heads-up displays |
CN201811337648.2A CN109788243B (zh) | 2017-11-14 | 2018-11-12 | 识别和可视化地呈现显示增强图像内容时的系统不可靠性 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017220268.8A DE102017220268B4 (de) | 2017-11-14 | 2017-11-14 | Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102017220268A1 true DE102017220268A1 (de) | 2019-05-16 |
DE102017220268B4 DE102017220268B4 (de) | 2024-03-21 |
Family
ID=63833840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102017220268.8A Active DE102017220268B4 (de) | 2017-11-14 | 2017-11-14 | Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays |
Country Status (4)
Country | Link |
---|---|
US (1) | US10891791B2 (de) |
EP (1) | EP3483654B1 (de) |
CN (1) | CN109788243B (de) |
DE (1) | DE102017220268B4 (de) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020212562B3 (de) | 2020-10-05 | 2021-11-11 | Volkswagen Aktiengesellschaft | Fahrspurbezogene visuelle Assistenzfunktion einer Head-Up-Displayeinrichtung für ein Kraftfahrzeug |
EP3922501A1 (de) * | 2020-06-11 | 2021-12-15 | Volkswagen Ag | Steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein fortbewegungsmittel |
DE102021103754A1 (de) | 2021-02-17 | 2022-08-18 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Überprüfen einer Augmented Reality Anzeige auf einer Blickfeldanzeigevorrichtung |
DE102018200312B4 (de) | 2018-01-10 | 2023-11-30 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung und Computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug mit einer solchen Vorrichtung |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023032956A1 (ja) * | 2021-08-31 | 2023-03-09 | 日本精機株式会社 | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10344120A1 (de) | 2003-09-24 | 2005-04-21 | Daimler Chrysler Ag | Vorrichtung und Verfahren zur Darstellung von Fahrhinweisen |
WO2006072527A1 (de) * | 2005-01-05 | 2006-07-13 | Siemens Aktiengesellschaft | Head-up-display für ein kraftfahrzeug |
DE102006010478A1 (de) * | 2006-03-07 | 2007-09-13 | Robert Bosch Gmbh | Verfahren und Anordnung zur Anzeige von Navigationshinweisen |
DE102009004432A1 (de) * | 2008-01-25 | 2009-07-30 | Denso Corporation, Kariya | Kraftfahrzeuganzeigevorrichtung zum Anzeigen eines ein vorderes Hindernis umkreisenden Bildflecks |
DE102009045169A1 (de) * | 2009-09-30 | 2011-03-31 | Robert Bosch Gmbh | Anzeigevorrichtung für ein Fahrzeug und Verfahren zur Darstellung von Bildinformation in einem Fahrzeug |
DE112006002459B4 (de) | 2005-09-26 | 2012-05-31 | Toyota Jidosha Kabushiki Kaisha | Fahrzeugumgebungsinformationsausgabesystem und Verfahren zum Ausgeben von Fahrzeugumgebungsinformation |
DE102012001951A1 (de) * | 2012-02-02 | 2013-08-08 | Daimler Ag | Anzeigevorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Anzeigevorrichtung |
DE102015001360A1 (de) | 2014-12-20 | 2015-08-20 | Daimler Ag | Verfahren zur Positionsbestimmung eines Fahrzeugs |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE552478T1 (de) * | 2004-06-03 | 2012-04-15 | Making Virtual Solid L L C | Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays |
EP1717757A1 (de) * | 2005-04-28 | 2006-11-02 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs |
DE102005061952B4 (de) * | 2005-12-23 | 2008-09-11 | Metaio Gmbh | Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System |
DE102008042825A1 (de) | 2008-10-14 | 2010-04-15 | Robert Bosch Gmbh | Fahrerassistenzsystem für Kraftfahrzeuge |
US8629903B2 (en) | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Enhanced vision system full-windshield HUD |
WO2011107423A1 (en) * | 2010-03-01 | 2011-09-09 | Metaio Gmbh | Method of displaying virtual information in a view of a real environment |
US9242647B2 (en) * | 2013-02-06 | 2016-01-26 | GM Global Technology Operations LLC | Display systems and methods for autonomous vehicles |
US20160054563A9 (en) * | 2013-03-14 | 2016-02-25 | Honda Motor Co., Ltd. | 3-dimensional (3-d) navigation |
US10339711B2 (en) * | 2013-03-15 | 2019-07-02 | Honda Motor Co., Ltd. | System and method for providing augmented reality based directions based on verbal and gestural cues |
WO2015017693A1 (en) * | 2013-07-31 | 2015-02-05 | Smarthud, Inc. | Vehicle use portable heads-up display |
US9403436B1 (en) * | 2015-02-12 | 2016-08-02 | Honda Motor Co., Ltd. | Lane keep assist system having augmented reality indicators and method thereof |
CN206031079U (zh) * | 2016-07-25 | 2017-03-22 | 江苏奥格视特信息科技有限公司 | 一种增强现实车载平视显示器ar‑hud |
DE102017216774B4 (de) | 2017-09-21 | 2019-07-04 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung, computerlesbares Speichermedium und Kraftfahrzeug mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug |
-
2017
- 2017-11-14 DE DE102017220268.8A patent/DE102017220268B4/de active Active
-
2018
- 2018-10-10 EP EP18199714.9A patent/EP3483654B1/de active Active
- 2018-10-30 US US16/175,040 patent/US10891791B2/en active Active
- 2018-11-12 CN CN201811337648.2A patent/CN109788243B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10344120A1 (de) | 2003-09-24 | 2005-04-21 | Daimler Chrysler Ag | Vorrichtung und Verfahren zur Darstellung von Fahrhinweisen |
WO2006072527A1 (de) * | 2005-01-05 | 2006-07-13 | Siemens Aktiengesellschaft | Head-up-display für ein kraftfahrzeug |
DE112006002459B4 (de) | 2005-09-26 | 2012-05-31 | Toyota Jidosha Kabushiki Kaisha | Fahrzeugumgebungsinformationsausgabesystem und Verfahren zum Ausgeben von Fahrzeugumgebungsinformation |
DE102006010478A1 (de) * | 2006-03-07 | 2007-09-13 | Robert Bosch Gmbh | Verfahren und Anordnung zur Anzeige von Navigationshinweisen |
DE102009004432A1 (de) * | 2008-01-25 | 2009-07-30 | Denso Corporation, Kariya | Kraftfahrzeuganzeigevorrichtung zum Anzeigen eines ein vorderes Hindernis umkreisenden Bildflecks |
DE102009045169A1 (de) * | 2009-09-30 | 2011-03-31 | Robert Bosch Gmbh | Anzeigevorrichtung für ein Fahrzeug und Verfahren zur Darstellung von Bildinformation in einem Fahrzeug |
DE102012001951A1 (de) * | 2012-02-02 | 2013-08-08 | Daimler Ag | Anzeigevorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Anzeigevorrichtung |
DE102015001360A1 (de) | 2014-12-20 | 2015-08-20 | Daimler Ag | Verfahren zur Positionsbestimmung eines Fahrzeugs |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018200312B4 (de) | 2018-01-10 | 2023-11-30 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung und Computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug mit einer solchen Vorrichtung |
EP3922501A1 (de) * | 2020-06-11 | 2021-12-15 | Volkswagen Ag | Steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein fortbewegungsmittel |
KR20210154101A (ko) * | 2020-06-11 | 2021-12-20 | 폭스바겐 악티엔게젤샤프트 | 운송 수단을 위한 증강 현실 헤드 업 디스플레이 장치의 디스플레이 제어 |
KR102593383B1 (ko) * | 2020-06-11 | 2023-10-23 | 폭스바겐 악티엔게젤샤프트 | 운송 수단을 위한 증강 현실 헤드 업 디스플레이 장치의 디스플레이 제어 |
US11817064B2 (en) | 2020-06-11 | 2023-11-14 | Volkswagen Aktiengesellschaft | Control of a display on an augmented reality head-up display device for a vehicle |
DE102020212562B3 (de) | 2020-10-05 | 2021-11-11 | Volkswagen Aktiengesellschaft | Fahrspurbezogene visuelle Assistenzfunktion einer Head-Up-Displayeinrichtung für ein Kraftfahrzeug |
EP3978295A1 (de) | 2020-10-05 | 2022-04-06 | Volkswagen Ag | Fahrspurbezogene visuelle assistenzfunktion einer head-up-displayeinrichtung für ein kraftfahrzeug |
CN114290993A (zh) * | 2020-10-05 | 2022-04-08 | 大众汽车股份公司 | 机动车的抬头显示装置的与车道相关的视觉辅助功能 |
DE102021103754A1 (de) | 2021-02-17 | 2022-08-18 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Überprüfen einer Augmented Reality Anzeige auf einer Blickfeldanzeigevorrichtung |
Also Published As
Publication number | Publication date |
---|---|
EP3483654A1 (de) | 2019-05-15 |
DE102017220268B4 (de) | 2024-03-21 |
US20190147656A1 (en) | 2019-05-16 |
CN109788243A (zh) | 2019-05-21 |
US10891791B2 (en) | 2021-01-12 |
CN109788243B (zh) | 2021-09-17 |
EP3483654B1 (de) | 2021-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3483654B1 (de) | Erkennung und visualisierung von systemunsicherheit bei der darstellung augmentierter bildinhalte in head-up-displays | |
DE112009003557B4 (de) | Fahrzeug-Anzeigevorrichtung undAnzeigeverfahren | |
DE102017216774B4 (de) | Verfahren, Vorrichtung, computerlesbares Speichermedium und Kraftfahrzeug mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug | |
EP2805183B1 (de) | Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs | |
EP3765324B1 (de) | Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug | |
DE102014206623A1 (de) | Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug | |
EP1405124A1 (de) | Head-up display system und verfahren zur ortskorrrekten darstellung eines objekts im aussenraum eines fahrzeugs in bezug auf die fahrerposition | |
DE102009045169A1 (de) | Anzeigevorrichtung für ein Fahrzeug und Verfahren zur Darstellung von Bildinformation in einem Fahrzeug | |
DE102014214516A1 (de) | Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs | |
EP2986225A1 (de) | Verfahren zur bestimmung, ob ein insasse eines fahrzeugs relevante objekte im umfeld des fahrzeugs bemerkt | |
WO2019149874A1 (de) | Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille | |
DE102013010818A1 (de) | Verfahren und Fahrerassistenzsystem zur Einblendung von Texturen in eine Abbildung eines sich vor einem Fahrzeug befindlichen Straßenverlaufs und/oder in ein Sichtfeld eines Fahrers eines Fahrzeugs | |
DE102018201768B4 (de) | Verfahren zum Anzeigen von Informationen in einem Head-Up-Display eines Fahrzeugs, Anzeigesystem für ein Fahrzeug und Fahrzeug mit einem Anzeigesystem | |
DE102017216775A1 (de) | Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug | |
DE112020003146T5 (de) | Anzeigesteuerungsvorrichtung, bildanzeigesystem, mobiler körper, anzeigesteuerungsverfahren und programm | |
DE102015222844A1 (de) | Verfahren und Steuergerät zum Betreiben eines Sichtfeldanzeigegeräts für ein Fahrzeug | |
DE102012220100A1 (de) | Verfahren und Informationsgerät zum Darstellen von einer Fahrerinformation auf einer Blickfeldanzeige für ein Fahrzeug | |
DE102013016249A1 (de) | Verfahren und Vorrichtung zur Darstellung von Navigationshinweisen | |
EP3296795B1 (de) | Verfahren zur darstellung eines bildobjekts in einem fahrzeug auf einer fahrzeugintern und einer fahrzeugextern wahrgenommenen anzeige | |
DE102014012625A1 (de) | Verfahren und Vorrichtung zur Darstellung von Umgebungsinformationen | |
DE102011082606A1 (de) | Verfahren und Vorrichtung zur Anzeige eines Richtungsweisers für einen Fahrer eines Fahrzeugs | |
DE102020214843A1 (de) | Verfahren zur Darstellung eines virtuellen Elements | |
DE102020211298A1 (de) | Verfahren zur Darstellung eines virtuellen Elements | |
DE102016225346A1 (de) | Verfahren zum Ermitteln eines Anzeigebereichs mindestens eines Elements auf einer Anzeigevorrichtung | |
DE102022123224A1 (de) | Verfahren und Vorrichtung zum Kalibrieren einer Datenbrille für einen Nutzer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division |