DE102020205328A1 - Verfahren zur Darstellung von der Umgebung überlagerten Objekten - Google Patents

Verfahren zur Darstellung von der Umgebung überlagerten Objekten Download PDF

Info

Publication number
DE102020205328A1
DE102020205328A1 DE102020205328.6A DE102020205328A DE102020205328A1 DE 102020205328 A1 DE102020205328 A1 DE 102020205328A1 DE 102020205328 A DE102020205328 A DE 102020205328A DE 102020205328 A1 DE102020205328 A1 DE 102020205328A1
Authority
DE
Germany
Prior art keywords
vehicle
person
curvature
lens
focus plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020205328.6A
Other languages
English (en)
Inventor
Joerg Kneip
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102020205328.6A priority Critical patent/DE102020205328A1/de
Publication of DE102020205328A1 publication Critical patent/DE102020205328A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung von der Umgebung überlagerten Objekten in einem Fahrzeug, wozu eine Augenfokussierebene (7) einer das Fahrzeug nutzenden Person erfasst wird. Sie ist dadurch gekennzeichnet, dass die Auswahl der dargestellten Objekte in Abhängigkeit der Augenfokussierebene (7) und/oder einer Linsenkrümmung eines oder beider Augen erfolgt.

Description

  • Die Erfindung betrifft ein Verfahren zur Darstellung von der Umgebung überlagerten Objekten in einem Fahrzeug, wozu eine Fokussierungsebene der Augen einer das Fahrzeug nutzenden Person erfasst wird.
  • Aus der DE 10 2015 201 728 A1 ist ein Verfahren zum berührungslosen Auswählen eines Bedienelements eines Fahrzeugs bekannt. Dabei ist es so, dass die Blickrichtung einer das Fahrzeug nutzenden Person erfasst wird, wobei zusätzlich eine Geste erfasst wird. Fallen die Blickrichtung und die Geste sowie ein in dem Fahrzeug angeordnetes Bedienelement in etwa in einer Linie zusammen, dann wird davon ausgegangen, dass das Bedienelement betätigt werden soll und eine entsprechende Funktion wird ausgelöst. In einer Ausgestaltung dieses Verfahrens wird nun zusätzlich die Fokussierungsebene der Augen, also ihre Akkommodation erfasst, um die Auswahl dadurch zu verbessern, dass das Bedienelement nahe oder in der Fokussierungsebene des Blicks liegen sollte.
  • Die Aufgabe der vorliegenden Erfindung besteht nun darin, ein verbessertes Verfahren zur Darstellung von der Umgebung überlagerten Objekten in einem Fahrzeug anzugeben, welches eine sehr einfache und weitgehend intuitive Steuerung ermöglicht.
  • Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.
  • Bei dem erfindungsgemäßen Verfahren ist es so, dass vergleichbar wie im eingangs genannten Stand der Technik eine Fokussierung der Augen einer das Fahrzeug nutzenden Person auf eine Fokussierungsebene erfasst wird. Diese wird nun allerdings nicht zur Verbesserung der Auswahl von Bedienfeldern genutzt, sondern die Fokussierungsebene dient als Basis für die Auswahl der dargestellten Objekte. Dadurch ist die das Fahrzeug nutzende, insbesondere die das Fahrzeug fahrende, Person in der Lage, alleine über die Fokussierungsebene die Darstellung der Objekte entsprechend zu beeinflussen und damit faktisch das, was ihr angezeigt wird, auszuwählen. Die Fokussierebene ist eine durch die Akkommodation der Augen festgelegte Betrachtungsebene. Diese Fokussierebene ist beispielsweise durch Bestimmung der Kreuzungspunkte der Sichtstrahlen beider Augen ermittelbar. Der Abstand des Kreuzungspunktes der Sichtstrahlen zu den Augen definiert die Augenfokussierebene, vereinfacht nachfolgend Fokussierebene genannt. Alternativ lässt sich durch Bestimmung der Krümmung der Augenlinse ermitteln, ob ein Fahrzeugnutzer in einen Fernbereich oder einen Nachbereich mit einem oder beiden Augen fokussiert. Je flacher die Augenlinse desto weiter die Entfernung fokussierter Objekte, je kugeliger die Augenlinse desto näher liegt die Fokussiereben relativ zum Auge. Über die Krümmung kann für jedes Auge für sich auf die Entfernung eines fokussierten Objektes geschlossen werden. Die Bestimmung der Krümmung erfolgt bevorzugt über Bildauswertung von Bilderfassungsvorrichtungen wie einer Tiefenkamera. Die Entfernung zu einem fokussierten Objekt kann über die Kreuzungspunkte der Augenstrahlen oder die Linsenkrümmung eines oder beider Augenermittelt werden. In vorteilhafter Weise werden zu Steigerung der Erkennungssicherheit des Abstandes zu einem betrachteten Objekt beide Verfahren kombiniert. Dies ist außerordentlich komfortabel und erfolgt quasi ohne bewusstes Zutun der Person, da die Steuerung der Fokussierungsebene durch die Person weitgehend unbewusst erfolgt. Durch diese Art der Selektion der virtuellen Ebene alleine über die Nah- und Fernfokussierung der Augen ist es möglich, eine reine Anzeige- und/oder Interaktionsebene zielgerichtet anzubieten.
  • Dabei können gemäß einer sehr vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens die Objekte zumindest virtuelle Bedienelemente und/oder Informationen sowie über Kameras im Außenbereich des Fahrzeugs erfasste Umgebungsbilder sein. Hierdurch ist es möglich, beispielsweise bei einer Nahfokussierung, welche gemäß einer vorteilhaften Weiterbildung der Idee innerhalb des Fahrzeuginnenraums oder auf dessen Scheibe liegt, die entsprechenden Inhalte einzublenden und beispielsweise über ein Head-up-Display Informationen in die Scheibe einzuspiegeln, um so die Fahrzeuggeschwindigkeit, eine Navigationsanweisung oder dergleichen für die Person verfügbar zu machen. Wird dagegen auf den Fernbereich fokussiert, also auf eine Ebene außerhalb des Fahrzeuginnenraums, dann ist das primäre Ziel der das Fahrzeug nutzenden Person ganz offensichtlich die Konzentration auf das Verkehrsgeschehen in der Umgebung des Fahrzeugs. Für diesen Fall kann dann beispielsweise eine Transparenz der Anzeigeobjekte ausgewählt werden, um so die Konzentration auf das Verkehrsgeschehen in der Umgebung des Fahrzeugs nicht zu beeinträchtigen. Selbstverständlich sind dabei verschiedene Zwischenstufen denkbar, sodass beispielsweise Informationen zunehmend transparenter angezeigt werden, je mehr der Fokus der Augen der Person in die Ferne rückt.
  • Gemäß einer weiteren außerordentlich günstigen Ausgestaltung des erfindungsgemäßen Verfahrens kann ergänzend zur Fokussierungsebene und/oder der Linsenkrümmung bei der Auswahl der dargestellten Objekte die Blickrichtung der Person berücksichtigt werden. Ist die Blickrichtung also beispielsweise auf bestimmte Bedienelemente oder Fahrzeugteile innerhalb des Fahrzeugs gerichtet, dann können diese Bedienelemente beispielsweise mit einer virtuellen Bedienebene hierzu eingeblendet oder Informationen in Relation zu dem Fahrzeugteil bereitgestellt werden. Im Falle einer Blickrichtung beispielsweise auf eine A-Säule des Fahrzeugs und gleichzeitiger Fokussierungsebene in die Ferne nach außerhalb des Fahrzeugraums kann so als Objekt ein Umgebungsbild, welches von Kameras des Fahrzeugs in dessen Umgebung aufgenommen worden ist, eingeblendet werden.
  • Insbesondere beim Einsatz eines Virtual Reality (VR) Wearables als Anzeigeinstrument vor dem Gesichtsfeld der Person, welches gemäß einer vorteilhaften Weiterbildung des Verfahrens als Anzeigeinstrument genutzt werden kann, entsteht so die Möglichkeit, die Umgebungsbilder so einzublenden, dass zumindest einige der die Sicht verdeckenden Teile des Fahrzeugs, beispielsweise die A-Säule, mit den in der Umgebung überlagerten Objekten so dargestellt wird, dass diese für die Person zumindest teilweise transparent erscheinen. Die Person kann also durch die A-Säule hindurchblicken und kann Objekte erkennen, welche bei einem herkömmlichen Fahrzeug für diese Person von der A-Säule verdeckt und nicht sichtbar wären. Dies kann insbesondere die Verkehrssicherheit erhöhen, beispielsweise in Situationen, bei denen bei einem Spurwechsel beim Abbiegen oder dergleichen durch Fahrzeugteile tote Winkel entstehen, welche nicht eingesehen werden können, und welche nun, unter Zuhilfenahme dieser Technik, für die das Fahrzeug führende Person dargestellt werden können. Dies ist ein entscheidender Vorteil hinsichtlich der Verkehrssicherheit.
  • Wie bereits erwähnt kann es gemäß einer sehr günstigen Ausgestaltung des Verfahrens vorgesehen sein, dass bei einer innerhalb des Fahrzeuginnenraums liegenden Fokussierungsebene und/oder bei einer vorbestimmten Linsenkrümmung virtuelle Bedienelemente und/oder Informationen eingeblendet werden. Die vorbestimmte Linsenkrümmung ist beispielsweise eine Krümmung innerhalb eine Bereichs unterhalb einer Krümmungswerts. Dies ist prinzipiell über das bereits angesprochene Head-up-Display möglich, kann jedoch gemäß der oben schon genannten vorteilhaften Ausgestaltung auch über ein VR-Wearable als Anzeigeinstrument erfolgen. Dieses ist dann in das Fahrzeugsteuerungssystem entsprechend eingebunden, vorzugsweise kabellos, um eine einfache und bequeme Bedienbarkeit zu ermöglichen.
  • Im Falle einer Fokussierungsebene im Innenraum des Fahrzeugs, einer Blickrichtung in Richtung eines Bedienelements und/oder einer weiteren vorbestimmten Linsenkrümmung können Bedienelemente virtuell überlagert oder beispielsweise auch von ihrem bisherigen Ort als virtuelle Bedienelemente in einem anderen Bereich eingeblendet werden. Hierdurch ist es beispielsweise möglich, durch einen kurzen Blick in Richtung der Mittelkonsole, und die Fokussierung auf Bedienelemente diese virtuell in den Bereich einer Windschutzscheibe zu verlagern, um sie dort zu bedienen, was die Bedienung bei gleichzeitiger Sicht auf das Verkehrsgeschehen ermöglicht. Über eine Innenraumkamera können dabei gemäß einer sehr vorteilhaften Weiterbildung der Idee Gesten der Person erkannt werden und den virtuellen Bedienelementen überlagert werden, um so eine Bedienbarkeit der virtuellen Bedienelemente zu ermöglichen. Dies kann beispielsweise in der im eingangs genannten Stand der Technik beschriebenen Art und Weise erfolgen.
  • Eine weitere sehr günstige Ausgestaltung hiervon kann es ferner vorsehen, dass im Falle der Bedienung eines virtuellen Bedienelements über eine Geste ein haptisches Feedback auf die die Geste ausführenden Körperteile der Person erfolgt, beispielsweise auf die Fingerspitzen. Dazu wird ein fokussierter Ultraschallimpuls generiert, welcher das haptische Feedback beispielsweise auf den Fingerspitzen der Person erzeugt und hier auch bei einer Berührung eines virtuellen Bedienelements durch das haptische Feedback das Gefühl einer reellen Bedienung vermittelt.
  • Wird gemäß der mehrfach schon genannten Weiterbildung ein in das Fahrzeugsteuerungssystem integrierbares VR-Wearable als Anzeigeinstrument verwendet, dann kann insbesondere auch das typischerweise vorhandene Kamerasystem dieses VR-Wearables zur Erfassung der Fokussierungsebene, der Blickrichtung der Person und/oder der Linsenkrümmung genutzt werden. Ergänzend oder parallel dazu ist es möglich, und insbesondere bei der Verwendung eines Head-up-Displays als Anzeigeinstrument sinnvoll, wenn die Erfassung der Fokussierungsebene, der Blickrichtung und/oder der Linsenkrümmung über wenigstens eine Innenraumkamera des Fahrzeugs erfolgt. Insbesondere bei der Ausführung von Gesten ist diese Innenraumkamera ohnehin ein sinnvoller Sensor zur Erfassung der gewünschten Informationen.
  • Als Wearables eignen sich dabei insbesondere verschiedene VR-Wearables, welche im Gesichtsfeld der sie nutzenden Person liegen. Beispielsweise kann es sich um eine VR-Brille, einen Brillenaufsatz oder auch ein Helmvisier oder dergleichen handeln, welches ganz oder teilweise im Sichtbereich der das Fahrzeug nutzenden Person liegt und es dementsprechend ermöglicht, Informationen in ihr Gesichtsfeld einzublenden. Andere Möglichkeiten zur Darstellung sind dabei ebenso denkbar, beispielsweise das aus dem militärischen Bereich bekannte Einblenden von Informationen über Laserlicht direkt auf die Netzhaut der Person.
  • Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figuren näher dargestellt ist.
  • Dabei zeigen:
    • 1 zwei Szenarien zur Erläuterung des erfindungsgemäßen Verfahrens in einer ersten Ausführungsform;
    • 2 zwei Szenarien zur Erläuterung des erfindungsgemäßen Verfahrens in einer alternativen Ausführungsform; und
    • 3 schematische optische Darstellung einer der Möglichkeiten des erfindungsgemäßen Verfahrens.
  • In der Darstellung der 1a und 1b ist ein Fahrzeuginnenraum 1 mit einer das Fahrzeug führenden Person 2 angedeutet. Erkennbar ist dabei eine mit 3 bezeichnete Windschutzscheibe sowie getrennt durch eine mit 4 bezeichnete A-Säule hiervon eine Seitenscheibe 5. Rein beispielhaft ist der Blick der Person 2, wie es durch die Linien angedeutet ist, in den Bereich der Windschutzscheibe 3 gerichtet. Dabei ist die Fokussierungsebene ihrer Augen 7, welche hier über eine Innenraumkamera 6 entsprechend erfasst wird, auf die Ebene der Windschutzscheibe 3 gerichtet. Eine Steuerung des Fahrzeugs kann durch eine solche Auswertung der Augenfokussierungsebene 7 und/oder Bestimmung der Linsenkrümmung der Person 2 erkennen, dass diese ganz offensichtlich zusätzlichen Informationen oder dergleichen angezeigt haben möchte. Nun ist es möglich, diese Informationen beispielsweise in Form von virtuellen Bedienelementen 8 in den Bereich der Windschutzscheibe 3 einzublenden, was hier beispielhaft angedeutet ist und insbesondere über ein Head-up-Display erfolgen kann. Neben den Bedienelementen 8 sind als weitere Objekte, welche dargestellt werden können, auch Informationen denkbar, beispielsweise die aktuelle Fahrzeuggeschwindigkeit, eine Navigationsanweisung oder Ähnliches.
  • Fokussiert sich der Blick der Augen 7 der Person 2, wie es in der Darstellung der 1b angedeutet ist, nun weg von der Nahfokussierung auf die Windschutzscheibe 3 in die Fahrzeugumgebung, beispielsweise auf eine angedeutete Straße 9 in der Fahrzeugumgebung, dann wird die Steuerung des Fahrzeugs davon ausgehen, dass durch eine solche Augenfokussierung 7 und/oder Verflachung der Linsenkrümmung der Augen eine Konzentration der Person 2 auf das sie umgebende Verkehrsgeschehen gewollt ist. Die Bedienelemente 8 oder Informationen werden deshalb teilweise oder wie in der 1b dargestellt vollständig transparent geschaltet, um einen ungestörten Blick in die Umgebung zu ermöglichen und der Person 2 die Konzentration auf das Verkehrsgeschehen entsprechend zu erleichtern.
  • Neben dieser einfachen Variante des erfindungsgemäßen Verfahrens, welche in den beiden 1 beispielhaft erläutert worden sind, ist es nun möglich, das Verfahren entsprechend komplexer auszugestalten, wenn die Möglichkeiten der Anzeige verbessert werden. Die Person 2 kann dafür mit einem vorzugsweise kabellos in die Steuerung des Fahrzeugs integrierten VR-Wearable 10 ausgestattet werden. Dieses kann beispielsweise als VR-Brille, als Brillenaufsatz, Helmvisier oder dergleichen realisiert werden. Über dieses VR-Wearable 10 kann nun alternativ oder ergänzend zur Innenraumkamera 6 die Fokussierungsebene und Blickrichtung der Person 2 erfasst werden. In der Darstellung der 2a ist die Fokussierung wieder auf den Innenraum des Fahrzeugs gerichtet. In diesem Fall blickt die Person auf Bedienelemente im Bereich eines Armaturenbretts, beispielsweise die Bedieneinheit einer Klimaanlage oder dergleichen. Die dortigen Elemente lassen sich nun von der Person 2 virtuell bedienen und diese Möglichkeit zur virtuellen Bedienung wird als Selektion der Objekte aufgrund der Blickrichtung und der Fokussierung der Augen entsprechend eingeblendet. Hierfür können beispielsweise die real vorhandenen Bedienelemente nochmals virtuell angezeigt und den realen Elementen überlagert werden. Durch eine mit einer Hand 11 der Person 2 ausgeführten Geste, beispielsweise einem Fingerzeig in Richtung eines der Bedienelemente 8 bzw. seiner virtuellen Überlagerung kann dieses Bedienelement nun betätigt werden, wie es beispielsweise aus dem eingangs genannten Stand der Technik bekannt ist. Alternativ können durch dieses Verfahren vorausgewählte Bedienelemente im weiteren Verlauf auch durch explizite Auswahl anderer Bedienweisen, z.B. Sprachbedienung oder einfach durch zeitliche Auswertung der visuellen Fokussierung eines Elements ausgewählt werden. Ebenso können Gesten beispielsweise durch Hand, Kopf oder Augenbewegung zum Verwerfen einer aufgerufenen Bedienebene oder Bedienauswahl verwendet werden.
  • Um der Person 2 ein Feedback darüber zu geben, dass die Betätigung erfolgreich war, kann nun außerdem ein fokussierter Ultraschallimpuls generiert werden, welcher auf die Hand 11 bzw. den Finger gerichtet ist, und im Augenblick der virtuellen Bedienung des Bedienelements 8 ausgelöst wird. Der Person 2 wird damit ein haptisches Feedback suggeriert, quasi wird ihr der Widerstand vermittelt, den die Berührung eines Tasters oder dergleichen verursacht hätte. Dadurch kann die Person 2 sicher sein, dass die Auslösung der gewünschten Funktion auch tatsächlich erfolgt ist. Alternativ dazu kann die Bedienrückmeldung durch akustische oder visuelle Impulse erfolgen. Dazu kann das Anzeigesystem dem Kunden beispielsweise durch nah oder fern eingeblendete Objekte beispielsweise in einem Head Up Display eine erfolgreiche Bedienung signalisieren und gleichzeitig den Blickfokus wieder auf eine andere Ebene lenken.
  • Wird die Fokussierungsebene der Augen 7 der Person 2 nun wieder in die Ferne gerichtet und/oder verflacht sich die Linsenkrümmung, kann auf die Einblendung virtueller Objekte ganz oder zumindest teilweise verzichtet werden, dies gilt beim Einsatz eines VR-Wearables 10 als Anzeigeinstrument genauso wie es am Beispiel des Head-up-Displays in den Darstellungen der 1 erläutert worden ist. Eine weitere Möglichkeit, welche nun insbesondere durch das VR-Wearable 10 entsteht, besteht darin, dass beispielsweise bei einer Fokussierung in die Umgebung des Fahrzeugs, also einer Fokussierung nach außerhalb des Fahrzeuginnenraums und einer gleichzeitigen Blickrichtung auf Teile des Fahrzeuginnenraums ein Objekt ausgewählt wird, welches der Person 2 quasi die „Durchsicht“ durch das Fahrzeug ermöglicht. In der Darstellung der 2b soll dies beispielsweise bei einer Fahrt durch das Gelände entsprechend gezeigt sein. Problematisch in dieser Fahrsituation ist ein größerer mit 12 bezeichneter Stein, welcher im Bereich des rechten Vorderrads 13 des Fahrzeugs liegt. Dieser Bereich ist von der Person 2 real nicht einsehbar. Er kann jedoch über Kameras im Außenbereich des Fahrzeugs problemlos erfasst werden. Bei einer entsprechenden Blickrichtung in Richtung des Vorderrads 13 quasi durch die Karosserie „hindurch“ und einer entsprechenden Fokussierungsebene außerhalb des Fahrzeuginnenraums kann nun also erkannt werden, dass die Person 2 die Situation im Bereich des Vorderrads 13 einsehen möchte. Als Objekt kann dann eine Kombination von gespeicherten Bildern oder künstlich erzeugten Bildern beispielsweise des Vorderrads 13 in Kombination mit Live-Bildern aus der Umgebung des Fahrzeugs erfolgen. Die Person 2 sieht dann bei Blick in Richtung des Rades 13, ohne dass ihr virtueller Blick durch die tatsächlich vorhandenen Bauteile des Fahrzeugs verstellt wird, den für sie interessanten Vorderreifen 13 in der Nähe des Steins 12 und ist so in der Lage, das Fahrzeug um diesen Stein 12 herum zu lenken. Der Person 2 wird so die Möglichkeit gegeben, entsprechend sicher und kollisionsfrei die Fahrsituation zu meistern.
  • Eine weitere Möglichkeit kann beispielsweise darin bestehen, dass der Blick in Richtung der bereits angesprochenen A-Säule 4 des Fahrzeugs gerichtet wird. In der 3a ist der reale Blick auf die A-Säule 4 und den Rückspiegel 14 zu erkennen, welche gemeinsam einen großen Teil des Verkehrsgeschehens in der Umgebung des Fahrzeugs verdecken. Vergleichbar wie beim Szenario in der 2b lässt sich nun bei entsprechender Fokussierungsebene außerhalb des Fahrzeuginnenraums und einer Blickrichtung auf die A-Säule 4 erkennen, dass die Person 2 an dem hinter der A-Säule 4 liegenden Szenario interessiert ist. Nun lässt sich wiederum über Kameras, welche die Umgebung des Fahrzeugs erfassen, das entsprechende Bild einblenden und so mit den Bildern in der Umgebung der A-Säule überlagern, dass die A-Säule 4 und der Rückspiegel 14 für die Person 2 quasi verschwinden. Dies ist in der Darstellung der 3b entsprechend angedeutet. Die Person 2 kann nun also durch die Teile des Fahrzeugs hindurchsehen, was ihr Blickfeld auf das Verkehrsgeschehen vergrößert und damit die Verkehrssicherheit steigert.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102015201728 A1 [0002]

Claims (12)

  1. Verfahren zur Darstellung von der Umgebung überlagerten Objekten in einem Fahrzeug, wozu eine Augenfokussierebene (7) einer das Fahrzeug nutzenden Person (2) erfasst wird, dadurch gekennzeichnet, dass die Auswahl der dargestellten Objekte in Abhängigkeit der Augenfokussierebene (7) und/oder einer Linsenkrümmung eines Auges oder beider Augen erfolgt.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Objekte zumindest virtuelle Bedienelemente (8) und/ oder Informationen sowie über Kameras im Außenbereich des Fahrzeugs erfasste Umgebungsbilder des Fahrzeugs umfassen.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ergänzend zur Augenfokussierebene (7) und/oder der Linsenkrümmung bei der Auswahl der dargestellten Objekte die Blickrichtung der Person berücksichtigt wird.
  4. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass im Falle einer außerhalb des Fahrzeuginnenraums liegenden Augenfokussierebene (7) oder bei einer vorbestimmten Linsenkrümmung Umgebungsbilder eingeblendet werden.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Umgebungsbilder so eingeblendet werden, dass zumindest einige der die Sicht verdeckenden Teile (4) des Fahrzeugs in den der Umgebung überlagerten Objekten für die Person (2) zumindest teilweise transparent erscheinen.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass bei einer innerhalb des Fahrzeuginnenraums liegenden Augenfokussierebene (7) oder bei einer weiteren vorbestimmten Linsenkrümmung virtuelle Bedienelemente (8) und/oder Informationen eingeblendet werden.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass über eine Innenraumkamera (6) Gesten der Person (2) erkannt und den virtuellen Bedienelementen (8) überlagert werden, um so eine Bedienbarkeit der virtuellen Bedienelemente (8) zu ermöglichen.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass im Falle der Bedienung eines virtuellen Bedienelements (8) über eine Geste ein haptisches Feedback auf die die Geste ausführenden Körperteile (11) der Person (2) erfolgt, in dem ein darauf fokussierter Ultraschallimpuls generiert wird.
  9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass ein in das Fahrzeugssteuerungssystem, insbesondere kabellos, integrierbares VR-Wearable (10) als Anzeigeinstrument vor dem Gesichtsfeld der Person (2) genutzt wird.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass Kamerasysteme des VR-Wearables (10) zur Erfassung der Augenfokussierebene (7), der Linsenkrümmung und/oder der Blickrichtung genutzt werden.
  11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass als Anzeigeinstrument ein Headup-Display genutzt wird.
  12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass zur Erfassung der Augenfokussierebene (7), der Linsenkrümmung und/oder der Blickrichtung wenigstens eine Innenraumkamera (6) des Fahrzeugs genutzt wird.
DE102020205328.6A 2020-04-28 2020-04-28 Verfahren zur Darstellung von der Umgebung überlagerten Objekten Pending DE102020205328A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020205328.6A DE102020205328A1 (de) 2020-04-28 2020-04-28 Verfahren zur Darstellung von der Umgebung überlagerten Objekten

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020205328.6A DE102020205328A1 (de) 2020-04-28 2020-04-28 Verfahren zur Darstellung von der Umgebung überlagerten Objekten

Publications (1)

Publication Number Publication Date
DE102020205328A1 true DE102020205328A1 (de) 2021-10-28

Family

ID=78260950

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020205328.6A Pending DE102020205328A1 (de) 2020-04-28 2020-04-28 Verfahren zur Darstellung von der Umgebung überlagerten Objekten

Country Status (1)

Country Link
DE (1) DE102020205328A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013210587A1 (de) 2013-06-07 2014-12-24 Bayerische Motoren Werke Aktiengesellschaft Anzeigensystem mit Datenbrille
DE102014015087A1 (de) 2014-10-11 2016-04-14 Daimler Ag Betreiben eines Steuersystems für einen Kraftwagen sowie Steuersystem für einen Kraftwagen
DE102015201728A1 (de) 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auswählen eines Bedienelements eines Kraftfahrzeugs und Bediensystem für ein Kraftfahrzeug
DE102016123566A1 (de) 2015-12-08 2017-06-08 Gm Global Technology Operations, Llc System von erweiterter realität und verarbeitung von bildern von verdeckten gegenständen
WO2019185510A1 (de) 2018-03-26 2019-10-03 Seereal Technologies S.A. Anzeigevorrichtung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013210587A1 (de) 2013-06-07 2014-12-24 Bayerische Motoren Werke Aktiengesellschaft Anzeigensystem mit Datenbrille
DE102014015087A1 (de) 2014-10-11 2016-04-14 Daimler Ag Betreiben eines Steuersystems für einen Kraftwagen sowie Steuersystem für einen Kraftwagen
DE102015201728A1 (de) 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auswählen eines Bedienelements eines Kraftfahrzeugs und Bediensystem für ein Kraftfahrzeug
DE102016123566A1 (de) 2015-12-08 2017-06-08 Gm Global Technology Operations, Llc System von erweiterter realität und verarbeitung von bildern von verdeckten gegenständen
WO2019185510A1 (de) 2018-03-26 2019-10-03 Seereal Technologies S.A. Anzeigevorrichtung

Similar Documents

Publication Publication Date Title
DE102016111783B4 (de) Anzeigevorrichtung zur Einblendung eines virtuellen Bildes in das Blickfeld eines Benutzers
EP3298474B1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug und system mit einer datenbrille
EP3084564B1 (de) Vorrichtung und verfahren zum navigieren innerhalb eines menüs zur fahrzeugsteuerung sowie auswählen eines menüeintrags aus dem menü
EP3394708B1 (de) Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
DE10131720B4 (de) Head-Up Display System und Verfahren
DE102012219280A1 (de) Fahrerassistenzsystem und Verfahren
DE102012019508A1 (de) Kraftfahrzeug mit Umgebungssensor und Display
DE102011056714A1 (de) Systembereitschaftsschalter für ein Mensch-Maschine-Interaktionssteuerungssystem mit Augenverfolgung
DE102017117287A1 (de) Sichtsystem mit fahrsituationsbedingter sichtfeld-/sichtbereicheinblendung
EP3108334B1 (de) System mit und verfahren zum automatischen ein-/umschalten einer einstellvorrichtung für eine head-up-display-einrichtung
DE102012019506A1 (de) Fahrzeug mit einem Anzeigeinstrument
DE102009002979A1 (de) Projektionsanzeigevorrichtung für Fahrzeuge
DE102011118253A1 (de) Verfahren zum Betrieb eines elektronischen Rückspiegels eines Kraftfahrzeugs und Kraftfahrzeug
WO2020035264A2 (de) Verfahren zum betreiben einer blickfeldanzeigevorrichtung für ein kraftfahrzeug
DE102015005222A1 (de) Verfahren zum Ermitteln wenigstens einer für ein Fahrzeug relevanten Ampel
DE102018202387B3 (de) Rückspiegelanordnung
DE102014211803A1 (de) Augmented-Reality-System für ein Kraftfahrzeug
DE102013222584A1 (de) Optisches Wiedergabe- und Erkennungssystem in einem Fahrzeug
EP3483654A1 (de) Erkennung und visualisierung von systemunsicherheit bei der darstellung augmentierter bildinhalte in head-up-displays
DE102008055187A1 (de) Projektionsanzeigevorrichtung für Fahrzeuge
DE102014206202A1 (de) Sonnenblende mit einer elektronischen Bildanzeigevorrichtung sowie Verfahren zu deren Betrieb
DE102015015676A1 (de) Verfahren zum automatischen Aufschalten eines Umgebungsbildes auf eine Anzeigeeinheit eines Fahrzeuges
DE102012018556B4 (de) Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer
DE102017221317A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einem Kraftfahrzeug
DE102014221190A1 (de) Infrarotmuster in Scheiben von Fahrzeugen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative
R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70372 STUTTGART, DE

R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, STUTTGART, DE