DE102015209090A1 - Output of a warning to road users on a head-mounted display - Google Patents
Output of a warning to road users on a head-mounted display Download PDFInfo
- Publication number
- DE102015209090A1 DE102015209090A1 DE102015209090.6A DE102015209090A DE102015209090A1 DE 102015209090 A1 DE102015209090 A1 DE 102015209090A1 DE 102015209090 A DE102015209090 A DE 102015209090A DE 102015209090 A1 DE102015209090 A1 DE 102015209090A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- road user
- driver
- road
- warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000011521 glass Substances 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 239000004984 smart glass Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B60K35/10—
-
- B60K35/23—
-
- B60K35/28—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B60K2360/149—
-
- B60K2360/179—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
- G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
Abstract
Offenbart wird ein Verfahren zur Anzeige einer Warnung auf einer Datenbrille oder einem Head-up Display, umfassend: Fortlaufendes ermitteln der Blickrichtung eines ersten Verkehrsteilnehmers, insbesondere des Fahrers eines ersten Fahrzeugs; Bestimmen der für den ersten Verkehrsteilnehmer sichtbaren anderen Verkehrsteilnehmer; Prüfen, ob der erste Verkehrsteilnehmer in Richtung eines zweiten sichtbaren Verkehrsteilnehmers geblickt hat, insbesondere in Richtung eines zweiten sichtbaren Fahrzeugs; Falls der erste Verkehrsteilnehmer nicht in Richtung des zweiten sichtbaren Fahrzeugs geblickt hat: Ausgeben einer Warnung auf einer dem zweiten Verkehrsteilnehmer zugeordneten Datenbrille oder Head-up Display; wobei die Warnung derart angezeigt wird, dass sie dem Träger der Datenbrille bzw. Benutzer des Head-up Displays, insbesondere dem Fahrer des zweiten Fahrzeugs, räumlich dem ersten Verkehrsteilnehmer zugeordnet erscheint. Disclosed is a method for displaying a warning on a data goggles or a head-up display, comprising: continuously determining the viewing direction of a first road user, in particular the driver of a first vehicle; Determining the other road users visible to the first road user; Checking whether the first road user has been looking in the direction of a second visible road user, in particular in the direction of a second visible vehicle; If the first road user has not looked in the direction of the second visible vehicle: issuing a warning on a data goggles or head-up display assigned to the second road user; wherein the warning is displayed such that it spatially associated with the wearer of the data glasses or users of the head-up display, in particular the driver of the second vehicle, the first road user.
Description
Die Erfindung betrifft ein Verfahren zur Anzeige einer Warnung auf einer Datenbrille; ein entsprechendes Fahrzeug und ein entsprechendes System. The invention relates to a method for displaying a warning on a data glasses; a corresponding vehicle and a corresponding system.
Heutzutage sind Datenbrillen (manchmal auch Head-mounted Displays, HMD, genannt) bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Gegenüber einer gewöhnlichen Brille umfasst die Datenbrille jedoch eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Informationen kontaktanalog angezeigt, was manchmal auch als Augmented Reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der dem Ort eines Objektes in der Umgebung räumlich zugeordnet ist, also beispielsweise an das Objekt angrenzend oder dieses überlagernd; eine Anzeige in der gleichen „Tiefe“/Entfernung wie das Objekt ist nicht unbedingt nötig. Zur Realisierung der Kontaktanalogie, muss typischerweise die Position des Objektes in der Umgebung, die Pose (3D-Position und Ausrichtung) der Datenbrille in Relation zum Objekt sowie die Pose der Datenbrille zu den Augen des Trägers bekannt sein. Pose beschreibt hier sowohl die Position der Datenbrille als auch die Ausrichtung der Datenbrille. Today, data glasses (sometimes called head-mounted displays, called HMD) are known, with the help of the wearer of the data glasses information can be displayed. The data glasses are worn like ordinary glasses, which is used as a visual aid on the head. Compared to ordinary glasses, however, the data glasses include a display that is located near the user's eyes when wearing the data glasses. The display can include two partial displays, one for each eye. On the display, information may be displayed to the user in the form of text, graphics or mixtures thereof. In particular, the display may be semitransparent, that is configured in such a way that the wearer can also recognize the surroundings behind the display. Particularly preferably, the information is displayed to the wearer contact-analog, which is sometimes referred to as augmented reality. In this case, the carrier of the data glasses, the information is displayed at a location that is spatially associated with the location of an object in the environment, so for example, adjacent to the object or this superimposed; an ad in the same "depth" / distance as the object is not necessary. To realize the contact analogy, typically the position of the object in the environment, the pose (3D position and orientation) of the data glasses in relation to the object and the pose of the data glasses to the eyes of the wearer must be known. Pose describes both the position of the data glasses and the orientation of the data glasses.
Kontaktanaloge Darstellungen können auch mithilfe von Head-up Displays erreicht werden. Contact-analogue representations can also be achieved by means of head-up displays.
Weiterhin sind Blickrichtungserkennungs-Systeme (auch Eye-Tracking-Systeme genannt) bekannt, die meist kamerabasiert einen Augenvektor berechnen können. Solche Systeme sind meist kontaktlos ausgeführt und beobachten einen Nutzer, z.B. auch einen Fahrer in einem Fahrzeug, frontal und/oder seitlich. Andere Ausführungen sind über eine Art Brille, beispielsweise an einer Datenbrille montiert, sehr nach am Auge angebracht. Häufig arbeiten Eye-Tracking-Systeme mit künstlichen Infrarotlichtquellen und der Erkennung einer Reflexion der Infrarotlicht-Quelle im Auge durch eine Kamera. Furthermore, eye-sight recognition systems (also called eye-tracking systems) are known, which can usually calculate an eye vector based on the camera. Such systems are usually contactless and observe a user, e.g. also a driver in a vehicle, frontally and / or laterally. Other versions are mounted on a kind of glasses, for example, on a data glasses, very attached to the eye. Frequently, eye-tracking systems use artificial infrared light sources and detect a reflection of the infrared light source in the eye through a camera.
Im Forschungsstadium befinden sich Fahrerassistenzsysteme wie. z.B. Kreuzungs-Assistent auf Basis einer Car2Car-Kommunikation. Mithilfe des Kreuzungs-Assistenten sollen Kollisionen von Verkehrsteilnehmern verhindert werden, indem eine Kollisionswahrscheinlichkeit aufgrund der Position und Bewegung der Fahrzeuge ermittelt wird. Falls die Wahrscheinlichkeit einen gewissen Wert überschreitet wird meist ein Signalton ausgegeben. At the research stage there are driver assistance systems such as. e.g. Intersection Assistant based on Car2Car communication. The Intersection Assistant is designed to prevent collisions with road users by detecting a collision probability based on the position and movement of the vehicles. If the probability exceeds a certain value, a beep is usually output.
Nachteilig im Stand der Technik ist, dass der Fahrer eines Fahrzeugs wenig Rückmeldung über Fahrer anderer Fahrzeuge selbst erhält, sondern nur über das Verhalten der Fahrzeuge. In wenigen Situationen in denen Sichtkontakt zwischen den Fahrern besteht kann durch Handzeichen die Intention der Fahrer vermittelt werden. Jedoch wäre eine Informationsvermittlung über andere Fahrer auch in anderen Situationen vorteilhaft. A disadvantage of the prior art is that the driver of a vehicle receives little feedback about drivers of other vehicles themselves, but only about the behavior of the vehicles. In a few situations in which there is visual contact between the drivers, the intention of the driver can be communicated by hand signals. However, communicating information about other drivers would also be beneficial in other situations.
Derzeitige Assistenzfunktionen, wie z.B. der Kreuzungs-Assistent reagieren bei Gefahr durch z.B. einen Signalton, der Fahrer muss die Warnung aber selbst der Situation (z.B. einem bestimmten Verkehrsteilnehmer) zuordnen. Durch den Fahrer eines Fahrzeugs muss also eine Interpretation des Signaltons vorgenommen werden, was eine gewisse Zeit beanspruchen kann und wodurch das Unfallrisiko erhöht werden kann. Current assistance functions, such as the crossing assistant react in case of danger by e.g. a beep, but the driver must assign the alert itself to the situation (e.g., a particular road user). By the driver of a vehicle so an interpretation of the beep must be made, which can take a certain amount of time and thus the risk of accidents can be increased.
Der Erfindung liegt die Aufgabe zugrunde, dem Fahrer eines Fahrzeugs Informationen darüber zugänglich zu machen, inwieweit er selbst von anderen Verkehrsteilnehmern beachtet wird. The object of the invention is to make information available to the driver of a vehicle as to what extent he himself is considered by other road users.
Die Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert. The object is solved by the subject matters of the independent claims. Advantageous developments are defined in the dependent claims.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Anzeige einer Warnung auf einer Datenbrille oder einem Head-up Display, umfassend: Fortlaufendes ermitteln der Blickrichtung eines ersten Verkehrsteilnehmers, insbesondere des Fahrers eines ersten Fahrzeugs; (Bestimmen der für den ersten Verkehrsteilnehmer sichtbaren anderen Verkehrsteilnehmer;) Prüfen, ob der erste Verkehrsteilnehmer in Richtung eines zweiten sichtbaren Verkehrsteilnehmers geblickt hat, insbesondere in Richtung eines zweiten sichtbaren Fahrzeugs; Falls der erste Verkehrsteilnehmer nicht in Richtung des zweiten sichtbaren Fahrzeugs geblickt hat: Ausgeben einer Warnung auf einer dem zweiten Verkehrsteilnehmer zugeordneten Datenbrille oder Head-up Display; wobei die Warnung derart angezeigt wird, dass sie dem Träger der Datenbrille oder Benutzer des Head-up Displays, insbesondere dem Fahrer des zweiten Fahrzeugs, räumlich dem ersten Verkehrsteilnehmer zugeordnet erscheint (also auf kontaktanaloge Art). Als Verkehrsteilnehmer wird hierin sowohl der Fahrer eines Fahrzeugs, als auch das Fahrzeug selbst verstanden, (hierin wird auch ein Fahrrad als Fahrzeug verstanden) sowie Fußgänger oder andere Fortbewegungsarten ohne Fahrzeuge. Für einen Verkehrsteilnehmer „sichtbar“ wird hierin so verstanden, dass es eine gerade ununterbrochene Verbindung zwischen der Außenhaut der Verkehrsteilnehmer gibt. „Sichtbar“ bezieht sich nicht auf die Fähigkeit eines Menschen den anderen Verkehrsteilnehmer von seiner Position (beispielsweise innerhalb eines Fahrzeugs) aus zu sehen. Beispielsweise können Karosserieteile des eigenen Fahrzeugs den Blick des Fahrers auf andere Verkehrsteilnehmer versperren. Die Prüfung auf die Sichtbarkeit der anderen Verkehrsteilnehmer ist dann vorteilhaft, wenn die anderen Verkehrsteilnehmer nur ihre eigene Position übermitteln und unklar ist, ob es überhaupt eine ungebrochene gerade Sichtverbindung zwischen den Verkehrsteilnehmern gibt. A first aspect of the invention relates to a method for displaying a warning on a data goggles or a head-up display, comprising: continuously determining the viewing direction of a first road user, in particular of the driver of a first vehicle; (Determining the other road users visible to the first road user;) checking whether the first road user has been looking in the direction of a second visible road user, in particular in the direction of a second visible vehicle; If the first road user has not looked in the direction of the second visible vehicle: issuing a warning on a data goggles or head-up display assigned to the second road user; wherein the warning is displayed such that it spatially associated with the wearer of the data glasses or users of the head-up display, in particular the driver of the second vehicle, the first road user (ie contact-analogous way). As a road user, both the driver of a vehicle and the vehicle itself are understood here (a bicycle is also understood as a vehicle), pedestrians or others Types of transport without vehicles. For a road user "visible" is understood herein to mean that there is a straight continuous connection between the outer skin of the road users. "Visible" does not refer to a person's ability to see the other road user from his position (for example, within a vehicle). For example, body parts of the own vehicle can block the driver's view of other road users. The test of the visibility of the other road users is advantageous if the other road users submit only their own position and it is unclear whether there is even an unbroken straight line of sight between the road users.
Hierin wird also vorgeschlagen, dem Fahrer eines Fahrzeugs anzuzeigen, ob andere Verkehrsteilnehmer ihn noch nicht gesehen haben. Diese Anzeige wird intuitiv auf kontaktanaloge Art auf einer Datenbrille oder einem Head-up Display vorgenommen. Auf diese Weise werden dem Fahrer Informationen über andere Fahrer derart mitgeteilt, dass er sie einfach verarbeiten kann. Eine mögliche Reaktion des Fahrers auf die Information, dass er „übersehen“ wurde, kann ohne größere Verzögerung erfolgen, wodurch die Verkehrssicherheit erhöht wird. Weiterhin kann der Fahrer eines Fahrzeugs je nach Situation entscheiden, wie er reagiert. Wenn das „Übersehen“ voraussichtlich nicht zu einer Kollision führt, kann eine Reaktion des Fahrers auch unterbleiben. Gegenüber einem Kreuzungs-Fahrerassistenzsystem ermöglicht dies eine möglicherweise besser angepasste Reaktion. It is therefore proposed here to indicate to the driver of a vehicle whether other road users have not yet seen him. This display is intuitively made in a contact-analog way on a data glasses or a head-up display. In this way, information about other drivers is communicated to the driver so that he can easily process them. A possible reaction by the driver to the information that he has been "overlooked" can be made without much delay, thereby increasing traffic safety. Furthermore, depending on the situation, the driver of a vehicle can decide how he reacts. If "overlooking" is unlikely to lead to a collision, the driver's response may be avoided. Compared to an intersection driver assistance system this allows a possibly better adapted response.
Bei der Berechnung bzw. Ermittlung der gesehenen oder übersehenen Fahrzeuge könnten optische Hindernisse (Karosserieteile wie beispielsweise Säulen) des Fahrzeugs berücksichtigt werden. Hierdurch kann eine bessere Genauigkeit und Robustheit erreicht werden. Wenn ein anderer Verkehrsteilnehmer von einem Karosserieteil für den Fahrer dauerhaft verdeckt ist, kann angenommen werden, dass der andere Verkehrsteilnehmer übersehen wurde, selbst wenn der Fahrer in die Richtung des anderen Verkehrsteilnehmers geblickt hat. Ebenso kann angenommen werden, dass der Fahrer den anderen Verkehrsteilnehmer nicht gesehen hat, wenn der andere Verkehrsteilnehmer genau in dem Moment, zu dem der Fahrer in Richtung des anderen Verkehrsteilnehmers blickt, dieser ganz oder zu einem Mindestanteil von einem Karosserieteil verdeckt ist. Es könnten auch zu einem Zeitpunkt verdeckte Fahrzeuge (z.B. „hinter der A-Säule“) markiert werden, um diese nicht zu übersehen. In the calculation or determination of the viewed or overlooked vehicles optical obstacles (body parts such as pillars) of the vehicle could be considered. As a result, a better accuracy and robustness can be achieved. If another road user is permanently obscured by a body part for the driver, it can be assumed that the other road user has been overlooked, even if the driver has been looking in the direction of the other road user. Likewise, it may be assumed that the driver has not seen the other road user when the other road user at the very moment in which the driver looks in the direction of the other road user, this is covered completely or to a minimum amount of a body part. Covert vehicles (e.g., "behind the A-pillar") could also be tagged at a time to avoid overlooking them.
Zur Realisierung des Verfahrens wird typischerweise die Blickrichtung (Seh-Vektor, Sichtbarmachen des Blickes) verarbeitet oder übertragen, entweder an die anderen Verkehrsteilnehmer direkt oder an eine zentrale Stelle (Server). Bei der Verarbeitung kann bereits festgestellt werden, welche anderen Verkehrsteilnehmer für den ersten Verkehrsteilnehmer sichtbar sind. Nur an diejenigen, in deren Richtung der erste Verkehrsteilnehmer nicht geblickt hat, kann eine Warnung gesendet werden. Dieser Algorithmus, kann auch von der zentralen Stelle ausgeführt werden, wenn vorher die Blickrichtungen an die zentrale Stelle übertragen wurde. Mit anderen Worten: Der Algorithmus ermittelt, ob ein Verkehrsteilnehmer nicht in Richtung eines anderen Verkehrsteilnehmers geschaut hat und ihn deshalb wahrscheinlich nicht gesehen hat. Zusätzlich kann ermittelt werden, in die Richtung welcher anderen Verkehrsteilnehmer geschaut wurde, und diesen diese Information ebenfalls übermittelt werden. To realize the method, the viewing direction (visual vector, visualization of the gaze) is typically processed or transmitted, either to the other road users directly or to a central location (server). During processing, it can already be determined which other road users are visible to the first road user. Only to those in the direction of the first road user has not looked, a warning can be sent. This algorithm can also be executed from the central location, if the viewing directions were previously transferred to the central location. In other words, the algorithm determines whether a road user has not looked in the direction of another road user and therefore probably has not seen him. In addition, it can be determined in the direction of which other road users has been looked at and this information is also transmitted to them.
Mithilfe der Erfindung können Unfälle vermieden werden. Warnungen werden gezielt im Blickfeld des Fahrers in der relevanten Richtung eingeblendet. Vorhandene Fahrerassistenzfunktionen werden verbessert, insbesondere durch eine Kopplung vorhandener Assistenzfunktionen (weiterhin Ausgabe von Warntönen), ergänzt durch Implementierungen der Erfindung. Ferner werden Fahrzeugführer (durch deren Blick und Blickrichtung) aktiv in Assistenz-Funktionen eingebunden (bzw. die Funktion nutzt deren Blick) und somit die Assistenzfunktion verbessert. With the invention accidents can be avoided. Warnings are displayed specifically in the driver's field of vision in the relevant direction. Existing driver assistance functions are improved, in particular by coupling existing assistance functions (furthermore issuing warning tones), supplemented by implementations of the invention. In addition, drivers (through their view and line of sight) are actively involved in assistance functions (or the function uses their view) and thus improves the assistance function.
Dem ersten Fahrer kann in einer Ausgestaltung synchron eine Warnung angezeigt werden, dass er noch nicht in die Richtung des zweiten Fahrers geschaut hat, der sich ihm aber nähert. In one embodiment, the first driver can be notified synchronously of a warning that he has not yet looked in the direction of the second driver, but approaches him.
In einer Implementierung umfasst das Verfahren ferner: Erfassen der Position von Verkehrsteilnehmern, darunter der erste und zweite Verkehrsteilnehmer; Übermitteln der Position an eine zentrale Stelle; Wobei das Bestimmen der sichtbaren anderen Verkehrsteilnehmer von der zentralen Stelle ausgeführt wird. Hier wird also auf ein Backend zurückgegriffen, dass die Positionen der Verkehrsteilnehmer untereinander vergleicht. Zu diesem Zweck kann das Backend über eine hochgenaue Karte verfügen, in der die Positionen der Verkehrsteilnehmer eingeordnet werden und auch für andere Assistenzfunktionen oder der Verkehrsleitung verwendet werden. In an implementation, the method further comprises: detecting the position of road users, including the first and second road users; Transmitting the position to a central location; Where the determining of the other visible road users is carried out from the central location. Here, therefore, a backend is used that compares the positions of the road users with each other. For this purpose, the backend can have a high-precision map, in which the positions of the road users are classified and also used for other assistance functions or the traffic management.
In einer Fortbildung ist der zweite Verkehrsteilnehmer das zweite Fahrzeug mit Fahrer, wobei die Datenbrille vom Fahrer des zweiten Fahrzeugs getragen wird, wobei das Ausgeben einer Warnung umfasst: Ermitteln der Pose der Datenbrille in Bezug zum Innenraum des zweiten Fahrzeugs; Ermitteln der Position des ersten Fahrzeugs in Bezug auf das zweite Fahrzeug; Berechnen des Anzeigeortes der Warnung auf der Datenbrille derart, dass dem Fahrer des zweiten Fahrzeugs die Warnung räumlich dem ersten Fahrzeug zugeordnet erscheint. Die Pose der Datenbrille in Bezug zum Innenraum kann beispielsweise mithilfe einer Kamera erkannt werden, die an der Datenbrille befestigt ist und (auch) den Innenraum aufnimmt. Vorbekannte Strukturen im Innenraum können erkannt und anhand von Berechnungen die Pose der Datenbrille zum Innenraum bestimmt werden. Ebenso ist die Verwendung von künstlichen Markern oder Reflexionen im Innenraum, beispielsweise durch Infrarotlicht, möglich, die von der Kamera erfasst werden und anhand derer die Pose bestimmt wird. Die Position des ersten und zweiten Fahrzeugs sind vorteilhafterweise schon bekannt und übermittelt, wodurch errechnet werden kann, in welchem Winkel sich das zweite Fahrzeug zum ersten Fahrzeug befindet. Mithilfe dieser Informationen (und ggf. der Pose der Datenbrille zu den Augen des Trägers) kann die Warnung auf kontaktanaloge Art angezeigt werden. In a further development, the second road user is the second vehicle with driver, wherein the data glasses are worn by the driver of the second vehicle, wherein issuing a warning comprises: determining the pose of the data glasses with respect to the interior of the second vehicle; Determining the position of the first vehicle with respect to the second vehicle; Calculating the display location of the warning on the data goggles such that the driver of the second vehicle, the warning spatially associated with the first vehicle appears. The pose of For example, data glasses related to the interior can be detected by a camera attached to the data glasses and (also) receiving the interior. Previously known structures in the interior can be recognized and the pose of the data glasses to the interior can be determined on the basis of calculations. Likewise, the use of artificial markers or reflections in the interior, for example by infrared light, possible, which are detected by the camera and on the basis of which the pose is determined. The position of the first and second vehicles are advantageously already known and transmitted, whereby it can be calculated, in which angle the second vehicle is to the first vehicle. Using this information (and possibly the pose of the data glasses to the eyes of the wearer), the warning can be displayed in a contact-analogous manner.
Ferner kann das Verfahren umfassen: Unabhängig von der Prüfung: Anzeigen von Hinweisen auf für den zweiten Verkehrsteilnehmer sichtbare andere Verkehrsteilnehmer; wobei die Hinweise den jeweiligen anderen Verkehrsteilnehmern räumlich zugeordnet erscheinen. Es wird somit vorgeschlagen, auch diejenigen Verkehrsteilnehmer kontaktanalog zu markieren, die den zweiten Verkehrsteilnehmer gesehen haben. Dies beugt Fehlinterpretationen durch den Träger der Datenbrille vor, da nun klar angezeigt ist, wer den zweiten Verkehrsteilnehmer gesehen hat und wer nicht. Dazu unterscheiden sich der Hinweis und die Warnung typischerweise deutlich. Further, the method may include: Regardless of the test: displaying indications of other road users visible to the second road user; the notes appear spatially assigned to the respective other road users. It is thus proposed to mark also those road users contact analog, who have seen the second road user. This prevents misinterpretation by the wearer of the data glasses since it is now clearly indicated who has seen the second road user and who has not. The hint and the warning typically differ significantly.
Vorteilhafterweise wird zusätzlich zur optischen Darstellung der Warnung auch ein akustisches Signal ausgebeben. Das akustische Signal kann dabei derart ausgegeben werden, dass es dem Träger der Datenbrille aus der Richtung zu kommen scheint, in der sich der erste Verkehrsteilnehmer befindet. Dies erleichtert zusätzlich die Lokalisation der potentiellen Gefahr. Advantageously, in addition to the visual representation of the warning, an acoustic signal is also emitted. The acoustic signal can be output in such a way that it appears to the wearer of the data glasses from the direction in which the first road user is located. This additionally facilitates the localization of the potential danger.
Die Erfindung wird also typischerweise folgendermaßen technisch umgesetzt: Erfassung der Verkehrsteilnehmer z.B. durch ein GPS-System auch in Verbindung mit digitalen Karten; Erfassung des Sehvektors des Fahrers z.B. durch ein Eye-Tracking-System (wohin schaut der Fahrer); Erfassung der Pose einer Datenbrille, die der Fahrer trägt; Erfassung von Objekten außerhalb des jeweiligen Fahrzeugs und Kennzeichnung dieser in der Datenbrille des beobachtenden Fahrers; Drahtlose Kommunikation zwischen den Fahrzeugen / Verkehrsteilnehmern oder einer übergeordneten Datenverarbeitungs-Einheit; Ermittlung, ob ein Fahrer in die Richtung eines anderen Verkehrsteilnehmers schaut; Wenn ja, dann Kennzeichnung des Verkehrspartners in der jeweils anderen Datenbrille (Hinweis), bzw. wenn nein, explizite Kennzeichnung und Warnung. Über diese Kennzeichnung erhält ein Verkehrsteilnehmer die aktive Rückmeldung vom jeweils anderen Teilnehmer, dass er von diesem erkannt wurde. The invention is thus typically technically implemented as follows: detection of road users e.g. through a GPS system also in conjunction with digital maps; Detecting the visual vector of the driver e.g. through an eye-tracking system (where does the driver look); Detecting the pose of data glasses worn by the driver; Detecting objects outside of the respective vehicle and marking them in the data glasses of the watching driver; Wireless communication between the vehicles / road users or a higher level computing device; Determining if a driver is looking in the direction of another road user; If yes, then identification of the other party in the other data glasses (Note), or if not, explicit marking and warning. By means of this marking, a road user receives the active feedback from the other participant that he has been recognized by the other participant.
Ein anderer Aspekt der Erfindung betrifft ein Fahrzeug, umfassend Mittel zum Senden der eigenen Position und Mittel zum Empfangen der Position anderer Verkehrsteilnehmer sowie eine Schnittstelle zu einer Datenbrille; elektronische Rechenmittel, wobei das Fahrzeug dazu eingerichtet ist, eines der vorgenannten Verfahren auszuführen. Hier wird das Verfahren ohne Zwischenschaltung eines zentralen Servers ausgeführt. Die Kommunikation zwischen den Fahrzeugen ist drahtlos über eine Standard-Mobilfunkverbindung (Bspw. UMTS oder LTE) oder spezielle Fahrzeug-Kommunikationsschnittstellen (Car2Car/Car2X). Another aspect of the invention relates to a vehicle comprising means for sending one's own position and means for receiving the position of other road users and an interface to data glasses; electronic calculating means, wherein the vehicle is adapted to carry out one of the aforementioned methods. Here, the process is performed without the intervention of a central server. The communication between the vehicles is wireless via a standard mobile radio connection (eg UMTS or LTE) or special vehicle communication interfaces (Car2Car / Car2X).
Zusätzlich oder alternativ kann die Erfindung mithilfe eines zentralen Servers ausgeführt werden. Hierzu betrifft ein weiterer Aspekt der Erfindung ein System, umfassend mindestens zwei Fahrzeuge mit Mitteln zum Senden der eigenen Position und Mittel zum Empfangen der Position anderer Verkehrsteilnehmer sowie eine Schnittstelle zu einer Datenbrille; elektronische Rechenmittel; eine zentrale Recheneinheit mit Sende-/und Empfangsmitteln; wobei das System zur Ausführung eines der obenstehenden Verfahren eingerichtet ist. Additionally or alternatively, the invention may be implemented using a central server. To this end, a further aspect of the invention relates to a system comprising at least two vehicles with means for transmitting their own position and means for receiving the position of other road users and an interface to a data glasses; electronic computing means; a central processing unit with transmitting and receiving means; the system being arranged to perform one of the above methods.
KURZE BESCHREIBUNG DER ZEICHNUNGEN BRIEF DESCRIPTION OF THE DRAWINGS
DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS DETAILED DESCRIPTION OF THE EMBODIMENT
Die erkannte Blickrichtung des eigenen Fahrers wird vom Fahrzeug daraufhin überprüft, ob der Fahrer eines Fahrzeugs andere Fahrzeuge in seiner Umgebung angeschaut hat. Dazu werden die Winkelrichtungen der umgebenden anderen Fahrzeuge zum eigenen Fahrzeug errechnet (auch als Positionsvektoren bezeichenbar). In regelmäßigen Abständen werden die aufgezeichneten Blickrichtungen mit den Positionsvektoren der anderen Fahrzeuge verglichen und bei Übereinstimmung (mit Toleranzbereichen) festgelegt, dass der Fahrer das entsprechende Fahrzeug erkannt hat. Fahrzeuge, in deren Winkelrichtung der Fahrer bisher noch nicht geblickt hat, werden über die Funkschnittstelle hierüber informiert. Ebenfalls kann vorgesehen sein, auch diejenigen Fahrzeuge, die der Fahrer angeschaut hat, hierüber zu informieren. The recognized line of sight of the driver is checked by the vehicle to see if the driver of a vehicle has looked at other vehicles in his environment. For this purpose, the angular directions of the surrounding other vehicles are calculated to their own vehicle (also referred to as position vectors). At regular intervals, the recorded lines of sight are compared with the position vectors of the other vehicles, and if they agree (with tolerance ranges), it is determined that the driver has recognized the corresponding vehicle. Vehicles in whose angular direction the driver has not yet looked up are informed via the radio interface. It can also be provided to also inform those vehicles which the driver has looked at.
Anstelle oder zusätzlich zur Errechnung der Winkelrichtungen der anderen Verkehrsteilnehmer mittels der von den anderen Verkehrsteilnehmer übermittelten Positionen, kann das eigene Fahrzeug auch eine Kamera umfassen, die den umliegenden Verkehr aufnimmt. In den Aufnahmen der Kamera werden die anderen Verkehrsteilnehmer erkannt und deren jeweilige Winkelrichtung bestimmt. Dies kann das Verfahren vereinfachen, da im Prinzip alle von der Kamera erfassten Verkehrsteilnehmer sichtbar sind (Es werden also alle Verkehrsteilnehmer als sichtbar bestimmt) und die Winkelrichtung eines anderen Verkehrsteilnehmers im Prinzip direkt aus dem Kamerabild bestimmt werden kann. Instead of or in addition to the calculation of the angular directions of the other road users by means of the transmitted from the other road users positions, the own vehicle may also include a camera that receives the surrounding traffic. In the images of the camera, the other road users are recognized and their respective angular direction determined. This can simplify the process since in principle all road users detected by the camera are visible (ie all road users are determined as visible) and the angular direction of another road user can in principle be determined directly from the camera image.
Die Information der bisherigen „Nicht-Beachtung“ wird dem Fahrer des nicht beachteten Fahrzeugs auf kontaktanaloge Weise angezeigt. Dazu wird eine Warnung auf der Datenbrille
Ein Fahrzeug im Sichtbereich des Fahrers wird dem Fahrer rot umrandet oder unterstrichen hervorgehoben, so dass er explizit auf dieses hingewiesen werden kann (Warnung). Ebenso können diejenigen Fahrzeuge markiert werden, deren Fahrer das eigene Fahrzeug gesehen haben, beispielsweise mit einer grünen Markierung. A vehicle in the field of vision of the driver is the driver outlined in red or underlined emphasized so that it can be explicitly pointed to this (warning). Likewise, those vehicles can be marked, whose drivers have seen their own vehicle, for example, with a green marker.
Auf diese Weise werden dem Fahrer eines Fahrzeugs Informationen über die Wahrnehmung des eigenen Fahrzeugs von anderen Verkehrsteilnehmern zur Verfügung gestellt. Der Fahrer kann seinen Fahrstil und seine Fahrmanöver entsprechend anpassen um das Risiko einer Kollision zu vermindern. In this way, information about the perception of one's own vehicle by other road users is made available to the driver of a vehicle. The driver can adjust his driving style and driving maneuvers accordingly to reduce the risk of collision.
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015209090.6A DE102015209090A1 (en) | 2015-05-19 | 2015-05-19 | Output of a warning to road users on a head-mounted display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015209090.6A DE102015209090A1 (en) | 2015-05-19 | 2015-05-19 | Output of a warning to road users on a head-mounted display |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102015209090A1 true DE102015209090A1 (en) | 2016-11-24 |
Family
ID=57231373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102015209090.6A Withdrawn DE102015209090A1 (en) | 2015-05-19 | 2015-05-19 | Output of a warning to road users on a head-mounted display |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102015209090A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020117887A1 (en) | 2020-07-07 | 2022-01-13 | Audi Aktiengesellschaft | Motor vehicle control system, motor vehicle network and use of a motor vehicle |
DE102021118627A1 (en) | 2021-07-19 | 2023-01-19 | Bayerische Motoren Werke Aktiengesellschaft | Procedure for information displays in vehicles with autonomous driving function |
DE102021120995A1 (en) | 2021-08-12 | 2023-02-16 | Bayerische Motoren Werke Aktiengesellschaft | Method for displaying the surroundings of a vehicle on data glasses |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10256589A1 (en) * | 2002-12-04 | 2004-08-26 | Daimlerchrysler Ag | Front page inconsistent with disclosure, abstract based on front page, Patent Office notified, brake disk for a motor vehicle has a polygonal inner shape for attachment to the wheel hub |
JP2007249757A (en) * | 2006-03-17 | 2007-09-27 | Denso It Laboratory Inc | Warning device |
US20080288162A1 (en) * | 2007-05-17 | 2008-11-20 | Nokia Corporation | Combined short range and long range communication for traffic analysis and collision avoidance |
DE102008042539A1 (en) * | 2008-10-01 | 2010-04-08 | Robert Bosch Gmbh | Method for displaying a warning in a vehicle |
DE102010048470A1 (en) * | 2009-10-20 | 2011-08-04 | GM Global Technology Operations LLC, ( n. d. Ges. d. Staates Delaware ), Mich. | Communication between vehicle and entity |
-
2015
- 2015-05-19 DE DE102015209090.6A patent/DE102015209090A1/en not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10256589A1 (en) * | 2002-12-04 | 2004-08-26 | Daimlerchrysler Ag | Front page inconsistent with disclosure, abstract based on front page, Patent Office notified, brake disk for a motor vehicle has a polygonal inner shape for attachment to the wheel hub |
JP2007249757A (en) * | 2006-03-17 | 2007-09-27 | Denso It Laboratory Inc | Warning device |
US20080288162A1 (en) * | 2007-05-17 | 2008-11-20 | Nokia Corporation | Combined short range and long range communication for traffic analysis and collision avoidance |
DE102008042539A1 (en) * | 2008-10-01 | 2010-04-08 | Robert Bosch Gmbh | Method for displaying a warning in a vehicle |
DE102010048470A1 (en) * | 2009-10-20 | 2011-08-04 | GM Global Technology Operations LLC, ( n. d. Ges. d. Staates Delaware ), Mich. | Communication between vehicle and entity |
Non-Patent Citations (1)
Title |
---|
JP 2007 - 249 757 A (Maschinenübersetzung), JPO [abgerufen am 31.03.2016] |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020117887A1 (en) | 2020-07-07 | 2022-01-13 | Audi Aktiengesellschaft | Motor vehicle control system, motor vehicle network and use of a motor vehicle |
DE102021118627A1 (en) | 2021-07-19 | 2023-01-19 | Bayerische Motoren Werke Aktiengesellschaft | Procedure for information displays in vehicles with autonomous driving function |
DE102021120995A1 (en) | 2021-08-12 | 2023-02-16 | Bayerische Motoren Werke Aktiengesellschaft | Method for displaying the surroundings of a vehicle on data glasses |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112016005784B4 (en) | Visual perception assistance system and visual perception target object detection system | |
DE102013110332B4 (en) | VISUAL GUIDANCE SYSTEM | |
EP2805183B1 (en) | Method and device for visualizing the surroundings of a vehicle | |
EP3164756B1 (en) | Locating an hmd in a vehicle | |
DE112014003145T5 (en) | Head-up ad and program | |
EP2583864A2 (en) | Driver assistance system | |
EP3298474A1 (en) | Method for operating a head-mounted display in a motor vehicle, and system comprising a head-mounted display | |
DE102017107396A1 (en) | Test method and test device for driver assistance systems | |
DE102014226185B4 (en) | Method and line of sight recognition system for determining a line of sight of a person, and use of the line of sight recognition system in a motor vehicle | |
EP3008711B1 (en) | Method and device for signalling a traffic object that is at least partially visually concealed to a driver of a vehicle | |
EP3695266B1 (en) | Method for operating a display device in a motor vehicle | |
DE112015006370T5 (en) | Driver assistance system | |
DE102010003850A1 (en) | Method for adjusting position of marked object for marking object on display unit of vehicle, involves determining position of marked object corresponding to surrounding information | |
DE102012213466A1 (en) | Method and device for monitoring a vehicle occupant | |
DE102014225222A1 (en) | Determining the position of an HMD relative to the head of the wearer | |
DE102014208310A1 (en) | Driver assistance system for displaying an augmented reality | |
DE102012208288A1 (en) | Method for representing vehicle environment on display, involves detecting camera around vehicle, and determining environmental information from image of camera, where determined environmental information is stored and outputted on display | |
EP2888623B1 (en) | Operating a head-up display of a vehicle and image determining system for the head-up display | |
DE102017111468A1 (en) | A vehicle system and method for determining whether a vehicle occupant has sensed an off-vehicle object | |
DE102016014712B4 (en) | Vehicle and method for outputting information to a vehicle environment | |
DE102014207398A1 (en) | Object association for contact-analogue display on an HMD | |
WO2019057452A1 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a motor vehicle | |
DE102015209090A1 (en) | Output of a warning to road users on a head-mounted display | |
DE102018215186A1 (en) | Concept for monitoring and planning a movement of a means of transportation | |
DE102013212916A1 (en) | Display of collision warnings on a head-mounted display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R005 | Application deemed withdrawn due to failure to request examination |