DE102014208310A1 - Driver assistance system for displaying an augmented reality - Google Patents
Driver assistance system for displaying an augmented reality Download PDFInfo
- Publication number
- DE102014208310A1 DE102014208310A1 DE102014208310.9A DE102014208310A DE102014208310A1 DE 102014208310 A1 DE102014208310 A1 DE 102014208310A1 DE 102014208310 A DE102014208310 A DE 102014208310A DE 102014208310 A1 DE102014208310 A1 DE 102014208310A1
- Authority
- DE
- Germany
- Prior art keywords
- driver
- image signal
- assistance system
- unit
- driver assistance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title description 3
- 238000011156 evaluation Methods 0.000 claims abstract description 22
- 239000011521 glass Substances 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
Es wird ein Fahrerassistenzsystem vorgeschlagen, welches eine Anzeigeeinheit (1), eine Positionsermittlungseinheit (2), eine Empfangseinheit (3), und eine Auswerteeinheit (4) umfasst, wobei
die Empfangseinheit (3) eingerichtet ist, ein erstes Bildsignal (S1) enthaltend einen aus Sicht des Fahrers (5) von einem Umgebungsobjekt (6) verdeckten Umgebungsbereich (I) zu empfangen, die Positionsermittlungseinheit (2) eingerichtet ist, eine Kopfpose des Fahrers (5) und/oder eine Pose der Anzeigeeinheit (1) zu ermitteln, die Auswerteeinheit (4) eingerichtet ist, ein zweites Bildsignal zu errechnen, welches einer virtuellen Ansicht des Fahrers (5) auf den Umgebungsbereich (I) entspricht, und die Anzeigeeinheit (1) eingerichtet ist, eine teilweise transparente Darstellung (7) des zweiten Bildsignals entsprechend der virtuellen Ansicht für den Fahrer (5) zu erzeugen. A driver assistance system is proposed, which comprises a display unit (1), a position determination unit (2), a reception unit (3), and an evaluation unit (4), wherein
the receiving unit (3) is set up to receive a first image signal (S1) containing a surrounding area (I) hidden from an environment object (6) from the viewpoint of the driver (5), the position determination unit (2) is set up, a head pose of the driver ( 5) and / or to determine a pose of the display unit (1), the evaluation unit (4) is set up to calculate a second image signal which corresponds to a virtual view of the driver (5) on the surrounding area (I), and the display unit ( 1) is arranged to generate a partially transparent representation (7) of the second image signal corresponding to the virtual view for the driver (5).
Description
Die vorliegende Erfindung betrifft ein Fahrerassistenzsystem, mittels welchem einem Fahrer eines Fortbewegungsmittels eine optische Darstellung erweiterter Realität dargeboten werden kann. Insbesondere betrifft die vorliegende Erfindung eine Erweiterung der optisch wahrnehmbaren Umgebung hinsichtlich durch Umgebungsobjekte prinzipiell abgeschatteter Umgebungsbereiche. The present invention relates to a driver assistance system by means of which a driver of a means of locomotion can be presented with an optical representation of augmented reality. In particular, the present invention relates to an extension of the visually perceptible environment with respect to environmental areas shadowed by surrounding objects in principle.
Im Stand der Technik sind unterschiedlichste Vorrichtungen zur Erstellung von Bilddaten im Verkehrsgeschehen bekannt. Beispielsweise sind Kameras von Fahrzeugen zur Erfassung von Verkehrsschildern, Darstellung von Umgebungsbereichen (“Topview“/“Birdview“, toter Winkelassistent, Rückfahrkamera etc.) bekannt. Zudem werden viele Bereiche des öffentlichen Lebens durch stationäre bzw. schwenkbare Kameras (Überwachungskameras, Webcams, Verkehrsüberwachungskameras, etc.) erfasst und die Daten zumindest anwendungsspezifisch bereitgestellt und verarbeitet. Weiter sind mittlerweile vernetzte Fahrzeuge erhältlich, welche bewegte Bilder in Form von Datenströmen per Browser austauschen. Auch Datenbanken umfassend erhebliche Mengen stationären Bildmaterials (z.B. GoogleTM Street View sind über das Internet verfügbar. Auch die im Serieneinsatz erhältliche fahrzeugbasierte Sensorik umfasst Sensoren (z.B. Radar, Lidar, Kameras), mittels welcher Abbilder des Fahrzeugumfeldes und weiterreichende Umfeldinformationen erstellt werden können. Zudem sind Ansätze bekannt, von unterschiedlichen Sensoren erfasste Daten partiell zusammenzuführen und zwischen Fahrzeugen untereinander bzw. zwischen Fahrzeugen und stationärer Infrastruktur auszutauschen. Mittels solcher Daten können ganzheitliche Umfeldmodelle für Fahrzeuge und Verkehrssituationen erstellt werden. Überdies sind Systeme bekannt, mittels welcher 6-dimensionale Posen (3D-Position im Raum und zusätzlich 3D-Orientierung/Ausrichtung) eines Körpers (z.B. eines Kopfes eines Anwenders) ermittelt und elektronisch verarbeitet werden können. Insbesondere im Bereich der Luftfahrt werden zudem transparente Projektionen verwendet, um Piloten numerische und bildliche Informationen zusätzlich zu ihrem natürlichen Blickfeld darzubieten. Wenn solche Vorrichtungen über eine 6D-Positionsermittlungseinheit verfügen, können solche Information quasi ortsfest sowie perspektivisch passend („kontaktanalog“) mit dem natürlichen Blickfeld des Anwenders verknüpft werden. Zudem ermöglicht eine sensorische, fahrzeugbasierte Umfelderfassung eine exakte Positionierung von Umgebungsobjekten im Umfeld eines Fortbewegungsmittels. Beispielsweise können die Position eines Fahrradfahrers über einen Backend-Server (oder kurz „Backend“) durch ein Fahrzeug ermittelt werden, eine Intentionserkennung des Fahrers des Ego-Fortbewegungsmittels bezüglich eines Abbiegewunsches (z.B. durch Betätigung eines Fahrtrichtungsanzeigers) erkannt und entsprechende Kollisionswarnungen im Fahrzeug ausgegeben werden, sofern die erkannte Intention des Fahrers eine Berücksichtigung des Fahrradfahrers vermissen lässt. Zusätzlich sind Informationen wie z.B. zulässige Höchstgeschwindigkeit, Überholverbot, Autobahnabfahrten, Sehenswürdigkeiten etc. durch exaktes Kartenmaterial sowie durch Kommunikation mit Fremdfahrzeugen (Car2Car-Kommunikation) verfügbar. Die im Stand der Technik bekannten Systeme können über eine Datenbrille oder ein Headup-Display eines Fahrzeugs nur direkt sichtbare Objekte kontaktanalog markieren. Sobald jedoch ein Umgebungsobjekt die Sicht auf ein anderes Objekt verdeckt, kann eine kontaktanaloge Anzeige bezüglich dieses Objektes nicht mehr erfolgen. Im Ergebnis werden die technisch bereits realisierbaren Möglichkeiten nur unvollständig ausgeschöpft. Es ist daher eine Aufgabe der vorliegenden Erfindung, den vorstehend identifizierten Bedarf zu stillen. In the prior art a variety of devices for creating image data in the traffic are known. For example, cameras of vehicles for the detection of traffic signs, representation of surrounding areas ("topview" / "Birdview", blind spot assist, rear view camera etc.) are known. In addition, many areas of public life are detected by stationary or swiveling cameras (surveillance cameras, webcams, traffic surveillance cameras, etc.) and the data is at least provided and processed in an application-specific manner. In addition, networked vehicles are now available, which exchange moving images in the form of data streams via a browser. Even databases containing considerable amounts of stationary images (eg Google TM Street View are available on the Internet) The vehicle-based sensor system available in series production also includes sensors (eg radar, lidar, cameras) that can be used to create images of the vehicle environment and more extensive environmental information approaches are known for partially merging data collected between different sensors and exchanging them between vehicles or between vehicles and stationary infrastructure.These data can be used to create holistic environment models for vehicles and traffic situations.Also systems are known by means of which 6-dimensional poses (3D Position in space and additionally 3D orientation / orientation) of a body (eg of a user's head) can be determined and processed electronically In particular, in the field of aviation transparent projections are verw ends to provide pilots numerical and pictorial information in addition to their natural field of view. If such devices have a 6D position detection unit, such information can be linked to the natural field of view of the user in a quasi-stationary and perspective fitting manner ("contact analog"). In addition, a sensory, vehicle-based environment detection enables exact positioning of surrounding objects in the environment of a means of transportation. For example, the position of a cyclist on a back-end server (or "backend") can be determined by a vehicle, an Intentionserkennung the driver of the Ego-locomotion means with respect to a turn request (eg by pressing a direction indicator) detected and corresponding collision warnings are issued in the vehicle if the perceived intention of the driver lacks the consideration of the cyclist. In addition, information such as maximum speed limit, no passing, motorway exits, attractions etc. are available through exact map material as well as through communication with other vehicles (Car2Car communication). The systems known from the prior art can mark contact-analogously only directly visible objects via data glasses or a head-up display of a vehicle. However, as soon as one environment object obscures the view of another object, a contact-analogous display with respect to this object can no longer take place. As a result, the technically feasible options are only partially exhausted. It is therefore an object of the present invention to meet the needs identified above.
Die vorstehend genannte Aufgabe wird erfindungsgemäß durch ein Fahrerassistenzsystem gelöst, welches eine Anzeigeeinheit, eine Positionsermittlungseinheit, eine Empfangseinheit und eine Auswerteeinheit umfasst. Mittels dieser Komponenten kann dem Anwender (z.B. Fahrer) des Fahrerassistenzsystems ein erweitertes Realitätsabbild zur Verfügung gestellt werden, in welchem Anteile des vom Fahrer erfassten, natürlichen Umfeldes zumindest anteilig transparent dargestellt werden und somit zusätzliche, scheinbar hinter dem Umgebungsobjekt angeordnete Informationen bereitgestellt werden können. Hierzu ist die Empfangseinheit eingerichtet, ein erstes Bildsignal zu empfangen, welches einen aus Sicht des Fahrers durch ein Umgebungsobjekt verdeckten Umgebungsbereich enthält. Das Bildsignal kann durch einen Sensor erstellt werden, welcher im Ego-Fahrzeug selbst, in einem Fremdfahrzeug und/oder in einer ortsfesten Infrastruktureinrichtung angeordnet ist. Die Positionsermittlungseinheit ist dazu eingerichtet, eine Kopfpose des Fahrers bzw. die Pose einer Datenbrille auf bzw. die Pose eines Anwenderendgerätes mit der Anzeigeeinheit vor dem Kopf des Fahrers dahingehend zu ermitteln, an welcher Position und mit welcher Orientierung im Raum der Fahrer seinen Kopf bzw. die Datenbrille bzw. das Anwenderendgerät hält („6D-Pose“). Die Positionsermittlungseinheit kann optional zusätzlich eine Blickrichtung des Fahrers ermitteln, um ein optische Darstellung an eine aktuelle Perspektive des Fahrers anzupassen. Zumindest jedoch ist die Positionsermittlungseinheit imstande, eine hinreichend genaue relative Zuordnung zwischen einem auf natürlichem Wege erfassten Umfeld und ein digitales Abbild des Umfeldes derart zu ermöglichen, dass korrespondierende Elemente für den Anwender an identischen Positionen bzw. in identischen Blickrichtungen angeordnet sind. Hierzu wird durch die Auswerteeinheit ein zweites Bildsignal errechnet, welches einer virtuellen Ansicht des Fahrers auf den Umgebungsbereich entspricht. Insofern als das erste Bildsignal aus einer anderen Perspektive als derjenigen des Fahrers erstellt worden ist, erfolgt also eine Umrechnung der Bilddaten auf die aktuelle Perspektive des Fahrers. Durch die Anzeigeeinheit wird das zweite Bildsignal als teilweise transparente Darstellung entsprechend der virtuellen Perspektive des Fahrers derart dargestellt, dass hinter dem Umgebungsobjekt gelegene Umgebungsbereiche durch das zweite Bildsignal für den Fahrer sichtbar werden. Dies wird durch Transformation des ersten Bildsignals in eine der Perspektive des Fahrers entsprechende Perspektive auf den Umgebungsbereich erzielt. Eine solche Transformation ist für die Erstellung sogenannter Vogelperspektiven im Bereich der Fahrerassistenz bereits bekannt. Auf diese Weise werden hinter einem Umgebungsobjekt eines Fahrzeugs befindliche Umgebungsbereiche zumindest anteilig für den Fahrer sichtbar und können dessen Informationslage zur Beurteilung einer Verkehrssituation erheblich verbessern. The above object is achieved by a driver assistance system, which comprises a display unit, a position detection unit, a receiving unit and an evaluation unit. By means of these components, the user (eg driver) of the driver assistance system can be provided with an expanded reality image in which portions of the natural environment detected by the driver are at least partially displayed transparently and thus additional information that appears to be arranged behind the environment object can be provided. For this purpose, the receiving unit is set up to receive a first image signal which contains a surrounding region hidden from the driver's point of view by an environmental object. The image signal can be created by a sensor which is arranged in the ego vehicle itself, in a foreign vehicle and / or in a stationary infrastructure device. The position determining unit is adapted to determine a head pose of the driver or the pose of a data goggles or the pose of a user terminal with the display unit in front of the head of the driver to determine at what position and with which orientation in space the driver's head or the data glasses or the user terminal stops ("6D pose"). The position determination unit may optionally additionally determine a viewing direction of the driver in order to adapt a visual representation to a current perspective of the driver. At least, however, the position detection unit is capable of allowing a sufficiently accurate relative association between a naturally detected environment and a digital image of the environment such that corresponding elements are located at identical positions for the user or in identical viewing directions. This is done by the evaluation unit calculated second image signal, which corresponds to a virtual view of the driver on the surrounding area. Insofar as the first image signal has been created from a different perspective than that of the driver, the image data is thus converted to the current perspective of the driver. The display unit displays the second image signal as a partially transparent representation in accordance with the driver's virtual perspective in such a way that surrounding regions located behind the environment object become visible to the driver through the second image signal. This is achieved by transforming the first image signal into a perspective of the surrounding area corresponding to the perspective of the driver. Such a transformation is already known for the creation of so-called bird's eye views in the field of driver assistance. In this way, surrounding areas located behind an environmental object of a vehicle are at least partially visible to the driver and can considerably improve the information situation for assessing a traffic situation.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung. The dependent claims show preferred developments of the invention.
Die Anzeigeeinheit kann beispielsweise eingerichtet sein, am Kopf des Fahrers festgelegt zu werden. Hierzu haben sich brillenartige Vorrichtungen bewährt, welche eine feste relative Zuordnung zwischen der Anzeigeeinheit und dem Kopf des Fahrers ermöglichen. Grundsätzlich ist jedoch auch eine Verwendung sogenannter Headup-Displays möglich, welche eine semitransparente Schicht im Sichtbereich des Fahrers mit einer Projektion beaufschlagen, durch welche zusätzliche Informationen nach Art einer erweiterten Realität bereitgestellt werden. Während die Position eines Headup-Displays dem Fahrerassistenzsystem a priori bekannt ist und lediglich die Position des Kopfes des Fahrers für eine kontaktanaloge Überlagerung zu ermitteln und zu berücksichtigen ist, kann die Positionsermittlungseinheit markante Punkte bzw. Signale einer als Anzeigeeinheit verwendeten Brille empfangen und Position/Orientierung der Anzeigeeinheit somit präzise ermitteln. The display unit may be configured, for example, to be set at the head of the driver. For this purpose, spectacle-type devices have proven that allow a fixed relative association between the display unit and the head of the driver. Basically, however, a use of so-called head-up displays is possible, which act on a semitransparent layer in the field of vision of the driver with a projection through which additional information is provided in the manner of an augmented reality. While the position of a head-up display is known a priori to the driver assistance system and only the position of the driver's head for a contact-analog overlay is to be determined and taken into account, the position determination unit can receive distinctive points or signals of a spectacle used as a display unit and position / orientation thus accurately determine the display unit.
Je nach Art des verdeckten Umgebungsbereiches und Verfügbarkeit diesbezüglicher Bildinformationen bieten sich unterschiedliche Quellen für das erste Bildsignal an. Insbesondere können digitale Datenbanken im Fahrzeug angelegt und gegebenenfalls bei Gelegenheit aktualisiert werden, um beispielsweise Häuserfronten, Parkanlagen und andere ortsfeste Bildinformationen zur erfindungsgemäßen Verwendung bereit zu halten. Insbesondere sind massenhaft gesammelte 3D-Bildinformationen ganzer Straßenzüge geeignet, detailreiche Informationen zum verdeckten Umgebungsbereich bereit zu halten. Solche Informationen werden in zunehmendem Maße auch durch sogenanntes Crowdsourcing („Sammeln von Daten durch eine Vielzahl mobiler Einheiten“) gesammelt. Depending on the nature of the hidden surrounding area and the availability of relevant image information, different sources of the first image signal are available. In particular, digital databases may be created in the vehicle and optionally updated on occasion to provide, for example, house fronts, parks and other stationary image information for use in accordance with the invention. In particular, massively collected 3D image information of entire streets is suitable for keeping detailed information on the hidden surrounding area. Such information is also increasingly being collected through so-called crowdsourcing ("gathering data through a variety of mobile units").
Die Auswerteeinheit kann eingerichtet sein, das transparent darzustellende Umgebungsobjekt anhand des verdeckten Umgebungsbereiches bzw. eines in diesem angeordneten Objekt von Interesse für den Anwender sowie basierend auf der Kopfpose des Fahrers zu identifizieren. Hierbei können auch Umgebungssensoren die Entfernung bzw. die Position des Umgebungsobjektes ermitteln und eine Auswertung des Umgebungsobjektes relativ zum verdeckten Umgebungsbereich zum Anlass genommen werden, das Umgebungsobjekt teilweise transparent darzustellen. Der verdeckte Umgebungsbereich kann beispielsweise eine Autobahnabfahrt, eine Zieladresse eines digital hinterlegten Navigationsziels, eine potentielle Gefahrenquelle, ein weiterer Verkehrsteilnehmer, ein Verkehrsschild o.ä. sein bzw. umfassen. Ermittelt die Auswerteeinheit, dass die aktuelle Perspektive des Fahrers auf den Umgebungsbereich durch das Umgebungsobjekt zumindest anteilig verdeckt ist, wird die erfindungsgemäße teilweise transparente Darstellung angeboten, um dem Fahrer nicht sichtbare Informationen bereitzustellen. The evaluation unit may be configured to identify the environment object to be displayed transparently on the basis of the hidden surrounding area or of an object of interest to the user and based on the head pose of the driver. In this case, environmental sensors can also determine the distance or the position of the surrounding object and an evaluation of the surrounding object relative to the hidden surrounding area can be used as an opportunity to partially render the surrounding object transparent. The hidden surrounding area can, for example, be a motorway exit, a destination address of a digitally stored navigation destination, a potential danger source, another road user, a road sign or the like. be or include. If the evaluation unit determines that the driver's current perspective on the surrounding area is at least partially covered by the environment object, the partially transparent representation according to the invention is offered in order to provide information that is not visible to the driver.
Die teilweise transparente Darstellung des Umgebungsobjektes kann beispielsweise dergestalt erfolgen, dass die Helligkeit des zweiten Bildsignals derart gewählt wird, dass die natürlichen Lichtsignale des Umgebungsobjektes für den Anwender nach wie vor erfassbar sind. Um eine Kollision mit einem erfindungsgemäß überlagerten Umgebungsobjekt wirksam zu verhindern, kann insbesondere vorgesehen sein, das Umgebungsobjekt anderweitig optisch hervorzuheben. Hierzu kann beispielsweise eine lediglich teilweise freigeschnittene bzw. transparente Darstellung des Umgebungsobjektes erzeugt werden. Alternativ oder zusätzlich können die Umrisse des Umgebungsobjektes optisch hervorgehoben oder das Umgebungsobjekt anderweitig gegen ein Übersehen durch den Fahrer gesichert werden. Auf diese Weise können die relevanten Informationen hinter einem großen Umgebungsobjekt hinreichend deutlich dargestellt werden, während das Umgebungsobjekt beispielsweise als potentieller Kollisionspartner nicht unzulässig optisch in den Hintergrund rückt. The partially transparent representation of the surrounding object can take place, for example, such that the brightness of the second image signal is selected such that the natural light signals of the surrounding object can still be detected by the user. In order to effectively prevent a collision with an environment object superimposed according to the invention, it may be provided, in particular, to visually emphasize the environment object in another way. For this purpose, for example, a merely partially cut or transparent representation of the surrounding object can be generated. Alternatively or additionally, the outlines of the surrounding object may be visually highlighted or the surrounding object may otherwise be secured against being overlooked by the driver. In this way, the relevant information behind a large environment object can be displayed sufficiently clear, while the environment object, for example, as a potential collision partner is not unduly optically into the background.
Zur exakten Erstellung des zweiten Bildsignals kann das erste Bildsignal Informationen bzw. Daten hinsichtlich seiner Erstellung umfassen. Diese können beispielsweise eine Position und eine Perspektive eines verwendeten Bildsignals bei der Aufnahme des ersten Bildsignals umfassen. Um die exakte Erstellung des zweiten Bildsignals weiter zu unterstützen, kann zusätzlich ein Sensor im Fahrzeug dazu verwendet werden, die Perspektive des Anwenders zu analysieren und beispielsweise über Algorithmen zur Kantenerkennung etwaige Toleranzen zwischen dem natürlichen optischen Blickfeld des Anwenders und dem zweiten Bildsignal anzugleichen. Auf diese Weise ergibt sich ein besonders klarer und deutlicher optischer Eindruck für den Anwender, wodurch die Akzeptanz des erfindungsgemäßen Fahrerassistenzsystems verbessert wird. For the exact creation of the second image signal, the first image signal may comprise information or data with regard to its creation. These may include, for example, a position and a perspective of a used image signal in the recording of the first image signal. In order to further support the exact creation of the second image signal, a sensor in the vehicle can additionally be used to analyze the perspective of the user and any tolerances, for example via edge-detection algorithms between the natural optical field of view of the user and the second image signal. In this way, a particularly clear and clear visual impression for the user, whereby the acceptance of the driver assistance system according to the invention is improved.
Die transparente Darstellung kann zudem weiter dafür verwendet werden, zusätzliche Objekte in den Bereich hinter dem Umgebungsobjekt einzufügen und hierdurch eine kontaktanaloge Darstellung zu erzeugen. Beispielsweise können farbige Markierungen einer perspektivisch für den Fahrer verdeckten Fahrspur erzeugt werden. Alternativ oder zusätzlich können Pfeildarstellungen, Ziffern, Text, Hausnummernschilder und sonstige optische Hervorhebungen eines Objektes im Umgebungsbereich (z.B. mittels eines Rahmens) erzeugt werden. Eine solche Anordnung von zusätzlichen Informationen im verdeckten Umgebungsbereich kann die intuitive Perzeption und Zuordnung der Informationen zum besagten Bereich erheblich verbessern. Im Ergebnis werden die Informationen einfacher verstanden, wodurch sich der Fahrer besser auf das Verkehrsgeschehen und die Weiterverarbeitung der Informationen konzentrieren kann. The transparent representation can also be used to insert additional objects in the area behind the environment object and thereby produce a contact analog representation. For example, colored markings of a lane covered in perspective for the driver can be generated. Alternatively or additionally, arrow representations, numbers, text, house number plates, and other visual highlights of an object may be generated in the surrounding area (e.g., by means of a frame). Such an arrangement of additional information in the hidden surrounding area can greatly enhance the intuitive perception and association of the information to said area. As a result, the information is easier to understand, allowing the driver to better focus on the traffic and the processing of the information.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches beispielsweise als PKW, als Transporter, als LKW, als Wasser-/und Luftfahrzeug ausgestaltet ist. Das Fortbewegungsmittel umfasst eine Empfangseinheit und eine Auswerteeinheit, wobei die Empfangseinheit eingerichtet ist, ein erstes Bildsignal enthaltend einen aus Sicht eines Fahrers des Fortbewegungsmittels von einem Umgebungsobjekt verdeckten Umgebungsbereich zu empfangen. Entsprechend dem erstgenannten Erfindungsaspekt kann die Empfangseinheit das erste Bildmaterial von außerhalb des Fortbewegungsmittels und/oder durch einen Sensor des Fortbewegungsmittels beziehen. Vorteilhaft ist hierbei insbesondere eine von der Perspektive des Fahrers verschiedene Perspektive, um Umgebungsbereiche hinter Umgebungsobjekten erfindungsgemäß wiedergeben zu können. Die Auswerteeinheit des Fortbewegungsmittels ist eingerichtet, ein zweites Bildsignal zu errechnen, welches einer virtuellen Ansicht des Fahrers auf den Umgebungsbereich entspricht. Mit anderen Worten wird durch die Auswerteeinheit zumindest eine Transformation des ersten Bildsignals in eine aktuelle Perspektive des Fahrers des Fortbewegungsmittels veranlasst. Anschließend wird das zweite Bildsignal zur Überlagerung mit einem aktuellen Blickfeld des Anwenders an eine Anzeigeeinheit gesendet, durch welche eine teilweise transparente Darstellung des zweiten Bildsignals dem natürlichen Blickfeld überlagert wird. Die Merkmale, Merkmalskombination und die sich aus diesen ergebenden Vorteil des erfindungsgemäßen Fortbewegungsmittels entsprechen den in Verbindung mit dem erfindungsgemäßen Fahrerassistenzsystem ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obige Ausführung verwiesen wird. According to a second aspect of the present invention, a means of transport is proposed, which is designed, for example, as a car, as a transporter, as a truck, as a watercraft and an aircraft. The means of locomotion comprises a receiving unit and an evaluation unit, wherein the receiving unit is set up to receive a first image signal containing a surrounding area from the viewpoint of a driver of the means of locomotion. According to the first aspect of the invention, the receiving unit may obtain the first image material from outside the means of locomotion and / or by a sensor of the means of locomotion. In this case, in particular, a perspective that is different from the perspective of the driver is advantageous in order to be able to reproduce surrounding areas behind surrounding objects according to the invention. The evaluation unit of the means of locomotion is set up to calculate a second image signal which corresponds to a virtual view of the driver on the surrounding area. In other words, at least one transformation of the first image signal into a current perspective of the driver of the means of locomotion is caused by the evaluation unit. Subsequently, the second image signal is sent for superposition with a current field of view of the user to a display unit, by which a partially transparent representation of the second image signal is superimposed on the natural field of view. The features, feature combination and resulting from this advantage of the means of transport according to the invention correspond to those executed in conjunction with the driver assistance system according to the invention so apparent that reference is made to avoid repetition of the above embodiment.
Weitere Einzelheiten, Merkmale, Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen: Further details, features, advantages of the invention will become apparent from the following description and the figures. Show it:
Im Folgenden werden weitere Ausgestaltungen einzelner Merkmale sowie Anwendungsfälle der vorliegenden Erfindung diskutiert, ohne dass der Schutzbereich der beigefügten Ansprüche hierdurch eingeschränkt auszulegen ist. Die von externen Bildsensoren empfangen Bilddaten können durch eine fahrzeuglokale Sensorik mit backend-Daten und den Daten fremder Verkehrsteilnehmer (z.B. Car2Car-Kommunikation) zu einem ganzheitlichen Umfeldmodell ergänzt werden. Da insbesondere die fahrzeuglokale Sensorik hinsichtlich ihrer Position und Ausrichtung bekannt ist, können mehrere Sensorsignale räumlich exakt miteinander verschmolzen werden. Bezüglich der Frage, welches Objekt in der aktuellen Verkehrssituation optisch für den Fahrer störend ist bzw. interessante Informationen verbirgt und daher erfindungsgemäß transparent erscheinen soll, können kontext- und situationsabhängig ermittelte Informationen verwendet werden. Möglichkeiten, das teilweise transparent darzustellende Objekt zu identifizieren, sind beispielsweise die folgenden:
- 1. Das Navigationssystem kombiniert eine Erkennung einer aktuell befahrenen Fahrspur mit Informationen über sichtverdeckende Fahrzeuge aus dem zuvor ermittelten Umfeldmodell.
- 2. Informationen über die aktuell befahrene Straßenseite, die Fahrzeuggeschwindigkeit des Ego-Fahrzeugs, kreuzende Straßen und sichtverdeckende Objekte werden aus dem Umfeldmodell ermittelt.
- 3. Über eine Blickverfolgungseinheit kann eine aktuelle Suchtätigkeit des Fahrers zur Identifizierung eines Umgebungsobjektes (z.B. Hausnummer oder anderer Interessenspunkt (auch „point of interest“) erkannt werden. Auch eine Überwachung der Kopfbewegung und -orientierung kann hierbei vorteilhaft angewendet werden.
- 4. Zusätzlich kann eine Situationsanalyse im Backend zur Identifizierung gefährdender Verkehrsteilnehmer erfolgen, wobei auch eine Analyse der sichtverdeckenden Objekte im Umfeldmodell unternommen werden kann.
- 5. Auf Basis des Umfeldmodells, der Fahrzeugsensorik und insbesondere einer aktuellen Fahrzeuggeschwindigkeit kann beispielsweise in Verbindung mit einer Blickverfolgung des Fahrers die Intention einer Parkplatzsuche erkannt werden und im Umfeld vorhandene, den Blick auf potentiell freie Parkplätze versperrende Umgebungsobjekte teilweise transparent dargestellt werden. Zusätzlich kann die Annäherung an ein Navigationsziel, welches in einem Navigationssystem zur Routenführung hinterlegt ist, sowie die Identifizierung optisch störender, parkender Fahrzeuge am Straßenrand auf Basis der Fahrzeugsensorik und des Umfeldmodells erkannt werden.
- 1. The navigation system combines a detection of a currently traveled lane with information about hidden vehicles from the previously determined environment model.
- 2. Information about the currently traveled road side, the vehicle speed of the ego vehicle, intersecting roads and obscuring objects are determined from the environment model.
- 3. By means of a gaze tracking unit, a current search activity of the driver for identifying an environment object (eg house number or other point of interest) can be detected, as well as monitoring of head movement and orientation.
- 4. In addition, a situation analysis in the backend for the identification of vulnerable road users can take place, whereby an analysis of the obscuring objects in the environment model can be undertaken.
- 5. On the basis of the environment model, the vehicle sensor system and in particular a current vehicle speed, the intention of a search for a parking space can be detected, for example, in connection with a driver's gaze, and surrounding objects that obstruct the view of potentially free parking spaces can be partially displayed transparently. In addition, the approach to a navigation destination, which is stored in a navigation system for route guidance, as well as the identification of optically disturbing, parked vehicles can be recognized at the roadside on the basis of the vehicle sensor system and the environment model.
Um eine möglichst Latenz- und fehlerfreie Überlagerung des auf natürlichem Wege erfassten Umfeldes mit den zweiten Bilddaten zu erzeugen, wird zusätzlich vorgeschlagen, eine perspektivische Anpassung (z.B. Positionierung, Rotation, Ausrichtung, Skalierung, Verzerrung) des ersten Bildsignals an den Anzeigebereich der erfindungsgemäßen Anzeigeeinheit durchzuführen. Hierbei können beispielsweise zwischen dem extern erhaltenen Bildsignal und einem mittels des Fahrzeugs bzw. mittels einer in der Brille enthaltenen Kamera erfassten Bildsignals Merkmale der Umgebung erkannt und abgeglichen werden. Zusätzlich kann der optische Fluss in den vorgenannten Kamerabildern verglichen werden, um den optischen Eindruck für den Anwender zu verbessern. Zusätzlich können Algorithmen zur optischen Bildverbesserung verwendet werden, mittels welchen die ersten Bildsignale hinsichtlich Helligkeit, Farben etc. zur Überlagerung aufbereitet werden. In order to generate the latency and error-free superimposition of the naturally acquired environment with the second image data, it is additionally proposed to perform a perspective adaptation (eg positioning, rotation, alignment, scaling, distortion) of the first image signal to the display area of the display unit according to the invention , In this case, for example, features of the environment can be detected and adjusted between the externally obtained image signal and an image signal acquired by means of the vehicle or by means of a camera contained in the spectacles. In addition, the optical flow in the aforementioned camera images can be compared to improve the visual impression for the user. In addition, algorithms for optical image enhancement can be used, by means of which the first image signals are processed in terms of brightness, colors, etc. for superimposition.
Erste Bildsignale können beispielsweise durch Überwachungskameras an Gebäuden, Lichtzeichenanlagen etc. bereitgestellt und zur erfindungsgemäßen Verwendung übertragen werden. Diese stationären Kameras sind hinsichtlich ihrer Position und Ausrichtung so festgelegt, dass eine exakte Synthese mit von dem Fahrer natürlich erworbenen Umgebungseindruck (eine exakte relative Positionierung des Fortbewegungsmittels zur Kamera vorausgesetzt) bestmöglich erfolgen kann. Solche Daten können über einen stationären Server und/oder direkt an das betrachtete Fortbewegungsmittel gesendet werden. First image signals can be provided, for example, by surveillance cameras on buildings, traffic light installations, etc., and transmitted for use in accordance with the invention. These stationary cameras are determined in terms of their position and orientation so that an exact synthesis with the driver of course acquired environmental impression (assuming an exact relative positioning of the means of transport to the camera) can be done as best as possible. Such data can be sent via a stationary server and / or directly to the considered means of transportation.
Wenn im Rahmen der vorliegenden Erfindung lediglich von einer Anzeigeeinheit und einem Ausführungsbeispiel in Form einer Brille die Rede ist, sind die beigefügten Ansprüche auch dahingehende zu verstehen, dass beispielsweise ein eine Kamera und eine Anzeige umfassendes mobiles Anwenderendgerät (z.B. ein Smartphone, ein Tablet-PC o.ä.) grundsätzlich erfindungsgemäß verwendet werden kann. Schließlich unterscheidet sich eine Anzeige eines Anwenderendgerätes lediglich in der Art der Darstellung von einer Datenbrille. Während in der Datenbrille eine transparente Anzeigeeinheit (eng. „Optical See Through“) verwendet, d.h. die Umgebung real wahrgenommen wird und darüber in einer halbtransparenten Schicht eine erfindungsgemäße Erweiterung („Augmentierung“) erfolgt, stellt ein Anwenderendgerät erfindungsgemäß eine virtuelle Überlagerung zweier Bildsignale (eng. „Video See Through“) dar, durch welche sowohl die Umgebung/Realität als auch deren Augmentierung auf einem Display dargestellt werden. In beiden Fällen muss ein Tracking System Position und Orientierung der Anzeige im Fahrzeuginnenraum erkennen (sowie den Bezugspunkt der Anzeige im mobilen Endgerät) um eine kontaktanaloge Anzeige zu realisieren. Beispielsweise kann anstelle einer Datenbrille ein Beifahrer mit einem Tablet transparent durch stehende Fahrzeuge auf dahinterliegende Gebäude blicken, anstatt eine Datenbrille auf dem Kopf zu tragen. If in the context of the present invention only a display unit and an embodiment in the form of a pair of glasses is mentioned, the attached claims are also pending To understand that, for example, a camera and a display comprehensive mobile user terminal (eg, a smartphone, a tablet PC, etc.) can be used in principle according to the invention. Finally, a display of a user terminal differs only in the type of representation of a data glasses. Whereas in the data goggles a transparent display unit (narrow "Optical See Through") is used, ie an environment according to the invention is perceived ("augmentation") in a semi-transparent layer, a user terminal according to the invention represents a virtual superposition of two image signals ( narrow "Video See Through"), through which both the environment / reality and its augmentation are displayed on a display. In both cases, a tracking system must detect the position and orientation of the display in the vehicle interior (as well as the reference point of the display in the mobile device) in order to realize a contact-analogue display. For example, instead of wearing data glasses, a passenger with a tablet can see through transparent vehicles on buildings beyond, instead of wearing data glasses on his head.
Nachfolgend werden einzelne Anwendungsbeispiele anhand konkreter Verkehrssituationen vorgestellt. In the following, individual application examples will be presented based on concrete traffic situations.
Eine mögliche Situation besteht darin, dass ein Fahrzeug sich auf der mittleren Spur einer dreispurigen Autobahn befindet. Das Navigationssystem des Fahrzeugs möchte dem Fahrer das baldige Verlassen der Autobahn mitteilen und auf den erforderlichen Spurwechsel auf die rechte Spur hinweisen. Durch einen auf der rechten Spur aktuell befindlichen LKW kann die rechte Spur selbst nicht gesehen werden, weshalb eine kontaktanaloge Markierung nicht möglich ist. Erfindungsgemäß ist das Spurwechselerfordernis durch das Navigationssystem als Anlass dafür verwendbar, die rechte Spur kontaktanalog zu markieren und den LKW (anteilig) transparent darzustellen. Zusätzlich liefert das aktuelle Umfeldmodell (unter Verwendung fahrzeugbasierter Sensorik) die Information, dass der LKW auf der rechten Spur die direkte Sicht auf diese Spur verhindert. Erfindungsgemäß wird daher der Bereich des LKWs mit einem Fremdbild überlagert, um den LKW transparent anzuzeigen und dahinter eine kontaktanaloge Fahrbahnmarkierung zu ermöglichen. One possible situation is that a vehicle is on the middle lane of a three-lane highway. The navigation system of the vehicle would like to inform the driver about leaving the motorway soon and point out the required lane change to the right lane. By a current on the right lane truck, the right lane itself can not be seen, which is why a contact-analogous marking is not possible. In accordance with the invention, the lane change requirement can be used by the navigation system as an opportunity to mark the right lane in a contact-analog way and to display the lorry (proportionally) in a transparent manner. In addition, the current environment model (using vehicle-based sensors) provides the information that the truck in the right lane prevents the direct view of that lane. According to the invention, therefore, the area of the truck is superimposed with a foreign image in order to display the truck in a transparent manner and to allow a contact-analogous lane marking behind it.
Ein weiteres Beispiel ist die Suche nach einer speziellen Hausnummer oder einem ausgewählten Ladengeschäft, welche bzw. welches durch einen parkenden LKW verdeckt werden. Eine direkte Sicht auf das gesuchte Gebäude bzw. dessen Hausnummer oder gar einer kontaktanalogen Markierung des Gebäudes ist aufgrund des parkenden LKWs bislang nicht möglich gewesen. Unter Verwendung der vorliegenden Erfindung ist es jedoch möglich, durch das Wissen über das Navigationsziel bzw. die Hausnummer oder die vorangegangene Suche nach einem speziellen Geschäft (z.B. über einen Browser des Fahrzeugs) das Erfordernis abzuleiten, das Gebäude optisch hervorzuheben. Unter Zuhilfenahme der Umfeldsensorik werden die parkenden Fahrzeuge und der parkende LKW am Fahrbahnrand als optisch störend erkannt und erfindungsgemäß mit Hilfe von Fremdbildern stationärer Kameras transparent überlagert, so dass der Fahrer das dahinter befindliche Gebäude bzw. dessen Hausnummer sehen kann und dieses optional (kontaktanalog) optisch hervorgehoben wird. Der Fahrer erhält somit eine virtuelle Sicht durch den parkenden LKW auf das gesuchte Gebäude. Auch schlecht einsehbare Straßenkreuzungen können durch die Anwendung der vorliegenden Erfindung “entschärft“ werden. Im Folgenden wird angenommen, dass sich ein Fahrzeug aus einer engen Seitenstraße einer großen Kreuzung nähert, welche durch parkende Fahrzeuge und hohe Eckgebäude kaum einsehbar ist. Der Fahrer muss zum Einsehen der Kreuzung mindestens mit dem vorderen Teil seines Fahrzeugs in die Kreuzung einfahren, um mit einer optionalen Sonderausstattung (“Seitenblick-Assistent“) die Kreuzung aus einer nicht-intuitiven Perspektive geringfügig einsehen zu können. Erfindungsgemäß kann bereits aus der Umfeldsensorik des Fahrzeugs in Verbindung mit der geringen Geschwindigkeit bzw. das Verzögern desselben die Kreuzung als problematisch für den Fahrer erkannt und klassifiziert werden. Im Ansprechen darauf wird erfindungsgemäß eine teilweise transparente Überlagerung der Kreuzung, der parkenden Fahrzeuge und der Eckgebäude erzeugt, um dem Fahrer die Verkehrssituation besser veranschaulichen zu können und einen geeigneten Zeitpunkt zum Fortsetzen der Fahrt zu veranschaulichen. Another example is the search for a specific house number or store that is hidden by a parked truck. A direct view of the sought building or its house number or even a contact-analogous marking of the building has not been possible due to the parked truck. However, using the present invention, it is possible to derive the requirement to visually highlight the building by knowing the navigation destination or house number or previous search for a particular store (e.g., via a browser of the vehicle). With the aid of environment sensors, the parked vehicles and the parked truck on the edge of the road are recognized as visually disturbing and according to the invention with the help of foreign images of stationary cameras transparently superimposed, so that the driver can see the building behind it or his house number and this optional (contact analog) visually is highlighted. The driver thus receives a virtual view through the parked truck to the searched building. Even poorly visible road intersections can be "defused" by the application of the present invention. In the following it is assumed that a vehicle approaches from a narrow side street to a large intersection, which is barely visible through parked vehicles and high corner buildings. The driver must enter the intersection at least with the front part of his vehicle to view the intersection, with an optional extra ("side view assistant") to see the intersection from a non-intuitive perspective slightly. According to the invention, the intersection can already be recognized and classified as problematic for the driver from the environment sensor system of the vehicle in conjunction with the low speed or the deceleration thereof. In response to this, according to the invention, a partially transparent overlay of the intersection, the parked vehicles and the corner building is generated to better illustrate the traffic situation to the driver and to illustrate a suitable time to continue the journey.
Bei der Parkplatzsuche (Taschenparken in einer Position von 90° zum Straßenverlauf) verdecken bereits abgestellte Fahrzeuge größtenteils die direkte Sicht auf freie Parklücken. Ein Einsehen vorhandener Parkplätze oder eine kontaktanaloge Markierung freier Parkplätze ist durch bekannte Systeme nicht möglich. Im Ansprechen auf die Erkennung des Bedarfs an einem freien Parkplatz (z.B. aufgrund einer langsamen Geschwindigkeit, einem schnellen Blickwechsel zwischen den parkenden Fahrzeugen oder das Navigationsziel “Parkplatz an der Zieladresse“) wird das erfindungsgemäße Verfahren gestartet. Das Backend liefert den nächsten freien Parkplatz während das aufgrund der Fahrzeugsensorik ermittelte Umfeldmodell Informationen darüber bereitstellt, welche der parkenden Fahrzeuge den direkten Blick auf eine freie Parklücke behindern. Diese parkenden Fahrzeuge werden erfindungsgemäß transparent angezeigt, um die Parklücke für den Fahrer erkennbar zu machen und eine optionale kontaktanaloge Markierung der Parklücke vorzunehmen. When looking for a parking space (pocket parking in a position of 90 ° to the road), already parked vehicles largely cover the direct view of free parking spaces. A view of existing parking or a contact-analogous marking of free parking is not possible by known systems. In response to the detection of the need for a free parking space (e.g., due to a slow speed, a quick change of perspective between the parked vehicles or the navigation destination "parking at the destination address"), the inventive method is started. The backend provides the next free parking space while the environment model determined by the vehicle sensor system provides information about which of the parking vehicles hinder the direct view of a free parking space. According to the invention, these parking vehicles are displayed transparently in order to make the parking space visible to the driver and to make an optional contact-analogous marking of the parking space.
Eine alternative Fahrsituation stellt das Rechtsabbiegen in eine Nebenstraße dar. Parallel zur Hauptstraße parkende Fahrzeuge verdecken häufig die direkte Sicht auf einen auf einem Fahrradweg herannahenden Fahrradfahrer. Die Position des Fahrradfahrers ist dem System beispielsweise durch Sensoren eines Smartphones bzw. einen backend-Server bekannt. Aufgrund der fehlenden direkten Sichtmöglichkeit auf den Fahrradfahrer ist eine kontaktanaloge Markierung und Warnung vor einer möglichen Kollision mit dem Fahrradfahrer durch bekannte Systeme nicht möglich. Erfindungsgemäß wird durch das Setzen des Fahrtrichtungsanzeigers der Abbiegewunsch des Fahrers des Ego-Fahrzeugs erkannt. Im Ansprechen hierauf liefert das Backend die Position und die vermutliche Trajektorie des Fahrradfahrers und erkennt eine Kollisionsgefahr. Zudem ist durch das Umfeldmodell bekannt, dass der Fahrer den Fahrradfahrer direkt nicht sehen kann, so dass die parkenden Fahrzeuge am Fahrbahnrand als störend eingestuft werden. Die parkenden Fahrzeuge können daher erfindungsgemäß ausgeblendet, d.h. anteilig transparent überlagert werden und der Fahrradfahrer auf diese Weise virtuell sichtbar gemacht werden. Zusätzlich kann dieser optisch bzw. kontaktanalog hervorgehoben werden, wodurch die Kollision noch sicherer vermieden wird. An alternative driving situation is the right turn into a side street. Parallel to the main road parked vehicles often obscure the direct view of a on a bike path approaching cyclists. The position of the cyclist is known to the system for example by sensors of a smartphone or a backend server. Due to the lack of direct visibility on the cyclist contact-analogous marking and warning of a possible collision with the cyclist by known systems is not possible. According to the turn signal of the driver of the ego vehicle is detected by setting the direction indicator. In response, the backend provides the position and likely trajectory of the cyclist and detects a collision hazard. In addition, it is known by the environment model that the driver can not see the cyclist directly, so that the parked vehicles are classified as disturbing at the edge of the road. The parked vehicles can therefore be hidden according to the invention, i. be transparently superimposed proportionately and the cyclist be made virtually visible in this way. In addition, this can be highlighted visually or contact analog, whereby the collision is avoided even more secure.
Zudem bietet die vorliegende Erfindung Vorteile bei der Erkennung von Informationstafeln und Verkehrsschildern. Fährt beispielsweise ein Fahrzeug auf der mittleren Spur einer dreispurigen Autobahn tritt häufig die Situation auf, dass mehrere LKWs auf der rechten Spur die Sicht auf Straßenschilder (z.B. die Entfernung zu größeren Städten oder Details zu einer vorausliegenden Autobahnabfahrt) verdecken und durch den Fahrer des Ego-Fahrzeugs nicht gesehen werden können. Durch das mit dem Ego-Fahrzeug verbundenen Backend sind die Positionen und ggf. auch der Inhalt der Informationstafeln gegebenenfalls jedoch bekannt. Zudem sind Position und Größe der präsenten LKW ebenfalls bekannt bzw. durch Fahrzeug-basierte Umfeldsensorik ermittelbar. Das erfindungsgemäße System erkennt hieraus, dass die LKW auf der rechten Spur die Sicht auf die Informationstafeln verdecken, wodurch vorhandene Fremdbilder die hinter dem LKW befindlichen Umgebungsbereiche erkennbar macht, indem der bzw. die LKW transparent dargestellt werden. Auf diese Weise kann der Fahrer die eigentlich verdeckten Informationen an der gewohnten Position am Straßenrand intuitiv und daher einfach und effizient erfassen. In addition, the present invention provides advantages in the detection of information boards and traffic signs. For example, if a vehicle drives in the middle lane of a three-lane highway, the situation often occurs that several lorries in the right lane obscure the view of street signs (eg the distance to larger cities or details of a motorway exit ahead) and the driver of the ego Vehicle can not be seen. However, the positions and possibly also the content of the information panels may be known by the backend connected to the ego vehicle. In addition, the position and size of the present truck are also known or can be determined by vehicle-based environment sensors. The system according to the invention recognizes from this that the trucks on the right lane obscure the view of the information boards, whereby existing foreign images make the surrounding areas behind the truck recognizable by the truck or trucks being displayed transparently. In this way, the driver can intuitively and therefore easily and efficiently capture the actually hidden information at the usual position on the roadside.
Durch die vorliegende Erfindung wird es möglich, Informationen hinsichtlich einer Fahrzeugumgebung dort anzuzeigen, wo sie herstammen. Auf diese Weise ergibt sich eine besonders effiziente und intuitive Darstellung der Informationen, was die Verkehrssicherheit und die Akzeptanz der Informationen beim Anwender erhöht. By the present invention, it becomes possible to display information regarding a vehicle environment where originated. This results in a particularly efficient and intuitive presentation of the information, which increases the traffic safety and the acceptance of the information by the user.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 1 1
- Brille glasses
- 2 2
- Positionsermittlungseinheit Position determining unit
- 3 3
- Empfangseinheit receiver unit
- 4 4
- Auswerteeinheit evaluation
- 5 5
- Fahrer driver
- 6 6
- LKW truck
- 6‘ 6 '
- Abbild des LKWs Image of the truck
- 7 7
- teilweise transparente Darstellung partially transparent representation
- 8 8th
- Kamera camera
- 9 9
- gestrichelte Linie dashed line
- 10 10
- PKW car
- 11 11
- Radfahrer cyclist
- 11‘ 11 '
- Abbild des Radfahrers Image of the cyclist
- 12 12
- Pfeildarstellung arrow display
- 13 13
- Drahtloskommunikationseinheit Wireless communication unit
- 14 14
- Kamera camera
- 15a, 15b15a, 15b
- Bildschirme screens
- 16a, 16b16a, 16b
- Datenleitungen data lines
- 17 17
- Drahtloskommunikationseinheit Wireless communication unit
- I I
- erster Umgebungsbereich first environment area
- II II
- zweiter Umgebungsbereich second environment area
- S1 S1
- erstes Bildsignal first image signal
- S2 S2
- Drahtlossignal zur Anfrage des ersten Bildsignals Wireless signal for requesting the first image signal
- S3 S3
- Positionssignal position signal
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014208310.9A DE102014208310A1 (en) | 2014-05-05 | 2014-05-05 | Driver assistance system for displaying an augmented reality |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014208310.9A DE102014208310A1 (en) | 2014-05-05 | 2014-05-05 | Driver assistance system for displaying an augmented reality |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102014208310A1 true DE102014208310A1 (en) | 2015-11-05 |
Family
ID=54326064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102014208310.9A Pending DE102014208310A1 (en) | 2014-05-05 | 2014-05-05 | Driver assistance system for displaying an augmented reality |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102014208310A1 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016011414A1 (en) | 2016-09-22 | 2018-03-22 | Daimler Ag | A method for warning a driver of a motor vehicle taking into account a current field of vision of the driver, computing device and detection vehicle |
DE102017129214A1 (en) * | 2017-12-08 | 2019-06-13 | Grammer Ag | System and method for improving a field of vision |
CN111201474A (en) * | 2017-10-12 | 2020-05-26 | 奥迪股份公司 | Method for operating a head-wearable electronic display device and display system for displaying virtual content |
CN111290571A (en) * | 2018-12-07 | 2020-06-16 | 沃尔沃汽车公司 | Evaluating simulated vehicle-related features |
DE102019219017A1 (en) * | 2019-12-05 | 2021-06-10 | Robert Bosch Gmbh | Display method for displaying an environmental model of a vehicle, computer program, control unit and vehicle |
DE102020132059A1 (en) | 2020-12-02 | 2022-06-02 | Deere & Company | Operator interface for an autonomous machine |
DE102021120995A1 (en) | 2021-08-12 | 2023-02-16 | Bayerische Motoren Werke Aktiengesellschaft | Method for displaying the surroundings of a vehicle on data glasses |
DE102021209434A1 (en) | 2021-08-27 | 2023-03-02 | Robert Bosch Gesellschaft mit beschränkter Haftung | Method and device for driving support for an at least partially automated vehicle in an infrastructure |
DE102022101137A1 (en) | 2022-01-19 | 2023-07-20 | Zf Cv Systems Global Gmbh | Method for displaying an environment of an own vehicle on a display device, processing unit and own vehicle |
DE102022121225A1 (en) | 2022-08-23 | 2024-02-29 | Valeo Schalter Und Sensoren Gmbh | Method for displaying an environment of a motor vehicle on a display device using a support system, computer program product, computer-readable storage medium and support system |
DE102022212840A1 (en) | 2022-11-30 | 2024-06-06 | Robert Bosch Gesellschaft mit beschränkter Haftung | System for increasing safety using mobile infrastructure sensors |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006055344A1 (en) * | 2006-11-23 | 2008-05-29 | Vdo Automotive Ag | Method for wireless communication between vehicles |
DE102010040803A1 (en) * | 2010-09-15 | 2012-03-15 | Continental Teves Ag & Co. Ohg | Visual driver information and warning system for a driver of a motor vehicle |
DE102013005342A1 (en) * | 2013-03-26 | 2013-09-19 | Daimler Ag | Motor vehicle control device has viewing direction sensor such as position sensor that is arranged at augmented reality glasses, to detect movements of head |
US20140019005A1 (en) * | 2012-07-10 | 2014-01-16 | Samsung Electronics Co., Ltd. | Transparent display apparatus for displaying information of danger element, and method thereof |
-
2014
- 2014-05-05 DE DE102014208310.9A patent/DE102014208310A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006055344A1 (en) * | 2006-11-23 | 2008-05-29 | Vdo Automotive Ag | Method for wireless communication between vehicles |
DE102010040803A1 (en) * | 2010-09-15 | 2012-03-15 | Continental Teves Ag & Co. Ohg | Visual driver information and warning system for a driver of a motor vehicle |
US20140019005A1 (en) * | 2012-07-10 | 2014-01-16 | Samsung Electronics Co., Ltd. | Transparent display apparatus for displaying information of danger element, and method thereof |
DE102013005342A1 (en) * | 2013-03-26 | 2013-09-19 | Daimler Ag | Motor vehicle control device has viewing direction sensor such as position sensor that is arranged at augmented reality glasses, to detect movements of head |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018054523A1 (en) | 2016-09-22 | 2018-03-29 | Daimler Ag | Method for warning a driver of a motor vehicle, taking into consideration the current range of vision of the driver, computing device and detection vehicle |
DE102016011414A1 (en) | 2016-09-22 | 2018-03-22 | Daimler Ag | A method for warning a driver of a motor vehicle taking into account a current field of vision of the driver, computing device and detection vehicle |
CN111201474A (en) * | 2017-10-12 | 2020-05-26 | 奥迪股份公司 | Method for operating a head-wearable electronic display device and display system for displaying virtual content |
DE102017129214A1 (en) * | 2017-12-08 | 2019-06-13 | Grammer Ag | System and method for improving a field of vision |
DE102017129214B4 (en) | 2017-12-08 | 2024-01-18 | Grammer Aktiengesellschaft | System and method for improving a field of vision |
CN111290571B (en) * | 2018-12-07 | 2023-07-21 | 沃尔沃汽车公司 | Evaluating simulated vehicle-related features |
CN111290571A (en) * | 2018-12-07 | 2020-06-16 | 沃尔沃汽车公司 | Evaluating simulated vehicle-related features |
DE102019219017A1 (en) * | 2019-12-05 | 2021-06-10 | Robert Bosch Gmbh | Display method for displaying an environmental model of a vehicle, computer program, control unit and vehicle |
DE102020132059A1 (en) | 2020-12-02 | 2022-06-02 | Deere & Company | Operator interface for an autonomous machine |
DE102021120995A1 (en) | 2021-08-12 | 2023-02-16 | Bayerische Motoren Werke Aktiengesellschaft | Method for displaying the surroundings of a vehicle on data glasses |
DE102021209434A1 (en) | 2021-08-27 | 2023-03-02 | Robert Bosch Gesellschaft mit beschränkter Haftung | Method and device for driving support for an at least partially automated vehicle in an infrastructure |
DE102022101137A1 (en) | 2022-01-19 | 2023-07-20 | Zf Cv Systems Global Gmbh | Method for displaying an environment of an own vehicle on a display device, processing unit and own vehicle |
DE102022121225A1 (en) | 2022-08-23 | 2024-02-29 | Valeo Schalter Und Sensoren Gmbh | Method for displaying an environment of a motor vehicle on a display device using a support system, computer program product, computer-readable storage medium and support system |
DE102022212840A1 (en) | 2022-11-30 | 2024-06-06 | Robert Bosch Gesellschaft mit beschränkter Haftung | System for increasing safety using mobile infrastructure sensors |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102014208310A1 (en) | Driver assistance system for displaying an augmented reality | |
EP2289058B1 (en) | Method for combined output of an image and a piece of local information and corresponding motor vehicle | |
EP1994366B1 (en) | Method and system for displaying navigation instructions | |
EP3765324B1 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle | |
EP3695266B1 (en) | Method for operating a display device in a motor vehicle | |
EP3008711B1 (en) | Method and device for signalling a traffic object that is at least partially visually concealed to a driver of a vehicle | |
EP2583263A1 (en) | Method for combining a road sign recognition system and a lane detection system of a motor vehicle | |
DE102005054972A1 (en) | Motor vehicle`s dead angle monitoring method, involves accomplishing checking of whether lanes change is accomplished based on infrastructure of traffic before warning, where driver warning is omitted if result of checking is not possible | |
DE102013016251A1 (en) | Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation | |
DE102012208288A1 (en) | Method for representing vehicle environment on display, involves detecting camera around vehicle, and determining environmental information from image of camera, where determined environmental information is stored and outputted on display | |
DE102016014712B4 (en) | Vehicle and method for outputting information to a vehicle environment | |
DE102010003851A1 (en) | Destination marking method for motor vehicle driver, involves determining position of destination relative to vehicle, and embedding virtual object in real vehicle environment that is visible to vehicle occupant on head-up display | |
EP3685123A1 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a motor vehicle | |
EP2936473B1 (en) | Apparatus for extended presentation of a surrounding area of a vehicle | |
DE102012018556B4 (en) | Assistance system to enable an extended foresight for subsequent road users | |
EP2800671A1 (en) | Method and device for informing a driver | |
DE102014220199B3 (en) | Method for a motor vehicle with a camera, device and system | |
EP3017437A1 (en) | Showing of collision warnings on a head-mounted display | |
DE102019133613B3 (en) | Method for providing a three-dimensional map in a motor vehicle | |
DE102019202984A1 (en) | Device for reducing the view of an occupant of a vehicle of an accident site, vehicle and system | |
DE102015215979B3 (en) | Function-driven head-up display with extended information display for a vehicle | |
DE102019000435A1 (en) | Method for visualizing camera data | |
DE102012024289A1 (en) | Method for switching a camera system into a support mode, camera system and motor vehicle | |
DE102016217263A1 (en) | Method of warning a person of a source of danger | |
DE102015006105A1 (en) | Method and apparatus for visualizing static content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed |