DE102014208310A1

DE102014208310A1 - Driver assistance system for displaying an augmented reality

Info

Publication number: DE102014208310A1
Application number: DE102014208310.9A
Authority: DE
Inventors: Matthias Kaufmann; Felix Klanner; Horst Klöden
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2014-05-05
Filing date: 2014-05-05
Publication date: 2015-11-05

Abstract

Es wird ein Fahrerassistenzsystem vorgeschlagen, welches eine Anzeigeeinheit (1), eine Positionsermittlungseinheit (2), eine Empfangseinheit (3), und eine Auswerteeinheit (4) umfasst, wobei
die Empfangseinheit (3) eingerichtet ist, ein erstes Bildsignal (S1) enthaltend einen aus Sicht des Fahrers (5) von einem Umgebungsobjekt (6) verdeckten Umgebungsbereich (I) zu empfangen, die Positionsermittlungseinheit (2) eingerichtet ist, eine Kopfpose des Fahrers (5) und/oder eine Pose der Anzeigeeinheit (1) zu ermitteln, die Auswerteeinheit (4) eingerichtet ist, ein zweites Bildsignal zu errechnen, welches einer virtuellen Ansicht des Fahrers (5) auf den Umgebungsbereich (I) entspricht, und die Anzeigeeinheit (1) eingerichtet ist, eine teilweise transparente Darstellung (7) des zweiten Bildsignals entsprechend der virtuellen Ansicht für den Fahrer (5) zu erzeugen. A driver assistance system is proposed, which comprises a display unit (1), a position determination unit (2), a reception unit (3), and an evaluation unit (4), wherein
the receiving unit (3) is set up to receive a first image signal (S1) containing a surrounding area (I) hidden from an environment object (6) from the viewpoint of the driver (5), the position determination unit (2) is set up, a head pose of the driver ( 5) and / or to determine a pose of the display unit (1), the evaluation unit (4) is set up to calculate a second image signal which corresponds to a virtual view of the driver (5) on the surrounding area (I), and the display unit ( 1) is arranged to generate a partially transparent representation (7) of the second image signal corresponding to the virtual view for the driver (5).

Description

Die vorliegende Erfindung betrifft ein Fahrerassistenzsystem, mittels welchem einem Fahrer eines Fortbewegungsmittels eine optische Darstellung erweiterter Realität dargeboten werden kann. Insbesondere betrifft die vorliegende Erfindung eine Erweiterung der optisch wahrnehmbaren Umgebung hinsichtlich durch Umgebungsobjekte prinzipiell abgeschatteter Umgebungsbereiche. The present invention relates to a driver assistance system by means of which a driver of a means of locomotion can be presented with an optical representation of augmented reality. In particular, the present invention relates to an extension of the visually perceptible environment with respect to environmental areas shadowed by surrounding objects in principle.

Im Stand der Technik sind unterschiedlichste Vorrichtungen zur Erstellung von Bilddaten im Verkehrsgeschehen bekannt. Beispielsweise sind Kameras von Fahrzeugen zur Erfassung von Verkehrsschildern, Darstellung von Umgebungsbereichen (“Topview“/“Birdview“, toter Winkelassistent, Rückfahrkamera etc.) bekannt. Zudem werden viele Bereiche des öffentlichen Lebens durch stationäre bzw. schwenkbare Kameras (Überwachungskameras, Webcams, Verkehrsüberwachungskameras, etc.) erfasst und die Daten zumindest anwendungsspezifisch bereitgestellt und verarbeitet. Weiter sind mittlerweile vernetzte Fahrzeuge erhältlich, welche bewegte Bilder in Form von Datenströmen per Browser austauschen. Auch Datenbanken umfassend erhebliche Mengen stationären Bildmaterials (z.B. Google^TM Street View sind über das Internet verfügbar. Auch die im Serieneinsatz erhältliche fahrzeugbasierte Sensorik umfasst Sensoren (z.B. Radar, Lidar, Kameras), mittels welcher Abbilder des Fahrzeugumfeldes und weiterreichende Umfeldinformationen erstellt werden können. Zudem sind Ansätze bekannt, von unterschiedlichen Sensoren erfasste Daten partiell zusammenzuführen und zwischen Fahrzeugen untereinander bzw. zwischen Fahrzeugen und stationärer Infrastruktur auszutauschen. Mittels solcher Daten können ganzheitliche Umfeldmodelle für Fahrzeuge und Verkehrssituationen erstellt werden. Überdies sind Systeme bekannt, mittels welcher 6-dimensionale Posen (3D-Position im Raum und zusätzlich 3D-Orientierung/Ausrichtung) eines Körpers (z.B. eines Kopfes eines Anwenders) ermittelt und elektronisch verarbeitet werden können. Insbesondere im Bereich der Luftfahrt werden zudem transparente Projektionen verwendet, um Piloten numerische und bildliche Informationen zusätzlich zu ihrem natürlichen Blickfeld darzubieten. Wenn solche Vorrichtungen über eine 6D-Positionsermittlungseinheit verfügen, können solche Information quasi ortsfest sowie perspektivisch passend („kontaktanalog“) mit dem natürlichen Blickfeld des Anwenders verknüpft werden. Zudem ermöglicht eine sensorische, fahrzeugbasierte Umfelderfassung eine exakte Positionierung von Umgebungsobjekten im Umfeld eines Fortbewegungsmittels. Beispielsweise können die Position eines Fahrradfahrers über einen Backend-Server (oder kurz „Backend“) durch ein Fahrzeug ermittelt werden, eine Intentionserkennung des Fahrers des Ego-Fortbewegungsmittels bezüglich eines Abbiegewunsches (z.B. durch Betätigung eines Fahrtrichtungsanzeigers) erkannt und entsprechende Kollisionswarnungen im Fahrzeug ausgegeben werden, sofern die erkannte Intention des Fahrers eine Berücksichtigung des Fahrradfahrers vermissen lässt. Zusätzlich sind Informationen wie z.B. zulässige Höchstgeschwindigkeit, Überholverbot, Autobahnabfahrten, Sehenswürdigkeiten etc. durch exaktes Kartenmaterial sowie durch Kommunikation mit Fremdfahrzeugen (Car2Car-Kommunikation) verfügbar. Die im Stand der Technik bekannten Systeme können über eine Datenbrille oder ein Headup-Display eines Fahrzeugs nur direkt sichtbare Objekte kontaktanalog markieren. Sobald jedoch ein Umgebungsobjekt die Sicht auf ein anderes Objekt verdeckt, kann eine kontaktanaloge Anzeige bezüglich dieses Objektes nicht mehr erfolgen. Im Ergebnis werden die technisch bereits realisierbaren Möglichkeiten nur unvollständig ausgeschöpft. Es ist daher eine Aufgabe der vorliegenden Erfindung, den vorstehend identifizierten Bedarf zu stillen. In the prior art a variety of devices for creating image data in the traffic are known. For example, cameras of vehicles for the detection of traffic signs, representation of surrounding areas ("topview" / "Birdview", blind spot assist, rear view camera etc.) are known. In addition, many areas of public life are detected by stationary or swiveling cameras (surveillance cameras, webcams, traffic surveillance cameras, etc.) and the data is at least provided and processed in an application-specific manner. In addition, networked vehicles are now available, which exchange moving images in the form of data streams via a browser. Even databases containing considerable amounts of stationary images (eg Google ^TM Street View are available on the Internet) The vehicle-based sensor system available in series production also includes sensors (eg radar, lidar, cameras) that can be used to create images of the vehicle environment and more extensive environmental information approaches are known for partially merging data collected between different sensors and exchanging them between vehicles or between vehicles and stationary infrastructure.These data can be used to create holistic environment models for vehicles and traffic situations.Also systems are known by means of which 6-dimensional poses (3D Position in space and additionally 3D orientation / orientation) of a body (eg of a user's head) can be determined and processed electronically In particular, in the field of aviation transparent projections are verw ends to provide pilots numerical and pictorial information in addition to their natural field of view. If such devices have a 6D position detection unit, such information can be linked to the natural field of view of the user in a quasi-stationary and perspective fitting manner ("contact analog"). In addition, a sensory, vehicle-based environment detection enables exact positioning of surrounding objects in the environment of a means of transportation. For example, the position of a cyclist on a back-end server (or "backend") can be determined by a vehicle, an Intentionserkennung the driver of the Ego-locomotion means with respect to a turn request (eg by pressing a direction indicator) detected and corresponding collision warnings are issued in the vehicle if the perceived intention of the driver lacks the consideration of the cyclist. In addition, information such as maximum speed limit, no passing, motorway exits, attractions etc. are available through exact map material as well as through communication with other vehicles (Car2Car communication). The systems known from the prior art can mark contact-analogously only directly visible objects via data glasses or a head-up display of a vehicle. However, as soon as one environment object obscures the view of another object, a contact-analogous display with respect to this object can no longer take place. As a result, the technically feasible options are only partially exhausted. It is therefore an object of the present invention to meet the needs identified above.

Die vorstehend genannte Aufgabe wird erfindungsgemäß durch ein Fahrerassistenzsystem gelöst, welches eine Anzeigeeinheit, eine Positionsermittlungseinheit, eine Empfangseinheit und eine Auswerteeinheit umfasst. Mittels dieser Komponenten kann dem Anwender (z.B. Fahrer) des Fahrerassistenzsystems ein erweitertes Realitätsabbild zur Verfügung gestellt werden, in welchem Anteile des vom Fahrer erfassten, natürlichen Umfeldes zumindest anteilig transparent dargestellt werden und somit zusätzliche, scheinbar hinter dem Umgebungsobjekt angeordnete Informationen bereitgestellt werden können. Hierzu ist die Empfangseinheit eingerichtet, ein erstes Bildsignal zu empfangen, welches einen aus Sicht des Fahrers durch ein Umgebungsobjekt verdeckten Umgebungsbereich enthält. Das Bildsignal kann durch einen Sensor erstellt werden, welcher im Ego-Fahrzeug selbst, in einem Fremdfahrzeug und/oder in einer ortsfesten Infrastruktureinrichtung angeordnet ist. Die Positionsermittlungseinheit ist dazu eingerichtet, eine Kopfpose des Fahrers bzw. die Pose einer Datenbrille auf bzw. die Pose eines Anwenderendgerätes mit der Anzeigeeinheit vor dem Kopf des Fahrers dahingehend zu ermitteln, an welcher Position und mit welcher Orientierung im Raum der Fahrer seinen Kopf bzw. die Datenbrille bzw. das Anwenderendgerät hält („6D-Pose“). Die Positionsermittlungseinheit kann optional zusätzlich eine Blickrichtung des Fahrers ermitteln, um ein optische Darstellung an eine aktuelle Perspektive des Fahrers anzupassen. Zumindest jedoch ist die Positionsermittlungseinheit imstande, eine hinreichend genaue relative Zuordnung zwischen einem auf natürlichem Wege erfassten Umfeld und ein digitales Abbild des Umfeldes derart zu ermöglichen, dass korrespondierende Elemente für den Anwender an identischen Positionen bzw. in identischen Blickrichtungen angeordnet sind. Hierzu wird durch die Auswerteeinheit ein zweites Bildsignal errechnet, welches einer virtuellen Ansicht des Fahrers auf den Umgebungsbereich entspricht. Insofern als das erste Bildsignal aus einer anderen Perspektive als derjenigen des Fahrers erstellt worden ist, erfolgt also eine Umrechnung der Bilddaten auf die aktuelle Perspektive des Fahrers. Durch die Anzeigeeinheit wird das zweite Bildsignal als teilweise transparente Darstellung entsprechend der virtuellen Perspektive des Fahrers derart dargestellt, dass hinter dem Umgebungsobjekt gelegene Umgebungsbereiche durch das zweite Bildsignal für den Fahrer sichtbar werden. Dies wird durch Transformation des ersten Bildsignals in eine der Perspektive des Fahrers entsprechende Perspektive auf den Umgebungsbereich erzielt. Eine solche Transformation ist für die Erstellung sogenannter Vogelperspektiven im Bereich der Fahrerassistenz bereits bekannt. Auf diese Weise werden hinter einem Umgebungsobjekt eines Fahrzeugs befindliche Umgebungsbereiche zumindest anteilig für den Fahrer sichtbar und können dessen Informationslage zur Beurteilung einer Verkehrssituation erheblich verbessern. The above object is achieved by a driver assistance system, which comprises a display unit, a position detection unit, a receiving unit and an evaluation unit. By means of these components, the user (eg driver) of the driver assistance system can be provided with an expanded reality image in which portions of the natural environment detected by the driver are at least partially displayed transparently and thus additional information that appears to be arranged behind the environment object can be provided. For this purpose, the receiving unit is set up to receive a first image signal which contains a surrounding region hidden from the driver's point of view by an environmental object. The image signal can be created by a sensor which is arranged in the ego vehicle itself, in a foreign vehicle and / or in a stationary infrastructure device. The position determining unit is adapted to determine a head pose of the driver or the pose of a data goggles or the pose of a user terminal with the display unit in front of the head of the driver to determine at what position and with which orientation in space the driver's head or the data glasses or the user terminal stops ("6D pose"). The position determination unit may optionally additionally determine a viewing direction of the driver in order to adapt a visual representation to a current perspective of the driver. At least, however, the position detection unit is capable of allowing a sufficiently accurate relative association between a naturally detected environment and a digital image of the environment such that corresponding elements are located at identical positions for the user or in identical viewing directions. This is done by the evaluation unit calculated second image signal, which corresponds to a virtual view of the driver on the surrounding area. Insofar as the first image signal has been created from a different perspective than that of the driver, the image data is thus converted to the current perspective of the driver. The display unit displays the second image signal as a partially transparent representation in accordance with the driver's virtual perspective in such a way that surrounding regions located behind the environment object become visible to the driver through the second image signal. This is achieved by transforming the first image signal into a perspective of the surrounding area corresponding to the perspective of the driver. Such a transformation is already known for the creation of so-called bird's eye views in the field of driver assistance. In this way, surrounding areas located behind an environmental object of a vehicle are at least partially visible to the driver and can considerably improve the information situation for assessing a traffic situation.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung. The dependent claims show preferred developments of the invention.

Die Anzeigeeinheit kann beispielsweise eingerichtet sein, am Kopf des Fahrers festgelegt zu werden. Hierzu haben sich brillenartige Vorrichtungen bewährt, welche eine feste relative Zuordnung zwischen der Anzeigeeinheit und dem Kopf des Fahrers ermöglichen. Grundsätzlich ist jedoch auch eine Verwendung sogenannter Headup-Displays möglich, welche eine semitransparente Schicht im Sichtbereich des Fahrers mit einer Projektion beaufschlagen, durch welche zusätzliche Informationen nach Art einer erweiterten Realität bereitgestellt werden. Während die Position eines Headup-Displays dem Fahrerassistenzsystem a priori bekannt ist und lediglich die Position des Kopfes des Fahrers für eine kontaktanaloge Überlagerung zu ermitteln und zu berücksichtigen ist, kann die Positionsermittlungseinheit markante Punkte bzw. Signale einer als Anzeigeeinheit verwendeten Brille empfangen und Position/Orientierung der Anzeigeeinheit somit präzise ermitteln. The display unit may be configured, for example, to be set at the head of the driver. For this purpose, spectacle-type devices have proven that allow a fixed relative association between the display unit and the head of the driver. Basically, however, a use of so-called head-up displays is possible, which act on a semitransparent layer in the field of vision of the driver with a projection through which additional information is provided in the manner of an augmented reality. While the position of a head-up display is known a priori to the driver assistance system and only the position of the driver's head for a contact-analog overlay is to be determined and taken into account, the position determination unit can receive distinctive points or signals of a spectacle used as a display unit and position / orientation thus accurately determine the display unit.

Je nach Art des verdeckten Umgebungsbereiches und Verfügbarkeit diesbezüglicher Bildinformationen bieten sich unterschiedliche Quellen für das erste Bildsignal an. Insbesondere können digitale Datenbanken im Fahrzeug angelegt und gegebenenfalls bei Gelegenheit aktualisiert werden, um beispielsweise Häuserfronten, Parkanlagen und andere ortsfeste Bildinformationen zur erfindungsgemäßen Verwendung bereit zu halten. Insbesondere sind massenhaft gesammelte 3D-Bildinformationen ganzer Straßenzüge geeignet, detailreiche Informationen zum verdeckten Umgebungsbereich bereit zu halten. Solche Informationen werden in zunehmendem Maße auch durch sogenanntes Crowdsourcing („Sammeln von Daten durch eine Vielzahl mobiler Einheiten“) gesammelt. Depending on the nature of the hidden surrounding area and the availability of relevant image information, different sources of the first image signal are available. In particular, digital databases may be created in the vehicle and optionally updated on occasion to provide, for example, house fronts, parks and other stationary image information for use in accordance with the invention. In particular, massively collected 3D image information of entire streets is suitable for keeping detailed information on the hidden surrounding area. Such information is also increasingly being collected through so-called crowdsourcing ("gathering data through a variety of mobile units").

Die Auswerteeinheit kann eingerichtet sein, das transparent darzustellende Umgebungsobjekt anhand des verdeckten Umgebungsbereiches bzw. eines in diesem angeordneten Objekt von Interesse für den Anwender sowie basierend auf der Kopfpose des Fahrers zu identifizieren. Hierbei können auch Umgebungssensoren die Entfernung bzw. die Position des Umgebungsobjektes ermitteln und eine Auswertung des Umgebungsobjektes relativ zum verdeckten Umgebungsbereich zum Anlass genommen werden, das Umgebungsobjekt teilweise transparent darzustellen. Der verdeckte Umgebungsbereich kann beispielsweise eine Autobahnabfahrt, eine Zieladresse eines digital hinterlegten Navigationsziels, eine potentielle Gefahrenquelle, ein weiterer Verkehrsteilnehmer, ein Verkehrsschild o.ä. sein bzw. umfassen. Ermittelt die Auswerteeinheit, dass die aktuelle Perspektive des Fahrers auf den Umgebungsbereich durch das Umgebungsobjekt zumindest anteilig verdeckt ist, wird die erfindungsgemäße teilweise transparente Darstellung angeboten, um dem Fahrer nicht sichtbare Informationen bereitzustellen. The evaluation unit may be configured to identify the environment object to be displayed transparently on the basis of the hidden surrounding area or of an object of interest to the user and based on the head pose of the driver. In this case, environmental sensors can also determine the distance or the position of the surrounding object and an evaluation of the surrounding object relative to the hidden surrounding area can be used as an opportunity to partially render the surrounding object transparent. The hidden surrounding area can, for example, be a motorway exit, a destination address of a digitally stored navigation destination, a potential danger source, another road user, a road sign or the like. be or include. If the evaluation unit determines that the driver's current perspective on the surrounding area is at least partially covered by the environment object, the partially transparent representation according to the invention is offered in order to provide information that is not visible to the driver.

Die teilweise transparente Darstellung des Umgebungsobjektes kann beispielsweise dergestalt erfolgen, dass die Helligkeit des zweiten Bildsignals derart gewählt wird, dass die natürlichen Lichtsignale des Umgebungsobjektes für den Anwender nach wie vor erfassbar sind. Um eine Kollision mit einem erfindungsgemäß überlagerten Umgebungsobjekt wirksam zu verhindern, kann insbesondere vorgesehen sein, das Umgebungsobjekt anderweitig optisch hervorzuheben. Hierzu kann beispielsweise eine lediglich teilweise freigeschnittene bzw. transparente Darstellung des Umgebungsobjektes erzeugt werden. Alternativ oder zusätzlich können die Umrisse des Umgebungsobjektes optisch hervorgehoben oder das Umgebungsobjekt anderweitig gegen ein Übersehen durch den Fahrer gesichert werden. Auf diese Weise können die relevanten Informationen hinter einem großen Umgebungsobjekt hinreichend deutlich dargestellt werden, während das Umgebungsobjekt beispielsweise als potentieller Kollisionspartner nicht unzulässig optisch in den Hintergrund rückt. The partially transparent representation of the surrounding object can take place, for example, such that the brightness of the second image signal is selected such that the natural light signals of the surrounding object can still be detected by the user. In order to effectively prevent a collision with an environment object superimposed according to the invention, it may be provided, in particular, to visually emphasize the environment object in another way. For this purpose, for example, a merely partially cut or transparent representation of the surrounding object can be generated. Alternatively or additionally, the outlines of the surrounding object may be visually highlighted or the surrounding object may otherwise be secured against being overlooked by the driver. In this way, the relevant information behind a large environment object can be displayed sufficiently clear, while the environment object, for example, as a potential collision partner is not unduly optically into the background.

Zur exakten Erstellung des zweiten Bildsignals kann das erste Bildsignal Informationen bzw. Daten hinsichtlich seiner Erstellung umfassen. Diese können beispielsweise eine Position und eine Perspektive eines verwendeten Bildsignals bei der Aufnahme des ersten Bildsignals umfassen. Um die exakte Erstellung des zweiten Bildsignals weiter zu unterstützen, kann zusätzlich ein Sensor im Fahrzeug dazu verwendet werden, die Perspektive des Anwenders zu analysieren und beispielsweise über Algorithmen zur Kantenerkennung etwaige Toleranzen zwischen dem natürlichen optischen Blickfeld des Anwenders und dem zweiten Bildsignal anzugleichen. Auf diese Weise ergibt sich ein besonders klarer und deutlicher optischer Eindruck für den Anwender, wodurch die Akzeptanz des erfindungsgemäßen Fahrerassistenzsystems verbessert wird. For the exact creation of the second image signal, the first image signal may comprise information or data with regard to its creation. These may include, for example, a position and a perspective of a used image signal in the recording of the first image signal. In order to further support the exact creation of the second image signal, a sensor in the vehicle can additionally be used to analyze the perspective of the user and any tolerances, for example via edge-detection algorithms between the natural optical field of view of the user and the second image signal. In this way, a particularly clear and clear visual impression for the user, whereby the acceptance of the driver assistance system according to the invention is improved.

Die transparente Darstellung kann zudem weiter dafür verwendet werden, zusätzliche Objekte in den Bereich hinter dem Umgebungsobjekt einzufügen und hierdurch eine kontaktanaloge Darstellung zu erzeugen. Beispielsweise können farbige Markierungen einer perspektivisch für den Fahrer verdeckten Fahrspur erzeugt werden. Alternativ oder zusätzlich können Pfeildarstellungen, Ziffern, Text, Hausnummernschilder und sonstige optische Hervorhebungen eines Objektes im Umgebungsbereich (z.B. mittels eines Rahmens) erzeugt werden. Eine solche Anordnung von zusätzlichen Informationen im verdeckten Umgebungsbereich kann die intuitive Perzeption und Zuordnung der Informationen zum besagten Bereich erheblich verbessern. Im Ergebnis werden die Informationen einfacher verstanden, wodurch sich der Fahrer besser auf das Verkehrsgeschehen und die Weiterverarbeitung der Informationen konzentrieren kann. The transparent representation can also be used to insert additional objects in the area behind the environment object and thereby produce a contact analog representation. For example, colored markings of a lane covered in perspective for the driver can be generated. Alternatively or additionally, arrow representations, numbers, text, house number plates, and other visual highlights of an object may be generated in the surrounding area (e.g., by means of a frame). Such an arrangement of additional information in the hidden surrounding area can greatly enhance the intuitive perception and association of the information to said area. As a result, the information is easier to understand, allowing the driver to better focus on the traffic and the processing of the information.

Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches beispielsweise als PKW, als Transporter, als LKW, als Wasser-/und Luftfahrzeug ausgestaltet ist. Das Fortbewegungsmittel umfasst eine Empfangseinheit und eine Auswerteeinheit, wobei die Empfangseinheit eingerichtet ist, ein erstes Bildsignal enthaltend einen aus Sicht eines Fahrers des Fortbewegungsmittels von einem Umgebungsobjekt verdeckten Umgebungsbereich zu empfangen. Entsprechend dem erstgenannten Erfindungsaspekt kann die Empfangseinheit das erste Bildmaterial von außerhalb des Fortbewegungsmittels und/oder durch einen Sensor des Fortbewegungsmittels beziehen. Vorteilhaft ist hierbei insbesondere eine von der Perspektive des Fahrers verschiedene Perspektive, um Umgebungsbereiche hinter Umgebungsobjekten erfindungsgemäß wiedergeben zu können. Die Auswerteeinheit des Fortbewegungsmittels ist eingerichtet, ein zweites Bildsignal zu errechnen, welches einer virtuellen Ansicht des Fahrers auf den Umgebungsbereich entspricht. Mit anderen Worten wird durch die Auswerteeinheit zumindest eine Transformation des ersten Bildsignals in eine aktuelle Perspektive des Fahrers des Fortbewegungsmittels veranlasst. Anschließend wird das zweite Bildsignal zur Überlagerung mit einem aktuellen Blickfeld des Anwenders an eine Anzeigeeinheit gesendet, durch welche eine teilweise transparente Darstellung des zweiten Bildsignals dem natürlichen Blickfeld überlagert wird. Die Merkmale, Merkmalskombination und die sich aus diesen ergebenden Vorteil des erfindungsgemäßen Fortbewegungsmittels entsprechen den in Verbindung mit dem erfindungsgemäßen Fahrerassistenzsystem ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obige Ausführung verwiesen wird. According to a second aspect of the present invention, a means of transport is proposed, which is designed, for example, as a car, as a transporter, as a truck, as a watercraft and an aircraft. The means of locomotion comprises a receiving unit and an evaluation unit, wherein the receiving unit is set up to receive a first image signal containing a surrounding area from the viewpoint of a driver of the means of locomotion. According to the first aspect of the invention, the receiving unit may obtain the first image material from outside the means of locomotion and / or by a sensor of the means of locomotion. In this case, in particular, a perspective that is different from the perspective of the driver is advantageous in order to be able to reproduce surrounding areas behind surrounding objects according to the invention. The evaluation unit of the means of locomotion is set up to calculate a second image signal which corresponds to a virtual view of the driver on the surrounding area. In other words, at least one transformation of the first image signal into a current perspective of the driver of the means of locomotion is caused by the evaluation unit. Subsequently, the second image signal is sent for superposition with a current field of view of the user to a display unit, by which a partially transparent representation of the second image signal is superimposed on the natural field of view. The features, feature combination and resulting from this advantage of the means of transport according to the invention correspond to those executed in conjunction with the driver assistance system according to the invention so apparent that reference is made to avoid repetition of the above embodiment.

Weitere Einzelheiten, Merkmale, Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen: Further details, features, advantages of the invention will become apparent from the following description and the figures. Show it:

1 Eine schematische Ansicht einer Fahrsituation, in welcher ein Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems in einem Ausführungsbeispiel eines erfindungsgemäßen Fortbewegungsmittels zum Einsatz gelangt; und 1 A schematic view of a driving situation in which an embodiment of a driver assistance system according to the invention in an embodiment of a means of transport according to the invention is used; and

2 eine Detailansicht eines Ausführungsbeispiels einer erfindungsgemäßen Anzeigeeinheit. 2 a detailed view of an embodiment of a display unit according to the invention.

1 zeigt ein Fortbewegungsmittel/Ego-Fahrzeug in Form eines PKW 10, welcher über eine Empfangseinheit 3 und eine Auswerteeinheit 4 innerhalb ein und desselben Gehäuses verfügt. Die Empfangseinheit ist eingerichtet, Signale S2 auszusenden, um von einer im Umfeld angeordneten Kamera 8 bzw. eine an diese angeschlossene Drahtloskommunikationseinheit 13 Bilder eines Umgebungsbereiches I hinter einem LKW 6 als Umgebungsobjekt anzufordern. In den angeforderten ersten Bildsignalen S1 ist ein für den Fahrer 5 des PKW 10 verdeckter Radfahrer 11 enthalten. Da sich der Radfahrer 11 auf Kollisionskurs mit dem PKW 10 befindet, erstellt die Auswerteeinheit 4 durch Transformation des ersten Bildsignals S1 zweite Bildsignale, welche die Auswerteeinheit 4 auf einem Bildschirm in einer Brille 1 als Anzeigeeinheit wiedergibt. Hierdurch wird dem Fahrer 5 eine teilweise transparente Darstellung des Umgebungsbereiches I dargeboten, so dass sich für den Fahrer 5 die teilweise transparente Darstellung 7 ergibt. Hierin ist der LKW 6 teilweise freigeschnitten, so dass ein Oberflächenbereich desselben lediglich durch gestrichelte Linien 9 veranschaulicht wird, während eine Abbildung 11‘ des Radfahrers 11 im hinteren Teil des Abbildes 6‘ des LKW 6 dargestellt wird. Um den Fahrer 5 zusätzlich auf die durch den Radfahrer 11 drohende Gefahr aufmerksam zu machen, wird eine Pfeildarstellung 12 als zusätzliche Information kontaktanalog im Umgebungsbereich I dargestellt. Die perspektivische Zuordnung zwischen den ersten Bildsignalen S1 und dem natürlichen Blickfeld des Fahrers 5 wird durch eine Positionsermittlungseinheit 2 im PKW 10 ermöglicht, durch welche eine exakte sechsdimensionale Pose der Brille 1 ermittelt wird. Unterstützt wird die Transformation und Positionierung des Bildsignals S1 durch eine am PKW 10 angebrachte Kamera 14, welche einen Umgebungsbereich II erfasst. Dieser Umgebungsbereich II umfasst einen hinteren Teil des LKW 6, welcher auch im Erfassungsbereich der Kamera 8 (Umgebungsbereich I) enthalten ist. Durch eine Analyse der Bilddaten bei den Kameras 8, 14 kann mittels einer Kantenerkennung bzw. Objekterkennung eine exakte Zuordnung der Bilddaten S1 zu den aus Richtung des PKW 10 auf natürlichem Wege erfassbaren Umgebungsobjekten erfolgen. Auf diese Weise ergibt sich eine besonders exakte Positionierung des zweiten Bildsignals auf der Brille 1, was die Akzeptanz und den Informationswert der erfindungsgemäßen Darstellung 7 erhöht. 1 shows a means of transportation / ego vehicle in the form of a car 10 , which has a receiving unit 3 and an evaluation unit 4 within one and the same housing. The receiving unit is set up to transmit signals S2 to a camera arranged in the surrounding area 8th or a wireless communication unit connected to it 13 Images of a surrounding area i behind a truck 6 to request as environment object. In the requested first image signals S1 is one for the driver 5 of the car 10 masked cyclist 11 contain. As the cyclist 11 on a collision course with the car 10 located, creates the evaluation unit 4 by transformation of the first image signal S1 second image signals, which the evaluation unit 4 on a screen in a pair of glasses 1 as a display unit. This will give the driver 5 a partially transparent representation of the surrounding area I presented, so that for the driver 5 the partially transparent representation 7 results. Here's the truck 6 partially cut open, leaving a surface area thereof only by dashed lines 9 is illustrated as an illustration 11 ' of the cyclist 11 in the back of the picture 6 ' the truck 6 is pictured. To the driver 5 in addition to that by the cyclist 11 to draw attention to imminent danger becomes an arrow 12 as additional information contact analog in the environmental area I shown. The perspective association between the first image signals S1 and the driver's natural field of view 5 is determined by a position determination unit 2 in the car 10 allows, through which an exact six-dimensional pose of the glasses 1 is determined. The transformation and positioning of the image signal S1 is supported by a car 10 attached camera 14 which has a surrounding area II detected. This environment area II includes a rear part of the truck 6 , which is also in the detection range of the camera 8th (Surrounding area I ) is included. By analyzing the image data at the cameras 8th . 14 can by means of an edge detection or object recognition an exact assignment of the image data S1 to the direction of the car 10 naturally detectable environment objects. In this way results in a particularly accurate positioning of the second image signal on the glasses 1 , what the acceptance and the information value of the representation according to the invention 7 elevated.

2 zeigt eine Detailansicht einer Brille 1 als Ausführungsbeispiel einer erfindungsgemäßen Anzeigeeinheit. Die Brille 1 weist 2 Anzeigeelemente 15a, 15b auf, welche im Bereich des linken bzw. rechten Auges eines Anwenders angeordnet sind. Datenleitungen 16a, 16b verbinden die Bildschirme 15a, 15b mit einer Drahtloskommunikationseinheit 17, welche zum Empfang der zweiten Bildsignale von der Auswerteeinheit 4 eingerichtet ist. Zusätzlich ist die Drahtloskommunikationseinheit 17 eingerichtet, Kommunikationssignale S3 mit der Positionsermittlungseinheit 2 auszutauschen, um Position und Ausrichtung der Brille 1 in PKW 10 zur Verfügung zu stellen. 2 shows a detailed view of a pair of glasses 1 as an embodiment of a display unit according to the invention. The glasses 1 has 2 indicators 15a . 15b on, which are arranged in the region of the left or right eye of a user. data lines 16a . 16b connect the screens 15a . 15b with a wireless communication unit 17 which for receiving the second image signals from the evaluation unit 4 is set up. In addition, the wireless communication unit 17 set up, communication signals S3 with the position detection unit 2 to exchange position and orientation of the glasses 1 in car 10 to provide.

Im Folgenden werden weitere Ausgestaltungen einzelner Merkmale sowie Anwendungsfälle der vorliegenden Erfindung diskutiert, ohne dass der Schutzbereich der beigefügten Ansprüche hierdurch eingeschränkt auszulegen ist. Die von externen Bildsensoren empfangen Bilddaten können durch eine fahrzeuglokale Sensorik mit backend-Daten und den Daten fremder Verkehrsteilnehmer (z.B. Car2Car-Kommunikation) zu einem ganzheitlichen Umfeldmodell ergänzt werden. Da insbesondere die fahrzeuglokale Sensorik hinsichtlich ihrer Position und Ausrichtung bekannt ist, können mehrere Sensorsignale räumlich exakt miteinander verschmolzen werden. Bezüglich der Frage, welches Objekt in der aktuellen Verkehrssituation optisch für den Fahrer störend ist bzw. interessante Informationen verbirgt und daher erfindungsgemäß transparent erscheinen soll, können kontext- und situationsabhängig ermittelte Informationen verwendet werden. Möglichkeiten, das teilweise transparent darzustellende Objekt zu identifizieren, sind beispielsweise die folgenden:

1. Das Navigationssystem kombiniert eine Erkennung einer aktuell befahrenen Fahrspur mit Informationen über sichtverdeckende Fahrzeuge aus dem zuvor ermittelten Umfeldmodell.
2. Informationen über die aktuell befahrene Straßenseite, die Fahrzeuggeschwindigkeit des Ego-Fahrzeugs, kreuzende Straßen und sichtverdeckende Objekte werden aus dem Umfeldmodell ermittelt.
3. Über eine Blickverfolgungseinheit kann eine aktuelle Suchtätigkeit des Fahrers zur Identifizierung eines Umgebungsobjektes (z.B. Hausnummer oder anderer Interessenspunkt (auch „point of interest“) erkannt werden. Auch eine Überwachung der Kopfbewegung und -orientierung kann hierbei vorteilhaft angewendet werden.
4. Zusätzlich kann eine Situationsanalyse im Backend zur Identifizierung gefährdender Verkehrsteilnehmer erfolgen, wobei auch eine Analyse der sichtverdeckenden Objekte im Umfeldmodell unternommen werden kann.
5. Auf Basis des Umfeldmodells, der Fahrzeugsensorik und insbesondere einer aktuellen Fahrzeuggeschwindigkeit kann beispielsweise in Verbindung mit einer Blickverfolgung des Fahrers die Intention einer Parkplatzsuche erkannt werden und im Umfeld vorhandene, den Blick auf potentiell freie Parkplätze versperrende Umgebungsobjekte teilweise transparent dargestellt werden. Zusätzlich kann die Annäherung an ein Navigationsziel, welches in einem Navigationssystem zur Routenführung hinterlegt ist, sowie die Identifizierung optisch störender, parkender Fahrzeuge am Straßenrand auf Basis der Fahrzeugsensorik und des Umfeldmodells erkannt werden.

In the following, further embodiments of individual features as well as applications of the present invention will be discussed, without the scope of the appended claims being interpreted as being limited thereto. The image data received from external image sensors can be supplemented by a vehicle-local sensor technology with backend data and the data of foreign road users (eg Car2Car communication) to form a holistic environmental model. Since, in particular, the vehicle-local sensor system is known with regard to its position and orientation, a plurality of sensor signals can be spatially exactly fused together. With regard to the question as to which object in the current traffic situation is visually disturbing for the driver or hides interesting information and should therefore appear transparent in accordance with the invention, information determined context-dependently and situation-dependently can be used. Ways of identifying the partially transparent object are, for example, the following:

1. The navigation system combines a detection of a currently traveled lane with information about hidden vehicles from the previously determined environment model.
2. Information about the currently traveled road side, the vehicle speed of the ego vehicle, intersecting roads and obscuring objects are determined from the environment model.
3. By means of a gaze tracking unit, a current search activity of the driver for identifying an environment object (eg house number or other point of interest) can be detected, as well as monitoring of head movement and orientation.
4. In addition, a situation analysis in the backend for the identification of vulnerable road users can take place, whereby an analysis of the obscuring objects in the environment model can be undertaken.
5. On the basis of the environment model, the vehicle sensor system and in particular a current vehicle speed, the intention of a search for a parking space can be detected, for example, in connection with a driver's gaze, and surrounding objects that obstruct the view of potentially free parking spaces can be partially displayed transparently. In addition, the approach to a navigation destination, which is stored in a navigation system for route guidance, as well as the identification of optically disturbing, parked vehicles can be recognized at the roadside on the basis of the vehicle sensor system and the environment model.

Um eine möglichst Latenz- und fehlerfreie Überlagerung des auf natürlichem Wege erfassten Umfeldes mit den zweiten Bilddaten zu erzeugen, wird zusätzlich vorgeschlagen, eine perspektivische Anpassung (z.B. Positionierung, Rotation, Ausrichtung, Skalierung, Verzerrung) des ersten Bildsignals an den Anzeigebereich der erfindungsgemäßen Anzeigeeinheit durchzuführen. Hierbei können beispielsweise zwischen dem extern erhaltenen Bildsignal und einem mittels des Fahrzeugs bzw. mittels einer in der Brille enthaltenen Kamera erfassten Bildsignals Merkmale der Umgebung erkannt und abgeglichen werden. Zusätzlich kann der optische Fluss in den vorgenannten Kamerabildern verglichen werden, um den optischen Eindruck für den Anwender zu verbessern. Zusätzlich können Algorithmen zur optischen Bildverbesserung verwendet werden, mittels welchen die ersten Bildsignale hinsichtlich Helligkeit, Farben etc. zur Überlagerung aufbereitet werden. In order to generate the latency and error-free superimposition of the naturally acquired environment with the second image data, it is additionally proposed to perform a perspective adaptation (eg positioning, rotation, alignment, scaling, distortion) of the first image signal to the display area of the display unit according to the invention , In this case, for example, features of the environment can be detected and adjusted between the externally obtained image signal and an image signal acquired by means of the vehicle or by means of a camera contained in the spectacles. In addition, the optical flow in the aforementioned camera images can be compared to improve the visual impression for the user. In addition, algorithms for optical image enhancement can be used, by means of which the first image signals are processed in terms of brightness, colors, etc. for superimposition.

Erste Bildsignale können beispielsweise durch Überwachungskameras an Gebäuden, Lichtzeichenanlagen etc. bereitgestellt und zur erfindungsgemäßen Verwendung übertragen werden. Diese stationären Kameras sind hinsichtlich ihrer Position und Ausrichtung so festgelegt, dass eine exakte Synthese mit von dem Fahrer natürlich erworbenen Umgebungseindruck (eine exakte relative Positionierung des Fortbewegungsmittels zur Kamera vorausgesetzt) bestmöglich erfolgen kann. Solche Daten können über einen stationären Server und/oder direkt an das betrachtete Fortbewegungsmittel gesendet werden. First image signals can be provided, for example, by surveillance cameras on buildings, traffic light installations, etc., and transmitted for use in accordance with the invention. These stationary cameras are determined in terms of their position and orientation so that an exact synthesis with the driver of course acquired environmental impression (assuming an exact relative positioning of the means of transport to the camera) can be done as best as possible. Such data can be sent via a stationary server and / or directly to the considered means of transportation.

Wenn im Rahmen der vorliegenden Erfindung lediglich von einer Anzeigeeinheit und einem Ausführungsbeispiel in Form einer Brille die Rede ist, sind die beigefügten Ansprüche auch dahingehende zu verstehen, dass beispielsweise ein eine Kamera und eine Anzeige umfassendes mobiles Anwenderendgerät (z.B. ein Smartphone, ein Tablet-PC o.ä.) grundsätzlich erfindungsgemäß verwendet werden kann. Schließlich unterscheidet sich eine Anzeige eines Anwenderendgerätes lediglich in der Art der Darstellung von einer Datenbrille. Während in der Datenbrille eine transparente Anzeigeeinheit (eng. „Optical See Through“) verwendet, d.h. die Umgebung real wahrgenommen wird und darüber in einer halbtransparenten Schicht eine erfindungsgemäße Erweiterung („Augmentierung“) erfolgt, stellt ein Anwenderendgerät erfindungsgemäß eine virtuelle Überlagerung zweier Bildsignale (eng. „Video See Through“) dar, durch welche sowohl die Umgebung/Realität als auch deren Augmentierung auf einem Display dargestellt werden. In beiden Fällen muss ein Tracking System Position und Orientierung der Anzeige im Fahrzeuginnenraum erkennen (sowie den Bezugspunkt der Anzeige im mobilen Endgerät) um eine kontaktanaloge Anzeige zu realisieren. Beispielsweise kann anstelle einer Datenbrille ein Beifahrer mit einem Tablet transparent durch stehende Fahrzeuge auf dahinterliegende Gebäude blicken, anstatt eine Datenbrille auf dem Kopf zu tragen. If in the context of the present invention only a display unit and an embodiment in the form of a pair of glasses is mentioned, the attached claims are also pending To understand that, for example, a camera and a display comprehensive mobile user terminal (eg, a smartphone, a tablet PC, etc.) can be used in principle according to the invention. Finally, a display of a user terminal differs only in the type of representation of a data glasses. Whereas in the data goggles a transparent display unit (narrow "Optical See Through") is used, ie an environment according to the invention is perceived ("augmentation") in a semi-transparent layer, a user terminal according to the invention represents a virtual superposition of two image signals ( narrow "Video See Through"), through which both the environment / reality and its augmentation are displayed on a display. In both cases, a tracking system must detect the position and orientation of the display in the vehicle interior (as well as the reference point of the display in the mobile device) in order to realize a contact-analogue display. For example, instead of wearing data glasses, a passenger with a tablet can see through transparent vehicles on buildings beyond, instead of wearing data glasses on his head.

Nachfolgend werden einzelne Anwendungsbeispiele anhand konkreter Verkehrssituationen vorgestellt. In the following, individual application examples will be presented based on concrete traffic situations.

Eine mögliche Situation besteht darin, dass ein Fahrzeug sich auf der mittleren Spur einer dreispurigen Autobahn befindet. Das Navigationssystem des Fahrzeugs möchte dem Fahrer das baldige Verlassen der Autobahn mitteilen und auf den erforderlichen Spurwechsel auf die rechte Spur hinweisen. Durch einen auf der rechten Spur aktuell befindlichen LKW kann die rechte Spur selbst nicht gesehen werden, weshalb eine kontaktanaloge Markierung nicht möglich ist. Erfindungsgemäß ist das Spurwechselerfordernis durch das Navigationssystem als Anlass dafür verwendbar, die rechte Spur kontaktanalog zu markieren und den LKW (anteilig) transparent darzustellen. Zusätzlich liefert das aktuelle Umfeldmodell (unter Verwendung fahrzeugbasierter Sensorik) die Information, dass der LKW auf der rechten Spur die direkte Sicht auf diese Spur verhindert. Erfindungsgemäß wird daher der Bereich des LKWs mit einem Fremdbild überlagert, um den LKW transparent anzuzeigen und dahinter eine kontaktanaloge Fahrbahnmarkierung zu ermöglichen. One possible situation is that a vehicle is on the middle lane of a three-lane highway. The navigation system of the vehicle would like to inform the driver about leaving the motorway soon and point out the required lane change to the right lane. By a current on the right lane truck, the right lane itself can not be seen, which is why a contact-analogous marking is not possible. In accordance with the invention, the lane change requirement can be used by the navigation system as an opportunity to mark the right lane in a contact-analog way and to display the lorry (proportionally) in a transparent manner. In addition, the current environment model (using vehicle-based sensors) provides the information that the truck in the right lane prevents the direct view of that lane. According to the invention, therefore, the area of the truck is superimposed with a foreign image in order to display the truck in a transparent manner and to allow a contact-analogous lane marking behind it.

Ein weiteres Beispiel ist die Suche nach einer speziellen Hausnummer oder einem ausgewählten Ladengeschäft, welche bzw. welches durch einen parkenden LKW verdeckt werden. Eine direkte Sicht auf das gesuchte Gebäude bzw. dessen Hausnummer oder gar einer kontaktanalogen Markierung des Gebäudes ist aufgrund des parkenden LKWs bislang nicht möglich gewesen. Unter Verwendung der vorliegenden Erfindung ist es jedoch möglich, durch das Wissen über das Navigationsziel bzw. die Hausnummer oder die vorangegangene Suche nach einem speziellen Geschäft (z.B. über einen Browser des Fahrzeugs) das Erfordernis abzuleiten, das Gebäude optisch hervorzuheben. Unter Zuhilfenahme der Umfeldsensorik werden die parkenden Fahrzeuge und der parkende LKW am Fahrbahnrand als optisch störend erkannt und erfindungsgemäß mit Hilfe von Fremdbildern stationärer Kameras transparent überlagert, so dass der Fahrer das dahinter befindliche Gebäude bzw. dessen Hausnummer sehen kann und dieses optional (kontaktanalog) optisch hervorgehoben wird. Der Fahrer erhält somit eine virtuelle Sicht durch den parkenden LKW auf das gesuchte Gebäude. Auch schlecht einsehbare Straßenkreuzungen können durch die Anwendung der vorliegenden Erfindung “entschärft“ werden. Im Folgenden wird angenommen, dass sich ein Fahrzeug aus einer engen Seitenstraße einer großen Kreuzung nähert, welche durch parkende Fahrzeuge und hohe Eckgebäude kaum einsehbar ist. Der Fahrer muss zum Einsehen der Kreuzung mindestens mit dem vorderen Teil seines Fahrzeugs in die Kreuzung einfahren, um mit einer optionalen Sonderausstattung (“Seitenblick-Assistent“) die Kreuzung aus einer nicht-intuitiven Perspektive geringfügig einsehen zu können. Erfindungsgemäß kann bereits aus der Umfeldsensorik des Fahrzeugs in Verbindung mit der geringen Geschwindigkeit bzw. das Verzögern desselben die Kreuzung als problematisch für den Fahrer erkannt und klassifiziert werden. Im Ansprechen darauf wird erfindungsgemäß eine teilweise transparente Überlagerung der Kreuzung, der parkenden Fahrzeuge und der Eckgebäude erzeugt, um dem Fahrer die Verkehrssituation besser veranschaulichen zu können und einen geeigneten Zeitpunkt zum Fortsetzen der Fahrt zu veranschaulichen. Another example is the search for a specific house number or store that is hidden by a parked truck. A direct view of the sought building or its house number or even a contact-analogous marking of the building has not been possible due to the parked truck. However, using the present invention, it is possible to derive the requirement to visually highlight the building by knowing the navigation destination or house number or previous search for a particular store (e.g., via a browser of the vehicle). With the aid of environment sensors, the parked vehicles and the parked truck on the edge of the road are recognized as visually disturbing and according to the invention with the help of foreign images of stationary cameras transparently superimposed, so that the driver can see the building behind it or his house number and this optional (contact analog) visually is highlighted. The driver thus receives a virtual view through the parked truck to the searched building. Even poorly visible road intersections can be "defused" by the application of the present invention. In the following it is assumed that a vehicle approaches from a narrow side street to a large intersection, which is barely visible through parked vehicles and high corner buildings. The driver must enter the intersection at least with the front part of his vehicle to view the intersection, with an optional extra ("side view assistant") to see the intersection from a non-intuitive perspective slightly. According to the invention, the intersection can already be recognized and classified as problematic for the driver from the environment sensor system of the vehicle in conjunction with the low speed or the deceleration thereof. In response to this, according to the invention, a partially transparent overlay of the intersection, the parked vehicles and the corner building is generated to better illustrate the traffic situation to the driver and to illustrate a suitable time to continue the journey.

Bei der Parkplatzsuche (Taschenparken in einer Position von 90° zum Straßenverlauf) verdecken bereits abgestellte Fahrzeuge größtenteils die direkte Sicht auf freie Parklücken. Ein Einsehen vorhandener Parkplätze oder eine kontaktanaloge Markierung freier Parkplätze ist durch bekannte Systeme nicht möglich. Im Ansprechen auf die Erkennung des Bedarfs an einem freien Parkplatz (z.B. aufgrund einer langsamen Geschwindigkeit, einem schnellen Blickwechsel zwischen den parkenden Fahrzeugen oder das Navigationsziel “Parkplatz an der Zieladresse“) wird das erfindungsgemäße Verfahren gestartet. Das Backend liefert den nächsten freien Parkplatz während das aufgrund der Fahrzeugsensorik ermittelte Umfeldmodell Informationen darüber bereitstellt, welche der parkenden Fahrzeuge den direkten Blick auf eine freie Parklücke behindern. Diese parkenden Fahrzeuge werden erfindungsgemäß transparent angezeigt, um die Parklücke für den Fahrer erkennbar zu machen und eine optionale kontaktanaloge Markierung der Parklücke vorzunehmen. When looking for a parking space (pocket parking in a position of 90 ° to the road), already parked vehicles largely cover the direct view of free parking spaces. A view of existing parking or a contact-analogous marking of free parking is not possible by known systems. In response to the detection of the need for a free parking space (e.g., due to a slow speed, a quick change of perspective between the parked vehicles or the navigation destination "parking at the destination address"), the inventive method is started. The backend provides the next free parking space while the environment model determined by the vehicle sensor system provides information about which of the parking vehicles hinder the direct view of a free parking space. According to the invention, these parking vehicles are displayed transparently in order to make the parking space visible to the driver and to make an optional contact-analogous marking of the parking space.

Eine alternative Fahrsituation stellt das Rechtsabbiegen in eine Nebenstraße dar. Parallel zur Hauptstraße parkende Fahrzeuge verdecken häufig die direkte Sicht auf einen auf einem Fahrradweg herannahenden Fahrradfahrer. Die Position des Fahrradfahrers ist dem System beispielsweise durch Sensoren eines Smartphones bzw. einen backend-Server bekannt. Aufgrund der fehlenden direkten Sichtmöglichkeit auf den Fahrradfahrer ist eine kontaktanaloge Markierung und Warnung vor einer möglichen Kollision mit dem Fahrradfahrer durch bekannte Systeme nicht möglich. Erfindungsgemäß wird durch das Setzen des Fahrtrichtungsanzeigers der Abbiegewunsch des Fahrers des Ego-Fahrzeugs erkannt. Im Ansprechen hierauf liefert das Backend die Position und die vermutliche Trajektorie des Fahrradfahrers und erkennt eine Kollisionsgefahr. Zudem ist durch das Umfeldmodell bekannt, dass der Fahrer den Fahrradfahrer direkt nicht sehen kann, so dass die parkenden Fahrzeuge am Fahrbahnrand als störend eingestuft werden. Die parkenden Fahrzeuge können daher erfindungsgemäß ausgeblendet, d.h. anteilig transparent überlagert werden und der Fahrradfahrer auf diese Weise virtuell sichtbar gemacht werden. Zusätzlich kann dieser optisch bzw. kontaktanalog hervorgehoben werden, wodurch die Kollision noch sicherer vermieden wird. An alternative driving situation is the right turn into a side street. Parallel to the main road parked vehicles often obscure the direct view of a on a bike path approaching cyclists. The position of the cyclist is known to the system for example by sensors of a smartphone or a backend server. Due to the lack of direct visibility on the cyclist contact-analogous marking and warning of a possible collision with the cyclist by known systems is not possible. According to the turn signal of the driver of the ego vehicle is detected by setting the direction indicator. In response, the backend provides the position and likely trajectory of the cyclist and detects a collision hazard. In addition, it is known by the environment model that the driver can not see the cyclist directly, so that the parked vehicles are classified as disturbing at the edge of the road. The parked vehicles can therefore be hidden according to the invention, i. be transparently superimposed proportionately and the cyclist be made virtually visible in this way. In addition, this can be highlighted visually or contact analog, whereby the collision is avoided even more secure.

Zudem bietet die vorliegende Erfindung Vorteile bei der Erkennung von Informationstafeln und Verkehrsschildern. Fährt beispielsweise ein Fahrzeug auf der mittleren Spur einer dreispurigen Autobahn tritt häufig die Situation auf, dass mehrere LKWs auf der rechten Spur die Sicht auf Straßenschilder (z.B. die Entfernung zu größeren Städten oder Details zu einer vorausliegenden Autobahnabfahrt) verdecken und durch den Fahrer des Ego-Fahrzeugs nicht gesehen werden können. Durch das mit dem Ego-Fahrzeug verbundenen Backend sind die Positionen und ggf. auch der Inhalt der Informationstafeln gegebenenfalls jedoch bekannt. Zudem sind Position und Größe der präsenten LKW ebenfalls bekannt bzw. durch Fahrzeug-basierte Umfeldsensorik ermittelbar. Das erfindungsgemäße System erkennt hieraus, dass die LKW auf der rechten Spur die Sicht auf die Informationstafeln verdecken, wodurch vorhandene Fremdbilder die hinter dem LKW befindlichen Umgebungsbereiche erkennbar macht, indem der bzw. die LKW transparent dargestellt werden. Auf diese Weise kann der Fahrer die eigentlich verdeckten Informationen an der gewohnten Position am Straßenrand intuitiv und daher einfach und effizient erfassen. In addition, the present invention provides advantages in the detection of information boards and traffic signs. For example, if a vehicle drives in the middle lane of a three-lane highway, the situation often occurs that several lorries in the right lane obscure the view of street signs (eg the distance to larger cities or details of a motorway exit ahead) and the driver of the ego Vehicle can not be seen. However, the positions and possibly also the content of the information panels may be known by the backend connected to the ego vehicle. In addition, the position and size of the present truck are also known or can be determined by vehicle-based environment sensors. The system according to the invention recognizes from this that the trucks on the right lane obscure the view of the information boards, whereby existing foreign images make the surrounding areas behind the truck recognizable by the truck or trucks being displayed transparently. In this way, the driver can intuitively and therefore easily and efficiently capture the actually hidden information at the usual position on the roadside.

Durch die vorliegende Erfindung wird es möglich, Informationen hinsichtlich einer Fahrzeugumgebung dort anzuzeigen, wo sie herstammen. Auf diese Weise ergibt sich eine besonders effiziente und intuitive Darstellung der Informationen, was die Verkehrssicherheit und die Akzeptanz der Informationen beim Anwender erhöht. By the present invention, it becomes possible to display information regarding a vehicle environment where originated. This results in a particularly efficient and intuitive presentation of the information, which increases the traffic safety and the acceptance of the information by the user.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1: Brille glasses
2 2: Positionsermittlungseinheit Position determining unit
3 3: Empfangseinheit receiver unit
4 4: Auswerteeinheit evaluation
5 5: Fahrer driver
6 6: LKW truck
6‘ 6 ': Abbild des LKWs Image of the truck
7 7: teilweise transparente Darstellung partially transparent representation
8 8th: Kamera camera
9 9: gestrichelte Linie dashed line
10 10: PKW car
11 11: Radfahrer cyclist
11‘ 11 ': Abbild des Radfahrers Image of the cyclist
12 12: Pfeildarstellung arrow display
13 13: Drahtloskommunikationseinheit Wireless communication unit
14 14: Kamera camera
15a, 15b15a, 15b: Bildschirme screens
16a, 16b16a, 16b: Datenleitungen data lines
17 17: Drahtloskommunikationseinheit Wireless communication unit
I I: erster Umgebungsbereich first environment area
II II: zweiter Umgebungsbereich second environment area
S1 S1: erstes Bildsignal first image signal
S2 S2: Drahtlossignal zur Anfrage des ersten Bildsignals Wireless signal for requesting the first image signal
S3 S3: Positionssignal position signal

Claims

Driver assistance system, comprising - a display unit ( 1 ), - a position determination unit ( 2 ), - a receiving unit ( 3 ), and - an evaluation unit ( 4 ), wherein - the receiving unit ( 3 ) is arranged, a first image signal (S1) containing a from the perspective of the driver ( 5 ) from an environment object ( 6 ) concealed environmental area ( I ), - the position determination unit ( 2 ), a head pose of the driver ( 5 ) and / or a pose of the display unit ( 1 ), - the evaluation unit ( 4 ) is arranged to calculate a second image signal which corresponds to a virtual view of the driver ( 5 ) on the surrounding area ( I ), and - the display unit ( 1 ), a partially transparent representation ( 7 ) of the second image signal corresponding to the virtual view for the driver ( 5 ) to create.

Driver assistance system according to claim 1, wherein the display unit ( 1 ), at the driver's head ( 5 ), in particular in the manner of glasses to be determined.

Driver assistance system according to one of claims 1 or 2, wherein the position detection unit ( 2 ), the head pose (position and orientation) of the driver ( 5 ) based on a pose of the display unit ( 1 ) to investigate.

Driver assistance system according to one of the preceding claims, wherein the receiving unit ( 3 ) from outside a vehicle equipped with the driver assistance system ( 10 ) derived image signals (S1), in particular from other road users and / or fixed image sensors ( 8th ) and / or fixed digital databases.

Driver assistance system according to one of the preceding claims, wherein the evaluation unit ( 4 ), the environment object ( 6 ) based on the hidden surrounding area ( I ) and the head pose of the driver ( 5 ) to identify.

Driver assistance system according to claim 5, wherein the evaluation unit ( 4 ), the environment object ( 6 ) using digitally stored map material, in particular based on a navigation target to identify.

Driver assistance system according to one of the preceding claims, wherein the partially transparent representation ( 7 ) an at least partial transparency of the environment object ( 6 ), and in particular an emphasis ( 9 ) of a part of the environment object ( 6 ) in the second image signal.

Driver assistance system according to one of the preceding claims, wherein the surrounding area ( I ) - another road user ( 11 ) and / or - a potential source of danger, and / or - a traffic sign, and / or - a navigation destination and / or - a motorway exit.

A driver assistance system according to any one of the preceding claims, wherein the first image signal (S1) comprises information regarding a position and a perspective of the captured image material.

Driver assistance system according to one of the preceding claims, wherein the evaluation unit ( 4 ), the second image signal has additional information ( 12 ) in the region of the transparent representation, wherein the additional information - an arrow representation, and / or - a text, and / or - a house number, and / or - an optical highlighting of an object in the surrounding area, in particular in the form of a frame comprises.

Means of transport, in particular vehicle, comprising: - a receiving unit ( 3 ), and - an evaluation unit ( 4 ), wherein - the receiving unit ( 3 ) is arranged, a first image signal (S1) containing a from the perspective of a driver ( 5 ) of the means of locomotion ( 10 ) from an environment object ( 6 ) concealed environmental area ( I ), and - the evaluation unit ( 4 ) is arranged to calculate a second image signal which corresponds to a virtual view of the driver ( 5 ) on the surrounding area ( I ), and - the second image signal to a display unit ( 1 ) for partially transparent representation ( 7 ) of the second image signal corresponding to the virtual view for the driver ( 5 ) to send.