DE102014000935A1

DE102014000935A1 - Method and arrangement for generating a traffic light display for vehicles

Info

Publication number: DE102014000935A1
Application number: DE102014000935.1A
Authority: DE
Inventors: Anmelder Gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-01-22
Filing date: 2014-01-22
Publication date: 2015-07-23

Abstract

Die Erfindung betrifft ein Verfahren und eine Anordnung mit einem oder mehreren Digitalprojektoren zur echtzeitfähigen dreidimensionalen Beleuchtung der Fahrbahn vor dem Fahrzeug in Kombination mit einem Kamerasystem zur echtzeitfähigen virtuellen 3D-Rekonstruktion der Verkehrsszene und einem Informationsverarbeitungsmittel, das zur Bilderfassung, Bildverarbeitung, Objekterkennung, Grafikerzeugung, Grafikverarbeitung und Ansteuerung der Projektoren dient. Durch die Erfindung werden gewünschte Oberflächen vor dem Fahrzeug, insbesondere die Fahrbahn, derart beleuchtet, dass ein Fahrbahnlichtdisplay mit variablem grafischem Inhalt gebildet wird. Dieses passt sich dynamisch an die Verkehrs-, Fahr- und Umweltsituation, sowie den Bedürfnissen des Fahrers an. Ein weiteres optionales Kamerasystem zur Erfassung der Kopfposition, Blickrichtung und Blickweite des Fahrers wird zur Steuerung der räumlichen Helligkeitsanpassung oder zur Steuerung von projizierten grafischen Objekten verwendet.The invention relates to a method and an arrangement with one or more digital projectors for real-time capable three-dimensional illumination of the road ahead of the vehicle in combination with a camera system for real-time 3D virtual reconstruction of the traffic scene and an information processing means for image acquisition, image processing, object recognition, graphics generation, graphics processing and controlling the projectors. The invention illuminates desired surfaces in front of the vehicle, in particular the roadway, in such a way that a roadway light display with variable graphical content is formed. This adapts dynamically to the traffic, driving and environmental situation, as well as the needs of the driver. Another optional camera system for detecting the driver's head position, line of sight and gaze is used to control the spatial brightness adjustment or to control projected graphical objects.

Description

Nach derzeitigem Stand der Technik sind verschiedene Arten von Fahrzeugscheinwerfern bekannt, wobei in den letzten Jahren überwiegend Scheinwerfer mit Entladungslampen, Halogen- und LED-Lichtquellen verwendet wurden. Trotz der helleren Ausleuchtung der Fahrbahn bei gleichzeitig geringerem Energieaufwand besteht immer noch ein Kompromiss zwischen der optimalen Ausleuchtung der Verkehrsszene und der Blendung anderer Verkehrsteilnehmer. Moderne Scheinwerfer passen die Lichtverteilung dynamisch an die aktuelle Fahr-, Verkehrs- und Umweltsituation an, so sind Assistenzsysteme wie die aktive Leuchtweitenregelung, das Kurvenlicht, das adaptive Fernlicht und weitere Systeme hinzugekommen. Moderne Matrix-LED-Scheinwerfer und Scheinwerfersysteme mit Laserlichtquellen bieten zudem noch größere Flexibilität in der aktiven Anpassung der Lichtverteilung. Mit ihnen können beispielsweise andere Verkehrsteilnehmer aktiv ausgeblendet werden. Stand der Technik sind auch Fahrerassistenzsysteme, die für höhere Sicherheit und Komfort durch die bessere Erkennung von Gefahrenstellen dienen. Als Anzeigegeräte sind auch Head-up-Displays zur Projektion von Informationen auf die Windschutzscheibe bekannt, die den Vorteil bieten, dass der Fahrer nicht mehr den Blick von der Fahrbahn abwenden muss.According to the current state of the art, various types of vehicle headlamps are known, with predominantly headlamps having discharge lamps, halogen and LED light sources being used in recent years. Despite the brighter illumination of the roadway with lower energy consumption, there is still a compromise between the optimal illumination of the traffic scene and the dazzling of other road users. Modern headlamps adapt the light distribution dynamically to the current driving, traffic and environmental situation, so assistance systems such as the active headlight range control, the cornering light, the adaptive high beam and other systems have been added. Modern matrix LED headlights and headlamp systems with laser light sources also offer even greater flexibility in the active adjustment of the light distribution. With them, for example, other road users can be actively hidden. State of the art are also driver assistance systems that serve for greater safety and comfort through the better detection of danger spots. Also known as display devices are head-up displays for projecting information onto the windshield, which offer the advantage that the driver no longer has to avert his eyes from the road.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges und verbessertes System zur Lichterzeugung und Anzeige von Informationen bei motorisierten Fahrzeugen bereitzustellen. Das System besteht aus einer Anordnung mit einem oder mehreren Digitalprojektoren zur Beleuchtung der Fahrbahn vor dem Fahrzeug in Kombination mit einem 3D-Kamerasystem. Diese Kombination ermöglicht eine 3D-Lichtprojektion mit den Projektoren. Das Kamerasystem ermittelt die Tiefeninformation der Szene vor dem Fahrzeug wodurch eine echtzeitfähige dreidimensionale Rekonstruktion der Szene durchgeführt wird. Durch diese virtuell reproduzierte geometrische Beschreibung der 3D-Szene ist die Position und Orientierung aller infinitesimalen Projektionsflächenelemente bezüglich jeder Lichtquelle im System bekannt. Mit der zusätzlichen Information über die gewünschten, zu erzielenden Beleuchtungsstärken auf den Oberflächen wird mit einem Informationsverarbeitungsmittel für jeden Digitalprojektor das Ausgabebild derart berechnet und erzeugt, dass die realen Oberflächen mit helligkeits-, größen-, und geometriegetreuem grafischen Inhalt beleuchtet werden. Dabei wird die Anzahl, Ausrichtung, Anbringung und Abstrahlcharakteristik aller Projektoren berücksichtigt. Für jedes Raumwinkelelement, bzw. Pixel, wird unter Berücksichtigung des räumlichen Zusammenwirkens der Lichtstrahlen die erforderliche Lichtstärke jedes Projektors so berechnet, dass eine homogene und verzerrungsfreie Beleuchtung der Oberflächen erzielt wird. Da die echtzeitfähig ermittelte Tiefeninformation als Berechnungsgrundlage dient, passt das System die ausgestrahlte Lichtcharakteristik unmittelbar an die aktuelle Umgebungssituation an. So werden auch Schwankungen des Fahrzeuges bezüglich der Fahrbahn systembedingt berücksichtigt und ausgeglichen. Oberflächen vor dem Fahrzeug, insbesondere die Fahrbahn, bilden durch diese Erfindung ein Fahrbahnlichtdisplay mit variablem grafischem Inhalt, welcher sich dynamisch an die Verkehrs-, Fahr- und Umweltsituation und den Bedürfnissen des Fahrers anpasst.The invention is based on the object of providing a novel and improved system for generating light and displaying information in motorized vehicles. The system consists of an arrangement with one or more digital projectors to illuminate the road ahead of the vehicle in combination with a 3D camera system. This combination allows 3D light projection with the projectors. The camera system determines the depth information of the scene in front of the vehicle, whereby a real-time capable three-dimensional reconstruction of the scene is performed. Through this virtually reproduced geometric description of the 3D scene, the position and orientation of all infinitesimal projection surface elements with respect to each light source in the system is known. With the additional information about the desired illuminances to be achieved on the surfaces, the output image is calculated and generated with an information processing means for each digital projector in such a way that the real surfaces are illuminated with brightness, size, and geometry-compliant graphical content. The number, orientation, attachment and emission characteristics of all projectors are taken into account. For each solid angle element, or pixel, taking into account the spatial interaction of the light beams, the required light intensity of each projector is calculated so that a homogeneous and distortion-free illumination of the surfaces is achieved. Since the real-time capable determined depth information serves as a basis for calculation, the system adapts the emitted light characteristic directly to the current environmental situation. Thus, fluctuations of the vehicle with respect to the road system-conditioned are taken into account and compensated. Surfaces in front of the vehicle, in particular the roadway, form with this invention a traffic light display with variable graphical content, which adapts dynamically to the traffic, driving and environmental situation and the needs of the driver.

Im Vergleich zu bekannten Scheinwerfersystemen bietet dieses System den Vorteil, dass die Verkehrsszene vor dem Fahrzeug selbst zu einer beleuchteten dreidimensionalen Anzeigefläche für Informationen wird. Der Fahrer muss bei Dunkelheit nicht mehr den Blick von der Fahrbahn abwenden, wie es für gewöhnlich beim Ablesen von Anzeigeinstrumenten erforderlich ist. Im Gegensatz zu Head-up-Displays können Informationen wie Gefahrenstellen direkt auf, an oder in Richtung des realen Auftretungsortes projiziert werden. Dies ermöglicht eine deutlich erhöhte Sicherheit beim Fahren. Medien oder Anzeigeinstrumente wie Geschwindigkeit, Kilometerstand, Zeit, Warnsignale, Radio, Verkehr, Navigation, Bordcomputer, Mobiltelefon oder Smartphone können mit diesem System auf die Fahrbahn vor das Fahrzeug projiziert werden.Compared to known headlamp systems, this system has the advantage that the traffic scene in front of the vehicle itself becomes an illuminated three-dimensional display area for information. The driver no longer has to look away from the road at dark, as is usually required when reading gauges. In contrast to head-up displays, information such as danger points can be projected directly on, at or in the direction of the real place of occurrence. This allows a significantly increased safety while driving. Media or gauges such as speed, mileage, time, warning signals, radio, traffic, navigation, on-board computer, mobile phone or smartphone can be projected onto the lane in front of the vehicle with this system.

Im Vergleich zu bekannten Scheinwerfersystemen kann das System außerdem die erzeugte Lichtcharakteristik mit höherer Präzision echtzeitfähig an die aktuelle Fahr-, Verkehrs- und Umweltsituation sowie den Bedürfnissen des Fahrers anpassen. Dies bietet neue Möglichkeiten im Design einer dynamisch veränderbaren Lichtcharakteristik. Die Verkehrsszene vor dem Fahrzeug muss nicht mehr gleichmäßig mit statisch vordefinierten homogenen Lichtverteilungen beleuchtet werden, sondern es können (Teil-)Bereiche mit speziellen grafischen Lichtmustern versehen werden. Dadurch wird die effektiv beleuchtete Fläche, bzw. der Flächenfüllfaktor, reduziert. Im Vergleich zu bekannten Scheinwerfersystemen gelingt es damit, bei vergleichbarem Lichtstrom und/oder Energieaufwand, eine bessere Objektbeleuchtung zu gewährleisten. Außerdem kann der Beleuchtungsbereich vergrößert werden.Compared to known headlight systems, the system can also adapt the generated light characteristics with greater precision real-time to the current driving, traffic and environmental situation and the needs of the driver. This offers new possibilities in the design of a dynamically changeable light characteristic. The traffic scene in front of the vehicle no longer has to be uniformly illuminated with statically predefined homogeneous light distributions, but (partial) areas can be provided with special graphic light patterns. As a result, the effectively illuminated area, or the area fill factor, is reduced. In comparison with known headlamp systems, it is thus possible, with comparable luminous flux and / or energy expenditure, to ensure better object illumination. In addition, the lighting range can be increased.

Das 3D-Kamerasystem bietet mit dem Informationsverarbeitungsmittel auch die Funktion zur aktiven Objekterkennung und Verfolgung. So werden andere Verkehrsteilnehmer, Verkehrszeichen, Schilder, Fahrbahnmarkierungen und Begrenzungen, Fahrbahnverlauf, Personen, Tiere, Straßenschäden, Hindernisse und weitere Gefahrenstellen ermittelt.The 3D camera system also offers the function of active object recognition and tracking with the information processing means. This will identify other road users, traffic signs, signs, lane markings and boundaries, road layout, people, animals, road damage, obstacles and other danger spots.

Die Erkennung anderer Verkehrsteilnehmer bietet die gezielte und aktive Ausblendung, ähnlich wie es bei modernen Scheinwerfersystemen bereits möglich ist. Andere Verkehrsteilnehmer werden durch die gezielte Lichtaussparung mit der vorliegenden Erfindung auch nicht geblendet. Im Vergleich zu bereits bekannten Scheinwerfersystemen können die Ausblendungsbereiche jedoch direkt in Form der räumlichen Geometrie der erkannten Objekte gewählt werden. Das wird durch die Information der dreidimensional rekonstruierten Szene und die schnelle und präzise Anpassungsfähigkeit der Lichtcharakteristik gewährleistet. Der Vorteil besteht darin, dass die Ausblendungsbereiche von erkannten Verkehrsteilnehmern dadurch sehr klein gewählt werden wodurch die Umgebung möglichst großflächig um die Verkehrsteilnehmer herum ausgeleuchtet wird. The detection of other road users offers targeted and active suppression, similar to what is already possible with modern headlight systems. Other road users are not dazzled by the targeted Lichtaussparung with the present invention. Compared to already known headlight systems, however, the blanking areas can be selected directly in the form of the spatial geometry of the detected objects. This is ensured by the information of the three-dimensionally reconstructed scene and the fast and precise adaptability of the light characteristic. The advantage is that the hiding areas of recognized road users are thereby chosen to be very small, whereby the environment is illuminated as extensively as possible around the road users around.

Im Gegensatz zur gezielten aktiven Ausblendung von Objekten kann das System in gleicher Weise bestimmte erkannte Objekte auch gezielt beleuchten. Erkannte Verkehrszeichen, Schilder, Personen, Tiere, Straßenschäden und Hindernisse auf und am Rande der Fahrbahn werden in Form ihrer Gestalt heller beleuchtet als ihre Umgebung. Dies sorgt auch aus größerer Entfernung für eine bessere Erkennbarkeit für den Fahrer. Insbesondere Personen, Tiere, Straßenschäden und Hindernisse stellen Gefahrenstellen im Straßenverkehr dar. Die Beleuchtung dieser Gefahrenstellen kann auch blinkend erfolgen damit die Aufmerksamkeit des Fahrers noch mehr auf diese Objekte gelenkt wird. Mit dem erzeugten Fahrbahnlichtdisplay können zudem grafische Warnsignale, beispielsweise in Form eines Ausrufezeichens, auf die Fahrbahn projiziert werden. Neben der aktiven Beleuchtung, markieren die Warnsignale zusätzlich Auftretungsort und Richtung von erkannten Gefahrenstellen. Ein Warnsignal kann auch unmittelbar vor den Auftretungsort einer Gefahrenstelle auf die Fahrbahn projiziert werden und ebenfalls durch Blinken die Aufmerksamkeit erhöhen. Dadurch lenkt das erzeugte Fahrbahnlichtdisplay die Aufmerksamkeit des Fahrers direkt an Ort und Stelle von auftretenden Gefahrenstellen, wodurch der Fahrer schneller reagieren kann. Dies sorgt für eine höhere Sicherheit beim Fahren.In contrast to the targeted active suppression of objects, the system can also illuminate certain detected objects in the same way. Recognized traffic signs, signs, people, animals, road damage and obstacles on and at the edge of the road are illuminated in the form of their shape brighter than their surroundings. This ensures a better visibility for the driver, even from a distance. In particular, people, animals, road damage and obstacles are dangerous areas in traffic. The lighting of these danger spots can also be flashing so that the driver's attention is directed even more to these objects. With the generated traffic light display also graphical warning signals, for example in the form of an exclamation point, can be projected onto the road. In addition to the active lighting, the warning signals also mark the location and direction of detected danger points. A warning signal can also be projected onto the lane immediately before the point of occurrence of a danger spot and also increase the attention by blinking. As a result, the generated traffic light display directs the attention of the driver directly in place of occurring danger spots, whereby the driver can react faster. This ensures greater safety when driving.

Ein wichtiges Kriterium bei der Auslegung von Scheinwerfersystemen betrifft die begrenzte Energiebereitstellung im mobilen Einsatz. Daher müssen Lichtstrahlen zur Energieeinsparung vorwiegend an die Stellen projiziert werden, wo der größtmögliche praktische Nutzen entsteht. Der Erfindung liegt auch die Aufgabe zu Grunde, den zur Verfügung stehenden Gesamtlichtstrom im Vergleich zu bekannten Scheinwerfersystemen effektiver auszunutzen. Mithilfe der Erkennungsfunktion von Fahrbahnmarkierungen, werden diese mit dem erzeugten Fahrbahnlichtdisplay gezielt in ihrer Formgebung heller beleuchtet, als die umgebende Fahrbahnfläche. Dabei wird der Effekt ausgenutzt, dass Fahrbahnmarkierungen auftreffendes Licht weniger absorbieren als der dunklere Fahrbahnbelag. Mit dem zur Verfügung stehenden Gesamtlichtstrom wird so ein größerer praktischer Nutzen erzielt. Häufig sind auf der Fahrbahn jedoch keine Markierungen vorhanden, die gezielt mit dem System beleuchtet werden können. Mit einer Bilderkennungsfunktion von Fahrbahnbegrenzungen und mit Kartendaten und der Positionsbestimmung über ein mit dem Informationsverarbeitungsmittel verbundenem Navigationssystem kann der aktuelle Verlauf der Fahrbahn ermittelt werden. Durch diese Information können mit dem erzeugten Fahrbahnlichtdisplay die fehlenden Fahrbahnmarkierungen und Begrenzungen auf die Fahrbahn projiziert werden. Das System kann außerdem linierte, gestrichelte und gepunktete Lichtmuster in geometrischer Formgebung des Fahrbahnverlaufes berechnen und projizieren. Der Fahrbahnverlauf wird durch diese projizierten Lichtmuster zusätzlich hervorgehoben. Dies führt bei Dunkelheit zu einer besseren Orientierung des Fahrers, bei gleichzeitig geringerem Lichtstrombedarf im Vergleich zu homogen beleuchteten Flächen.An important criterion in the design of headlamp systems concerns the limited energy supply in mobile use. Therefore, to save energy, beams of light must be predominantly projected to the places where the greatest possible practical benefit arises. The invention is also based on the object of making more efficient use of the available total luminous flux in comparison with known headlamp systems. With the help of the recognition function of lane markings, they are specifically illuminated in their shape with the generated lane light display brighter than the surrounding road surface. The effect is exploited that road markings absorb less light incident than the darker road surface. With the available total luminous flux, a greater practical benefit is achieved. Often, however, there are no markings on the roadway that can be specifically illuminated by the system. With an image recognition function of lane boundaries and with map data and the position determination via a navigation system connected to the information processing means, the current course of the lane can be determined. By means of this information, the missing lane markings and boundaries can be projected onto the lane with the generated lane light display. The system can also calculate and project lined, dashed and dotted light patterns in geometric shape of the lane course. The road course is additionally highlighted by these projected light patterns. This leads to a better orientation of the driver in the dark, while at the same time reducing the power consumption compared to homogeneously illuminated surfaces.

Eine weitere Energieeinsparung wird erzielt, indem bereits durch andere Lichtquellen beleuchtete Bereiche der Szene mit dem erzeugten Fahrbahnlichtdisplay weniger oder nicht beleuchtet werden. Hierfür ermittelt eine Bildverarbeitungsfunktion des Informationsverarbeitungsmittels helle Bereiche der Szene, beispielsweise Bereiche, die durch Straßenleuchten oder Lichtquellen anderer Fahrzeuge mit bereits genügender Helligkeit beleuchtet werden. Die erzeugte Helligkeit des Fahrbahnlichtdisplays wird daraufhin in den ermittelten Bereichen entsprechend reduziert. Ein weiterer Vorteil dieses Verfahrens besteht darin, dass so die Szene vor dem Fahrzeug insgesamt homogener beleuchtet wird. Eine weitere Anhebung von bereits störenden Leuchtdichten für die Augen des Fahrers wird vermieden. Durch die aktive Erkennungsfunktion von hellen Bereichen erkennt das System außerdem zu starke Reflektionen in der Szene, die durch das Fahrbahnlichtdisplay selbst verursacht werden. Auch für diese Bereiche wird die Helligkeit unmittelbar reduziert. Insbesondere bei hochreflektiven Objekten, wie Verkehrszeichen, regelt das System die erzeugte Leuchtdichte auf ein angenehmes Maß für die Augen des Fahrers.A further energy saving is achieved by less or not illuminated areas of the scene already illuminated by other light sources with the generated traffic light display. For this purpose, an image processing function of the information processing means determines bright areas of the scene, for example areas which are illuminated by street lights or light sources of other vehicles with already sufficient brightness. The generated brightness of the roadway light display is then reduced accordingly in the determined areas. Another advantage of this method is that so the scene in front of the vehicle is illuminated more homogeneous overall. A further increase of already disturbing luminances for the eyes of the driver is avoided. The active detection feature of bright areas also allows the system to detect excessive reflections in the scene caused by the lane light display itself. Even for these areas, the brightness is reduced immediately. Especially with highly reflective objects, such as traffic signs, the system controls the luminance generated to a comfortable level for the eyes of the driver.

Durch die Erkennungsfunktion von anderen Verkehrsteilnehmern ist mit dem System nicht nur die aktive Ausblendung möglich, sondern es kann auch die durch Fahrbahnreflektionen verursachte Blendung für andere Verkehrsteilnehmer reduziert werden. Störende Reflektionen durch die Fahrbahnoberfläche, entstehen vorwiegend in Projektionsrichtung zwischen Lichtquelle und einem anderen Verkehrsteilnehmer. Mit dem erzeugten Fahrbahnlichtdisplay kann die Helligkeit der Bereiche, in Projektionsrichtung zwischen Lichtquellen des Fahrzeuges und anderen Verkehrsteilnehmern, reduziert werden. Dadurch wird die Fahrbahn in Projektionsrichtung zwischen Lichtquellen des Fahrbahnlichtdisplays und anderen Verkehrsteilnehmern weniger beleuchtet, wodurch hohe Leuchtdichten für die Augen anderer Verkehrsteilnehmer reduziert werden.The recognition function of other road users not only allows active blanking with the system, but also reduces the glare caused by road surface reflections for other road users. Disturbing reflections through the road surface, arise mainly in the direction of projection between the light source and another road user. With the generated Lane light display, the brightness of the areas, in the direction of projection between light sources of the vehicle and other road users, can be reduced. As a result, the lane is less illuminated in the direction of projection between light sources of the traffic light display and other road users, whereby high luminance for the eyes of other road users are reduced.

Mit dem erzeugten Fahrbahnlichtdisplay kann auch der Verlauf der zukünftigen Fahrspur auf die Fahrbahn vor das Fahrzeug projiziert werden. Hierfür ermittelt das Informationsverarbeitungsmittel den aktuellen Lenkradius aus dem Lenkwinkel und der Fahrgeschwindigkeit und erzeugt daraus die darzustellende Grafik mit der geschätzten Fahrspur. Durch diese Funktion erhält der Fahrer eine Rückmeldung zum eingeschlagenen Lenkwinkel. Die Referenz zwischen dem tatsächlichen Verlauf der Fahrbahn und dem zukünftigen Fahrverlauf des Fahrzeuges unterstützt den Fahrer bei der intuitiven Erkennung ungewünschter Lenkmanöver und er kann eine frühzeitige Korrektur des Lenkeinschlages einleiten.With the generated roadway light display, the course of the future traffic lane can also be projected onto the roadway in front of the vehicle. For this purpose, the information processing means determines the current steering radius from the steering angle and the vehicle speed and generates from this the graphic to be displayed with the estimated lane. This function provides the driver with feedback on the steering angle he has taken. The reference between the actual course of the road and the future driving course of the vehicle supports the driver in the intuitive detection of unwanted steering maneuvers and it can initiate an early correction of the steering angle.

Nach derzeitigem Stand der Technik ist mit konventionellen Scheinwerfersystemen die Kommunikation des Fahrers mit anderen Verkehrsteilnehmern nur begrenzt möglich. In vielen Situationen kann die Warnung anderer Verkehrsteilnehmer nur durch die Betätigung der Lichthupe oder durch das Einschalten des Warnblinkers erfolgen. Da mit dem erzeugten Fahrbahnlichtdisplay beliebiger grafischer Inhalt auf Oberflächen vor dem Fahrzeug projiziert werden kann, ermöglicht die Erfindung auch einen größeren Funktionsumfang bezügliche der Kommunikation mit anderen Verkehrsteilnehmern. Beispielsweise mit entgegenkommenden Fahrzeugen oder Fahrradfahrern. So kann das System spezifische Kommunikationssignale oder einen Text auf die Fahrbahn projizieren. Die grafische Darstellung der Kommunikationssignale repräsentieren einfache und intuitiv verständliche Informationen für andere Verkehrsteilnehmer. So kann beispielsweise ein projiziertes Kommunikationssignal in Form eines Ausrufezeichens eine eindeutige Warnung an einen anderen Verkehrsteilnehmer übermitteln oder ein entsprechendes Smiley Wut, Freude, Verzweiflung, Trauer, Zwinkern, Verblüffung und weitere Gefühlsempfinden übermitteln. Insbesondere für Einsatzfahrzeuge wie Krankenwagen, Polizeiwagen, Feuerwehr, Baustellenfahrzeug oder Schwertransport ist die Bereitstellung von speziellen Kommunikationssignalen sinnvoll. Mit der Projektion von Richtungspfeilen können andere Verkehrsteilnehmer beispielsweise auf nötige Spurwechsel oder Ausweichmanöver aufgefordert werden. Die Objekterkennungsfunktion des Systems ermöglicht die Ermittlung der aktuellen Position eines anderen Verkehrsteilnehmers. Die gewünschte Informationsübermittlung in grafischer Form oder Textform kann dadurch unmittelbar vor das erkannte Verkehrsteilnehmerobjekt auf die Fahrbahn projiziert werden, sodass die Information gut erkennbar und leserlich im Sichtfeld des hinzuweisenden Verkehrsteilnehmers erscheint. Die Eingabe der Kommunikationsinformation kann durch eine Freisprecheinrichtung mit Spracherkennungsfunktion und durch Bedienelemente, beispielsweise durch Knopfdruck am Lenkrad, erfolgen.According to the current state of the art, the driver's communication with other road users is only limitedly possible with conventional headlight systems. In many situations, the warning of other road users can only be done by the operation of the flasher or by switching on the hazard warning lights. Since any graphical content can be projected onto surfaces in front of the vehicle with the generated roadway light display, the invention also allows for greater functionality with respect to communication with other road users. For example, with oncoming vehicles or cyclists. This allows the system to project specific communication signals or text onto the lane. The graphical representation of the communication signals represent simple and intuitive information for other road users. Thus, for example, a projected communication signal in the form of an exclamation point can transmit a clear warning to another road user or transmit an appropriate smiley of anger, joy, despair, sadness, winking, bewilderment and other feelings. Especially for emergency vehicles such as ambulance, police car, fire, construction site or heavy transport, the provision of special communication signals makes sense. With the projection of directional arrows other road users, for example, be prompted for necessary lane changes or evasive maneuvers. The object recognition function of the system enables the determination of the current position of another road user. The desired information transmission in graphical form or text form can thereby be projected onto the roadway directly in front of the recognized road user object so that the information appears clearly recognizable and legible in the field of vision of the road user to be informed. The input of the communication information can be done by a speakerphone with voice recognition function and by controls, for example by pressing a button on the steering wheel.

Das System kann optional mit einem weiteren Kamerasystem mit Sichtfeld auf den Fahrer ausgestattet werden. Mit diesem Kamerasystem wird über eine weitere Bilderkennungsfunktion die Orientierung des Kopfes, die Blickrichtung und die Blickweite des Fahrers ermittelt. Mit dieser Information können projizierte grafische Objekte gezielt mit den Augen gesteuert werden und das Informationsverarbeitungsmittel kann Objekte in der Szene ermitteln, die durch die Augen des Fahrers anvisiert werden. Wird beispielsweise ein entgegenkommender Verkehrsteilnehmer mit den Augen anvisiert, so wählt das System nur diesen Verkehrsteilnehmer als anvisiertes Objekt aus. Sobald der Fahrer über die Bedienelemente ein gewünschtes Kommunikationssignal oder einen Text auswählt, so wird die entsprechende Kommunikationsinformation nur vor den ausgewählten Verkehrsteilnehmer projiziert. Wendet der Fahrer den Blick während des Vorganges vom anvisierten Objekt wieder ab, so haftet die projizierte Kommunikationsinformation weiterhin am verfolgten Objekt, bis ein gewisses Zeitintervall verstrichen ist oder das Objekt aus der Szene verschwindet. Durch dieses Verfahren kann der Fahrer schnell, intuitiv und gezielt Informationen an gewünschte Verkehrsteilnehmer übermitteln.The system can be optionally equipped with another camera system with field of vision to the driver. With this camera system, the orientation of the head, the viewing direction and the range of vision of the driver is determined via another image recognition function. With this information, projected graphic objects can be selectively controlled with the eyes and the information processing means can detect objects in the scene, which are targeted by the eyes of the driver. If, for example, an oncoming traffic participant is sighted by the eyes, the system selects only this road user as a targeted object. As soon as the driver selects a desired communication signal or text via the operating elements, the corresponding communication information is projected only in front of the selected road user. If the driver turns his eyes away from the targeted object during the process, the projected communication information continues to adhere to the tracked object until a certain time interval has elapsed or the object disappears from the scene. Through this method, the driver can quickly, intuitively and selectively transmit information to desired road users.

Objekte, die mit den Augen des Fahrers anvisiert werden, können mit dem erzeugten Fahrbahnlichtdisplay auch gezielt in ihrer Formgebung heller beleuchtet werden als ihre Umgebung. Durch diese Funktion werden betrachtete Objekte hervorgehoben, wodurch die Erkennbarkeit für den Fahrer verbessert wird. Insbesondere die gezielte Hervorhebung von Verkehrszeichen, Schilder, Personen, Tiere, Straßenschäden und Gefahrenstellen führt zu einer besseren Erkennbarkeit und Lesbarkeit.Objects that are sighted by the driver's eyes can also be given a brighter illumination in their shape than their surroundings with the generated traffic light display. This feature highlights objects that are viewed, improving driver visibility. In particular, the targeted highlighting of traffic signs, signs, people, animals, road damage and danger spots leads to a better visibility and readability.

Nach derzeitigem Stand der Technik sind einige Scheinwerfersysteme bekannt, die mit einer Kurvenlichtfunktion ausgestattet sind. Mit dieser Funktion wird bei Kurvenfahrt die Leuchtrichtung in die Kurvenrichtung verändert. Da der Fahrer bei Kurvenfahrt die Augen ebenfalls vorwiegend in die Kurvenrichtung lenkt, ist diese Funktion besonders sinnvoll. Mit der Information über die Blickrichtung und Blickweite des Fahrers kann die Lichtverteilung des erzeugten Fahrbahnlichtdisplays jedoch direkt mit den Augen des Fahrers gesteuert werden. Im Bereich der tatsächlichen Blickrichtung und Blickweite erhöht das System die Helligkeit nicht nur für einzelne anvisierte Objekte, sondern auch im Allgemeinen. Dadurch wird der zur Verfügung stehende Gesamtlichtstrom vorwiegend für das aktuelle Sichtfeld des Fahrers eingesetzt, wodurch der größtmögliche praktische Nutzen mit den eingesetzten Ressourcen erzielt wird. Im Vergleich zu Scheinwerfersystemen mit Kurvenlicht bietet die vorliegende Erfindung mit diesem Verfahren somit eine effektivere Lösung für die aktive Steuerung der Lichtverteilung.According to the current state of the art, some headlight systems are known which are equipped with a cornering light function. When cornering, this function changes the lighting direction in the curve direction. Since the driver also steers the eyes predominantly in the curve direction when cornering, this function is particularly useful. With the information about the line of vision and the driver's sight, however, the light distribution of the generated road-light display can be controlled directly with the eyes of the driver. In the area of the actual line of sight and gaze, the system not only increases the brightness for individual targeted objects, but also in general. As a result, the available total luminous flux is used predominantly for the current field of vision of the driver, whereby the greatest possible practical benefit is achieved with the resources used. Compared to headlamp systems with cornering light, the present invention thus provides with this method a more effective solution for the active control of the light distribution.

Die vorliegende Erfindung bietet im Vergleich zu bekannten Scheinwerfersystemen den Vorteil, dass auch Informationen auf Oberflächen der Szene dargestellt werden können. So werden mit dem erzeugten Fahrbahnlichtdisplay Medien oder Anzeigeinstrumente wie Geschwindigkeit, Kilometerstand, Zeit, Warnsignale, Radio, Verkehr, Navigation, Bordcomputer, Mobiltelefon oder Smartphone projiziert. Ähnlich wie bei Head-up-Displays bietet dies den Vorteil, dass der Fahrer beim Ablesen von Anzeigeinstrumenten den Blick nicht mehr von der Fahrbahn abwenden muss. Die mit dem Fahrbahnlichtdisplay projizierten Anzeigeinstrumente werden unmittelbar vor das Fahrzeug auf die Fahrbahn projiziert, sodass eine gute Erkennbarkeit und Lesbarkeit für den Fahrer gewährleistet wird. Die projizierten Anzeigeinstrumente können sowohl in Textform, als auch in grafischer Formgebung dargestellt werden. Je nach Belieben kann der Fahrer die Art, Darstellungsform, Helligkeit oder Sichtbarkeit wählen und einzelne Anzeigeinstrumente aktivieren oder deaktivieren.The present invention offers the advantage compared to known headlamp systems that also information on surfaces of the scene can be displayed. Thus, with the generated traffic light display media or gauges such as speed, mileage, time, warning signals, radio, traffic, navigation, on-board computer, mobile phone or smartphone are projected. Similar to head-up displays, this offers the advantage that the driver no longer has to look away from the road when reading gauges. The display instruments projected with the roadway light display are projected onto the roadway immediately in front of the vehicle, thus ensuring good visibility and readability for the driver. The projected display instruments can be displayed both in text form and in graphic form. Depending on preference, the driver can choose the type, presentation, brightness or visibility and activate or deactivate individual display instruments.

Nachfolgend wird die Erfindung anhand der Zeichnungen beispielhaft näher dargestellt. Es zeigen:The invention will now be described by way of example with reference to the drawings. Show it:

1 zwei beispielhafte Fahrzeuge (1), die mit dem System zur Erzeugung eines Fahrbahnlichtdisplays ausgestattet sind. 1 two exemplary vehicles ( 1 ) equipped with the system for generating a traffic light display.

2 eine beispielhafte Verkehrsszene, die mit dem erzeugten Fahrbahnlichtdisplay vor dem Fahrzeug (1) beleuchtet wird. 2 an exemplary traffic scene with the generated road light display in front of the vehicle ( 1 ) is illuminated.

3 eine weitere beispielhafte Verkehrsszene, die mit dem erzeugten Fahrbahnlichtdisplay vor dem Fahrzeug (1) beleuchtet wird. 3 another example traffic scene, with the generated road light display in front of the vehicle ( 1 ) is illuminated.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Fahrzeug, das mit der Erfindung ausgestattet istVehicle equipped with the invention
2a2a: Anbringungsort der Digitalprojektoren im Bereich konventioneller NebelscheinwerferLocation of the digital projectors in the area of conventional fog lights
2b2 B: Anbringungsort der Digitalprojektoren im Bereich von konventionellen Abblend-, Fernlicht- und TagfahrscheinwerfernLocation of the digital projectors in the range of conventional dipped, high beam and daytime running lights
2c2c: Anbringungsort der Digitalprojektoren im Bereich unterhalb der Windschutzscheibe und oberhalb von konventionellen Abblend-, Fernlicht- und TagfahrscheinwerfernLocation of the digital projectors in the area below the windscreen and above conventional low beam, high beam and daytime running lights
2d2d: Anbringungsort der Digitalprojektoren hinter der Windschutzscheibe im Fahrzeugraum unterhalb des DachesLocation of the digital projectors behind the windshield in the vehicle compartment below the roof
2e2e: Anbringungsort der Digitalprojektoren auf oder oberhalb des DachesLocation of digital projectors on or above the roof
2f2f: Anbringungsort der Digitalprojektoren über der Windschutzscheibe und unterhalb des DachesLocation of digital projectors above the windscreen and below the roof
33: 3D-Kamerasystem zur Ermittlung der Tiefeninformation der Szene und zur Objekterkennung und Verfolgung3D camera system for determining the depth information of the scene and for object recognition and tracking
44: Kamerasystem zur Ermittlung der Kopfposition, Blickrichtung und Blickweite des Fahrers (5)Camera system for determining the head position, viewing direction and range of vision of the driver ( 5 )
5 5: Fahrer des Fahrzeuges (1)Driver of the vehicle ( 1 )
66: Fahrbahnroadway
77: Verkehrsteilnehmerroad users
88th: abgedunkelte Ausblendungsbereiche der Verkehrsteilnehmer (7)dimmed blanking areas of road users ( 7 )
99: Gefahrenstellendanger zones
1010: Verkehrszeichen und SchilderTraffic signs and signs
1111: helle Beleuchtungsbereichebright lighting areas
1212: Kommunikationssignalecommunication signals
1313: Bereich für projizierte AnzeigeinstrumenteArea for projected display instruments
1414: abgedunkelte Fahrbahnbereiche zur Reduktion von Fahrbahnreflexionendarkened carriageway areas to reduce road reflections
1515: projizierte Warnsignaleprojected warning signals
1616: Fahrbahnmarkierungenroad markings
1717: Beleuchtungsbereich für FahrbahnmarkierungenIllumination area for lane markings
1818: projizierte Fahrspur des Fahrzeuges (1)projected lane of the vehicle ( 1 )
1919: linierte Lichtmuster auf der Fahrbahn (6)Lined light patterns on the road ( 6 )

Claims

Arrangement in vehicles for producing a roadway light display in front of the vehicle ( 1 ) with one or more digital projectors in combination with a camera system ( 3 ) for the virtual 3D reconstruction of the traffic scene and an information processing means, which serves for image acquisition, image processing, object recognition, graphics generation, graphics processing and control of the projectors.

Arrangement according to claim 1, characterized in that the digital projectors on the vehicle ( 1 ) at least one of the locations ( 2a ) 2 B ) 2c ) 2d ) 2e ) or ( 2f ) are mounted.

Arrangement according to claim 1, characterized in that a further camera system ( 4 ) is used for detecting the head position and / or the viewing direction and / or the range of vision of the driver for the control of the roadway light display, in particular for the spatial brightness adjustment.

Method for generating a traffic light display with the arrangement according to claim 1 and 2, characterized in that the road scene using the depth information of the 3D camera system ( 3 ), whereby the radiated light characteristic of each digital projector present in the system is calculated, generated and output in such a way that through the interaction of all the digital projectors a traffic light display on surfaces of the road scene in front of the vehicle ( 1 ) is projected.

Method according to claim 4, characterized in that other road users ( 7 ) by the camera system ( 3 ) and their areas ( 8th ) are dimmed with the road light display, so that no glare for other road users ( 7 ) arises with the roadway light display.

A method according to claim 4, characterized in that the brightness of the generated roadway light display at road areas ( 14 ) in the direction of projection between light sources of the vehicle ( 1 ) and other road users ( 7 ) is actively reduced, so that the glare caused by road reflections is reduced for other road users.

A method according to claim 4, characterized in that other light sources or bright areas by the camera system ( 3 ) are detected and tracked, thereby saving energy or reducing glare ( 5 ) are illuminated darker with the carriageway light display and / or illuminated brighter to increase the contrast when displaying information.

A method according to claim 4, characterized in that traffic signs and / or signs and / or danger spots such as persons, animals, road damage and obstacles by the camera system ( 3 ) and tracked so that their areas ( 11 ) are lit brighter or flashing with respect to their immediate surroundings with the traffic light display.

A method according to claim 4, characterized in that with the carriageway light display warning signals ( 15 ) are projected onto danger areas such as persons, animals, road damage and obstacles in front of and / or in the projection direction of the venues on the road.

A method according to claim 4, characterized in that the lane light display lane markings and boundaries on the road ahead of the vehicle ( 1 ) and / or that lane markings and boundaries ( 16 ) by the camera system ( 3 ) and tracked so that their areas ( 17 ) are lit brighter with the road light display than their surroundings.

A method according to claim 4, characterized in that with the roadway light display the roadway with dotted and / or dashed and / or lined graphic light patterns ( 19 ), wherein the geometric shape of the projected light pattern may correspond to the course of the roadway.

A method according to claim 4, characterized in that with the roadway light display the future lane ( 18 ) in front of the vehicle ( 1 ) is projected onto the roadway.

A method according to claim 4, characterized in that with the roadway light display, in the carriageway area ( 13 ) in front of the vehicle ( 1 ), Media or gauges such as speed, mileage, time, warning signals, radio, traffic, navigation, on-board computer, mobile phone or smartphone are projected in text form and / or in graphical form.

Method according to claims 3 and 4, characterized in that objects which are in the eyes of the driver ( 5 ) are illuminated with the road light display brighter than their surroundings and / or that the brightness of the road light display is increased not only for individual targeted objects, but also generally in the environment of the viewpoint.

A method according to claim 3 and 4, characterized in that the traffic light display communication signals ( 12 ) are projected in textual form and / or graphically in front of other road users, whereby the driver ( 5 ) can perform the selection of the desired road user by sighting with the eyes.