AT14896U1

AT14896U1 - Intelligent mirror for detecting positions of persons, animals and objects and their movements to warn road users

Info

Publication number: AT14896U1
Application number: ATGM50177/2015U
Authority: AT
Inventors: Gerfried Dipl Ing Dr Techn Cebrat
Original assignee: Gerfried Dipl Ing Dr Techn Cebrat
Priority date: 2015-09-24
Filing date: 2015-09-24
Publication date: 2016-08-15

Abstract

Es wird ein intelligenter Spiegel zur Erfassung von Positionen und Bewegungen zur Warnung von Verkehrsteilnehmern vorgestellt. Eine Verarbeitungseinheit mit CPU bzw. GPU zur schnellen Verarbeitung geometrischer Daten und Speicher wertet die Information von mindestens einer am Rande des Spiegels (1) befindliche Sensoreinheit (2a, 2b) aus Stereokamera, RADAR, LIDAR in Bezug auf mögliche Risiken aus. Wird eine Kollision durch Extrapolation der Trajektorien der Verkehrsteilnehmer vermutet, wird mindestens ein Leuchtmittel (6) am Spiegelrand aktiviert. Vorteilhafterweise werden bei Kollisionsgefahr auch über drahtlose Kommunikation nomadische Geräte der Verkehrsteilnehmer aktuiert.An intelligent mirror for detecting positions and movements to warn road users is presented. A processing unit with CPU or GPU for fast processing of geometric data and memory evaluates the information from at least one on the edge of the mirror (1) located sensor unit (2a, 2b) of stereo camera, RADAR, LIDAR with respect to possible risks. If a collision is suspected by extrapolation of the trajectories of road users, at least one light source (6) is activated at the edge of the mirror. Advantageously, in case of risk of collision nomadic devices of the road users are also actuated via wireless communication.

Description

Beschreibung [0001] Die Erfindung betrifft einen intelligenten Spiegel zur Erfassung von Positionen von Personen, Tieren und Gegenständen und deren Bewegungen zur Warnung von Verkehrsteilnehmern.Description: [0001] The invention relates to an intelligent mirror for detecting positions of persons, animals and objects and their movements for warning road users.

[0002] Technische Aufgabe der Erfindung ist es, einen möglichen Kollisionskurs von Verkehrsteilnehmern, sei es einspurige, mehrspurige oder nichtmotorisierte über eine Ermittlung der Trajektorien im Vergleich zur (gekrümmten) Fahrbahn zu erkennen und die Verkehrsteilnehmer bei einem Kollisionsrisiko zu warnen.Technical object of the invention is to detect a possible collision course of road users, whether it is single-track, multi-lane or non-motorized via a determination of the trajectories compared to the (curved) roadway and warn the road users in a collision risk.

[0003] Diese Aufgabe wird über eine eingebaute stereoskopische Bilderfassung oder andere Sensorik wie LIDAR gelöst, die einen Winkel von 180“oder bei konvexen Spiegeln mehr Winkel abdeckt und bei möglicher Kollision ein optisches Warnsignal aussendet, vorteilhafterweise durch einen ansteuerbaren mit zumindest einem Leuchtmittel ausgerüsteten Rahmen des Spiegels.This object is achieved via a built-in stereoscopic image capture or other sensors such as lidar, which covers an angle of 180 "or convex mirrors more angle and emits an optical warning signal possible collision, advantageously by a controllable equipped with at least one light source frame of the mirror.

[0004] Zu erkennende Kollisionen sind: [0005] - Ein Verkehrsteilnehmer befindet sich auf dem Teil der Fahrbahn, die ein andererCollisions to be detected are: [0005] - One road user is on the part of the carriageway, the other one

Verkehrsteilnehmer benötigt.Road users needed.

[0006] - Ein Verkehrsteilnehmer nähert sich einer scharfen Kurve (bezogen auf den Fahr bahnzustand) zu schnell.[0006] - A road user approaches a sharp turn (based on the driving track state) too fast.

[0007] - Ein Verkehrsteilnehmer (oder auch Tier beispielsweise auf einem kombinierten Geh- und Radweg) bewegt sich in Richtung der Hälfte der Fahrbahn, die ein anderer Verkehrsteilnehmer benötigt.A road user (or animal, for example, on a combined pedestrian and bicycle path) moves in the direction of half of the roadway, which requires another road user.

[0008] Verkehrs- und Rückspiegel haben durch die optische Verkleinerung das Problem, dass sich schnell nähernde Verkehrsteilnehmer schlecht sichtbar sind, dennoch sind sie wichtig, besonders für Verkehrsteilnehmer die ohne Fahrzeug keine Kameralösung im Rückspiegel des Fahrzeuges zur Verfügung haben. Auch wird über stationäre Spiegel mit Bilderfassung die Entfernung der Verkehrsteilnehmer zum Aufnahmesensor verringert und damit die Erkennung erleichtert. Die Idee der Augmented Reality, wo Verkehrsteilnehmer am Spiegel durch Hinter-leuchtung eines halbtransparenten Spiegels gekennzeichnet werden, oder wo der Spiegel durch Bildschirm und Kamera ersetzt wird, wie in KR101541180 gezeigt, wodurch die Objekte visuell betont werden können ist für stationäre Spiegel kein Thema, da sich die Sichtwinkel hier während der Fahrt verändern. Vom Spiegel her gesehen, sind jedoch die Winkel der Verkehrsteilnehmer nur abhängig von deren Position, und ermöglichen daher die Erkennung möglicher Kollisionen. Es sind Einheiten mit unspezifischer Warnung wie KR20150077500 bekannt. P2002038428 zeigt eine Sensor-Lichtquellen-Kombination. Vorteilhafterweise kann in der vorgestellten Lösung eine stereoskopische Aufnahme oder eine Kombination zwischen Entfernungsmessung und bildgebendem Verfahren zum Einsatz kommen. Die für das autonome Fahren weiter entwickelten kostengünstigen LIDAR Einheiten scheinen geeignet, aber es sind auch andere stereoskopische bildgebende Verfahren möglich, die über eine wiederholte Ortsbestimmung eine Konstruktion der Trajektorien der Verkehrsteilnehmer ermöglichen, welche auf Kollision untersucht werden können.Traffic and rear view mirror have the optical reduction the problem that fast approaching road users are poorly visible, yet they are important, especially for road users who have no camera no camera solution in the rearview mirror of the vehicle available. Also, the distance of the road users is reduced to the recording sensor via stationary mirror with image capture and thus facilitates the detection. The idea of augmented reality, where road users at the mirror are characterized by backlighting a semi-transparent mirror, or where the mirror is replaced by the screen and camera, as shown in KR101541180, whereby the objects can be visually emphasized is not an issue for stationary mirrors, because the viewing angles change here while driving. Seen from the mirror, however, the angles of the road users are only dependent on their position, and therefore enable the detection of possible collisions. There are units with non-specific warning known as KR20150077500. P2002038428 shows a sensor-light source combination. Advantageously, a stereoscopic image or a combination between distance measurement and imaging method can be used in the presented solution. The cost-effective LIDAR units developed further for autonomous driving seem to be suitable, but other stereoscopic imaging methods are also possible which, via repeated location determination, allow a construction of the trajectories of the road users, who can be examined for collision.

[0009] Die Erfindung wird anhand eines Ausführungsbeispiels gemäß den Zeichnungen näher erläutert, wobei Fig. 1 das Prinzip mit stationärem Spiegel und aktivem Leuchtmittel zeigt (jeweils ein Leuchtmittel 6 und mindestens einen Sensor 2a, 2b der symmetrischen Ausführung) und Fig. 2 die Systemarchitektur. Fig. 3 zeigt eine mögliche Repräsentation eines Spiegels. Fig. 4 zeigt beispielhaft eine Ausrüstung mit einem Photovoltaikpaneel 9. Für unterschiedliche Aufstellungs-Richtungen kann dieses auch unabhängig vom Spiegel ausgerichtet werden.The invention will be explained in more detail with reference to an embodiment according to the drawings, wherein Fig. 1 shows the principle with a stationary mirror and active lamp (each a bulb 6 and at least one sensor 2a, 2b of the symmetrical design) and Fig. 2, the system architecture , Fig. 3 shows a possible representation of a mirror. By way of example, FIG. 4 shows equipment with a photovoltaic panel 9. For different installation directions, it can also be aligned independently of the mirror.

[0010] Das Sensorauswertungs-Modul 2 (für Sensoren 2a und 2b aus LIDAR, stereoskopische Erfassung, Radar etc., auch in Kombination möglich) erfasst mit Hilfe der Kalibrierungsdaten 3 die Position der Verkehrsteilnehmer 5, sowie den Geschwindigkeitsvektor. Über eine Interpola tion bzw. Prognose der zukünftigen Bewegung wird eine eventuelle Kollision von der Recheneinheit 5 erkannt und gegebenenfalls Leuchtmittel 6 am Spiegel oder ein Leuchtrahmen um den Spiegel aktiviert bzw. die Kommunikationseinheit 8 aktiviert.The sensor evaluation module 2 (for sensors 2a and 2b from LIDAR, stereoscopic detection, radar, etc., also possible in combination) detected by means of the calibration data 3, the position of the road users 5, as well as the velocity vector. A possible collision is detected by the arithmetic unit 5 via an interpolation or prognosis of the future movement and if necessary illuminating means 6 on the mirror or a luminous frame about the mirror are activated or the communication unit 8 is activated.

[0011] Durch die Verwendung zweier Sensorauswertungsmodule 2 samt Sensoren 2a und 2b sowie zweier Verarbeitungseinheiten 4 wird die Verarbeitung beschleunigt und ist wegen des damit möglichen kleineren Öffnungswinkels für die Linsen der Sensoren 2a, 2b genauer. Aus Kostengründen kann aber auch nur eine LIDAR-Einheit genutzt werden, die an eine parallel verarbeitende Auswerteeinheit angeschlossen ist, wobei vorteilhafterweise GPUs zur Datenverarbeitung genutzt werden. Für den energieautarken Betrieb kann auch ein Solarpaneel 9 inkl. Laderegler und Sekundärbatterie vorgesehen werden.By using two sensor evaluation modules 2 together with sensors 2a and 2b and two processing units 4, the processing is accelerated and is more accurate because of the possible smaller opening angle for the lenses of the sensors 2a, 2b. For cost reasons, however, only one LIDAR unit can be used, which is connected to a parallel processing evaluation, advantageously GPUs are used for data processing. For energy self-sufficient operation, a solar panel 9 incl. Charge controller and secondary battery can be provided.

[0012] Was die Warnung der Verkehrsteilnehmer über beispielhafte Leuchtmittel 6 betrifft, die auch intermittierend Licht abgeben können, sind auch Lösungen denkbar, wo ein sich am falschen Ort befindlicher Verkehrsteilnehmer über für die Hemisphären geteilten Leuchtmittel 5 beispielsweise intensiver oder anders gewarnt wird als sein Konterpart. Eine Ergänzung über eine Projektion 7 von grafischen Elementen auf die Fahrbahn ist zur Interaktion mit den Verkehrsteilnehmern möglich, um sie zu warnen, aber auch nützlich um die Erkennung der Fahrbahn und der Position der Verkehrsteilnehmer zu kalibrieren. Schlussendlich ist es auch denkbar, dass nicht aufmerksame oder seheingeschränkte Verkehrsteilnehmer mittel Kommunikationseinheit 8 über eine Datenverbindung und Warntöne oder eine Vibration ihrer mobilen Endgeräte aber u.U. auch eine offene und standardisierte induktive Einkopplung in Hörgeräte gewarnt werden. Die Übertragung an Smart Watches ist ebenso denkbar, wenn ein ad hoc Verfahren genutzt wird um die Verbindung herzustellen.As for the warning of road users on exemplary bulbs 6, which can also emit light intermittently, solutions are also conceivable, where a road user located at the wrong place on the divided bulbs 5 for the hemispheres is warned, for example, more intense or different than its counterpart , Complementing it with a projection 7 of graphical elements on the roadway is possible to interact with the road users to warn them, but also useful to calibrate the recognition of the roadway and the position of the road users. Finally, it is also conceivable that non-attentive or limited-view road users means communication unit 8 via a data connection and warning sounds or vibration of their mobile devices but u.U. also warned an open and standardized inductive coupling in hearing aids. The transmission to smart watches is also conceivable if an ad hoc method is used to establish the connection.

[0013] Die drahtlose Datenübertragung ermöglicht auch, die von der Einheit erworbene Information an autonom fahrende Fahrzeuge zu geben, welche dann in Form einer Sensor Fusion zur besseren Lagebeurteilung genutzt werden kann. Dazu sind für die Informationsübertragung Schnittstellenstandards auszuarbeiten, DSRC bzw. IEEE 802.11p kann als Übertragungskanal dienen.The wireless data transmission also makes it possible to give the information acquired by the unit to autonomous vehicles, which can then be used in the form of a sensor fusion for better assessment of the situation. For this, interface standards have to be developed for the transmission of information. DSRC or IEEE 802.11p can serve as a transmission channel.

Claims

claims

1. Intelligent mirror for installation along a road to detect positions and movements to warn road users, characterized in that the intelligent mirror via at least one sensor (2a, 2b) selected from stereo camera, RADAR or LIDAR on the edge of an optical mirror (1 ), wherein a processing unit (4) with CPU and memory with the aid of this sensor (2a, 2b) determines positions and speed vectors of road users and determines a possible collision between the road users via interpolation of the trajectories or prognosis of the future movement of the road users, and in that the intelligent mirror has at least one warning unit with illuminating means (6) installed at the edge of the mirror, which is activated to warn road users when a collision danger is detected.

2. Intelligent mirror according to claim 1, characterized in that it has a built-in projection unit (7) which projects graphic symbols on the roadway when detected danger of collision.

3. Intelligent mirror according to one of claims 1 or 2, characterized in that it has a built-in wireless communication unit (8), which passes information on the road users associated devices such as hearing aids, mobile phones or smart watches in case of detected risk of collision via DSRC, WLAN or Bluetooth which cause these devices to emit a warning tone or a vibration signal.

4. Intelligent mirror according to one of claims 1 to 3, characterized in that it has a photovoltaic solar system, via which the intelligent mirror is supplied with electrical energy, wherein advantageously the mirror surface is equipped with a transparent solar cell.

5. A method for calibrating an intelligent mirror according to one of claims 1 to 4, which is set up along a roadway, for detecting positions and movements to warn road users, characterized in that over a projection unit (7) lane boundary lines are projected onto the road wherein these projected lines are positioned coincident with the lane boundary, and that the positions of the road users are determined relative to these lane boundary lines. 4 sheets of drawings