DE102016217263A1

DE102016217263A1 - Method of warning a person of a source of danger

Info

Publication number: DE102016217263A1
Application number: DE102016217263.8A
Authority: DE
Inventors: Klaus Rink
Original assignee: Continental Teves AG and Co OHG
Current assignee: Continental Automotive Technologies GmbH
Priority date: 2016-09-09
Filing date: 2016-09-09
Publication date: 2018-03-15

Abstract

Die Erfindung betrifft ein Verfahren zum Warnen einer Person vor einer Gefahrenquelle mittels eines tragbaren Geräts, wobei die Gefahrenquelle in einem Bild erkannt und ansprechend darauf eine Warnung ausgegeben wird.The invention relates to a method for warning a person of a source of danger by means of a portable device, wherein the source of danger is detected in an image and in response a warning is issued.

Description

Die Erfindung betrifft ein Verfahren zum Warnen einer Person vor einer Gefahrenquelle mittels eines tragbaren Geräts. The invention relates to a method for warning a person of a danger source by means of a portable device.

Im heutigen Verkehr sind die diversen Verkehrsteilnehmer einer Vielzahl von Gefahren ausgesetzt, wobei eine erhebliche Gefahrenquelle in der Kollision zwischen zwei oder mehr Verkehrsteilnehmern besteht. Derartige Kollisionen können insbesondere aufgrund von Unachtsamkeiten entstehen. Insbesondere können Kollisionen bei verletzlichen Verkehrsteilnehmern wie Fußgängern oder Radfahrern besonders schwere Verletzungen hervorrufen, da sie im Gegensatz zu Insassen von Kraftfahrzeugen keine schützenden Teile um sich herum haben und typischerweise unmittelbar erfasst werden. Es ist somit anzustreben, Unfälle mit solchen verletzlichen Verkehrsteilnehmern soweit wie möglich zu reduzieren. In current traffic, the various road users are exposed to a variety of dangers, with a significant source of danger in the collision between two or more road users. Such collisions can arise in particular due to carelessness. In particular, collisions can cause particularly serious injuries to vulnerable road users, such as pedestrians or cyclists, because unlike inmates of motor vehicles, they have no protective parts around them and are typically detected immediately. It is therefore desirable to reduce accidents with such vulnerable road users as far as possible.

Wie sich in den letzten Jahren gezeigt hat, setzen sich jedoch gerade derartige verletzliche Verkehrsteilnehmer im Verkehr häufig selbst einer erheblichen Gefahr aus, indem sie tragbare Geräte wie insbesondere Smartphones und ähnliche Geräte nutzen, während sie sich in Bereichen bewegen, in welchen auch andere Verkehrsteilnehmer unterwegs sind. Hierdurch entsteht häufig eine erhebliche Unaufmerksamkeit, durch welche Gefahrenquellen nicht rechtzeitig erkannt werden und die Wahrscheinlichkeit für gefährliche Unfälle deutlich erhöht wird. Derartige Verkehrsteilnehmer werden auch „Smombies“ (Smartphone Zombies) genannt und fallen häufig durch unaufmerksames Bewegen im Verkehr auf. However, as has been shown in recent years, it is precisely such vulnerable road users in traffic themselves that often pose a significant threat by using portable devices such as, in particular, smartphones and similar devices while traveling in areas where other road users are traveling are. This often results in a significant inattention, by which sources of danger are not detected in time and the probability of dangerous accidents is significantly increased. Such road users are also called "smombies" (smartphone zombies) and often stand out due to inattentive movement in traffic.

Es ist deshalb eine Aufgabe der Erfindung, ein Verfahren vorzusehen, welches bei derartig unaufmerksamen Verkehrsteilnehmern das Unfallrisiko senkt. It is therefore an object of the invention to provide a method which reduces the risk of accidents in such inattentive road users.

Dies wird erfindungsgemäß durch ein Verfahren nach Anspruch 1 erreicht. Vorteilhafte Ausgestaltungen können beispielsweise den Unteransprüchen entnommen werden. Der Inhalt der Ansprüche wird durch ausdrückliche Inbezugnahme zum Inhalt der Beschreibung gemacht. This is achieved according to the invention by a method according to claim 1. Advantageous embodiments can be taken, for example, the dependent claims. The content of the claims is made by express reference to the content of the description.

Die Erfindung betrifft ein Verfahren zum Warnen einer Person vor einer Gefahrenquelle mittels eines tragbaren Geräts. Das Verfahren weist folgende Schritte auf:

– Aufnehmen einer Anzahl von Bildern mittels einer Kamera des tragbaren Geräts,
– Erkennen der Gefahrenquelle in zumindest einem der Bilder, und ansprechend darauf
– Ausgeben einer Warnung durch das tragbare Gerät.

The invention relates to a method for warning a person of a danger source by means of a portable device. The method comprises the following steps:

Taking a number of images by means of a camera of the portable device,
- Detecting the source of danger in at least one of the images, and responding to it
- Issuing a warning from the portable device.

Mittels des erfindungsgemäßen Verfahrens kann das tragbare Gerät, insbesondere ein Mobiltelefon bzw. ein Smartphone oder auch ein Tablet oder eine andere Einrichtung, welches typischerweise die Quelle für die Ablenkung des Verkehrsteilnehmers ist, in sinnvoller Weise dazu verwendet werden, den Verkehrsteilnehmer vor Gefahrenquellen zu warnen. Dabei kann insbesondere auf eine in den meisten Smartphones ohnehin vorhandene Kamera sowie eine regelmäßig ausreichende Rechenkapazität zurückgegriffen werden. Es ist somit typischerweise nicht nötig, zusätzliche Geräte zu verwenden, sondern die entsprechende Funktionalität kann beispielsweise durch das einfache Installieren einer Applikation auf dem Smartphone realisiert werden. Dadurch wird die Akzeptanz bei Benutzern deutlich erhöht. By means of the inventive method, the portable device, in particular a mobile phone or a smartphone or a tablet or other device, which is typically the source for the distraction of the road user, can be used in a meaningful way to warn the road users of hazards. In particular, it is possible to fall back on a camera that is present anyway in most smartphones, as well as regular computing capacity. It is therefore typically not necessary to use additional devices, but the corresponding functionality can be realized for example by simply installing an application on the smartphone. This significantly increases user acceptance.

Die Gefahrenquelle kann insbesondere aus folgender Gruppe ausgewählt sein:

– Bordstein,
– Straße,
– Fußgängerüberweg,
– Fahrbahnmarkierung,
– Fahrrad,
– andere Person,
– Straßenlampe,
– Trafohäuschen,
– Briefkasten,
– Schlagloch,
– Straßenbahn,
– parkendes Auto,
– parkendes Fahrzeug.

The source of danger may in particular be selected from the following group:

Curb,
- Street,
- pedestrian crossing,
- road marking,
- Bicycle,
- other person,
- street lamp,
- transformer house,
- mailbox,
- pothole,
- tram,
- parked car,
- parked vehicle.

Bei derartigen Gefahrenquellen kommt es erfahrungsgemäß häufig vor, dass abgelenkte Fußgänger gegen eine solche Gefahrenquelle laufen und sich verletzen, oder dass sie an oder in solchen Gefahrenquellen mit anderen Verkehrsteilnehmern wie beispielsweise auf einer Straße fahrenden Fahrzeugen kollidieren. Insofern ist gerade bei derartigen Gefahrenquellen eine Warnung besonders sinnvoll. Es sei verstanden, dass eine beliebige Kombination oder Unterkombination aus den genannten Gefahrenquellen verwendet werden kann, d.h. insbesondere eine Warnung vor derartigen Gefahrenquellen implementiert sein kann. Experience has shown that such sources of danger often occur that distracted pedestrians run against such a source of danger and injure themselves, or that they collide at or in such danger sources with other road users, such as vehicles traveling on a road. In this respect, a warning is especially useful for such sources of danger. It should be understood that any combination or subcombination from the noted hazards may be used, i. In particular, a warning against such hazards can be implemented.

Gemäß einer vorteilhaften Ausführung weist das tragbare Gerät einen Bildschirm zur Betrachtung durch die Person auf, wobei Bildschirm und Kamera in unterschiedliche Richtung weisen. Dadurch kann die Kamera typischerweise einen Bereich vor der Person aufnehmen, welcher bei normalem Vorwärtsgang auch derjenige Bereich ist, zu welchem sich die Person jeweils hinbewegt. According to an advantageous embodiment, the portable device has a screen for viewing by the person, the screen and the camera pointing in different directions. As a result, the camera can typically record an area in front of the person who, in normal forward gear, is also the area to which the person moves in each case.

Die Warnung kann insbesondere optisch, akustisch und/oder haptisch ausgegeben werden. Eine optische Warnung kann insbesondere durch visuelle Informationen, beispielsweise Zeichen wie Hand- oder Stoppzeichen, ausgegeben werden. Eine akustische Warnung kann insbesondere durch Warntöne und/oder modulierte Warntöne und/oder durch Sprachinformationen und/oder durch Anweisungen ausgegeben werden. Eine haptische Warnung kann insbesondere durch Vibration oder Vibrationssequenzen, beispielsweise mit unterschiedlicher Intensität oder Frequenz oder pulsierend unterbrochen ausgegeben werden. Derartige Arten von Warnungen haben sich als vorteilhaft erwiesen, da sie vom Benutzer leicht wahrgenommen werden und gegebenenfalls auch die Aufmerksamkeit des Benutzers von einer sonstigen Funktionalität des tragbaren Geräts entziehen, welcher sich der Benutzer gerade widmet. The warning can be issued in particular visually, acoustically and / or haptically. An optical warning can in particular by visual information, such as characters such as hand or stop characters. An audible warning may in particular be issued by warning tones and / or modulated warning tones and / or by voice information and / or instructions. A haptic warning can be issued in particular by vibration or vibration sequences, for example with different intensity or frequency or pulsed interrupted. Such types of warnings have proven to be advantageous in that they are easily perceived by the user and, if appropriate, also remove the user's attention from any other functionality of the portable device that the user is currently devoting.

Das Erkennen der Gefahrenquelle kann beispielsweise auf Mustererkennung und/oder Kontrastgrenzen basieren. Damit können typische Gefahrenquellen, beispielswiese die weiter oben beschriebenen Gefahrenquellen, vorteilhaft erkannt werden. The recognition of the danger source can be based, for example, on pattern recognition and / or contrast limits. Thus, typical sources of danger, for example the danger sources described above, can be advantageously recognized.

Gemäß einer vorteilhaften Ausführung wird vor dem Schritt des Ausgebens einer Warnung ein Schritt des Erkennens einer Gefahrensituation durchgeführt, wobei die Warnung nur dann ausgegeben wird, wenn eine Gefahrensituation, insbesondere eine Kollisionsgefahr der Person mit der Gefahrenquelle, erkannt wird. Damit kann die Anzahl von falschen Alarmen reduziert werden und somit die Akzeptanz des Systems verbessert werden. Außerdem wird verhindert, dass durch eine hohe Zahl von Fehlalarmen eine Gewöhnung des Benutzers an Fehlalarme erfolgt, weshalb er eventuell berechtigte Alarme nicht mehr ernst nehmen würde. According to an advantageous embodiment, before the step of issuing a warning, a step of recognizing a dangerous situation is carried out, the warning being output only when a dangerous situation, in particular a risk of collision of the person with the danger source, is detected. Thus, the number of false alarms can be reduced and thus the acceptance of the system can be improved. In addition, it is prevented that due to a high number of false alarms, the user gets used to false alarms, so he might no longer take legitimate alarms seriously.

Unter einer Gefahrensituation kann dabei insbesondere eine Situation verstanden werden, in welcher ohne entsprechende Reaktion einer Person ein Unfall erfolgen würde.In this context, a dangerous situation may, in particular, be understood as a situation in which an accident would occur without a corresponding reaction of a person.

Es sei jedoch darauf hingewiesen, dass nicht nur dann eine Warnung ausgegeben werden kann, wenn eine Gefahrenquelle wie beispielsweise ein Auto mit einer unmittelbaren Kollisionsgefahr erkannt wird, sondern auch schon, wenn zum Beispiel ein Bordstein oder eine andere Gefahrenquelle erkannt wird und damit darauf geschlossen werden kann, dass die Person bzw. der Fußgänger die Straße betreten will und daraus ein Kollisionsrisiko mit einem Fahrzeug resultiert. It should be noted, however, that not only can a warning be issued when a source of danger such as a car is detected with an immediate risk of collision, but even if, for example, a curb or other source of danger is detected and thus closed may indicate that the person or the pedestrian wants to enter the street and that this results in a collision risk with a vehicle.

Gemäß einer bevorzugten Ausführung enthält die Warnung eine Richtungsinformation, welche eine Richtung der Gefahrenquelle anzeigt. Dadurch kann eine Person nicht nur allgemein auf eine Gefahrenquelle hingewiesen werden, sondern es kann auch die Richtung angegeben werden, so dass beispielsweise die Person unmittelbare ihre Aufmerksamkeit auf die entsprechende Richtung lenken kann. According to a preferred embodiment, the warning includes directional information indicating a direction of the hazard. As a result, not only can a person be generally referred to a source of danger, but the direction can also be indicated so that, for example, the person can direct his attention directly to the appropriate direction.

Die Warnung kann gemäß einer vorteilhaften Ausführung als akustische Warnung auf einer Anzahl von Ohrhörern ausgegeben werden, wobei die Warnung vorzugsweise nur oder verstärkt auf demjenigen Ohrhörer ausgegeben wird, welchen die Person auf derjenigen Seite trägt, an welcher sich die Gefahrenquelle befindet. Dadurch kann die häufige Verwendung von Ohrhörern in Verbindung mit Smartphones oder anderen tragbaren Geräten dazu verwendet werden, die Person nicht nur zu warnen, sondern insbesondere auch auf die Richtung der Gefahrenquelle hinzuweisen. Beispielsweise kann bei einem sich von links nähernden Auto, mit welchem eine Kollisionsgefahr besteht, die Warnung nur oder überwiegend auf dem linken Ohrhörer ausgegeben werden, so dass der Benutzer unmittelbar seinen Blick auf das Fahrzeug lenkt. According to an advantageous embodiment, the warning can be output as an acoustic warning on a number of earphones, whereby the warning is preferably output only or amplified on the earphone which the person carries on the side where the source of danger is located. Thus, the frequent use of earphones in conjunction with smartphones or other portable devices can be used not only to alert the person, but also to point out the direction of the source of danger. For example, in a car approaching from the left, with which there is a danger of collision, the warning can be issued only or predominantly on the left earphone, so that the user immediately directs his gaze to the vehicle.

Gemäß einer Weiterbildung überwacht das tragbare Gerät ferner einen Haltungswinkel, insbesondere durch Beschleunigungssensoren und/oder Drehratensensoren und/oder durch Analyse der Bilder, beispielsweise durch Erkennen von waagrechten Linien. Vorteilhaft gibt das tragbare Gerät dabei ferner Informationen an die Person aus, wenn diese das tragbare Gerät in einem anderen Haltungswinkel halten soll. Dadurch kann der Haltungswinkel des tragbaren Geräts so optimiert werden, dass eine möglichst gute Erkennung von Gefahrenquellen möglich ist. According to a development, the portable device further monitors a posture angle, in particular by acceleration sensors and / or rotational rate sensors and / or by analyzing the images, for example by detecting horizontal lines. Advantageously, the portable device also provides information to the person if they should keep the portable device in a different attitude angle. As a result, the attitude angle of the portable device can be optimized so that the best possible detection of hazards is possible.

Gemäß einer vorteilhaften Ausführung weist das Verfahren ferner eine Kalibrierfunktion auf, bei welcher durch Aufnahme von Gefahrenquellen, insbesondere von typischen Gefahrenquellen, Muster zur Erkennung von Gefahrenquellen erlernt und/oder verbessert werden. Dadurch kann die Erkennung im Laufe der Zeit verbessert werden. Derartige Muster können beispielsweise intern im tragbaren Gerät verwendet werden, oder sie können auch über einen zentralen Server zwischen mehreren Geräten aufgeteilt werden. According to an advantageous embodiment, the method further comprises a calibration function, in which by recording sources of danger, in particular of typical sources of danger, patterns for the recognition of sources of danger are learned and / or improved. This can improve detection over time. Such patterns may be used internally in the portable device, for example, or they may be shared between multiple devices via a central server.

Gemäß einer Weiterbildung ist das tragbare Gerät mit einem Fahrzeug, insbesondere einem Rollstuhl, zum Transport der Person kommunikativ verbunden, wobei bei einer Warnung und/oder bei einer erkannten Gefahr, insbesondere einer Kollisionsgefahr, ein Bremssignal zum Abbremsen des Fahrzeugs von dem tragbaren Gerät an das Fahrzeug gesendet wird. Dadurch kann eine zusätzliche Funktionalität zur Warnung implementiert werden, so dass automatisch eine Kollision durch Abbremsen eines Fahrzeugs wie beispielsweise eines Rollstuhls ausgelöst wird. Die Sicherheit kann damit noch weiter erhöht werden. According to one embodiment, the portable device communicatively connected to a vehicle, in particular a wheelchair, for transporting the person, wherein in a warning and / or a detected danger, in particular a risk of collision, a braking signal for braking the vehicle from the portable device to the Vehicle is sent. As a result, an additional functionality for warning can be implemented, so that a collision is automatically triggered by braking a vehicle such as a wheelchair. The security can be increased even further.

Gemäß einer bevorzugten Ausführung wird eine erkannte Gefahrenquelle mittels Navigationsdaten und/oder Kartendaten plausibilisiert, bevor eine Warnung ausgegeben wird. Dadurch können Fehlalarme vermieden werden. According to a preferred embodiment, a recognized source of danger is made plausible by means of navigation data and / or map data before a warning is issued. As a result, false alarms can be avoided.

Gemäß einer bevorzugten Ausführung wird ein Betreten einer Gefahrenquelle in Form einer Straße mittels Erkennung von parkenden Fahrzeugen und/oder Überquerung eines Radwegs plausibilisiert. Derartige Situationen treten typischerweise beim Betreten einer Straße auf, so dass auch hiermit Fehlalarme vermieden werden können. According to a preferred embodiment, entering a hazard in the form of a road by means of detection of parked vehicles and / or crossing a cycle path is made plausible. Such situations typically occur when entering a street, so that false alarms can also be avoided hereby.

Gemäß einer bevorzugten Ausführung wird bei erkannter Dunkelheit ein Licht des tragbaren Geräts eingeschaltet, welches insbesondere ein Blickfeld der Kamera ausleuchtet. Derartige Lichter sind häufig in Smartphones und ähnlichen Geräten verbaut, um Foto- und Filmaufnahmen auch bei Dunkelheit zu ermöglichen. Dadurch kann die Erkennung bei Dunkelheit verbessert werden. According to a preferred embodiment, a light of the portable device is switched on when darkness is detected, which in particular illuminates a field of view of the camera. Such lights are often installed in smartphones and similar devices to allow photo and film shooting in the dark. This can improve the detection in the dark.

Gemäß einer bevorzugten Ausführung weist das Verfahren ferner folgenden Schritt auf:

– Erkennen, ob ein Benutzer auf einen Bildschirm des tragbaren Geräts blickt,
– wobei die Warnung nur dann ausgegeben wird, wenn der Benutzer auf den Bildschirm blickt.

According to a preferred embodiment, the method further comprises the following step:

Detecting whether a user is looking at a screen of the portable device,
- The warning is issued only when the user looks at the screen.

Dadurch kann erkannt werden, ob der Benutzer tatsächlich abgelenkt ist, wobei für den Fall, dass er nicht abgelenkt ist, auf eine Warnung verzichtet werden kann. Dadurch kann die Akzeptanz des Systems erhöht werden. Zum Erkennen, ob ein Benutzer auf den Bildschirm blickt, kann insbesondere eine Frontkamera bzw. eine dem Benutzer zugewandte Kamera verwendet werden. As a result, it can be detected whether the user is actually distracted, and in the event that he is not distracted, a warning can be dispensed with. This can increase the acceptance of the system. For detecting whether a user is looking at the screen, in particular a front camera or a camera facing the user can be used.

Das tragbare Gerät kann die Bilder beispielsweise kontinuierlich aufnehmen, insbesondere in Form eines Videos. Es kann die Bilder auch in bestimmten Abständen aufnehmen, beispielsweise einmal pro Sekunde. Es kann beispielsweise eine vorgegebene Anzahl von Bildern pro Sekunde oder pro anderer Zeiteinheit aufnehmen.For example, the portable device may continuously record the images, particularly in the form of a video. It can also take pictures at certain intervals, for example once a second. For example, it can record a predetermined number of frames per second or per unit of time.

Die Erfindung betrifft des Weiteren ein tragbares Gerät, insbesondere ein Mobiltelefon, welches dazu konfiguriert ist, ein erfindungsgemäßes Verfahren auszuführen. Die Erfindung betrifft des Weiteren ein nichtflüchtiges computerlesbares Speichermedium, auf welchem Programmcode gespeichert ist, bei dessen Ausführung ein Prozessor ein erfindungsgemäßes Verfahren ausführt. Hinsichtlich des erfindungsgemäßen Verfahrens kann dabei auf alle hierin beschriebenen Ausführungen und Varianten zurückgegriffen werden. The invention further relates to a portable device, in particular a mobile telephone, which is configured to carry out a method according to the invention. The invention further relates to a non-volatile computer-readable storage medium on which program code is stored, in the execution of which a processor carries out a method according to the invention. With regard to the method according to the invention, all embodiments and variants described herein can be used.

Allgemein sei darauf hingewiesen, dass zur Verbesserung der gesamten Verkehrssicherheit und Reduzierung von Unfällen neben Fahrzeugfahrern und -insassen insbesondere andere, verletzliche weil ungeschützte Verkehrsteilnehmer wie Fußgänger berücksichtigt werden sollen. Dies gilt insbesondere auch in Anbetracht der hohen und stagnierenden Unfallzahlen. In general, it should be noted that in order to improve overall road safety and reduce accidents, vehicle drivers and occupants should be given consideration, in particular, to other vulnerable, vulnerable road users, such as pedestrians. This is especially true in view of the high and stagnant numbers of accidents.

Aus diesem Grund sollen alle Möglichkeiten ausgelotet werden, diese Unfallzahlen – und damit die unterschiedlichen Szenarien, wie es zu Unfällen mit verletzlichen Verkehrsteilnehmern (auch als „Vulnerable Road Users“, VRU) kommt – zu reduzieren, und zwar durch eine Vielzahl von Konzepten, denn ein einzelnes Schutzsystem wird typischerweise nicht ausreichend sein. For this reason, all possibilities are to be explored to reduce these accident numbers - and thus the different scenarios of how accidents with vulnerable road users (also known as "Vulnerable Road Users", VRUs) can be reduced by means of a multitude of concepts, because a single protection system will typically not be sufficient.

Mit der hierin beschriebenen Erfindung wird explizit das Problem der Unfälle mit VRUs adressiert, welche Smartphones oder ähnliche Devices bzw. Geräte nutzen. The invention described herein explicitly addresses the problem of accidents involving VRUs using smartphones or similar devices.

Diese sogenannten „Smombies“ fallen durch unaufmerksames Bewegen im Verkehr auf, weil die Aufmerksamkeit auf den Bildschirm des Geräts wie Smartphone oder elektronische Brille und dessen Bedienung gerichtet ist. Insbesondere wurde erkannt, dass derartige Geräte nicht nur zur vermeidlichen Ablenkung der Nutzer verwendet werden können, sondern auch mit deren performanten Bausteinen eine Schutzfunktion vor Kollisionen, Hinfallen, unaufmerksamem Betreten einer Straße etc. realisiert werden kann. These so-called "smugies" are noticed by inattentive movement in the traffic, because the attention is directed to the screen of the device such as smartphone or electronic glasses and its operation. In particular, it was recognized that such devices can not only be used for the avoidable diversion of users, but also with their high-performance components a protective function against collisions, falling, inattentive entry of a street, etc. can be realized.

Es können nunmehr Geräte genutzt werden, welche ein HMI (Human Machine Interface, Mensch-Maschine-Schnittstelle) im Gesichtsfeld des Benutzers bzw. der Person aufweisen (Smartphone, Google-Glasses oder Ähnliches) und/oder welche eine Kamera aufweisen, welche vom Benutzer weggerichtet ist und das Vorfeld des Benutzers in Laufrichtung aufnehmen kann. It can now be used devices that have a HMI (Human Machine Interface, human-machine interface) in the field of view of the user or person (smartphone, Google glasses or the like) and / or which have a camera, which by the user is directed away and can accommodate the front of the user in the running direction.

Als Nutzergruppe sind insbesondere VRUs adressiert, welche Smartphones und ähnliche Geräte nutzen, welche auf Gehwegen in der Nähe von Straßen unterwegs sind. Die Idee ist nunmehr, das Vorfeld des „Smombies“ mit der Kamera zu analysieren und bei Bildauswertung Gefahrenquellen wie Randsteine, Fußgängerüberwege, Fahrbahnmarkierungen oder schlicht das nahende Betreten der Straße zu erkennen und den „Smombie“ zu warnen. Dies kann beispielsweise optisch, akustisch und/oder haptisch erfolgen, so dass ein unbeabsichtigtes Betreten der Straße verhindert wird. Zur Erkennung von Randsteinen und Ähnlichem im Kamerabild können übliche Umfeldbildanalysetechniken wie beispielsweise Kontrastgrenzen oder Mustererkennung eingesetzt werden. As a user group VRUs are addressed in particular, which use smartphones and similar devices, which are on sidewalks near roads on the road. The idea now is to analyze the run-up to the "Smombies" with the camera and to recognize the danger of hazards such as curbs, pedestrian crossings, lane markings or just approaching the road and warn the "Smombie". This can be done, for example, optically, acoustically and / or haptically, so that unintentional entry of the road is prevented. For detection of curbs and the like in the camera image, conventional environment image analysis techniques such as contrast boundaries or pattern recognition can be used.

Eine weitere Funktion kann sein, den „Smombie“ vor Kollisionen auf dem Gehweg, beispielsweise mit einem Radfahrer, einem anderen Fußgänger oder Smombie, mit Straßenlampen, Trafohäuschen, Briefkästen, Schlaglöchern, etc. oder am Fahrbahnrand (zum Beispiel parkende Autos) zu warnen. Another feature can be to warn the "Smombie" of collisions on the sidewalk, for example with a cyclist, another pedestrian or Smombie, with street lamps, transformer houses, mailboxes, potholes, etc. or on the roadside (for example, parked cars).

Als Warnungen kommen beispielsweise Warntöne, welche moduliert sein können (Lautstärke, Tonhöhe, pulsierend unterbrochen oder Ähnliches), und/oder Sprachinformationen oder Anweisungen, Vibrationssequenzen (unterschiedlicher Intensität, Frequenz, pulsierend unterbrochen oder Ähnliches) und/oder visuelle Informationen (Zeichen wie zum Beispiel Hand- oder Stoppzeichen, Farben, usw.) und/oder haptische Informationen (unterschiedliche Intensität, Frequenz, pulsierend unterbrochen oder Ähnliches) zum Einsatz. Warnings include, for example, warning sounds, which may be modulated (volume, pitch, pulsating interrupted, or the like), and / or voice information or instructions, vibration sequences (varying intensity, frequency, pulsating interrupted, or the like) and / or visual information (characters such as Hand or stop signs, colors, etc.) and / or haptic information (different intensity, frequency, pulsating interrupted or the like) are used.

Die Warnung kann auch zielgerichtet sein, d.h. eine Richtungsinformation enthalten. Beispielsweise kann angezeigt werden, dass eine Gefahr von links oder rechts kommt. The warning may also be targeted, i. contain a direction information. For example, it may be indicated that a hazard is coming from the left or right.

Die Warnung kann auch als Vibration und akustisches Signal auf Ohrhörern ausgegeben werden, welche mit dem Smartphone oder Ähnlichem gekoppelt sind. Hier kann die Richtungsinformation besonders gut umgesetzt werden, beispielsweise als Vibration und/oder Warnton in einem der Ohrhörer. The alert may also be output as vibration and audible signals on earphones coupled to the smartphone or the like. Here, the direction information can be implemented particularly well, for example as a vibration and / or warning sound in one of the earphones.

Das System kann sich auch selbst überwachen. Der richtige Haltungswinkel kann insbesondere durch Auswertung von beispielsweise im Smartphone befindlichen Beschleunigungs- und/oder Drehratensensoren, gegebenenfalls unterstützt durch Analyse des Kamerabilds (zum Beispiel Erkennung von waagrechten Linien im Bild) analysiert werden und dem Nutzer eine Rückmeldung zur richtigen Haltung gegeben werden, damit die Schutzfunktion gewährleistet werden kann. The system can also monitor itself. The correct attitude angle can in particular be analyzed by evaluating, for example, acceleration and / or rotation rate sensors in the smartphone, if necessary supported by analysis of the camera image (for example detection of horizontal lines in the image), and the user is given feedback on the correct attitude, so that the Protective function can be guaranteed.

Das System kann insbesondere kalibriert werden bzw. den Nutzer zur Kalibration aufrufen. Dies kann beispielsweise durch Aufnahme von typischen Randsteinen erfolgen, wodurch die Bildauswertung deren Erkennung lernen und verbessern kann. Der Nutzer kann dabei beispielsweise nach Aufforderung ein Bild eines Randsteins aufnehmen und diesen markieren oder eine vom Schutzsystem vorgeschlagene Markierung bestätigen. In particular, the system can be calibrated or the user can be called up for calibration. This can be done for example by recording typical curbs, whereby the image analysis can learn and improve their recognition. By way of example, the user can take a picture of a curb and mark it or confirm a marking proposed by the protection system.

Das System kann insbesondere auch für Behinderte zur Erkennung von Barrieren und Kollisionsgefahren genutzt werden. In einer weiteren Ausbaustufe könnte das System zum Beispiel im Smartphone bei Erkennung zum Beispiel eines Randsteins durch eine Kopplung mit einem elektronisch gesteuerten Rollstuhl (zum Beispiel durch eine Bluetooth-Kopplung) diesen zum rechtzeitigen Abbremsen ansteuern. The system can also be used in particular for the disabled to detect barriers and collision hazards. In a further expansion stage, the system could, for example, in the smartphone in recognition of, for example, a curb by coupling with an electronically controlled wheelchair (for example, by a Bluetooth coupling) to trigger this timely braking.

Das System kann auch für Radfahrer angewendet werden, wozu das Gerät beispielsweise am Lenker montiert werden kann. The system can also be used for cyclists, for which purpose the device can be mounted on the handlebar, for example.

Es können auch aus Navigations- und Kartendaten weitere Informationen zu Straßen in der Nähe des VRU bezogen werden und die Erkennung des Betretens der Straße kann dadurch plausibilisiert werden. It is also possible to obtain further information on roads in the vicinity of the VRU from navigation and map data, and the recognition of the entry of the road can thereby be made plausible.

Es kann auch eine Erkennung von parkenden Fahrzeugen an Straßen oder das Überqueren von Radwegen erfolgen, welche sich neben Straßen befinden, um das Betreten einer Straße zu plausibilisieren. It may also be a recognition of parked vehicles on roads or crossing of bike paths, which are located next to roads to make it plausible to enter a road.

Bei Eintreten der Dunkelheit kann sich automatisch ein Smartphone-Licht einschalten, um die Erkennung zu verbessern. As darkness falls, a smartphone light can automatically turn on to improve recognition.

Weitere Merkmale und Vorteile wird der Fachmann dem nachfolgend mit Bezug auf die beigefügte Zeichnung beschriebenen Ausführungsbeispiel entnehmen. Dabei zeigen: Further features and advantages will be apparent to those skilled in the embodiment described below with reference to the accompanying drawings. Showing:

1: eine Situation, in welcher das erfindungsgemäße Verfahren angewendet werden kann, in einer Draufsicht, und 1 a situation in which the method according to the invention can be applied, in a plan view, and

2: die Situation von 1 in einer Seitenansicht. 2 : the situation of 1 in a side view.

1 zeigt eine Situation, in welcher das erfindungsgemäße Verfahren vorteilhaft angewandt werden kann. Dabei ist eine Straße 5 zu sehen, auf welcher ein Fahrzeug 10 fährt. Die Fahrtrichtung ist mittels eines Pfeils angegeben. Neben der Straße befindet sich eine Person 20, welche ein tragbares Gerät 25 in Form eines Smartphones mit sich führt. Die Person 20 benutzt das tragbare Gerät 25 und schaut dabei auf einen Bildschirm des tragbaren Geräts 25, so dass die Person 20 abgelenkt ist. Gleichzeitig bewegt sich die Person 20 auf die Straße 5 zu, wie dies ebenfalls durch einen Pfeil gezeigt ist. 1 shows a situation in which the method according to the invention can be advantageously used. This is a street 5 to see on which a vehicle 10 moves. The direction of travel is indicated by an arrow. Next to the road is a person 20 which is a portable device 25 in the form of a smartphone. The person 20 uses the portable device 25 while looking at a screen of the portable device 25 so that the person 20 is distracted. At the same time the person moves 20 on the street 5 to, as also shown by an arrow.

Durch die Bewegungen des Fahrzeugs 10 und der Person 20 ist offensichtlich, dass zwischen beiden eine Kollisionsgefahr besteht, wenn die Person 20 die Straße 5 betreten sollte. Hiervor kann die Person 20 jedoch gewarnt werden, wenn das tragbare Gerät 25 ein erfindungsgemäßes Verfahren ausführt. Dabei nutzt das tragbare Gerät 25 eine nach vorne blickende Kamera, welche somit dazu in der Lage ist, die Straße 5 zu erkennen. Bei Annäherung an die Straße 5 gibt das tragbare Gerät 25 dann eine entsprechende Warnung an die Person 20 über ein Display des tragbaren Geräts 25 aus, auf welches die Person 20 ohnehin blickt. Through the movements of the vehicle 10 and the person 20 it is obvious that there is a risk of collision between the two, if the person 20 the street 5 should enter. This can be the person 20 However, be warned when the portable device 25 performs a method according to the invention. It uses the portable device 25 a looking forward camera, which is thus able to the road 5 to recognize. When approaching the road 5 gives the portable device 25 then a corresponding warning to the person 20 via a display of the portable device 25 out, on which the person 20 anyway looks.

Auf diese Weise wird die Person 20 mittels des erfindungsgemäßen Verfahrens vor der Gefahr einer Kollision mit dem Fahrzeug 10 bzw. vor dem Betreten der Straße 5 gewarnt, so dass eine Kollision vermieden wird. That way, the person becomes 20 by means of the method according to the invention against the risk of a collision with the vehicle 10 or before entering the street 5 warned, so that a collision is avoided.

2 zeigt die Situation von 1 in einer Seitenansicht, wobei auch der Blickbereich 27 einer Kamera des tragbaren Geräts 25 eingezeichnet ist. Dadurch kann leicht gesehen werden, dass die Straße 5 gut erkannt werden kann, und eventuell auch das herannahende Fahrzeug 10 bei entsprechender Nähe erkannt werden kann. Die Straße 5 ist dabei mit einem Ausrufezeichen gekennzeichnet, um anzuzeigen, dass es sich dabei um eine Gefahrenquelle handelt. Ebenso ist ein Ausrufezeichen an dem tragbaren Gerät 25 eingezeichnet, welches anzeigt, dass die Person 20 eine Warnung erhält. 2 shows the situation of 1 in a side view, where also the viewing area 27 a camera of the portable device 25 is drawn. This makes it easy to see that the road 5 can be well recognized, and possibly the approaching vehicle 10 can be detected with appropriate proximity. The street 5 is marked with an exclamation mark to indicate that it is a source of danger. Likewise, an exclamation mark on the portable device 25 drawn in, indicating that the person 20 receives a warning.

Es sei verstanden, dass die Darstellungen der 1 und 2 lediglich sehr schematisch sind. Auch die Beschreibung des erfindungsgemäßen Verfahrens ist hier lediglich schematisch und gemäß einem möglichen Ausführungsbeispiel erfolgt. Es sei verstanden, dass insbesondere die weiter oben beschriebenen Varianten hier entsprechend angewendet werden können. It should be understood that the representations of 1 and 2 only very schematic. The description of the method according to the invention is here also only schematically and according to a possible embodiment. It should be understood that in particular the variants described above can be used here accordingly.

Erwähnte Schritte des erfindungsgemäßen Verfahrens können in der angegebenen Reihenfolge ausgeführt werden. Sie können jedoch auch in einer anderen Reihenfolge ausgeführt werden. Das erfindungsgemäße Verfahren kann in einer seiner Ausführungen, beispielsweise mit einer bestimmten Zusammenstellung von Schritten, in der Weise ausgeführt werden, dass keine weiteren Schritte ausgeführt werden. Es können jedoch grundsätzlich auch weitere Schritte ausgeführt werden, auch solche welche nicht erwähnt sind.Mentioned steps of the method according to the invention can be carried out in the order given. However, they can also be executed in a different order. In one of its embodiments, for example with a specific set of steps, the method according to the invention can be carried out in such a way that no further steps are carried out. However, in principle also further steps can be carried out, even those which are not mentioned.

Die zur Anmeldung gehörigen Ansprüche stellen keinen Verzicht auf die Erzielung weitergehenden Schutzes dar. The claims belonging to the application do not constitute a waiver of the achievement of further protection.

Sofern sich im Laufe des Verfahrens herausstellt, dass ein Merkmal oder eine Gruppe von Merkmalen nicht zwingend nötig ist, so wird anmelderseitig bereits jetzt eine Formulierung zumindest eines unabhängigen Anspruchs angestrebt, welcher das Merkmal oder die Gruppe von Merkmalen nicht mehr aufweist. Hierbei kann es sich beispielsweise um eine Unterkombination eines am Anmeldetag vorliegenden Anspruchs oder um eine durch weitere Merkmale eingeschränkte Unterkombination eines am Anmeldetag vorliegenden Anspruchs handeln. Derartige neu zu formulierende Ansprüche oder Merkmalskombinationen sind als von der Offenbarung dieser Anmeldung mit abgedeckt zu verstehen.If, in the course of the procedure, it turns out that a feature or a group of features is not absolutely necessary, it is already desired on the applicant side to formulate at least one independent claim which no longer has the feature or the group of features. This may, for example, be a subcombination of a claim present at the filing date or a subcombination of a claim limited by further features of a claim present at the filing date. Such newly formulated claims or feature combinations are to be understood as covered by the disclosure of this application.

Es sei ferner darauf hingewiesen, dass Ausgestaltungen, Merkmale und Varianten der Erfindung, welche in den verschiedenen Ausführungen oder Ausführungsbeispielen beschriebenen und/oder in den Figuren gezeigt sind, beliebig untereinander kombinierbar sind. Einzelne oder mehrere Merkmale sind beliebig gegeneinander austauschbar. Hieraus entstehende Merkmalskombinationen sind als von der Offenbarung dieser Anmeldung mit abgedeckt zu verstehen.It should also be noted that embodiments, features and variants of the invention, which are described in the various embodiments or embodiments and / or shown in the figures, can be combined with each other as desired. Single or multiple features are arbitrarily interchangeable. Resulting combinations of features are to be understood as covered by the disclosure of this application.

Rückbezüge in abhängigen Ansprüchen sind nicht als ein Verzicht auf die Erzielung eines selbständigen, gegenständlichen Schutzes für die Merkmale der rückbezogenen Unteransprüche zu verstehen. Diese Merkmale können auch beliebig mit anderen Merkmalen kombiniert werden.Recoveries in dependent claims are not to be understood as a waiver of obtaining independent, objective protection for the features of the dependent claims. These features can also be combined as desired with other features.

Merkmale, die lediglich in der Beschreibung offenbart sind oder Merkmale, welche in der Beschreibung oder in einem Anspruch nur in Verbindung mit anderen Merkmalen offenbart sind, können grundsätzlich von eigenständiger erfindungswesentlicher Bedeutung sein. Sie können deshalb auch einzeln zur Abgrenzung vom Stand der Technik in Ansprüche aufgenommen werden.Features that are disclosed only in the specification or features that are disclosed in the specification or in a claim only in conjunction with other features may, in principle, be of independent significance to the invention. They can therefore also be included individually in claims to distinguish them from the prior art.

Claims

Procedure for warning a person ( 20 ) in front of a source of danger ( 5 ) by means of a portable device ( 25 ), the method comprising the steps of: - taking a number of images by means of a camera of the portable device ( 25 ), - recognition of the source of danger ( 5 ) in at least one of the images, and responsive thereto - outputting a warning by the portable device ( 25 ).

Method according to claim 1, wherein the source of danger ( 5 ) is selected from the following group: - curb, - street, - pedestrian crossing, - pavement marking, - bicycle, - other person, - street lamp, - transformer station, - mailbox, - pothole, - tram, - parked car, - parked vehicle.

Method according to one of the preceding claims, - wherein the portable device ( 25 ) a screen for viewing by the person ( 20 ), wherein the screen and the camera point in different directions.

Method according to one of the preceding claims, The warning being emitted visually, acoustically and / or haptically, Wherein an optical warning is issued, in particular, by visual information, for example, signs such as hand or stop sign, In which an audible warning is issued in particular by warning sounds and / or modulated warning sounds and / or by voice information and / or by instructions, - In which a haptic warning is issued in particular by vibration or vibration sequences, for example, with different intensity or frequency or pulsed interrupted.

Method according to one of the preceding claims, - wherein the recognition of the source of danger ( 5 ) based on pattern recognition and / or contrast limits.

Method according to one of the preceding claims, wherein prior to the step of outputting a warning, a step of recognizing a dangerous situation is carried out, wherein the warning is output only when a dangerous situation, in particular a risk of collision of the person ( 20 ) with the hazard ( 5 ), is recognized.

Method according to one of the preceding claims, - wherein the warning contains directional information indicating a direction of the source of danger ( 5 ).

Method according to one of the preceding claims, - the warning being issued as an audible warning on a number of earphones, - the warning preferably being output only or amplified on the earphone which the person ( 20 ) on the side at which the source of danger ( 5 ) is located.

Method according to one of the preceding claims, - wherein the portable device ( 25 ) further monitors an attitude angle, in particular by acceleration sensors and / or yaw rate sensors and / or by analysis of the images, for example by detection of horizontal lines, and - wherein the portable device ( 25 ) information to the person ( 20 ) if this is the portable device ( 25 ) in a different attitude angle.

Method according to one of the preceding claims, - further comprising a calibration function in which by recording sources of danger ( 50 ), in particular of typical sources of danger ( 5 ), Patterns for identifying sources of danger ( 5 ) are learned and / or improved.

Method according to one of the preceding claims, - wherein the portable device ( 25 ) with a vehicle, in particular a wheelchair, for transporting the person ( 20 ) is communicatively connected, and - wherein when issuing a warning and / or a detected danger, in particular a risk of collision, a braking signal for decelerating the vehicle from the portable device ( 25 ) is sent to the vehicle.

Method according to one of the preceding claims, - wherein a recognized hazard ( 5 ) is made plausible by means of navigation data and / or map data before a warning is issued.

Method according to one of the preceding claims, - wherein entering a source of danger ( 5 ) is made plausible in the form of a road by detecting parked vehicles and / or crossing a cycle path.

Method according to one of the preceding claims, - wherein, when darkness is detected, a light of the portable device ( 25 ) is turned on, which illuminates in particular a field of view of the camera.

Method according to one of the preceding claims, further comprising the step of: - detecting whether a user is looking at a screen of the portable device ( 25 ), the warning being issued only when the user is looking at the screen.