EP2989590A1 - Verfahren und vorrichtung zur erkennung von nicht motorisierten verkehrsteilnehmern - Google Patents

Verfahren und vorrichtung zur erkennung von nicht motorisierten verkehrsteilnehmern

Info

Publication number
EP2989590A1
EP2989590A1 EP14718973.2A EP14718973A EP2989590A1 EP 2989590 A1 EP2989590 A1 EP 2989590A1 EP 14718973 A EP14718973 A EP 14718973A EP 2989590 A1 EP2989590 A1 EP 2989590A1
Authority
EP
European Patent Office
Prior art keywords
motor vehicle
driver
message
images
road user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP14718973.2A
Other languages
English (en)
French (fr)
Inventor
Christoph Arndt
Uwe Gussen
Frederic Stefan
Goetz-Philipp Wegner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of EP2989590A1 publication Critical patent/EP2989590A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Definitions

  • the invention relates to a method for the automatic detection of non-motorized road users in the vicinity of a moving motor vehicle based on images which are recorded by means of at least one camera mounted in or on the motor vehicle and which are analyzed for further information contained therein, according to the preamble of claim 1, and an apparatus for carrying out the method.
  • Such a method is known from DE 10 2007 052 093 A1.
  • the pictures are searched for indicators that indicate a change in movement of the detected road user.
  • Such indicators are e.g. Movements or postures of parts of the body which indicate an expected course of movement, which are directly related to the locomotion of the road user. That is, it is looking for indicators that can be with certainty or at least very likely to infer a future movement behavior, because this follows physical laws.
  • variable indicators such as e.g. Changes in the center of gravity, changes in arm or leg movements, changes in head orientations and direction of vision. Taking into account the movement sequence of the motor vehicle is also determined whether a collision with a detected non-motorized road users is likely, and possibly the driver of the motor vehicle is warned.
  • a generic method is also known from EP 2 023 267 B1. Living beings such as pedestrians, cyclists and animals in the vicinity of the motor vehicle are detected and identified on the basis of movement periodicities. In addition, the direction of movement is determined by recognized creatures. If a risk of collision is detected, the driver of the motor vehicle is warned.
  • US 2006/0187305 A1 discloses a likewise generic method for recognizing and tracking faces, facial orientations and emotions. It is proposed to observe the driver of a motor vehicle and to warn against his own inattention. It is also proposed to observe the surrounding traffic and to warn the driver in unsafe situations e.g. to warn against pedestrians or obstacles.
  • US 2010/0185341 A1 discloses a method for detecting gestures of a person in or near a motor vehicle to whom the motor vehicle is to react.
  • the method may also include threatening gestures of a person close to a motor vehicle, e.g. recognize as a theft intention and take deterrent measures if necessary.
  • the invention is based on the object to support the driver of a moving motor vehicle in the maintenance of traffic safety even more. This object is achieved by a method according to claim 1 and a device according to claim 9. Advantageous developments of the invention are specified in the dependent claims.
  • the invention makes it possible to make the driver of a motor vehicle aware that a non-motorized road user wants to communicate something to him, to which he should possibly react.
  • Non-motorized road users usually attract attention with gestures when they want to give a message to a specific or all motor vehicle operators in their vicinity. Thus, for example, a cyclist can indicate a turning intention with a hand sign so that subsequent or oncoming motor vehicle drivers adjust to it.
  • Automotive drivers who focus on driving themselves easily miss such messages, especially in confusing traffic situations or when distracted.
  • the motor vehicle driver it is possible for the motor vehicle driver to be made aware only of the existence of a traffic-related visual message, so that he has to ascertain himself what this is, but he is also preferably informed about the content of the recognized message, eg visually or acoustically by means of speech synthesis or the like. That is to say, the message is preferably not only recognized as such, but also interpreted.
  • the invention not only improves road safety, but also the communication of non-motorized road users with motor vehicle operators in general.
  • the invention may be e.g. To make it easier for taxi drivers to become aware of potential customers who are standing by the side of the road and who indicate that they want to move by hand. Or it can e.g. a traffic policeman is recognized, who instructs a motor vehicle driver by hand signals to stop.
  • the invention may provide driver assistance systems or vehicle safety systems with useful additional information.
  • Non-motorized road users are here understood to mean persons who are on or near the road (ie their road surface) and in the field of vision of the camera (s), such as pedestrians and cyclists, whether they are moving or not.
  • only persons whose entire body is visible to the camera (s) should be considered. People in the immediate vicinity of the motor vehicle, for example at a distance of less than 10 m, should be disregarded, because in such cases an automatic message recognition would be unreliable and generally unnecessary.
  • the distance up to which persons are disregarded can also be changed as a function of the speed and / or adapted to the ambient or driving situation.
  • traffic-related visual messages is meant primarily certain gestures of persons visible in the camera images, indicating that somebody specifically wants to alert the driver of the motor vehicle, or in general any other road users, to something that may require a reaction from the driver or other road users ,
  • traffic-related messages are not only recognized by gestures, but other visual indicators are taken into account, in particular type, location, body orientation, head orientation, gaze, gesture and / or equipment (ie, special clothing, headgear and / or or objects in the hand) of a gesticulating person. If such indicia are present in any of a number of prestored combinations, and the nature, number and / or strength of the indicia may play a role, it is assumed that there is a traffic-related message relevant to the driver of the motor vehicle.
  • traffic-related visual messages are something that someone at this moment is deliberately doing to communicate to one or more other road users, and thus are something quite different from the more or less involuntarily occurring movement changes, as described in the above. closest prior art.
  • indicia that are substantially static, that is, that do not change so quickly that they would qualify as motions, are considered.
  • the type, body orientation, head orientation, viewing direction, gesture and / or equipment of a non-motorized road user are identified by comparing their contours with pre-stored patterns.
  • a response to a detected message is situation-dependent in a notification or warning of the driver and / or a pre-activation or activation of a driver assistance system.
  • the motor vehicle driver and / or a learning algorithm can configure in which situations a notification, warning or driver assistance is to be given.
  • 1 is an overview sketch of a system for the automatic recognition of messages from non-motorized road users in a motor vehicle; 2a - 2c different contours of potentially relevant road users; a perspective view of a road with non-motorized road users seen from an on-road motor vehicle;
  • FIGS. 4a-4c show some possible head orientations and viewing directions of a non-motorized road user
  • FIGS. 5a-5c show some possible body orientations of a non-motorized road user
  • 6a-6d show some possible arm positions of a non-motorized road user
  • FIG. 8 shows a flow chart of an example of a method for automatic detection of non-motorized road users in the vicinity of a moving motor vehicle on the basis of camera images.
  • the message recognition system shown in FIG. 1 comprises one or more cameras 1, which are installed in or on a motor vehicle 2 and can visually detect the surroundings of the motor vehicle 2. In particular, environmental areas are detected in which pedestrians, cyclists and other non-motorized road users 3 may be located. For this purpose, at least one camera 1 takes pictures in the direction of travel of the motor vehicle 2.
  • An image acquisition module 4 performs pre-processing of the captured images by filtering, etc.
  • An image analysis and feature extraction module 5 first performs a preliminary analysis of the preprocessed images to determine whether any non-motorized road users 3 are substantially visible with their entire body, whether they are on or near the road on which the motor vehicle 2 is traveling Such a road user 3 gives certain pre-stored gestures or signs, and whether certain gestures or signs obviously apply to the driver 9 of the motor vehicle 2 or are relevant to him (this can be determined by the type and location of the non-motorized road user 3 and the line of sight and body - or arm orientation notice). Thereafter, the image analysis and feature extraction module 5 performs a detailed analysis of the images, possibly using further images of the same or another camera 1, to refine the analysis and classify the gestures or characters found by the pre-analysis according to their type.
  • a classification module 6 classifies the found gestures or signs according to relevance. For example, a gesture of a traffic cop that the driver 9 should stop the motor vehicle 2 is very relevant, but not any person who greets. For this classification, also features of gesticulating persons are taken into account, e.g. special clothing, headgear and / or items in hand such as a Winkerkelle.
  • history data and reference data such as e.g. Reference images and classification trees are stored in a database 7.
  • a suitable man-machine interface 8 notifies the driver 9 of the motor vehicle 2 by means of audible or visual signals that he should pay attention to a gesture of a non-motorized road user 3, and if the system has also recognized the meaning of the gesture, e.g. that a pickup wants to be taken, the driver 9 can also be communicated the specific meaning of the gesture.
  • the motor vehicle 2 is equipped with an augmented reality technique, the non-motorized road user 3 may also be visually highlighted, and the nature and / or importance of the gesture may be e.g. indicated by certain colors, e.g. the color red is very important.
  • the classification result of the classification module 6 can be used by the driver assistance system 10 to improve and refine decisions and actions.
  • An example of this is a motor vehicle 2, which approaches a school, where a school pilot stands on or on the road and pans a Winkerkelle.
  • the message contained therein, slower to drive and stop, can be recognized by the message recognition system installed in the motor vehicle 1 on the basis of the special clothing of the school pilot (yellow vest) and the Winkerkelle.
  • This important message is communicated to the driver 9 of the motor vehicle 2 via the man-machine interface 8. If the driver 9 does not react immediately, a brake assist is preactivated, and if the driver 9 still does not respond, the brake assist can automatically decelerate the vehicle 2 to avoid a collision.
  • the interpretation of visual messages from non-motorized road users 3 to the motor vehicle driver 9 occurs in three steps:
  • the first step is to identify non-motorized road users 3 who are likely to visually communicate something to the motor vehicle driver 9.
  • the second step is to identify and interpret visual messages to the motor vehicle driver 9.
  • the third step is to inform the motor vehicle driver 9 about an identified message.
  • the signals generated by the camera (s) 1 in the motor vehicle 2 are detected. wonnenen images evaluated by means of various image processing algorithms, as described below.
  • a road user for a motor vehicle driver 9 also depends on its position on or on the road. As shown in FIG. 3, only non-motorized road users are considered within the scope of the invention, which are located either on the carriageway A in FIG. 3 or on a narrow strip B in FIG. 3 which adjoins the carriageway A on the right. Strips A and B may be e.g. be differentiated by curbs. In Fig. 3 drives in the strip A, a cyclist 1 1 in front of the motor vehicle 2 ago and is in the strip B a pedestrian 12. people farther away from the lane A remain unconsidered, as shown.
  • FIGS. 4a to 4c show various head orientations and viewing directions of a person with respect to a motor vehicle 2, from which the person is filmed. As you can see, only the in Fig. 4b shown person, in both head orientation and facing the motor vehicle 2, obviously the motor vehicle 2 attention.
  • FIGS. 5a-5c show various possible body orientations and viewing directions of a pedestrian with respect to the motor vehicle 2, namely in FIG. 5a a pedestrian oriented transversely to the motor vehicle 2, FIG. 5b a pedestrian oriented frontally to the motor vehicle 2 and FIG. 5c a partially oriented towards the motor vehicle 2 pedestrian.
  • the pedestrian shown in Fig. 5b is most likely to communicate with the motor vehicle driver 9.
  • a plane is generated in each case by the shoulders of each pedestrian, which planes below the pedestrian contours in FIGS. 5a-5c are shown as dashed lines.
  • a vector is generated, which is perpendicular to the respective shoulder plane and passes through the vertical axis of symmetry of the pedestrian, as shown below the pedestrian contours in Figures 5a - 5c as arrows. Then it is determined whether this vector to the motor vehicle 2 shows or not. If so, the pedestrian is oriented toward the motor vehicle 2 and may wish to communicate with the motor vehicle driver 9. This is most likely for the pedestrian shown in Figure 5b and somewhat less for the pedestrian shown in Figure 5c.
  • an indicia evaluation takes place in which the obtained indications that a non-motorized road user comes into question as an emissary are considered in combination with each other.
  • search is made for predetermined combinations of features of the type, location and orientation of the road user.
  • a suitable learning algorithm could e.g. in the form of a neural network, improve the decision logic.
  • Some indicators may be weighted more heavily than others. For example, pedestrians on the street can be weighted more heavily than pedestrians on the sidewalk.
  • FIG. 7 shows an example of a classification matrix for indicative evaluation for three scenarios in which non-motorized road users are involved for the message recognition system are relevant and are suitable as messengers because they may want to communicate something visually to the motor vehicle driver 9.
  • thin short dashed lines represent a pedestrian who is on the road and looking toward the motor vehicle 2.
  • Thick dashed lines represent a pedestrian on the sidewalk near the curb and looking toward the motor vehicle 2, similar to the pedestrian 12 in FIG. 3.
  • Thick solid lines represent a cyclist ahead on the road, like the cyclist 11 in FIG Fig. 3.
  • a classification matrix shown in Fig. 7 for the o.g. first step, to identify non-motorized road users 3, who probably just want to communicate something to the motor vehicle driver 9, using only the lines in the first three lines. Regions in FIG. 7 in which no such lines pass can be ignored. Feature combinations in the areas traversed by lines are compared with pre-stored feature combinations in order to determine the indicative force of these feature combinations, wherein the individual features can be weighted differently.
  • Arm positions are first used for identification and interpretation, some of which are illustrated in Figures 6a-6d for a pedestrian as seen in Figure 5b, both arms hanging (Figure 6a), one arm slightly raised, i.e. up to 30 ° ( Figure 6b), one arm raised mid-high, i. 30 ° to 60 °, one arm raised high, i. more than 60 ° ( Figure 6c), and one arm raised, i. beckoning ( Figure 6d).
  • the identification and interpretation also takes into account whether the left or right arm of the non-motorized road user is in motion. For example, a forward or oncoming cyclist with his left arm outstretched wants to indicate that he wants to turn left and that subsequent or oncoming vehicles should take care of it.
  • certain head equipment is considered, such as helmets or visors, to which the image analysis focuses on the outlined in Fig. 5b head portion 13.
  • certain body features are considered, such as stripes, badges or certain words such as "police”, to which the image analysis focuses on the outlined in Fig. 5b trunk area 14.
  • certain hand equipment is taken into account, such as a Winkenkelle, a sign with a city name, a luggage, a stretcher, etc., to which the image analysis focuses on the outlined in Fig. 5b hand areas 15.
  • colors and color patterns may also be taken into account, as they are characteristic for the uniforms of traffic police, firefighters, road workers, etc., possibly also depending on vehicle location, because such colors and color patterns are country specific.
  • a vector sequence of feature combinations results for each scenario, which is compared to prestored feature combinations. Since certain characteristics often belong together, eg a traffic cop wears typical clothing and headgear or a cyclist often wears a helmet, in this way it can be reliably determined whether a non-motorized road user gives the motor vehicle driver 9 a message and which one.
  • the pedestrian represented in FIG. 7 by thick long dashed lines who is on the sidewalk near the curb and looking at the motor vehicle 9, waves his right hand and may carry a piece of luggage. That is, this is a potential customer for a taxi driver.
  • a pedestrian close to the road holding one arm a little and holding a sign with a city name on it is probably a pickup, especially if there is a piece of luggage nearby.
  • a pedestrian on the street with no particular arm movement who wears white clothes and is not alone may be a paramedic, especially if a stretcher is nearby.
  • Scenarios that are inconsistent and do not allow unambiguous interpretation are either ignored by the message recognition system, or further analysis is performed, for example, as follows: Are there any special objects in the vicinity of the gesticulating person (eg broken-down vehicle, warning triangle, etc.)?
  • the system can inform the driver in different ways. For example, there can be three different reaction modes:
  • the driver will receive an audible or visual message that a specific message has been detected.
  • the driver can be informed about the existence of the message or about content, i. E. who gives why which message u. For example, the driver receives the notification that a pickup wants to be taken or a taxi driver receives an indication of a potential customer.
  • Warning The driver receives a particularly clear audible or visual message that a particular message has been detected that requires a driver's reaction. For example, the driver is notified that a road worker is asking for slow driving or that a traffic cop is instructing him to stop. 3.
  • Driver Assistance If the driver does not respond to a warning and is too distracted to respond, a driver assistance system is pre-activated. In such a case, for example, a brake assistant, the brake pads closer to the
  • the situations in which a notification, warning or driver assistance is given may be configurable by the driver. Additionally or alternatively, such a configuration may be observed and analyzed, supplemented, or refined by a learning algorithm that allows driver responses to any messages over an extended period of time. Such an algorithm may also supplement classes of situations with situations where it has detected similar driver behavior, or set up new classes of situations, or change default behaviors according to detected driver behavior.
  • step S1 video images are read in by one or more cameras.
  • Step S2 are extracted from the images non-motorized road users on the basis of their contours. From the contours, the type, location and orientation of the detected road users are further determined in the parallel steps S3, S4 and S5, and on this basis the road users are classified in step S6. In step S7 it is determined whether one of the road users comes as an emissary in question. If not, it returns to step S2, and if so, its characteristics are stored in step S8, and a possible message is determined therefrom in step S9. In step S10 to S15, parallel analyzes of arm positions, arm movements, headgear, hand equipment, body equipment and color patterns of the candidate road user are performed, and in step S16, the message is classified. In step S17, it is determined whether everything is conclusive.
  • step S18 the way of informing the driver is determined in step S18, the driver is notified of the detected message in step S19, and in step S20, it returns to step S1. If it is determined in step S17 that not all is conclusive, in step S21 the driver's reaction is observed and, in step S22, the classification and interpretation modes are supplemented or modified in accordance with the driver's response.

Abstract

Die Erfindung betrifft ein Verfahren zur automatischen Erkennung von nicht motorisierten Verkehrsteilnehmern (3) in der Umgebung eines fahrenden Kraftfahrzeugs (2) anhand von Bildern, die mittels mindestens einer in oder an dem Kraftfahrzeug (2) angebrachten Kamera (1) aufgenommen werden und die auf darin enthaltene weitere Informationen analysiert werden. Gemäß der Erfindung werden die Bilder eines erkannten nicht motorisierten Verkehrsteilnehmers (3) in der Umgebung des Kraftfahrzeugs (2) daraufhin analysiert, ob dieser Verkehrsteilnehmer (3) offensichtlich in diesem Augenblick dem Fahrer (9) des Kraftfahrzeugs (2) und/oder anderen Verkehrsteilnehmern eine verkehrsbezogene visuelle Botschaft geben will. Der Fahrer (9) des Kraftfahrzeugs (2) wird informiert, wenn eine derartige Botschaft erkannt wird.

Description

Verfahren und Vorrichtung zur Erkennung von
nicht motorisierten Verkehrsteilnehmern Beschreibung
Die Erfindung betrifft ein Verfahren zur automatischen Erkennung von nicht motorisierten Verkehrsteilnehmern in der Umgebung eines fahrenden Kraftfahrzeugs anhand von Bildern, die mittels mindestens einer in oder an dem Kraftfahrzeug ange- brachten Kamera aufgenommen werden und die auf darin enthaltene weitere Informationen analysiert werden, gemäß dem Oberbegriff des Patentanspruchs 1 , sowie eine Vorrichtung zur Durchführung des Verfahrens.
Ein derartiges Verfahren ist aus der DE 10 2007 052 093 A1 bekannt. Als die Infor- mationen, die über die eigentliche Erkennung eines Verkehrsteilnehmers wie z.B. eines Fußgängers oder Radfahrers hinausgehen, wird in den Bildern nach Indikatoren gesucht, die eine Bewegungsänderung des erkannten Verkehrsteilnehmers anzeigen. Derartige Indikatoren sind z.B. Bewegungen oder Haltungen von Körperteilen, die einen zu erwartenden Bewegungsablauf anzeigen, der in unmittelbarem Zusammenhang mit der Fortbewegung des Verkehrsteilnehmers stehen. Das heißt, es wird nach Indikatoren gesucht, die mit Sicherheit oder zumindest mit sehr hoher Wahrscheinlichkeit auf ein zukünftiges Bewegungsverhalten schließen lassen, weil dieses physikalischen Gesetzen folgt. Zur Prädiktion von spontanen Bewegungsänderungen eignen sich insbesondere veränderliche Indikatoren, wie z.B. Verände- rungen von Schwerpunktlage, Veränderungen von Arm- oder Beinbewegungen, Veränderungen von Kopforientierungen und Blickrichtung. Unter Berücksichtigung des Bewegungsablaufs des Kraftfahrzeugs wird außerdem ermittelt, ob eine Kollision mit einem erkannten nicht motorisierten Verkehrsteilnehmer wahrscheinlich ist, und ggf. wird der Fahrer des Kraftfahrzeuges gewarnt.
Ein gattungsgemäßes Verfahren ist auch aus der EP 2 023 267 B1 bekannt. Lebewesen wie z.B. Fußgänger, Fahrradfahrer und Tiere in der Umgebung des Kraftfahrzeugs werden anhand von Bewegungsperiodizitäten erkannt und identifiziert. Außerdem wird die Bewegungsrichtung von erkannten Lebewesen bestimmt. Wird eine Kollisionsgefahr erkannt, wird der Fahrer des Kraftfahrzeugs gewarnt.
Die US 2006/0187305 A1 offenbart ein ebenfalls gattungsgemäßes Verfahren zur Erkennung und Verfolgung von Gesichtern, Gesichtsorientierungen und Emotionen. Es wird vorgeschlagen, den Fahrer eines Kraftfahrzeugs zu beobachten und vor eigener Unaufmerksamkeit zu warnen. Außerdem wird vorgeschlagen, den umgebenden Verkehr zu beobachten und den Fahrer in unsicheren Situationen z.B. vor Fußgängern oder Hindernissen zu warnen.
Die US 2010/0185341 A1 offenbart ein Verfahren zur Erkennung von Gesten einer in oder nahe an einem Kraftfahrzeug befindlichen Person, auf die das Kraftfahrzeug reagieren soll. Das Verfahren kann auch bedrohliche Gesten einer nahe an einem Kraftfahrzeug befindlichen Person z.B. als eine Diebstahlabsicht erkennen und ggf. Abschreckungsmaßnahmen treffen.
Der Erfindung liegt die Aufgabe zu Grunde, den Fahrer eines fahrenden Kraftfahrzeugs bei der Wahrung der Verkehrssicherheit noch mehr zu unterstützen. Diese Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 und eine Vorrichtung gemäß Patentanspruch 9 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
Die Erfindung ermöglicht es, den Fahrer eines Kraftfahrzeugs darauf aufmerksam zu machen, dass ihm ein nicht motorisierter Verkehrsteilnehmer etwas mitteilen möchte, worauf er möglicherweise reagieren sollte. Nicht motorisierte Verkehrsteilnehmer machen üblicherweise mit Gesten auf sich aufmerksam, wenn sie einem bestimmten oder allen Kraftfahrzeugführern in deren Umgebung eine Botschaft geben möchten. So kann z.B. ein Fahrradfahrer eine Abbiegeabsicht mit einem Hand- zeichen anzeigen, damit sich nachfolgende oder entgegenkommende Kraftfahrzeugführer darauf einstellen. Kraftfahrzeugführer, die sich auf das Fahren selbst konzentrieren, übersehen solche Botschaften leicht, besonders in unübersichtlichen Verkehrssituationen oder wenn sie abgelenkt sind. Im Rahmen der Erfindung ist es möglich, dass der Kraftfahrzeugführer lediglich auf die Existenz einer verkehrsbezogenen visuellen Botschaft aufmerksam gemacht wird, so dass er sich selbst vergewissern muss, worin diese besteht, doch wird er bevorzugt auch über den Inhalt der erkannten Botschaft informiert, z.B. visuell oder akustisch mittels Sprachsynthese od. dgl. Das heißt, die Botschaft wird vorzugswei- se nicht nur als solche erkannt, sondern auch interpretiert.
Die Erfindung verbessert nicht nur die Verkehrssicherheit, sondern auch die Kommunikation von nicht motorisierten Verkehrsteilnehmern mit Kraftfahrzeugführern allgemein. So kann es die Erfindung z.B. Taxifahrern erleichtern, auf potentielle Kunden aufmerksam zu werden, die am Straßenrand stehen und durch Handzeichen einen Beförderungswunsch anzeigen. Oder es kann z.B. ein Verkehrspolizist erkannt werden, der einen Kraftfahrzeugführer durch Handzeichen anweist, anzuhalten. Darüber hinaus kann die Erfindung Fahrerassistenzsysteme oder Fahrzeugsicherheitssysteme mit nützlichen Zusatzinformationen versehen.
Unter nicht motorisierten Verkehrsteilnehmern werden hier Personen verstanden, die sich auf oder nahe an der Straße (d.h. deren Fahrbahn) und im Sichtbereich der Kamera(s) befinden, wie z.B. Fußgänger und Fahrradfahrer, gleich ob sie sich gerade bewegen oder nicht. Außerdem sollen bei der Erfindung nur Personen berück- sichtigt werden, deren ganzer Körper für die Kamera(s) sichtbar ist. Personen in unmittelbarer Nähe des Kraftfahrzeugs, etwa in einem Abstand von weniger als 10 m, sollen unberücksichtigt bleiben, weil in derartigen Fällen eine automatische Botschaftenerkennung unzuverlässig und in der Regel auch unnötig wäre. Der Abstand, bis zu dem Personen unberücksichtigt bleiben, kann auch geschwindigkeits- abhängig verändert und/oder an die Umgebungs- bzw. Fahrsituation angepasst werden. Unter verkehrsbezogenen visuellen Botschaften werden hier in erster Linie bestimmte Gesten von in den Kamerabildern sichtbaren Personen verstanden, die anzeigen, dass jemand speziell den Fahrer des Kraftfahrzeugs oder allgemein irgendwelche anderen Verkehrsteilnehmer auf etwas hinweisen will, das möglicherweise eine Reaktion des Fahrers oder der anderen Verkehrsteilnehmer erfordert.
In einer bevorzugten Ausführungsform werden verkehrsbezogene Botschaften aber nicht nur anhand von Gesten erkannt, sondern es werden weitere visuelle Indizien berücksichtigt, insbesondere Typ, Ort, Körperorientierung, Kopforientierung, Blick- richtung, Gestik und/oder Ausstattung (d.h., besondere Bekleidung, Kopfbedeckung und/oder Gegenstände in der Hand) einer gestikulierenden Person. Wenn derartige Indizien in irgendeiner von mehreren vorgespeicherten Kombinationen vorliegen, wobei die Art, Anzahl und/oder Stärke der Indizien eine Rolle spielen können, wird angenommen, dass es eine für den Fahrer des Kraftfahrzeugs relevante verkehrs- bezogene Botschaft gibt.
In jedem Fall sind verkehrsbezogene visuelle Botschaften etwas, was jemand in diesem Augenblick mit voller Absicht tut, um einem oder mehreren anderen Verkehrsteilnehmer etwas mitzuteilen, und sind somit etwas ganz anderes als die mehr oder weniger unwillkürlich stattfindenden Bewegungsänderungen, wie sie im o.g. nächstkommenden Stand der Technik beobachtet werden.
In einer bevorzugten Ausführungsform werden nur Indizien berücksichtigt, die im Wesentlichen statisch sind, d.h., die sich nicht so schnell ändern, dass sie eher als Bewegungen zu qualifizieren wären.
In einer bevorzugten Ausführungsform werden Typ, Körperorientierung, Kopforientierung, Blickrichtung, Gestik und/oder Ausstattung eines nicht motorisierten Verkehrsteilnehmers durch Vergleich von dessen Konturen mit vorgespeicherten Mus- tern erkannt.
In einer bevorzugten Ausführungsform wird, wenn die dem Kraftfahrzeugführer mitgeteilte Botschaft eine von bestimmten vorgespeicherten verkehrsbezogenen Bot- schaften ist und der Kraftfahrzeugführer auf diese Botschaft nicht angemessen reagiert, dieser Umstand einem Fahrerassistenzsystem des Kraftfahrzeugs übermittelt, um es vorzuaktivieren. In einer bevorzugten Ausführungsform besteht eine Reaktion auf eine erkannte Botschaft situationsabhängig in einer Benachrichtigung oder Warnung des Fahrers und/oder einer Voraktivierung oder Aktivierung eines Fahrerassistenzsystems.
In einer weiteren bevorzugten Ausführungsform kann der Kraftfahrzeugführer und/oder ein Lernalgorithmus konfigurieren, in welchen Situationen eine Benachrichtigung, Warnung oder Fahrerassistenz gegeben werden soll.
Es folgt eine Beschreibung von Ausführungsbeispielen anhand der Zeichnungen. Darin zeigen:
Fig. 1 eine Überblickskizze eines Systems zur automatischen Erkennung von Botschaften von nicht motorisierten Verkehrsteilnehmern in einem Kraftfahrzeug; Fig. 2a - 2c verschiedene Konturen von möglicherweise relevanten Verkehrsteilnehmern; eine Perspektivansicht einer Straße mit nicht motorisierten Verkehrsteilnehmern von einem auf der Straße fahrenden Kraftfahrzeug aus gesehen;
Fig. 4a - 4c einige mögliche Kopforientierungen und Blickrichtungen eines nicht motorisierten Verkehrsteilnehmers; Fig. 5a - 5c einige mögliche Körperorientierungen eines nicht motorisierten Verkehrsteilnehmers; Fig. 6a - 6d einige mögliche Armpositionen eines nicht motorisierten Verkehrsteilnehmers;
Fig. 7 ein Beispiel für eine Klassifizierungsmatrix zur Indizienauswertung für drei Szenarien, in die nicht motorisierte Verkehrsteilnehmer involviert sind; und
Fig. 8 ein Flussdiagramm eines Beispiels für ein Verfahren zur automatischen Erkennung von nicht motorisierten Verkehrsteilnehmern in der Umgebung eines fahrenden Kraftfahrzeugs anhand von Kamerabildern.
Das in Fig. 1 gezeigte Botschaftenerkennungssystem umfasst eine oder mehrere Kameras 1 , die in oder an einem Kraftfahrzeug 2 installiert sind und die Umgebung des Kraftfahrzeugs 2 visuell erfassen können. Insbesondere werden Umgebungsbereiche erfasst, in denen sich Fußgänger, Fahrradfahrer und andere nicht motorisierte Verkehrsteilnehmer 3 befinden können. Dazu nimmt mindestens eine Kamera 1 Bilder in Fahrtrichtung des Kraftfahrzeugs 2 auf. Ein Bilderfassungsmodul 4 vollführt eine Vorverarbeitung der aufgenommenen Bilder mittels Filterung usw.
Ein Bildanalyse- und Merkmalsextraktionsmodul 5 vollführt zunächst eine Voranalyse der vorverarbeiteten Bilder daraufhin, ob darin irgendwelche nicht motorisierten Verkehrsteilnehmer 3 im Wesentlichen mit ihrem ganzen Körper sichtbar sind, ob sie sich auf oder nahe an der Straße befinden, auf der das Kraftfahrzeug 2 fährt, ob ein derartiger Verkehrsteilnehmer 3 bestimmte vorgespeicherte Gesten gibt oder Zeichen gibt, und ob bestimmte Gesten oder Zeichen offensichtlich dem Fahrer 9 des Kraftfahrzeugs 2 gelten oder für ihn relevant sind (dies lässt sich anhand von Typ und Ort des nicht motorisierten Verkehrsteilnehmers 3 sowie der Blickrichtung und Körper- bzw. Armorientierung feststellen). Danach vollführt das Bildanalyse- und Merkmalsextraktionsmodul 5 eine Detailanalyse der Bilder, ggf. unter Heranziehung von weiteren Bildern derselben oder einer anderen Kamera 1 , um die Analyse zu verfeinern und die mittels der Voranalyse gefundenen Gesten oder Zeichen nach ihrem Typ zu klassifizieren.
Ein Klassifizierungsmodul 6 klassifiziert die gefundenen Gesten oder Zeichen nach Relevanz. Beispielsweise ist eine Geste eines Verkehrspolizisten, dass der Fahrer 9 das Kraftfahrzeug 2 anhalten soll, sehr relevant, nicht aber irgendeine grüßende Person. Für diese Klassifizierung werden auch Ausstattungen von gestikulierenden Personen berücksichtigt, wie z.B. besondere Bekleidung, Kopfbedeckung und/oder Gegenstände in der Hand wie z.B. eine Winkerkelle.
Um die Klassifizierungsarbeit zu vereinfachen, können dazu Historiedaten und Referenzdaten wie z.B. Referenzbilder und Klassifizierungsbäume verwendet werden, die in einer Datenbank 7 gespeichert sind.
Eine geeignete Mensch-Maschine-Schnittstelle 8 teilt dem Fahrer 9 des Kraftfahrzeugs 2 mittels hörbarer oder visueller Signale mit, dass er einer Geste eines nicht motorisierten Verkehrsteilnehmers 3 Aufmerksamkeit schenken sollte, und wenn das System auch die Bedeutung der Geste erkannt hat, z.B. dass ein Anhalter mitgenommen werden möchte, kann dem Fahrer 9 auch die konkrete Bedeutung der Geste mitgeteilt werden. Wenn das Kraftfahrzeug 2 mit einer Technik für erweiterte Realität ausgestattet ist, kann der nicht motorisierte Verkehrsteilnehmer 3 auch optisch hervorgehoben werden, und die Art und/oder Wichtigkeit der Geste kann z.B. durch bestimmte Farben angezeigt werden, wobei z.B. die Farbe Rot für sehr wichtig steht.
Falls das Kraftfahrzeug 2 mit irgendwelchen Fahrerassistenzsystemen 10 wie z.B. Spurwechselassistent oder Bremsassistent ausgestattet ist, kann das Klassifizie- rungsergebnis des Klassifizierungsmoduls 6 von dem Fahrerassistenzsystem 10 verwendet werden, um Entscheidungen und Aktionen zu verbessern und zu verfeinern. Ein Beispiel dafür ist ein Kraftfahrzeug 2, das sich einer Schule nähert, wo ein Schullotse auf oder an der Straße steht und eine Winkerkelle schwenkt. Die darin enthaltene Botschaft, langsamer zu fahren und anzuhalten, kann von dem im Kraftfahrzeug 1 eingebauten Botschaftenerkennungssystem anhand der besonderen Bekleidung des Schullotsens (gelbe Weste) und der Winkerkelle erkannt werden. Diese wichtige Botschaft wird dem Fahrer 9 des Kraftfahrzeugs 2 über die Mensch- Maschine-Schnittstelle 8 mitgeteilt. Wenn der Fahrer 9 nicht sofort reagiert, wird ein Bremsassistent voraktiviert, und wenn der Fahrer 9 weiterhin nicht reagiert, kann der Bremsassistent das Kraftfahrzeug 2 automatisch abbremsen lassen, um eine Kollision zu vermeiden.
Allgemein geschieht die Interpretation von visuellen Botschaften von nicht motorisierten Verkehrsteilnehmern 3 an den Kraftfahrzeugführer 9 in drei Schritten: Der erste Schritt ist, nicht motorisierte Verkehrsteilnehmer 3 zu identifizieren, die wahrscheinlich dabei sind, dem Kraftfahrzeugführer 9 visuell etwas mitzuteilen.
Der zweite Schritt ist, visuelle Botschaften an den Kraftfahrzeugführer 9 zu identifizieren und zu interpretieren.
Der dritte Schritt ist, den Kraftfahrzeugführer 9 über eine identifizierte Botschaft zu informieren.
Diese drei Schritte werden nachfolgend detaillierter erläutert.
In einer städtischen Umgebung laufen oft viele Leute umher. Manche Leute winken möglicherweise jemandem zu oder gestikulieren heftig. In den meisten Fällen gelten diese Gesten oder Zeichen nicht dem Kraftfahrzeugführer 9 und können von der Suche ausgenommen werden.
Für die Suche nach für den Kraftfahrzeugführer 9 relevanten Gesten bzw. den darin enthaltenen Botschaften werden die mittels der Kamera(s) 1 im Kraftfahrzeug 2 ge- wonnenen Bilder mittels verschiedener Bildverarbeitungsalgorithmen ausgewertet, wie nachfolgend beschrieben.
Im Stand der Technik gibt es viele Methoden zur Erkennung von Personen oder anderen Lebewesen in Bildern, die eine Vielzahl von Objekten enthalten. Im Rahmen der Erfindung wird vorgeschlagen, nicht motorisierte Verkehrsteilnehmer nach ihrem Typ in vier Gruppen zu klassifizieren: stehende oder laufende Fußgänger, Fahrradfahrer, Reiter und Andere. Ob ein derartiger Verkehrsteilnehmer für den Kraftfahrzeugführer 9 überhaupt relevant ist, hängt aber auch dessen Bewegungsrichtung und Orientierung in Bezug auf das Kraftfahrzeug 2 ab. Ein vorausfahrender Fahrradfahrer hat vom Kraftfahrzeug 2 aus gesehen normalerweise eine Kontur wie in Fig. 2a gezeigt. Ein dem Kraftfahrzeug 2 zugewandte stehende Person hat vom Kraftfahrzeug 2 aus gesehen norma- lerweise eine Kontur wie in Fig. 2b gezeigt. Eine Kontur wie z.B. in Fig. 2c würde als anderer Verkehrsteilnehmer identifiziert.
Ob ein derartiger Verkehrsteilnehmer für einen Kraftfahrzeugführer 9 überhaupt relevant ist, hängt außerdem von dessen Position auf oder an der Straße ab. Wie in Fig. 3 gezeigt, werden im Rahmen der Erfindung nur unmotorisierte Verkehrsteilnehmer berücksichtigt, die sich entweder auf der Fahrbahn A in Fig. 3 oder auf einem rechts an die Fahrbahn A angrenzenden schmalen Streifen B in Fig. 3 befinden. Die Streifen A und B können z.B. anhand von Bordsteinkanten differenziert werden. In Fig. 3 fährt im Streifen A ein Fahrradfahrer 1 1 vor dem Kraftfahrzeug 2 her und steht im Streifen B ein Fußgänger 12. Personen weiter weg von der Fahrbahn A bleiben unberücksichtigt, wie dargestellt.
Der in Fig. 3 von hinten gesehene Fahrradfahrer 1 1 ist in jedem Fall relevant. Inwieweit der Fußgänger 12 relevant ist, hängt auch von dessen Körperorientierung, Kopforientierung und Blickrichtung ab. Die Figuren 4a bis 4c zeigen verschiedene Kopforientierungen und Blickrichtungen einer Person in Bezug auf ein Kraftfahrzeug 2, von dem aus die Person gefilmt wird. Wie man erkennt, schenkt nur die in Fig. 4b gezeigte Person, bei der sowohl Kopforientierung als auch Blickrichtung zum Kraftfahrzeug 2 weisen, offensichtlich dem Kraftfahrzeug 2 Beachtung.
Figuren 5a - 5c zeigen verschiedene mögliche Körperorientierungen und Blickrich- tungen eines Fußgängers in Bezug auf das Kraftfahrzeug 2, nämlich in Fig. 5a einen quer zum Kraftfahrzeug 2 orientierten Fußgänger, in Fig. 5b einen frontal zum Kraftfahrzeug 2 hin orientierten Fußgänger und in Fig. 5c einen teilweise zum Kraftfahrzeug 2 hin orientierten Fußgänger. Bei dem in Fig. 5b gezeigten Fußgänger ist es am wahrscheinlichsten, dass er mit dem Kraftfahrzeugführer 9 kommunizieren möchte. Um Fußgänger mit potentiellen Botschaften an den Kraftfahrzeugführer 9 zu extrahieren, wird jeweils eine Ebene durch die Schultern jedes Fußgängers generiert, welche Ebenen unterhalb der Fußgängerkonturen in Figuren 5a - 5c als gestrichelte Linien eingezeichnet sind. Sodann wird je ein Vektor generiert, der zu der jeweiligen Schulterebene senkrecht ist und durch die vertikale Symmetrieachse des Fußgängers hindurchgeht, wie unterhalb der Fußgängerkonturen in Figuren 5a - 5c als Pfeile eingezeichnet. Sodann wird ermittelt, ob dieser Vektor zum Kraftfahrzeug 2 zeigt oder nicht. Wenn ja, ist der Fußgänger zum Kraftfahrzeug 2 hin orientiert und möchte möglicherweise mit dem Kraftfahrzeugführer 9 kommunizieren. Dies trifft am ehesten für den in Fig. 5b gezeigten Fußgänger und etwas weniger für den in Fig. 5c gezeigten Fußgänger zu.
Als nächstes erfolgt eine Indizienauswertung, bei der die gewonnenen Indizien, dass ein nicht motorisierter Verkehrsteilnehmer als Botschaftengeber in Frage kommt, in Kombination miteinander betrachtet werden. Dazu wird nach vorbestimm- ten Merkmalskombinationen von Typ, Ort und Orientierung des Verkehrsteilnehmers gesucht. Für ungewisse oder ergebnislose Situationen könnte ein geeigneter Lernalgorithmus z.B. in Form eines neuronalen Netzes die Entscheidungslogik verbessern. Manche Indizien können stärker gewichtet werden als andere. Zum Beispiel können Fußgänger auf der Straße stärker gewichtet werden als Fußgänger auf dem Gehweg.
Fig. 7 zeigt ein Beispiel für eine Klassifizierungsmatrix zur Indizienauswertung für drei Szenarien, in die nicht motorisierte Verkehrsteilnehmer involviert sind, die für das Botschaftenerkennungssystem relevant sind und die als Botschaftengeber in Frage kommen, weil sie möglicherweise dem Kraftfahrzeugführer 9 etwas visuell mitteilen möchten. In Fig. 7 repräsentieren dünne kurz gestrichelte Linien einen Fußgänger, der sich auf der Straße befindet und in Richtung des Kraftfahrzeugs 2 blickt. Dicke lang gestrichelte Linien repräsentieren einen Fußgänger auf dem Gehweg nahe am Bordstein und mit Blickrichtung auf das Kraftfahrzeug 2, ähnlich wie der Fußgänger 12 in Fig. 3. Dicke durchgezogene Linien repräsentieren einen auf der Straße vorausfah- renden Fahrradfahrer, wie der Fahrradfahrer 1 1 in Fig. 3.
In dem in Fig. 7 gezeigten Beispiel für eine Klassifizierungsmatrix werden für den o.g. ersten Schritt, nicht motorisierte Verkehrsteilnehmer 3 zu identifizieren, die dem Kraftfahrzeugführer 9 vermutlich gerade etwas mitteilen wollen, nur die Linien in den ersten drei Zeilen verwendet. Bereiche in Fig. 7, in denen keine derartigen Linien verlaufen, können ignoriert werden. Merkmalskombinationen in den von Linien durchzogenen Bereichen werden mit vorgespeicherten Merkmalskombinationen verglichen, um die Indizienkraft dieser Merkmalskombinationen zu ermitteln, wobei die einzelnen Merkmale unterschiedlich gewichtet werden können.
Die weiteren Zeilen und eingezeichneten Linien in der Klassifizierungsmatrix von Fig. 7 werden verwendet, um visuelle Botschaften an den Kraftfahrzeugführer 9 zu identifizieren und zu interpretieren. Für die Identifizierung und Interpretierung werden zunächst Armpositionen herangezogen, von denen einige in Figuren 6a-6d für einen wie in Fig. 5b gesehenen Fußgänger veranschaulicht sind, nämlich beide Arme hängend (Fig. 6a), ein Arm wenig angehoben, d.h. bis zu 30° (Fig. 6b), ein Arm mittelhoch angehoben, d.h. 30° bis 60°, ein Arm hoch angehoben, d.h. mehr als 60° (Fig. 6c), und ein Arm in die Höhe gehoben, d.h. winkend (Fig. 6d).
Für die Identifizierung und Interpretierung wird auch berücksichtigt, ob der linke o- der der rechte Arm des nicht motorisierten Verkehrsteilnehmers in Bewegung ist. Zum Beispiel möchte ein vorausfahrender oder entgegenkommender Fahrradfahrer mit ausgestrecktem linkem Arm anzeigen, dass er nach links abbiegen möchte und dass nachfolgende oder entgegenkommende Fahrzeuge darauf Rücksicht nehmen sollen.
Für die Identifizierung und Interpretierung werden außerdem bestimmte Kopfausstattungen berücksichtigt, wie z.B. Helme oder Schirmmützen, wozu sich die Bildanalyse auf den in Fig. 5b umrissenen Kopfbereich 13 konzentriert. Für die Identifizierung und Interpretierung werden außerdem bestimmte Körperausstattungen berücksichtigt, wie z.B. Streifen, Abzeichen oder bestimmte Worte wie z.B. "Polizei", wozu sich die Bildanalyse auf den in Fig. 5b umrissenen Rumpfbereich 14 konzentriert. Für die Identifizierung und Interpretierung von visuellen Botschaften werden außerdem bestimmte Handausstattungen berücksichtigt, wie z.B. eine Winkerkelle, ein Schild mit einem Stadtnamen, ein Gepäckstück, eine Krankentrage usw., wozu sich die Bildanalyse auf die in Fig. 5b umrissenen Handbereiche 15 konzentriert. Für die Identifizierung und Interpretierung können auch Farben und Farbmuster berücksichtigt werden, wie sie für die Uniformen von Verkehrspolizisten, Feuerwehrleuten, Straßenarbeitern usw. charakteristisch sind, eventuell auch in Abhängigkeit von Fahrzeugstandort, weil solche Farben und Farbmuster länderspezifisch sind. Wenn all diese Indizien durch Linien verbunden werden, wie in Fig. 7 gezeigt, ergibt sich für jedes Szenario eine Vektorfolge von Merkmalskombinationen, der mit vorgespeicherten Merkmalskombinationen verglichen wird. Da bestimmte Merkmale oft zusammengehören, z.B. trägt ein Verkehrspolizist typische Kleidung und Kopfbedeckung oder trägt ein Fahrradfahrer oft einen Helm, lässt sich auf diese Weise zuver- lässig bestimmen, ob ein nicht motorisierter Verkehrsteilnehmer dem Kraftfahrzeugführer 9 eine Botschaft gibt und welche das ist. Der in Fig. 7 durch dünne kurz gestrichelte Linien repräsentierte Fußgänger, der sich auf der Straße befindet und in Richtung des Kraftfahrzeugs 9 blickt, hebt den rechten Arm hoch, hält eine Winkerkelle in der Hand und trägt eine Schirmmütze und blaue Kleidung. Dies sind klare Indizien dafür, dass gerade ein Verkehrspolizist den Kraftfahrzeugführer 9 anweist, zu stoppen.
Der in Fig. 7 durch dicke lang gestrichelte Linien repräsentierte Fußgänger, der sich auf dem Gehweg nahe am Bordstein befindet und auf das Kraftfahrzeug 9 blickt, winkt mit der rechten Hand und trägt vielleicht ein Gepäckstück. Das heißt, dies ist ein potentieller Kunde für einen Taxifahrer.
Der in Fig. 7 durch dicke durchgezogene Linien repräsentierte vorausfahrende Fahrradfahrer streckt den linken Arm waagerecht aus und trägt einen Helm. D.h., dieser Fahrradfahrer möchte links abbiegen und quert vermutlich gleich die Fahrt- route des Kraftfahrzeugs 2.
Für jede Klasse von Botschaften sind mehrere Merkmalskombinationen möglich, und für manche Klassen müssen nicht alle möglichen Merkmale zwingend vorhanden sein. Somit ist es möglich, einige Klassen von Botschaften anhand von nur we- nigen Merkmalen zu ermitteln. Dadurch können die Zeit, die der Klassifizierungsalgorithmus benötigt, bzw. die benötigte Rechenleistung verringert werden.
Die zwingenden und fakultativen Merkmale für die drei in Fig. 7 durch Linien repräsentierten Klassen von Botschaften sind in der folgenden Tabelle aufgeführt:
Tabelle
Weitere mögliche Szenarien wären z.B. - Ein Fußgänger auf der Straße ohne besondere Armbewegung, der einen
Helm und rote Kleidung und ein außerdem einen rohrförmigen Gegenstand in der Hand trägt, ist vermutlich ein Feuerwehrmann, der per se die Botschaft vermittelt, Obacht zu geben. - Ein Fußgänger auf der Straße, der mit einem Arm winkt und einen Helm und gestreifte orange Kleidung trägt, ist vermutlich ein Straßenarbeiter, der dem Kraftfahrzeugführer 9 ein Anhalte- oder Ausweichsignal gibt.
Ein Fußgänger nahe an der Straße, der einen Arm ein wenig hebt und ein Schild in der Hand hält, auf dem ein Stadtname steht, ist vermutlich ein Anhalter, besonders wenn sich ein Gepäckstück in der Nähe befindet.
Ein Fußgänger auf der Straße ohne besondere Armbewegung, der weiße Kleidung trägt und nicht allein ist, ist möglicherweise ein Sanitäter, besonders wenn eine Krankentrage in der Nähe ist.
Szenarien, die inkonsistent sind und keine eindeutige Interpretation ermöglichen, werden von dem Botschaftenerkennungssystem entweder nicht berücksichtigt, oder es werden weitere Analysen durchgeführt, beispielsweise wie folgt: Befinden sich in der Nähe der gestikulierenden Person irgendwelche besonderen Objekte (z.B. liegengebliebenes Kraftfahrzeug, Warndreieck, usw.)?
Bewegt sich die Person oder nicht? - Bewegt sich die Person auf das Kraftfahrzeug zu oder davon weg?
Wie schnell bewegt sich die Person?
Erfasst ein Außenmikrofon des Kraftfahrzeugs irgendwelche besondere Geräusche (z.B. Pfeife, Presslufthammer usw.)?
Sind Blinklichter sichtbar? - Interagiert die Person mit weiteren Personen auf der Fahrbahn (z.B. ein Schullotse)?
Gesichtserkennung: Ist die Person eine dem Fahrer bekannte Person, die bloß grüßen möchte?
Je nach der erkannten Botschaft kann das System den Fahrer auf unterschiedliche Weise informieren. Beispielsweise kann es drei unterschiedliche Reaktionsweisen geben:
1. Benachrichtigung: Der Fahrer erhält eine akustische oder visuelle Mitteilung, dass eine bestimmte Botschaft erkannt wurde. Der Fahrer kann über die Existenz der Botschaft informiert werden oder auch über Inhalte, d.h. wer weshalb welche Botschaft gibt u. dgl. Zum Beispiel erhält der Fahrer die Mitteilung, dass ein Anhalter mitgenommen werden möchte, oder erhält ein Taxifahrer einen Hinweis auf einen potentiellen Kunden.
2. Warnung: Der Fahrer erhält eine besonders deutliche akustische oder visuelle Mitteilung, dass eine bestimmte Botschaft erkannt wurde, die eine Reaktion des Fahrers erfordert. Zum Beispiel erhält der Fahrer die Mitteilung, dass ein Straßenarbeiter zu langsamem Fahren auffordert oder dass ein Verkehrspolizist ihn an- weist, anzuhalten. 3. Fahrerassistenz: Wenn der Fahrer auf eine Warnung nicht reagiert und zu abgelenkt ist, um zu reagieren, wird ein Fahrerassistenzsystem voraktiviert. In einem derartigen Fall könnte z.B. ein Bremsassistent die Bremsbeläge näher an die
Scheiben anlegen. Oder im Falle der Erkennung eines abbiegenden Fahrradfahrers könnte ein Überholmanöver des Fahrers zwangsweise verzögert werden.
Die Situationen, in denen eine Benachrichtigung, Warnung oder Fahrerassistenz gegeben wird, können durch den Fahrer konfigurierbar sein. Zusätzlich oder alternativ kann eine derartige Konfiguration durch einen lernfähigen Algorithmus, der Fahrerreaktionen auf irgendwelche Botschaften über einen längeren Zeitraum beobachtet und analysiert, ergänzt oder verfeinert werden. Ein derartiger Algorithmus kann auch Klassen von Situationen um Situationen ergänzen, in denen er ein ähnliches Fahrerverhalten festgestellt hat, oder neue Klassen von Situationen aufstellen oder voreingestellte Reaktionsweisen entsprechend dem festgestellten Fahrerver- halten ändern.
In dem in Fig. 8 gezeigten Beispiel für ein Botschaftenerkennungsverfahren werden im Schritt S1 Videobilder von einer oder mehreren Kameras eingelesen. Im
Schritt S2 werden aus den Bildern nicht motorisierte Verkehrsteilnehmer anhand ihrer Konturen extrahiert. Aus den Konturen werden in den parallelen Schritten S3, S4 und S5 weiterhin Typ, Ort und Orientierung der erkannten Verkehrsteilnehmer ermittelt, und auf dieser Basis werden die Verkehrsteilnehmer im Schritt S6 klassifiziert. Im Schritt S7 wird ermittelt, ob einer der Verkehrsteilnehmer als Botschaftengeber in Frage kommt. Wenn nein, geht es zum Schritt S2 zurück, und wenn ja, werden dessen Merkmale im Schritt S8 gespeichert und wird im Schritt S9 daraus eine mögliche Botschaft ermittelt. In den Schritt S10 bis S15 erfolgen parallele Analysen von Armpositionen, Armbewegungen, Kopfausstattungen, Handausstattungen, Körperausstattungen und Farbmustern des als Botschaftengeber in Frage kommenden Verkehrsteilnehmers, und im Schritt S16 wird die Botschaft klassifiziert. Im Schritt S17 wird ermittelt, ob alles schlüssig ist. Wenn ja, wird im Schritt S18 die Art festgelegt, wie der Fahrer zu informieren ist, im Schritt S19 wird der Fahrer über die erkannte Botschaft informiert, und im Schritt S20 geht es zum Schritt S1 zurück. Wenn im Schritt S17 ermittelt wird, dass nicht alles schlüssig ist, wird im Schritt S21 die Reaktion des Fahrers beobachtet und werden im Schritt S22 die Klassifizie- rungs- und Interpretationsweisen in Übereinstimmung mit der Fahrerreaktion ergänzt oder modifiziert.

Claims

Patentansprüche
1. Verfahren zur automatischen Erkennung von nicht motorisierten Verkehrsteilnehmern (3) in der Umgebung eines fahrenden Kraftfahrzeugs (2) anhand von Bildern, die mittels mindestens einer in oder an dem Kraftfahrzeug (2) angebrachten Kamera (1) aufgenommen werden, wobei Bilder eines erkannten nicht motorisierten Verkehrsteilnehmers (3) in der Umgebung des Kraftfahrzeugs (2) auf darin enthaltene weitere Informationen analysiert werden, dadurch gekennzeichnet, dass
die Bilder eines erkannten nicht motorisierten Verkehrsteilnehmers (3) in der Umgebung des Kraftfahrzeugs (2) daraufhin analysiert werden, ob dieser Verkehrsteilnehmer (3) offensichtlich in diesem Augenblick dem Fahrer (9) des Kraftfahrzeugs (2) und/oder anderen Verkehrsteilnehmern eine verkehrsbezogene visuelle Botschaft geben will, und dass der Fahrer (9) des Kraftfahrzeugs (2) informiert wird, wenn eine derartige Botschaft erkannt wird.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass
die erkannte verkehrsbezogene visuelle Botschaft interpretiert wird und der Fahrer (9) des Kraftfahrzeugs (2) akustisch oder visuell über den Inhalt der Botschaft informiert wird.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
die Bilder daraufhin analysiert werden, ob Typ, Ort, Körperorientierung, Kopforientierung, Blickrichtung, Gestik und/oder Ausstattung eines erkannten nicht motorisierten Verkehrsteilnehmers (3) Indizien für eine verkehrsbezogene Botschaft darstellen, und dass der Fahrer (9) des Kraftfahrzeugs (2) über die Botschaft informiert wird, wenn Art, Anzahl und/oder Stärke der Indizien bestimmten Voreinstellungen entsprechen.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass
die Indizien im Wesentlichen statisch sind.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
Typ, Körperorientierung, Kopforientierung, Blickrichtung, Gestik und/oder Ausstattung eines nicht motorisierten Verkehrsteilnehmers (3) durch Vergleich von dessen Konturen mit vorgespeicherten Mustern erkannt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
wenn die dem Fahrer mitgeteilte Botschaft eine von bestimmten vorgespeicherten verkehrsbezogenen Botschaften ist und der Fahrer auf diese Botschaft nicht angemessen reagiert, dieser Umstand einem Fahrerassistenzsystem (10) des Kraftfahrzeugs übermittelt wird, welches dadurch voraktiviert wird.
7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
eine Reaktion auf eine erkannte Botschaft situationsabhängig in einer Benachrichtigung oder Warnung des Fahrers (9) und/oder einer Voraktivierung oder Aktivierung eines Fahrerassistenzsystems besteht.
8. Verfahren nach Anspruch 7,
dadurch gekennzeichnet, dass
der Fahrer und/oder ein Lernalgorithmus konfigurieren kann, in welchen Situationen eine Benachrichtigung, Warnung oder Fahrerassistenz gegeben werden soll.
9. Vorrichtung zur automatischen Erkennung von nicht motorisierten Verkehrsteilnehmern (3) in der Umgebung eines fahrenden Kraftfahrzeugs (2) anhand von Bildern, die mittels mindestens einer in oder an dem Kraftfahrzeug (2) angebrachten Kamera (1) aufgenommen werden, dadurch gekennzeichnet, dass
die Vorrichtung zur Durchführung des Verfahrens gemäß einem oder mehreren der vorhergehenden Ansprüche eingerichtet ist.
EP14718973.2A 2013-04-22 2014-04-22 Verfahren und vorrichtung zur erkennung von nicht motorisierten verkehrsteilnehmern Withdrawn EP2989590A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013207223.6A DE102013207223A1 (de) 2013-04-22 2013-04-22 Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern
PCT/EP2014/058059 WO2014173863A1 (de) 2013-04-22 2014-04-22 Verfahren und vorrichtung zur erkennung von nicht motorisierten verkehrsteilnehmern

Publications (1)

Publication Number Publication Date
EP2989590A1 true EP2989590A1 (de) 2016-03-02

Family

ID=50543584

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14718973.2A Withdrawn EP2989590A1 (de) 2013-04-22 2014-04-22 Verfahren und vorrichtung zur erkennung von nicht motorisierten verkehrsteilnehmern

Country Status (5)

Country Link
US (1) US20160012301A1 (de)
EP (1) EP2989590A1 (de)
CN (1) CN105283883A (de)
DE (1) DE102013207223A1 (de)
WO (1) WO2014173863A1 (de)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015004605B4 (de) * 2015-04-08 2021-01-14 Audi Ag Verfahren zum Betrieb eines Steuersystems einer Mobileinheit und Mobileinheit
DE102015212364A1 (de) * 2015-07-02 2017-01-05 Conti Temic Microelectronic Gmbh Verfahren zum Lokalisieren eines Zweirades, insbesondere eines Fahrrades
US10272921B2 (en) * 2015-08-25 2019-04-30 International Business Machines Corporation Enriched connected car analysis services
DE102015225082A1 (de) * 2015-12-14 2017-06-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Kraftfahrzeugs in einem vollautomatisierten Fahrmodus und Kraftfahrzeug mit einem vollautomatisierten Fahrmodus
DE102016215587A1 (de) * 2016-08-19 2018-02-22 Audi Ag Verfahren zum Betreiben eines zumindest teilautonom betriebenen Kraftfahrzeugs und Kraftfahrzeug
DE102016217770A1 (de) 2016-09-16 2018-03-22 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs
EP3583450A1 (de) 2017-02-20 2019-12-25 3M Innovative Properties Company Optische artikel und damit interagierende systeme
DE102017208728A1 (de) * 2017-05-23 2018-11-29 Audi Ag Verfahren zur Ermittlung einer Fahranweisung
JP6613265B2 (ja) * 2017-06-01 2019-11-27 本田技研工業株式会社 予測装置、車両、予測方法およびプログラム
JP6796201B2 (ja) * 2017-06-02 2020-12-02 本田技研工業株式会社 予測装置、車両、予測方法およびプログラム
JP2019008519A (ja) * 2017-06-23 2019-01-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
WO2019058446A1 (ja) 2017-09-20 2019-03-28 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
WO2019064108A1 (en) 2017-09-27 2019-04-04 3M Innovative Properties Company PERSONAL PROTECTIVE EQUIPMENT MANAGEMENT SYSTEM USING OPTICAL PATTERNS FOR EQUIPMENT AND SECURITY MONITORING
US10717412B2 (en) * 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
DE102017222288A1 (de) 2017-12-08 2019-06-13 Audi Ag Verfahren zur Organisation mehrerer Fahrzeuge einer Fahrzeugflotte zur Personenbeförderung und Servereinrichtung zum Durchführen des Verfahrens
CN109969172B (zh) * 2017-12-26 2020-12-01 华为技术有限公司 车辆控制方法、设备及计算机存储介质
JP6989418B2 (ja) * 2018-03-12 2022-01-05 矢崎総業株式会社 車載システム
CN110443833B (zh) * 2018-05-04 2023-09-26 佳能株式会社 对象跟踪方法和设备
CN112136165B (zh) * 2018-05-25 2023-10-27 索尼公司 路车间通信的道路侧设备和车辆侧设备以及路车间通信系统
WO2020022912A1 (en) * 2018-07-25 2020-01-30 Motorola Solutions, Inc. Device, system and method for controlling autonomous vehicles using a visual notification device
CN109389838A (zh) * 2018-11-26 2019-02-26 爱驰汽车有限公司 无人驾驶路口路径规划方法、系统、设备及存储介质
CN109859527A (zh) * 2019-01-30 2019-06-07 杭州鸿泉物联网技术股份有限公司 一种非机动车转弯预警方法及装置
DE102019204616A1 (de) * 2019-04-01 2020-10-01 Volkswagen Aktiengesellschaft Verfahren zum Betreiben einer Anzeigevorrichtung eines Kraftfahrzeugs, bei welchem Lebewesen-Symbole angezeigt werden, sowie Anzeigevorrichtung
CN112530172A (zh) * 2019-09-17 2021-03-19 奥迪股份公司 预防骑行目标碰撞前车的安全提示系统和安全提示方法
CN113129597B (zh) * 2019-12-31 2022-06-21 深圳云天励飞技术有限公司 一种机动车道违法车辆识别方法及装置
CN112037364A (zh) * 2020-08-19 2020-12-04 泰州德川绿化养护有限公司 一种行车时安全提醒的方法及行车记录装置
CN112435475B (zh) * 2020-11-23 2022-04-29 北京软通智慧科技有限公司 一种交通状态检测方法、装置、设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004004320A1 (en) 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
DE102006008981A1 (de) * 2006-02-23 2007-08-30 Siemens Ag Assistenzsystem zur Unterstützung eines Fahrers
US20090180668A1 (en) * 2007-04-11 2009-07-16 Irobot Corporation System and method for cooperative remote vehicle behavior
JP4470067B2 (ja) 2007-08-07 2010-06-02 本田技研工業株式会社 対象物種別判定装置、車両
DE102007052093B4 (de) * 2007-10-31 2023-08-10 Bayerische Motoren Werke Aktiengesellschaft Erkennung von spontanen Bewegungsänderungen von Fußgängern
US20100185341A1 (en) * 2009-01-16 2010-07-22 Gm Global Technology Operations, Inc. Vehicle mode activation by gesture recognition
US8351651B2 (en) * 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
CN102096803B (zh) * 2010-11-29 2013-11-13 吉林大学 基于机器视觉的行人安全状态识别系统
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
CN102765365B (zh) * 2011-05-06 2014-07-30 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
TW201328340A (zh) * 2011-12-27 2013-07-01 Hon Hai Prec Ind Co Ltd 乘客攔車提示系統及方法
DE102012016240A1 (de) * 2012-08-16 2014-02-20 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Assistenzsystem für ein Kraftfahrzeug und Verfahren zur Steuerung eines Kraftfahrzeugs
JP5561396B1 (ja) * 2013-02-19 2014-07-30 日本電気株式会社 運転支援システムおよび運転支援方法
EP2963633A4 (de) * 2013-02-27 2016-12-07 Hitachi Automotive Systems Ltd Objektsensor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2014173863A1 *

Also Published As

Publication number Publication date
CN105283883A (zh) 2016-01-27
US20160012301A1 (en) 2016-01-14
WO2014173863A1 (de) 2014-10-30
DE102013207223A1 (de) 2014-10-23

Similar Documents

Publication Publication Date Title
WO2014173863A1 (de) Verfahren und vorrichtung zur erkennung von nicht motorisierten verkehrsteilnehmern
DE102013110332B4 (de) Visuelles leitsystem
DE10325762A1 (de) Bildverarbeitungssystem für ein Fahrzeug
EP3661796B1 (de) Verfahren zum betreiben eines bildschirms eines kraftfahrzeugs sowie kraftfahrzeug
DE102014201159A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
EP2400473A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
DE10336638A1 (de) Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
DE102019208663B4 (de) Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
DE102009009473A1 (de) Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs und anderer Verkehrsteilnehmer sowie Fahrerassistenzsystem für ein Fahrzeug und andere Verkehrsteilnehmer
EP2710573B1 (de) Verfahren und vorrichtung zum erkennen eines möglichen kollisionsobjektes
DE102013017626A1 (de) Verfahren zur Warnung weiterer Verkehrsteilnehmer vor Fußgängern durch ein Kraftfahrzeug und Kraftfahrzeug
EP2869284B1 (de) Fahrerassistenzsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
DE102016215115A1 (de) Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs
DE102013225773A1 (de) Rückraumüberwachungsystem und Verfahren zur Rückraumüberwachung eines Fahrzeugs
DE102020208008A1 (de) Bildklassifikation und zugehöriges Training für sicherheitsrelevante Klassifikationsaufgaben
EP2555178B1 (de) Verfahren zum Erfassen von Objekten seitlich eines Nutzfahrzeugs und Nutzfahrzeug mit einem Erfassungssystem zum Ausführen des Verfahrens
DE102017202380A1 (de) Automatisierte Aktivierung eines Sichtunterstützungssystems
DE10103767A1 (de) Verfahren und Vorrichtung zur vorausschauenden Kollisionserkennung und -vermeidung
DE102016120166A1 (de) Steuern eines Fahrzeugs in Abhängigkeit von der Umgebung
DE102016010818A1 (de) Vorrichtung zur Ausgabe einer Warnung
WO2021047827A1 (de) Verfahren zur kollisionsvermeidung im strassenverkehr auf basis einer adaptiven festlegung von aufenthaltsbereichen
DE102019214004A1 (de) Verfahren zum Steuern einer Vorrichtung in einer Umgebung eines ungeschützten Verkehrsteilnehmers auf Basis eines ermittelten Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmers
DE102019206922A1 (de) Verfahren und Vorrichtung zur Objektmarkierung in Fahrzeugen
DE102011120878A1 (de) Verfahren und Anzeigevorrichtung zur Erzeugung eines virtuellen Bildteils auf einer Bildanzeigeeinheit
DE102016217263A1 (de) Verfahren zum Warnen einer Person vor einer Gefahrenquelle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20151123

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20190425

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20190906