EP3391282A1 - Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system, and motor vehicle - Google Patents

Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system, and motor vehicle

Info

Publication number
EP3391282A1
EP3391282A1 EP16816262.6A EP16816262A EP3391282A1 EP 3391282 A1 EP3391282 A1 EP 3391282A1 EP 16816262 A EP16816262 A EP 16816262A EP 3391282 A1 EP3391282 A1 EP 3391282A1
Authority
EP
European Patent Office
Prior art keywords
pedestrian
contrast pattern
motor vehicle
detected
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16816262.6A
Other languages
German (de)
French (fr)
Inventor
Markus Heimberger
Perikles RAMMOS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP3391282A1 publication Critical patent/EP3391282A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a method for identifying an object (3) in a surrounding region (4) of a motor vehicle (1) as a pedestrian (5), wherein the surrounding region (4) is recorded in images (B) by means of at least one vehicle camera (6), wherein a shadow (11) projected by the object (3) onto a ground (12) in the surrounding region (4) and a contrast pattern (13) formed on the ground (12) and depending on the shadow (11) are recognized in at least one of the recorded images (B) and the object (3) is identified by comparing the formed contrast pattern (13) with a predetermined contrast pattern that characterizes a pedestrian (5). The invention further relates to a driver assistance system (2) and to a motor vehicle (1).

Description

Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug  Method for identifying an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle
Die Erfindung betrifft ein Verfahren zum Identifizieren eines Objektes in einem The invention relates to a method for identifying an object in a
Umgebungsbereich eines Kraftfahrzeugs als einen Fußgänger, bei welchem mittels zumindest einer fahrzeugseitigen Kamera der Umgebungsbereich in Bildern erfasst wird. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem sowie ein Kraftfahrzeug. Surrounding area of a motor vehicle as a pedestrian, in which by means of at least one vehicle-side camera, the surrounding area is captured in images. The invention also relates to a driver assistance system and a motor vehicle.
Es ist bereits aus dem Stand der Technik bekannt, Objekte in einem Umgebungsbereich eines Kraftfahrzeugs zu erfassen und Informationen über die Objekte beispielsweise einem Fahrerassistenzsystem des Kraftfahrzeugs bereitzustellen. Ein solches It is already known from the prior art to detect objects in an environmental region of a motor vehicle and to provide information about the objects, for example to a driver assistance system of the motor vehicle. Such
Fahrerassistenzsystem kann beispielsweise ein elektronischer Bremsassistent mit einer Fußgängererkennung sein. Der Bremsassistent ist insbesondere dazu ausgelegt, eine Geschwindigkeit des Kraftfahrzeugs abzusenken, wenn ein Abstand eines erfassten Fußgängers einen vorbestimmten Wert unterschreitet. So kann beispielsweise ein Zusammenstoß mit dem Fußgänger verhindert werden oder zumindest ein Driver assistance system may be, for example, an electronic brake assistant with a pedestrian recognition. The brake assist is in particular designed to lower a speed of the motor vehicle when a distance of a detected pedestrian falls below a predetermined value. For example, a collision with the pedestrian can be prevented or at least one
Verletzungsrisiko des Fußgängers deutlich verringert werden. Dazu ist insbesondere notwendig, dass das Objekt zuverlässig als ein Fußgänger identifiziert wird. Somit kann beispielsweise verhindert werden, dass die Geschwindigkeit des Kraftfahrzeugs unnötigerweise reduziert wird, wenn das Kraftfahrzeug beispielsweise an einem Baum vorbeifährt. Ein Verfahren zur Objekterkennung, beispielsweise zur Fußgängererkennung (Pedestrian Detection - PD), ist beispielsweise aus der DE 10 2013 1 12 163 A1 bekannt. Injury risk of the pedestrian can be significantly reduced. This requires, in particular, that the object be reliably identified as a pedestrian. Thus, it can be prevented, for example, that the speed of the motor vehicle is unnecessarily reduced when the motor vehicle, for example, passes by a tree. A method for object recognition, for example pedestrian detection (PD), is known, for example, from DE 10 2013 1 12 163 A1.
An sich bekannte Verfahren gemäß dem Stand der Technik weisen jedoch üblicherweise den Nachteil auf, dass zumeist der komplette Fußgänger erfasst werden muss, um eine zuverlässige Objekterkennung durchführen zu können. However, known methods according to the prior art usually have the disadvantage that in most cases the complete pedestrian has to be detected in order to be able to carry out reliable object recognition.
Es ist Aufgabe der vorliegenden Erfindung, ein Objekt auf besonders einfache und zuverlässige Weise als Fußgänger zu identifizieren. It is an object of the present invention to identify an object in a particularly simple and reliable way as a pedestrian.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug gemäß den unabhängigen Patentansprüchen gelöst. This object is achieved by a method, a driver assistance system and a motor vehicle according to the independent claims.
Ein erfindungsgemäßes Verfahren dient zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs als einen Fußgänger. Bei dem Verfahren wird mittels zumindest einer fahrzeugseitigen Kamera der Umgebungsbereich des Kraftfahrzeugs in Bildern erfasst. Darüber hinaus werden in zumindest einem der erfassten Bilder ein von dem Objekt auf einen Boden in dem Umgebungsbereich projizierter Schatten und ein auf dem Boden gebildetes und von dem Schatten abhängiges Kontrastmuster erkannt und das Objekt anhand eines Vergleiches des gebildeten Kontrastmusters mit einem vorbestimmten, einen Fußgänger A method according to the invention serves to identify an object in a surrounding area of a motor vehicle as a pedestrian. In the method, by means of at least one vehicle-side camera, the surrounding area of the Motor vehicle captured in pictures. Moreover, in at least one of the acquired images, a shadow projected from the object on a floor in the surrounding area and a contrast pattern formed on the floor and dependent on the shadow are recognized, and the object is compared with a predetermined pedestrian by comparing the formed contrast pattern
charakterisierenden Kontrastmuster identifiziert. identifying contrasting patterns.
Das Verfahren dient also zum Klassieren eines erfassten Objektes. Mittels des The method thus serves to classify a detected object. By means of the
Verfahrens kann unterschieden werden, ob es sich bei dem erfassten Objekt um einen Fußgänger oder um ein anderes Objekt, beispielsweise um einen Baum oder um ein Straßenschild, handelt. Bei dem Verfahren wird mittels zumindest einer Kamera der Umgebungsbereich des Kraftfahrzeugs in Bildern erfasst. Insbesondere werden vier Kameras bereitgestellt, wobei eine Kamera an einem Frontbereich des Kraftfahrzeugs zum Erfassen des Umgebungsbereiches vor dem Kraftfahrzeug angeordnet sein kann, eine Kamera an einem Heckbereich des Kraftfahrzeugs zum Erfassen des Method can be distinguished, whether it is the detected object is a pedestrian or another object, such as a tree or a road sign. In the method, the environmental region of the motor vehicle is captured in images by means of at least one camera. In particular, four cameras are provided, wherein a camera may be arranged on a front region of the motor vehicle for detecting the surrounding area in front of the motor vehicle, a camera on a rear region of the motor vehicle for detecting the
Umgebungsbereiches hinter dem Kraftfahrzeug angeordnet sein kann und jeweils eine Kamera in jeweils einem Seitenspiegel des Kraftfahrzeugs zum Erfassen eines fahrerseitigen und eines beifahrerseitigen Umgebungsbereiches des Kraftfahrzeugs angeordnet sein kann. Somit kann der Umgebungsbereich des Kraftfahrzeugs insbesondere vollständig und lückenlos überwacht werden. Ambient area behind the motor vehicle can be arranged and in each case a camera can be arranged in each case a side mirror of the motor vehicle for detecting a driver side and a passenger side surrounding area of the motor vehicle. Thus, the surrounding area of the motor vehicle can be monitored in particular completely and completely.
Dabei wird bei dem Verfahren das Objekt in dem zumindest einen Bild nicht anhand des erfassten Objektes selbst identifiziert, sondern anhand des Kontrastmusters auf dem Boden, welches von dem Schatten, welchen das Objekt auf den Boden wirft, abhängig ist. Der Boden kann beispielsweise eine Fahrbahn des Kraftfahrzeugs oder ein Gehweg für den Fußgänger sein. Das Kontrastmuster wird dadurch erzeugt, dass der Boden durch den Schatten bereichsweise abgedunkelt und bereichsweise beleuchtet wird. Das Kontrastmuster umfasst dabei insbesondere die von dem Schatten abgedunkelten Bereiche auf dem Boden sowie die an die abgedunkelten Bereiche angrenzenden, nicht abgedunkelten beziehungsweise beleuchteten Bereiche. Diese Licht-Schatten-Übergänge beziehungsweise Hell-Dunkel-Übergänge werden beispielsweise von einer In this case, in the method, the object in the at least one image is not identified on the basis of the detected object itself, but on the basis of the contrast pattern on the ground, which depends on the shadow which the object throws on the ground. The floor may be, for example, a roadway of the motor vehicle or a walkway for the pedestrian. The contrast pattern is generated by the fact that the floor is partially darkened and partially illuminated by the shadow. In this case, the contrast pattern comprises, in particular, the areas on the floor which are darkened by the shadow and the areas which are not darkened or illuminated and which adjoin the darkened areas. These light-shadow transitions or light-dark transitions, for example, of a
fahrzeugseitigen Bildverarbeitungseinrichtung erkannt und mit dem vorbestimmten Kontrastmuster, welches für einen Fußgänger charakteristische Licht-Schatten- Übergänge umfasst, verglichen. Das vorbestimmte Kontrastmuster entspricht also einem Kontrastmuster, welches mittels eines Schattens eines Fußgängers auf dem Boden erzeugt werden würde. Wenn das erkannte Kontrastmuster mit dem charakterisierenden Kontrastmuster übereinstimmt oder wenn das erkannte Kontrastmuster höchstens um einen vorbestimmten Toleranzwert von dem charakterisierenden Kontrastmuster abweicht, wird das erfasste Objekt als Fußgänger identifiziert. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass die durch das Kontrastmuster gebildeten Hell-Dunkel- Übergänge beziehungsweise Hell-Dunkel-Verläufe schnell und einfach erkannt werden können. Somit kann das Objekt schnell und einfach als Fußgänger identifiziert werden. Vehicle-side image processing device recognized and compared with the predetermined contrast pattern, which includes characteristic for a pedestrian light-shadow transitions. The predetermined contrast pattern thus corresponds to a contrast pattern which would be generated by means of a shadow of a pedestrian on the ground. If the detected contrast pattern coincides with the characterizing contrast pattern or if the detected contrast pattern at most deviates a predetermined tolerance value from the characterizing contrast pattern, the detected object is identified as a pedestrian. The invention is based on the finding that the light-dark transitions or light-dark progressions formed by the contrast pattern can be recognized quickly and easily. Thus, the object can be quickly and easily identified as a pedestrian.
Besonders bevorzugt wird das Objekt als Fußgänger identifiziert, wenn in dem von dem Schatten des Objektes erzeugten Kontrastmuster zwei im Wesentlichen parallel beziehungsweise nebeneinander verlaufende, dunkle Streifen und ein dazwischen liegender, hellerer Streifen als das vorbestimmte Kontrastmuster erkannt werden. Mit anderen Worten bedeutet dies, dass die beiden dunklen Streifen beziehungsweise streifenförmigen Bereiches jeweils angrenzend an den hellen Streifen beziehungsweise streifenförmigen Bereich ausgebildet sind. Damit ergibt sich ein Dunkel-Hell-Dunkel- Verlauf, welcher von der Bildverarbeitungseinrichtung erkannt werden kann. Particularly preferably, the object is identified as a pedestrian if, in the contrast pattern generated by the shadow of the object, two substantially parallel or juxtaposed dark stripes and an intervening, lighter stripe are recognized as the predetermined contrast pattern. In other words, this means that the two dark stripes or strip-shaped region are each formed adjacent to the bright strip or strip-shaped region. This results in a dark-light-dark course, which can be detected by the image processing device.
Die zwei parallel verlaufenden, dunklen Streifen sind dabei insbesondere die Schatten von Beinen des Fußgängers, durch welche der Boden bereichsweise abgedunkelt wird. Der dazwischen liegende, helle Streifen wird beispielsweise dadurch ausgebildet, dass Licht beziehungsweise Sonnenlicht zwischen den Beinen des Fußgängers hindurch scheint. Durch dieses zwischen den Beinen hindurch scheinende Sonnenlicht wird der Boden beleuchtet. Aus dieser Ausführungsform ergibt sich der Vorteil, dass nur die Beine des Fußgängers beziehungsweise nur der Schatten der Beine des Fußgängers zum Identifizieren des Objektes als Fußgänger erfasst werden müssen. Somit kann beispielsweise zumindest eine der beiden, an den Seitenspiegeln des Kraftfahrzeugs angebrachten Kameras zum Erfassen des Objektes verwendet werden. The two parallel, dark stripes are in particular the shadows of legs of the pedestrian, through which the floor is partially darkened. The intermediate light stripe is formed, for example, by the fact that light or sunlight shines through between the legs of the pedestrian. Through this sunlight shining between the legs sunlight is illuminated. From this embodiment, there is the advantage that only the legs of the pedestrian or only the shadow of the legs of the pedestrian must be detected to identify the object as a pedestrian. Thus, for example, at least one of the two cameras attached to the side mirrors of the motor vehicle can be used to detect the object.
Gemäß einer Ausführungsform wird das Objekt als Fußgänger identifiziert, wenn erfasst wird, dass eine Orientierung zumindest eines der Streifen höchstens um einen vorbestimmten Winkel von einer Detektionsachse der Kamera abweicht. Die According to one embodiment, the object is identified as a pedestrian if it is detected that an orientation of at least one of the strips deviates at most by a predetermined angle from a detection axis of the camera. The
Detektionsachse der Kamera beziehungsweise eine Kameraachse entspricht dabei einer Hauptachse eines Erfassungsbereiches der Kamera. Bei einer Kamera im Frontbereich des Kraftfahrzeugs oder im Heckbereich des Kraftfahrzeugs verläuft diese Detection axis of the camera or a camera axis corresponds to a main axis of a detection range of the camera. In the case of a camera in the front region of the motor vehicle or in the rear region of the motor vehicle, this runs
Detektionsachse insbesondere entlang einer Fahrzeuglängsachse des Kraftfahrzeugs. Zum Erfassen der Orientierung zumindest eines der Streifen kann ein Winkel zwischen dem zumindest einen Streifen und der Kameraachse, insbesondere einer Projektion der Kameraachse auf dem Boden, erfasst werden. Dieser Winkel kann mit dem Detection axis, in particular along a vehicle longitudinal axis of the motor vehicle. For detecting the orientation of at least one of the strips, an angle between the at least one strip and the camera axis, in particular a projection of the camera axis on the ground, can be detected. This angle can be with the
vorbestimmten Winkel verglichen werden. Beine des Fußgängers, welcher vor der am Kraftfahrzeug angebrachten Kamera steht, erzeugen in der Regel Schatten in Form von zwei im Wesentlichen parallel verlaufenden Streifen, wobei die Streifen dabei predetermined angle are compared. Legs of the pedestrian, which before the on Motor vehicle-mounted camera stands, usually generate shadows in the form of two substantially parallel stripes, with the stripes in the process
insbesondere entlang der Kameraachse orientiert sind. Dies bedeutet, dass der Winkel zwischen dem zumindest einen Streifen und der Kameraachse in etwa 0°beträgt oder höchstens um den vorgegebenen Winkel von der Kameraachse abweicht. Anhand der Orientierung der Streifen kann das Kontrastmuster also zuverlässig als das von einem Fußgänger erzeugte Kontrastmuster identifiziert werden und beispielsweise nicht mit einem Kontrastmuster einer Straßenmarkierung verwechselt werden. Da sich der Winkel zwischen der Kameraachse und dem zumindest einen Streifen insbesondere dann ändert, wenn sich der Fußgänger bewegt, beispielsweise die Fahrbahn überquert, oder wenn sich das Kraftfahrzeug bewegt, kann anhand des erfassten Winkels und einer erfassten Geschwindigkeit des Kraftfahrzeugs zusätzlich bestimmt werden, ob sich der Fußgänger bewegt oder steht. in particular along the camera axis are oriented. This means that the angle between the at least one strip and the camera axis is approximately 0 ° or at most deviates from the camera axis by the predetermined angle. On the basis of the orientation of the strips, the contrast pattern can thus be reliably identified as the contrast pattern generated by a pedestrian and, for example, not be confused with a contrast pattern of a road marking. Since the angle between the camera axis and the at least one strip changes, in particular when the pedestrian is moving, for example crossing the road, or when the motor vehicle is moving, it can additionally be determined from the detected angle and a detected speed of the motor vehicle whether the pedestrian moves or stands.
Auch kann es vorgesehen sein, dass eine jeweilige Länge und/oder eine jeweilige Breite zumindest eines der Streifen erfasst wird und das Objekt als Fußgänger identifiziert wird, wenn die jeweilige Länge und/oder die jeweilige Breite höchstens um einen It can also be provided that a respective length and / or a respective width of at least one of the strips is detected and the object is identified as a pedestrian if the respective length and / or the respective width is at most one
vorgegebenen Wert von einer für das charakterisierende Kontrastmuster vorgegebenen Länge und/oder Breite abweicht. Für die Breite und/oder Länge, welche abhängig ist von einer Bemaßung der Beine, können plausible, für eine Person übliche beziehungsweise charakteristische Werte vorgegeben werden. Anhand der erfassten Breite und/oder erfassten Länge kann somit plausibilisiert werden, ob es sich bei dem Streifen um den Schatten eines Beines handelt. Insbesondere kann anhand des Erfassens der Breite und/oder der Länge der dunklen Streifen des Kontrastmusters das Kontrastmuster des Fußgängers von einem Kontrastmuster einer Fahrbahnmarkierung, welche beispielsweise als weißer Strich auf der Fahrbahn dargestellt ist und welche ebenfalls ein Kontrastmuster in Form von einem Dunkel-Hell-Dunkel-Übergang erzeugt, unterschieden werden. Mittels des Vergleiches der vorbestimmten Länge und/oder der vorbestimmten Breite mit den vorgegebenen Werten kann das Kontrastmuster auf besonders einfache Weise einem Fußgänger zugeordnet werden. Das Verfahren ist somit besonders zuverlässig gestaltet. predetermined value deviates from a predetermined length and / or width for the characterizing contrast pattern. For the width and / or length, which is dependent on a dimensioning of the legs, plausible, usual for a person or characteristic values can be specified. On the basis of the detected width and / or detected length can thus be plausible whether the strip is the shadow of a leg. In particular, based on the detection of the width and / or the length of the dark stripes of the contrast pattern, the contrast pattern of the pedestrian can be represented by a contrast pattern of a lane marking, which is shown for example as a white line on the lane and which likewise has a contrast pattern in the form of a dark light. Dark transition generated, be differentiated. By means of the comparison of the predetermined length and / or the predetermined width with the predetermined values, the contrast pattern can be assigned to a pedestrian in a particularly simple manner. The method is thus designed to be particularly reliable.
Vorzugsweise wird eine aktuelle Lichteinfallsrichtung von Sonnenlicht bezogen auf das Kraftfahrzeug bestimmt und das charakterisierende Kontrastmuster in Abhängigkeit von der bestimmten Lichteinfallsrichtung bestimmt. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass das erkannte Kontrastmuster abhängig von der Lichteinfallsrichtung des Sonnenlichtes, beispielsweise einem aktuellen Sonnenstand der Sonne, ist. Insbesondere ist eine Orientierung der Streifen des Kontrastmusters abhängig von der Lichteinfallsrichtung. Dabei kann beispielsweise für jede Lichteinfallsrichtung ein lichteinfallsrichtungsspezifisches, einen Fußgänger charakterisierendes Kontrastmuster hinterlegt werden und in Abhängigkeit von der aktuellen Lichteinfallsrichtung das entsprechende hinterlegte Kontrastmuster zum Vergleich mit dem erfassten Preferably, a current light incidence direction of sunlight is determined with respect to the motor vehicle and the characterizing contrast pattern is determined as a function of the determined light incidence direction. In this case, the invention is based on the knowledge that the recognized contrast pattern is dependent on the light incidence direction of the sunlight, for example a current sun position of the sun. In particular, an orientation of the strips of the contrast pattern is dependent on the Light direction. In this case, for example, a light incident direction-specific, a pedestrian-characterizing contrast pattern can be deposited for each direction of light incidence and, depending on the current light incidence direction, the corresponding deposited contrast pattern for comparison with the detected
Kontrastmuster verwendet werden. Contrast patterns are used.
Die Lichteinfallsrichtung kann beispielsweise anhand einer Grundhelligkeit The direction of light incidence may, for example, based on a basic brightness
beziehungsweise Helligkeit des von der zumindest einen Kamera erfassten Bildes bestimmt werden. Diese Helligkeit kann von der zumindest einen Kamera selbst und/oder von der Bildverarbeitungseinrichtung erkannt werden. Auch kann vorgesehen sein, dass die Lichteinfallsrichtung mittels eines fahrzeugseitigen Regen-Licht-Tunnel-Sensors und/oder mittels eines fahrzeugseitigen Sonnenstandsensors detektiert wird. Auch kann von einer fahrzeugseitigen Steuereinrichtung des Fahrerassistenzsystems beispielsweise eine internetbasierte Wetterdatenbank aufgerufen werden, in welcher aktuelle or brightness of the image captured by the at least one camera. This brightness can be detected by the at least one camera itself and / or by the image processing device. It can also be provided that the direction of light incidence is detected by means of a vehicle-side rain light tunnel sensor and / or by means of a vehicle-side sun position sensor. Also, for example, an internet-based weather database can be called up by a vehicle-side control device of the driver assistance system, in which current
Wetterdaten hinterlegt sind. Anhand der in der Wetterdatenbank hinterlegten Wetterdaten können ein an einer aktuellen Position des Kraftfahrzeugs zu der aktuellen Uhrzeit vorhandener Sonnenstand und damit die aktuelle Lichteinfallsrichtung in Abhängigkeit von einer Orientierung des Kraftfahrzeugs bestimmt werden. Die Position des Weather data are stored. Based on the weather data stored in the weather database, a position of the sun at a current position of the motor vehicle at the current time and thus the current light incidence direction can be determined as a function of an orientation of the motor vehicle. The position of the
Kraftfahrzeugs sowie die Orientierung des Kraftfahrzeugs können beispielsweise mittels eines fahrzeugseitigen GPS-Gerätes bestimmt werden. Somit kann ein Motor vehicle and the orientation of the motor vehicle can be determined for example by means of a vehicle-side GPS device. Thus, a
charakterisierendes Kontrastmuster bestimmt werden, anhand dessen das Objekt zuverlässig klassiert werden kann. characterizing contrast pattern can be determined by means of which the object can be classified reliably.
In einer vorteilhaften Ausführungsform der Erfindung wird anhand des zumindest einen Bildes eine Position des als Fußgänger identifizierten Objektes in einer den In an advantageous embodiment of the invention is based on the at least one image, a position of the identified as a pedestrian object in a
Umgebungsbereich darstellenden Umgebungskarte bestimmt und zur Verfolgung des Fußgängers in zumindest einem weiteren Bild das Objekt anhand des Schattens des Objektes und des gebildeten Kontrastmusters als Fußgänger identifiziert und anhand des zumindest einen weiteren Bildes eine weitere Position des Objektes in der Surrounding area performing map determined and tracking the pedestrian in at least one other image, the object based on the shadow of the object and the formed contrast pattern as a pedestrian and based on the at least one further image, a further position of the object in the
Umgebungskarte bestimmt. Die Umgebungskarte ist dabei insbesondere eine virtuelle Karte, in welche beispielsweise Positionen und geometrische Abmessungen von erfassten Objekten im Umgebungsbereich, insbesondere Abstände der erfassten Objekte relativ zum Kraftfahrzeug, eingetragen sind. Anhand der Umgebungskarte kann das Fahrerassistenzsystem des Kraftfahrzeugs Assistenzfunktionen, beispielsweise die automatische Notbremsung oder einen autonomen Einparkvorgang, bereitstellen. Anhand der zumindest zwei, von der Kamera aufgenommenen Bilder werden die Positionen des Fußgängers über die Zeit verfolgt und in die Umgebungskarte eingetragen. Mit anderen Worten bedeutet dies, dass ein Bewegungsverlauf des Fußgängers bestimmt wird. Der Fußgänger wird also verfolgt beziehungsweise„getrackt". Anhand der über die Zeit verfolgten Positionen kann beispielsweise bestimmt werden, ob der Fußgänger steht oder sich bewegt. Wenn beispielsweise erfasst wird, dass der Fußgänger steht, so kann auf die automatische Notbremsung verzichtet werden. Wenn aber erfasst wurde, dass sich der Fußgänger auf das Kraftfahrzeug zu bewegt und eine Kollision mit dem Kraftfahrzeug droht, so kann von dem Fahrerassistenzsystem die automatische Notbremsung durchgeführt werden. Area map determined. The environment map is in particular a virtual map, in which, for example, positions and geometric dimensions of detected objects in the surrounding area, in particular distances of the detected objects relative to the motor vehicle, are registered. Based on the environment map, the driver assistance system of the motor vehicle assistance functions, such as automatic emergency braking or autonomous parking operation, provide. On the basis of the at least two images taken by the camera, the positions of the pedestrian are tracked over time and entered into the environment map. With others In other words, this means that a course of movement of the pedestrian is determined. The pedestrian is thus tracked or "tracked." The positions tracked over time can be used, for example, to determine whether the pedestrian is standing or moving, for example, if it is detected that the pedestrian is standing, then automatic emergency braking can be dispensed with but it was detected that the pedestrian is moving towards the motor vehicle and threatens a collision with the motor vehicle, the automatic emergency braking can be performed by the driver assistance system.
Es erweist sich als vorteilhaft, wenn zusätzlich in zumindest einem der Bilder das Objekt selbst erkannt wird und das Objekt nur dann als Fußgänger identifiziert und bestätigt wird, wenn das Objekt anhand des in zumindest einem der Bilder erkannten Objektes und anhand des in zumindest einem der Bilder erkannten Kontrastmusters als Fußgänger identifiziert wird. Mit anderen Worten bedeutet dies, dass die Identifizierung des Objektes anhand des erkannten Kontrastmusters verifiziert wird, indem zusätzlich das Objekt selbst in zumindest einem Bild erkannt wird und als Fußgänger identifiziert wird. Das Verfahren der Objektidentifizierung umfasst also zwei Teilverfahren. In einem ersten Teilverfahren wird das Objekt anhand des Kontrastmusters identifiziert und in einem zweiten It proves to be advantageous if, in addition, the object itself is detected in at least one of the images and the object is identified and confirmed as a pedestrian only if the object is identified on the basis of the object recognized in at least one of the images and in at least one of the images recognized contrast pattern is identified as a pedestrian. In other words, this means that the identification of the object is verified on the basis of the recognized contrast pattern by additionally recognizing the object itself in at least one image and identifying it as a pedestrian. The method of object identification thus comprises two sub-methods. In a first partial method, the object is identified on the basis of the contrast pattern and in a second
Teilverfahren anhand des in dem zumindest einen Bild erkannten Objektes selbst. Sub-method based on the detected in the at least one image object itself.
Verfahren zur Fußgängeridentifizierung anhand des erfassten Objektes sind Procedures for pedestrian identification based on the detected object are
beispielsweise in Form von Mustererkennungsalgorithmen, insbesondere in Form von Klassifikatoren, bekannt. Ein solcher Klassifikator kann beispielsweise die sogenannte Stützvektormethode (Support Vector Machine - SVM) sein. Nur wenn das Objekt anhand beider Teilverfahren als Fußgänger identifiziert wurde, wird die Fußgängeridentifizierung als erfolgreich gewertet und das erfasste Objekt als Fußgänger bestätigt. for example in the form of pattern recognition algorithms, in particular in the form of classifiers. Such a classifier may be, for example, the so-called support vector machine (SVM). Only if the object has been identified as a pedestrian by means of both partial procedures, the pedestrian identification is considered successful and the detected object is confirmed as a pedestrian.
Wenn beispielsweise das Objekt nur anhand des ersten Teilverfahrens als Fußgänger identifiziert wurde, aber die Identifizierung des Objektes anhand des zweiten For example, if the object was identified as a pedestrian only by the first partial procedure, but the object was identified by the second
Teilverfahrens verneint wurde, so wird davon ausgegangen, dass es sich bei dem erkannten Kontrastmuster nicht um das Kontrastmuster eines Fußgängers handelt, sondern um das Kontrastmuster, welches beispielsweise durch eine Straßenmarkierung auf dem Boden erzeugt wurde. Wenn das Objekt nur anhand des zweiten Teilverfahrens als Fußgänger identifiziert wurde, aber die Identifizierung des Objektes anhand des ersten Teilverfahrens verneint wurde, so wird davon ausgegangen, dass es sich bei dem erfassten Objekt um ein anderes Objekt, beispielsweise einen Baum, handelt. Durch die Teilverfahren wird also eine Redundanz bereitgestellt, durch welche das Objekt zuverlässig identifiziert werden kann. Vorzugsweise wird in dem gleichen, von der zumindest einen Kamera erfassten Bild das Objekt selbst und das Kontrastmuster erkannt und das Objekt anhand des gleichen Bildes als Fußgänger identifiziert. Mit anderen Worten bedeutet dies, dass für beide Teilverfahren das gleiche, von der fahrzeugseitigen Kamera erfasste Bild zur It was assumed that the recognized contrast pattern was not the contrast pattern of a pedestrian, but the contrast pattern, which was generated for example by a road marking on the floor. If the object was identified as a pedestrian only on the basis of the second partial method, but the identification of the object was negated on the basis of the first partial method, then it is assumed that the detected object is another object, for example a tree. The partial methods therefore provide a redundancy by means of which the object can be reliably identified. Preferably, in the same image captured by the at least one camera, the object itself and the contrast pattern are recognized, and the object is identified as a pedestrian on the basis of the same image. In other words, this means that for both sub-processes the same image acquired by the vehicle-side camera for
Identifizierung des Objektes verwendet wird. Somit kann anhand eines einzigen aufgenommenen Bildes zuverlässig das Objekt als Fußgänger identifiziert werden. Identification of the object is used. Thus, based on a single recorded image reliably the object can be identified as a pedestrian.
In einer weiteren Ausführungsform der Erfindung werden ein Vorgang der Identifizierung des Objektes als Fußgänger anhand des erkannten Objektes und ein Vorgang der Identifizierung des Objektes anhand des erkannten Kontrastmusters zumindest zeitweise gleichzeitig durchgeführt. Mit anderen Worten bedeutet dies, dass sich die Vorgänge der Durchführung der Teilverfahren zumindest teilweise überschneiden. Anders ausgedrückt werden die beiden Teilverfahren, nämlich die Objektidentifizierung anhand des In a further embodiment of the invention, an operation of identifying the object as a pedestrian on the basis of the recognized object and a process of identifying the object based on the detected contrast pattern are carried out at least simultaneously at the same time. In other words, this means that the procedures for carrying out the sub-procedures at least partially overlap. In other words, the two sub-procedures, namely the object identification based on the
Kontrastmusters und anhand des Objektes selbst, zumindest zeitweise parallel beziehungsweise gleichzeitig durchgeführt. Somit kann ein Objekt besonders schnell als Fußgänger identifiziert und bestätigt werden. Contrast pattern and based on the object itself, at least temporarily carried out in parallel or simultaneously. Thus, an object can be identified and confirmed very fast as a pedestrian.
Auch kann vorgesehen sein, dass eine Position des erkannten Objektes und eine Position des Kontrastmusters in einer Umgebungskarte bestimmt werden und das erkannte Objekt und das Kontrastmuster in die Umgebungskarte eingetragen werden. Anhand der Position des erkannten Objektes sowie anhand der Position des It can also be provided that a position of the detected object and a position of the contrast pattern in an environment map are determined and the detected object and the contrast pattern are entered into the area map. Based on the position of the detected object and the location of the object
Kontrastmusters in der Umgebungskarte kann ein Abstand des Objektes relativ zum Kraftfahrzeug bestimmt werden. Dieser Abstand kann beispielsweise dem als Contrast pattern in the environment map, a distance of the object relative to the motor vehicle can be determined. This distance can, for example, the as
Notbremsassistent ausgestalteten Fahrerassistenzsystem zur Verfügung gestellt werden. Außerdem kann anhand der beiden Position bestimmt werden, ob das Kontrastmuster von dem Schatten des Objektes auf dem Boden gebildet wurde, also ob das Emergency Brake Assist configured driver assistance system are provided. In addition, it can be determined on the basis of the two positions, whether the contrast pattern was formed by the shadow of the object on the ground, ie whether the
Kontrastmuster dem Objekt zugeordnet werden kann. Contrast pattern can be assigned to the object.
Vorzugsweise wird in der Umgebungskarte eine Projektion des erkannten Objektes auf dem Boden bestimmt und das Objekt als Fußgänger identifiziert, wenn sich die Projektion des Objektes und das in die Umgebungskarte eingetragene Kontrastmuster des Objektes zumindest in einem vorbestimmten Überlappungsbereich überlappen. Dies bedeutet, dass mittels der Projektion in der Umgebungskarte künstlich beziehungsweise virtuell, beispielsweise von der Bildverarbeitungsrichtung, ein Schatten des Objektes auf dem Boden erzeugt beziehungsweise bestimmt wird. Die Projektion kann insbesondere unter Berücksichtigung der aktuellen Lichteinfallsrichtung zum Zeitpunkt des aufgenommenen Bildes bestimmt werden. Wenn sich die Projektion und der Schatten des Objektes, also das von dem künstlich erzeugten Schatten abhängige Kontrastmuster und das von dem Schatten des Objektes abhängige Kontrastmuster, zumindest in dem vorbestimmten Überlappungsbereich überlappen, so kann davon ausgegangen werden, dass das Kontrastmuster auf dem Boden tatsächlich von dem Objekt erzeugt wurde und es sich bei dem erkannten Kontrastmuster beispielsweise nicht um eine Straßenmarkierung handelt. Mittels der Projektion und des Kontrastmusters können in vorteilhafter Weise die aus dem ersten Teilverfahren und dem zweiten Teilverfahren erkannten Fußgänger zu einem Objekt assoziiert werden und somit das erfasste Objekt zuverlässig als Fußgänger identifiziert werden. Preferably, a projection of the detected object on the ground is determined in the surroundings map and the object identified as a pedestrian when the projection of the object and the contrast pattern of the object entered in the surroundings map overlap at least in a predetermined overlapping area. This means that by means of the projection in the surroundings map artificially or virtually, for example, from the image processing direction, a shadow of the object is generated or determined on the ground. The projection can be done taking into account the current light incidence direction at the time of the recorded Image to be determined. If the projection and the shadow of the object, that is to say the contrast pattern dependent on the artificially created shadow and the contrast pattern dependent on the shadow of the object, overlap, at least in the predetermined overlapping area, it can be assumed that the contrast pattern on the ground is actually off the object was created and the detected contrast pattern is not a road marking, for example. By means of the projection and the contrast pattern, the pedestrians recognized from the first sub-method and the second sub-method can advantageously be associated to form an object, and thus the detected object can be reliably identified as a pedestrian.
Die Erfindung betrifft außerdem ein Fahrerassistenzsystem zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs als einen Fußgänger. Das Fahrerassistenzsystem umfasst zumindest eine fahrzeugseitige Kamera zum Erfassen des Umgebungsbereiches in Bildern. Darüber hinaus ist eine Bildverarbeitungseinrichtung des Fahrerassistenzsystems dazu ausgelegt, in zumindest einem der erfassten Bilder einen von dem Objekt auf einen Boden in dem Umgebungsbereich projizierten Schatten und ein von dem Schatten auf dem Boden abhängiges Kontrastmuster zu erkennen und das Objekt anhand eines Vergleiches des von dem Schatten abhängigen The invention also relates to a driver assistance system for identifying an object in a surrounding area of a motor vehicle as a pedestrian. The driver assistance system comprises at least one vehicle-side camera for detecting the surrounding area in images. In addition, an image processing device of the driver assistance system is configured to detect in at least one of the captured images a shadow projected from the object onto a floor in the surrounding area and a contrast pattern dependent on the shadow on the floor and the object from a comparison of that from the shadow dependent
Kontrastmusters mit einem vorbestimmten, einen Fußgänger charakterisierenden Contrast pattern with a predetermined, pedestrian characterizing
Kontrastmuster zu identifizieren. Das Fahrerassistenzsystem kann beispielsweise als ein automatischer Notbremsassistent ausgestaltet sein und bei einer drohenden Kollision mit einem als Fußgänger identifizierten Objekt das Kraftfahrzeug automatisch abbremsen. Identify contrast pattern. The driver assistance system can be designed, for example, as an automatic emergency brake assistant and, in the event of an imminent collision with an object identified as a pedestrian, automatically decelerate the motor vehicle.
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes A motor vehicle according to the invention comprises an inventive
Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als ein Personenkraftwagen ausgebildet. Driver assistance system. The motor vehicle is designed in particular as a passenger car.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten The preferred embodiments presented with reference to the process according to the invention
Ausführungsformen und deren Vorteile geltend entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug. Embodiments and their advantages apply correspondingly for the driver assistance system according to the invention and for the motor vehicle according to the invention.
Mit Angaben„oben",„unten",„vorne",„hinten",„seitlich",„Vorderseite",„Rückseite", etc. sind bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der zumindest einen Kamera an dem Kraftfahrzeug und bei einem dann vor dem With information "top", "bottom", "front", "rear", "side", "front", "back", etc. are at normal use and proper arrangement of the at least one camera on the motor vehicle and then one before the
Kraftfahrzeug stehenden und in Richtung des Kraftfahrzeugs blickenden Beobachter gegebene Positionen und Orientierungen angegeben. Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Motor vehicle standing and looking in the direction of the motor vehicle observer given positions and orientations. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description as well as features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures are not only in the respectively indicated combination but also in others
Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Combinations or alone, without departing from the scope of the invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim.
Dabei zeigen: Showing:
Fig. 1 eine schematische Darstellung einer Ausführungsform eines Fig. 1 is a schematic representation of an embodiment of a
erfindungsgemäßen Kraftfahrzeugs; und  motor vehicle according to the invention; and
Fig. 2 eine schematische Darstellung eines von einer fahrzeugseitigen Kamera erfassten Bildes. 2 is a schematic representation of an image captured by a vehicle-mounted camera.
In den Fig. sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. In the figures, identical and functionally identical elements are provided with the same reference numerals.
Fig. 1 zeigt ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2. Das Fig. 1 shows a motor vehicle 1 with a driver assistance system 2. The
Fahrerassistenzsystem 2 dient zum Identifizieren eines Objektes 3 in einem Driver assistance system 2 is used to identify an object 3 in one
Umgebungsbereich 4 des Kraftfahrzeugs 1 als einen Fußgänger 5. Das Surrounding area 4 of the motor vehicle 1 as a pedestrian 5. Das
Fahrerassistenzsystem 2 kann beispielsweise als ein automatischer Notbremsassistent ausgestaltet sein, welcher einen Fahrer des Kraftfahrzeugs vor einer drohenden Kollision mit dem Fußgänger 5 warnt und/oder das Kraftfahrzeug 1 bei einer drohenden Kollision mit dem Fußgänger automatisch abbremst. Zur Identifizierung des Objektes 3 als einen Fußgänger 5 umfasst das Fahrerassistenzsystem 2 zumindest eine fahrzeugseitige Kamera 6. Hier umfasst das Kraftfahrzeug 1 vier fahrzeugseitige Kameras 6, wobei eine Kamera 6 in einem Frontbereich 7 des Kraftfahrzeugs 1 angeordnet ist. Mittels der Kamera 6 kann der Umgebungsbereich 4 vor dem Kraftfahrzeug 1 überwacht werden. Eine weitere Kamera 6 ist an einem Heckbereich 8 des Kraftfahrzeugs 1 angeordnet, um den Umgebungsbereich 4 hinter dem Kraftfahrzeug 1 zu überwachen. Zwei weitere Kameras 6 sind hier in jeweils einen Seitenspiegel 9 des Kraftfahrzeugs 1 integriert, sodass der Umgebungsbereich 4 seitlich des Kraftfahrzeugs 1 überwacht werden kann. Driver assistance system 2 can be configured, for example, as an automatic emergency brake assist, which warns a driver of the motor vehicle of an imminent collision with the pedestrian 5 and / or automatically decelerates the motor vehicle 1 in the event of an impending collision with the pedestrian. In order to identify the object 3 as a pedestrian 5, the driver assistance system 2 comprises at least one camera 6 on the vehicle. Here, the motor vehicle 1 comprises four cameras 6 on the vehicle, a camera 6 being arranged in a front region 7 of the motor vehicle 1. By means of Camera 6, the surrounding area 4 can be monitored in front of the motor vehicle 1. A further camera 6 is arranged at a rear area 8 of the motor vehicle 1 in order to monitor the surrounding area 4 behind the motor vehicle 1. Two further cameras 6 are integrated here in each case a side mirror 9 of the motor vehicle 1, so that the surrounding area 4 can be monitored laterally of the motor vehicle 1.
Die Kameras 6 sind dazu ausgelegt, den Umgebungsbereich 4 des Kraftfahrzeugs 1 in Bildern B zu erfassen, wobei ein von der Kamera 6 im Frontbereich 7 des KraftfahrzeugsThe cameras 6 are designed to detect the surrounding area 4 of the motor vehicle 1 in pictures B, one of the camera 6 in the front area 7 of the motor vehicle
I erfasstes Bild B beispielhaft in Fig. 2 dargestellt ist. In dem zumindest einen erfassten Bild B wird von einer fahrzeugseitigen Bilderfassungseinrichtung 10 des I captured image B is exemplified in Fig. 2. In the at least one captured image B is from an on-vehicle image capture device 10 of
Fahrerassistenzsystems 2 ein Schatten 1 1 erkannt, welchen das Objekt 3 auf einen Boden 12 projiziert. Der Boden 12 kann beispielsweise eine Fahrbahn für das Driver assistance system 2 a shadow 1 1 detected, which projects the object 3 on a floor 12. The floor 12 may, for example, a roadway for the
Kraftfahrzeug 1 oder ein Gehweg sein. Durch den auf den Boden 12 projizierten SchattenBe a motor vehicle 1 or a walkway. Through the shadow projected onto the floor 12
I I wird auf dem Boden 12 ein von dem Schatten 1 1 abhängiges Kontrastmuster 13 erzeugt, welches von der Bildverarbeitungseinrichtung 10 des Fahrerassistenzsystems 2 in dem zumindest einen Bild B erkannt wird. Dieses erkannte Kontrastmuster 13 wird mit einem vorbestimmten, einen Fußgänger charakterisierenden Kontrastmuster verglichen und das erfasste Objekt 3 anhand dieses Vergleiches als ein Fußgänger 5 identifiziert. Das erfasste Objekt 3 wird anhand des Vergleiches als Fußgänger 5 identifiziert, wenn das erfasste Kontrastmuster 13 höchstens um einen vorbestimmten Wert von dem charakterisierenden Kontrastmuster abweicht, also wenn sich das erfasste I I is on the floor 12 a dependent of the shadow 1 1 contrast pattern 13 generated, which is detected by the image processing device 10 of the driver assistance system 2 in the at least one image B. This detected contrast pattern 13 is compared with a predetermined contrast pattern characterizing a pedestrian, and the detected object 3 is identified as a pedestrian 5 on the basis of this comparison. The detected object 3 is identified on the basis of the comparison as a pedestrian 5, if the detected contrast pattern 13 at most by a predetermined value deviates from the characterizing contrast pattern, so if the detected
Kontrastmuster 13 und das charakterisierende Kontrastmuster zumindest in einem vorbestimmten Überlappungsbereich überlappen beziehungsweise überschneiden. Contrast pattern 13 and the characterizing contrast pattern overlap or overlap at least in a predetermined overlap area.
Dabei wird das Objekt 3 insbesondere dann als Fußgänger 5 identifiziert, wenn das Kontrastmuster 13 zwei im Wesentlichen parallel beziehungsweise nebeneinander verlaufende, dunkle Streifen 14 beziehungsweise streifenförmige Bereiche sowie einen zwischen den dunklen Streifen 14 verlaufenden, hellen Streifen 15 beziehungsweise streifenförmigen Bereich aufweist. Die dunklen Streifen 14 entsprechen dabei einem abgedunkelten Bereich auf dem Boden 12, welcher durch den Schatten von Beinen 16 des Fußgängers 5 erzeugt wird. Der zwischen den dunklen Streifen 14 verlaufende, helle Streifen 15 entspricht dabei einem nicht abgedunkelten Bereich auf dem Boden 12. In this case, the object 3 is identified in particular as a pedestrian 5 if the contrast pattern 13 has two substantially parallel or juxtaposed, dark stripes 14 or strip-shaped regions and a light strip 15 or strip-shaped region extending between the dark stripes 14. The dark stripes 14 correspond to a darkened area on the floor 12, which is generated by the shadow of legs 16 of the pedestrian 5. The light strip 15 extending between the dark stripes 14 corresponds to a non-darkened area on the floor 12.
Dieser entsteht beispielsweise dadurch, dass Licht von der Sonne S zwischen den Beinen 16 des Fußgängers 5 hindurch scheint und damit den Bereich zwischen den zwei dunklen Streifen 14 ausleuchtet. Dieses Kontrastmuster 13 aus abwechselnd einem dunklen, einem hellen und einem dunklen Bereich auf dem Boden 12 wird als für einen Fußgänger charakteristisch definiert. Darüber hinaus wird eine Breite 17 zumindest eines der Streifen 14, 15 und/oder eine Länge 18 zumindest eines der Streifen 14, 15 erfasst. Das Objekt 3 wird nur dann als Fußgänger 5 identifiziert, wenn die erfasste Breite 17 und/oder die erfasste Länge 18 höchstens um einen vorgegebenen Wert von einer, für das charakterisierende This arises, for example, in that light from the sun S shines through between the legs 16 of the pedestrian 5 and thus illuminates the area between the two dark stripes 14. This contrasting pattern 13 of alternating a dark, a light and a dark area on the floor 12 is defined as being characteristic of a pedestrian. In addition, a width 17 of at least one of the strips 14, 15 and / or a length 18 of at least one of the strips 14, 15 is detected. The object 3 is identified as pedestrian 5 only if the detected width 17 and / or the detected length 18 are at most a predetermined value of one for which characterizing
Kontrastmuster vorgegebenen Länge und/oder Breite abweicht. Die Breite und die Länge der Streifen 14, 15 sind dabei abhängig von einer Breite und Länge der Beine 16 des Fußgängers 5. Für eine solche Breite und Länge können plausible, für eine Person typische Werte vorgegeben werden, sodass von der Bildverarbeitungseinrichtung 10 bestimmt werden kann, ob eine erfasste Breite 17 und/oder eine erfasste Länge 18 in dem Kontrastmuster 13 für einen Fußgänger realistisch beziehungsweise plausibel ist. So kann beispielsweise eine Fahrbahnmarkierung 19 auf dem Boden, welche ebenfalls ein Kontrastmuster aus abwechselnd einem dunklen, einem hellen und einem dunklen Bereich auf dem Boden 12 erzeugt, zuverlässig von dem von dem Schatten 1 1 des Fußgängers 5 abhängigen Kontrastmuster 13 unterschieden werden, da die Breite der dunklen Streifen bei dem von der Fahrbahnmarkierung 19 erzeugten Kontrastmuster deutlich größer ist als die breite der dunklen Streifen 14 bei dem Kontrastmuster 13 eines Fußgängers 5. Contrast pattern of predetermined length and / or width deviates. The width and the length of the strips 14, 15 are dependent on a width and length of the legs 16 of the pedestrian 5. For such a width and length plausible, typical for a person values can be specified so that can be determined by the image processing device 10 Whether a detected width 17 and / or a detected length 18 in the contrast pattern 13 for a pedestrian is realistic or plausible. Thus, for example, a road marking 19 on the ground, which also produces a contrast pattern of alternating a dark, a light and a dark area on the floor 12, reliably distinguished from the shadow of the shadow 1 1 of the pedestrian 5 contrast pattern 13, as the Width of the dark stripes in the contrast pattern generated by the road marking 19 is significantly greater than the width of the dark stripes 14 in the contrast pattern 13 of a pedestrian. 5
Außerdem wird zum Erfassen einer Orientierung zumindest eines der Steifen 14, 15 ein Winkel 22 zwischen dem zumindest einen Streifen 14, 15 und einer Detektionsachse 23 beziehungsweise Kameraachse der Kamera 6 erfasst. Das Objekt 3 wird dann als der Fußgänger 5 identifiziert, wenn die Orientierung des zumindest einen Streifens14 höchstens um einen vorbestimmten Winkel von der Detektionsachse 23 abweicht, also wenn der erfasste Winkel 22 den vorbestimmten Winkel nicht überschreitet. Die In addition, to detect an orientation of at least one of the strips 14, 15, an angle 22 between the at least one strip 14, 15 and a detection axis 23 or camera axis of the camera 6 is detected. The object 3 is then identified as the pedestrian 5 if the orientation of the at least one strip 14 differs at most by a predetermined angle from the detection axis 23, that is, if the detected angle 22 does not exceed the predetermined angle. The
Detektionsachse 23 entspricht dabei hier einer Hauptachse eines Erfassungsbereiches 24 der frontseitigen Kamera 6, welcher hier entlang einer Fahrzeuglängsrichtung des Kraftfahrzeugs 1 verläuft. Wenn der Fußgänger 5 vor der frontseitigen Kamera 6 die Fahrbahn überquert oder der Fußgänger 5 vor dem Kraftfahrzeug 1 und damit vor der frontseitigen Kamera 6 steht, erstrecken sich die Streifen 14, 15 des Kontrastmusters 13 insbesondere entlang der Detektionsachse 23. Das Objekt 3 wird also insbesondere dann als Fußgänger 5 identifiziert, wenn zumindest einer der Streifen 14, 15 entlang der Kameraachse 23 verläuft, wenn der Winkel 22 also in etwa 0°als den vorbestimmten Winkel beträgt. Der Winkel 22 zwischen dem zumindest einen Streifen 14, 15 und der Detektionsachse 23 kann sich über die Zeit verändern, vor allem wenn sich der In this case, the detection axis 23 corresponds to a main axis of a detection region 24 of the front-side camera 6, which runs along a vehicle longitudinal direction of the motor vehicle 1 here. If the pedestrian 5 in front of the front camera 6 crosses the lane or the pedestrian 5 is in front of the motor vehicle 1 and thus in front of the front camera 6, the strips 14, 15 of the contrast pattern 13 extend in particular along the detection axis 23. The object 3 is thus identified as pedestrian 5, in particular, when at least one of the strips 14, 15 extends along the camera axis 23, when the angle 22 is thus approximately 0 ° than the predetermined angle. The angle 22 between the at least one strip 14, 15 and the detection axis 23 may change over time, especially when the
Fußgänger 5 oder das Kraftfahrzeug 1 bewegen. Anhand der Winkeländerung und anhand einer erfassten Geschwindigkeit des Kraftfahrzeugs 1 kann also erfasst werden, ob sich der Fußgänger 5 bewegt oder steht. Pedestrian 5 or the motor vehicle 1 move. Based on the angle change and Based on a detected speed of the motor vehicle 1 can thus be detected whether the pedestrian 5 moves or stands.
Darüber hinaus kann eine Lichteinfallsrichtung 20 des Lichtes der Sonne S bestimmt werden. Basierend auf der Lichteinfallsrichtung 20 kann das charakterisierende In addition, a light incident direction 20 of the light of the sun S can be determined. Based on the light incident direction 20, the characterizing
Kontrastmuster bestimmt werden. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass der auf den Boden 12 projizierte Schatten 1 1 des Objektes 3 von der Contrast patterns are determined. The invention is based on the knowledge that the projected on the floor 12 shadow 1 1 of the object 3 of the
Lichteinfallsrichtung 20 abhängig ist. Anders ausgedrückt ist die Orientierung der Streifen 14, 15 abhängig von der Lichteinfallsrichtung 20. Die Lichteinfallsrichtung 20 ist insbesondere abhängig von einem Sonnenstand der Sonne S. Zum Bestimmen des Sonnenstandes der Sonne S kann das Fahrerassistenzsystem 2 beispielsweise einen Regen-Licht-Tunnel-Sensor 25 und/oder einen Sonnenstandssensor aufweisen, welcher den Sonnenstand der Sonne S und damit die Lichteinfallsrichtung 20 erfassen kann. Auch kann dich Lichteinfallsrichtung 20 anhand des von der Kamera 6 erfassten Bildes B bestimmt werden, indem die Kamera 6 selbst und/oder die Bildverarbeitungseinrichtung 10 eine Grundhelligkeit beziehungsweise Helligkeit des Bildes B erfasst. Aus der erfassten Helligkeit kann die Lichteinfallsrichtung 20 bestimmt werden. Auch kann vorgesehen sein, dass das Fahrerassistenzsystem 2 dazu ausgelegt ist, eine Light incident direction 20 is dependent. In other words, the orientation of the strips 14, 15 is dependent on the direction of light incidence 20. The direction of light incidence 20 depends, in particular, on a position of the sun S. For determining the position of the sun S, the driver assistance system 2 may, for example, comprise a rain-light tunnel sensor 25 and / or have a sun position sensor, which can detect the sun's position of the sun S and thus the light incident direction 20. The direction of light incidence 20 can also be determined on the basis of the image B captured by the camera 6, in that the camera 6 itself and / or the image processing device 10 detects a basic brightness or brightness of the image B. From the detected brightness, the light incident direction 20 can be determined. It can also be provided that the driver assistance system 2 is designed to be a
internetbasierte Wetterdatenbank 21 aufzurufen, um beispielsweise aktuelle Wetterdaten an einer Position des Kraftfahrzeugs 1 zu der aktuellen Uhrzeit beziehungsweise Tageszeit zu erhalten. Anhand dieser Wetterdaten und anhand einer Orientierung des Kraftfahrzeugs 1 kann die Lichteinfallsrichtung 20 zuverlässig bestimmt werden. Die Position sowie die Orientierung des Kraftfahrzeugs 1 können beispielsweise mittels eines hier nicht gezeigten GPS-Gerätes des Kraftfahrzeugs 1 bestimmt werden. Internet-based weather database 21 call to receive, for example, current weather data at a position of the motor vehicle 1 at the current time or time of day. On the basis of this weather data and based on an orientation of the motor vehicle 1, the light incident direction 20 can be reliably determined. The position and the orientation of the motor vehicle 1 can be determined for example by means of a GPS device of the motor vehicle 1, not shown here.
Auch kann in dem zumindest einen Bild B eine Position P des Fußgängers 5 erfasst werden und in eine Umgebungskarte, welche den Umgebungsbereich 4 darstellt, eingetragen werden. In der Umgebungskarte kann der Umgebungsbereich 4 für das Fahrerassistenzsystem 2 abgebildet sein, insbesondere können Abstände von erfassten Objekten 3 zu dem Kraftfahrzeug 1 hinterlegt sein. In zumindest einem weiteren, hier nicht dargestellten Bild kann die Position P des Fußgängers 5 erneut bestimmt werden und ebenfalls in die Umgebungskarte eingetragen werden. Somit kann die Position P des Fußgängers 5 über die Zeit, also ein Bewegungsverlauf des Fußgängers 5, erfasst werden. Damit kann beispielsweise bestimmt werden, ob sich der Fußgänger 5 bewegt, beispielsweise die Fahrbahn des Kraftfahrzeugs 1 überquert, oder ob der Fußgänger 5 steht. Insbesondere kann erfasst werden, an welcher Position P der Fußgänger 5 steht und somit der Abstand des Fußgängers 5 relativ zum Kraftfahrzeug 1 bestimmt werden. Somit kann von dem Fahrerassistenzsystem 2 beispielsweise entschieden werden, ob eine von dem Fahrerassistenzsystem 2 bereitgestellte Notbremsung des Kraftfahrzeugs 1 durchgeführt werden muss. Eine Notbremsung des Kraftfahrzeugs 1 ist beispielsweise dann notwendig, wenn der Fußgänger 5 auf der Fahrbahn des Kraftfahrzeugs 1 steht oder sich auf der Fahrbahn bewegt und damit eine Kollision mit dem sich auf der Also, in the at least one image B, a position P of the pedestrian 5 can be detected and registered in an environment map, which represents the surrounding area 4. In the environment map, the surrounding area 4 can be imaged for the driver assistance system 2; in particular, distances from detected objects 3 to the motor vehicle 1 can be stored. In at least one further, not shown image, the position P of the pedestrian 5 can be determined again and also entered in the map. Thus, the position P of the pedestrian 5 over time, so a movement history of the pedestrian 5, are detected. Thus, for example, it can be determined whether the pedestrian 5 is moving, for example crossing the roadway of the motor vehicle 1, or whether the pedestrian 5 is standing. In particular, it can be detected at which position P the pedestrian 5 stands and thus the distance of the pedestrian 5 relative to the motor vehicle 1 is determined. Thus, it can be decided by the driver assistance system 2, for example, whether an emergency braking of the motor vehicle 1 provided by the driver assistance system 2 has to be carried out. An emergency braking of the motor vehicle 1 is for example necessary when the pedestrian 5 is on the roadway of the motor vehicle 1 or moves on the road and thus a collision with the on the
Fahrbahn fortbewegenden Kraftfahrzeug 1 droht. Die Notbremsung ist nicht notwendig, wenn der Fußgänger 5 auf einem Gehweg neben der Fahrbahn des Kraftfahrzeugs 1 steht und das sich auf der Fahrbahn fortbewegende Kraftfahrzeug 1 an dem Fußgänger 5 vorbeifährt. Road locomotive motor vehicle 1 threatens. The emergency braking is not necessary if the pedestrian 5 stands on a sidewalk next to the roadway of the motor vehicle 1 and the motor vehicle 1 traveling on the roadway passes by the pedestrian 5.
Um die Fußgängeridentifizierung besonders zuverlässig zu gestalten, können in dem zumindest einen Bild B nicht nur das Kontrastmuster 13 sondern zusätzlich das Objekt 3 selbst erfasst werden. Anhand des erfassten Objektes 3 kann beispielsweise mittels eines Klassifikators das erfasste Objekt 3 als Fußgänger 5 identifiziert werden. Das erfasste Objekt 3 kann beispielsweise anhand eines Vergleiches mit einer hinterlegten Vorlage als der Fußgänger 5 identifiziert werden. Auch kann anhand eines Pixelmusters des Bildes B das Objekt 3 selbst als Fußgänger 5 identifiziert werden. Nur wenn das Objekt 3 anhand des Kontrastmusters 13 und anhand des Objektes 3 selbst als In order to make pedestrian identification particularly reliable, not only the contrast pattern 13 but additionally the object 3 itself can be detected in the at least one image B. Based on the detected object 3, the detected object 3 can be identified as a pedestrian 5, for example by means of a classifier. The detected object 3 can for example be identified as the pedestrian 5 on the basis of a comparison with a stored template. Also, based on a pixel pattern of the image B, the object 3 itself can be identified as a pedestrian 5. Only if the object 3 based on the contrast pattern 13 and based on the object 3 itself as
Fußgänger 5 identifiziert wurde, wird die Fußgängeridentifizierung als erfolgreich gewertet und das erfasste Objekt 3 als Fußgänger 5 bestätigt. Wenn das erfasste Objekt 3 nur anhand des Kontrastmusters 13, nicht aber anhand des Objektes 3 selbst, als Fußgänger 5 identifiziert wurde, so kann es als wahrscheinlich angesehen werden, dass das erfasste Kontrastmuster 13 von der Straßenmarkierung 19 erzeugt wurde. Wenn das erfasste Objekt 3 nur anhand des Objektes 3 selbst, nicht aber anhand des Kontrastmusters 13, als Fußgänger 5 identifiziert wurde, so kann es als wahrscheinlich angesehen werden, dass das erfasste Objekt 3 ein anderes Objekt, beispielsweise ein Baum, ist. Pedestrian 5 was identified, the pedestrian identification is considered successful and the detected object 3 confirmed as a pedestrian 5. If the detected object 3 has been identified as a pedestrian 5 only on the basis of the contrast pattern 13, but not on the basis of the object 3 itself, it may be considered likely that the detected contrast pattern 13 was generated by the road marking 19. If the detected object 3 has been identified as a pedestrian 5 only on the basis of the object 3 itself, but not on the basis of the contrast pattern 13, then it may be considered probable that the detected object 3 is another object, for example a tree.
Insbesondere ist dabei vorgesehen, dass ein Vorgang der Identifizierung anhand des Objektes 3 selbst und ein Vorgang der Identifizierung anhand des Kontrastmusters 13 in dem gleichen Bild B durchgeführt werden. Es kann also von der zumindest einen fahrzeugseitigen Kamera 6 ein Bild B aufgenommen werden, welches der In particular, it is provided that a process of identification based on the object 3 itself and a process of identification based on the contrast pattern 13 in the same image B are performed. It can therefore be taken from the at least one vehicle-side camera 6, an image B, which is the
Bildverarbeitungseinrichtung 10 zum Identifizieren des Objektes 3 bereitgestellt wird. Außerdem können die Vorgänge zumindest zeitweise gleichzeitig durchgeführt werden. Die Bildverarbeitungseinrichtung 10 kann also parallel mittels des Bildes B den Vorgang der Identifizierung anhand des Objektes 3 selbst und den Vorgang der Identifizierung anhand des Kontrastmusters 13 durchführen. Somit ist das Verfahren besonders schnell gestaltet. Auch kann in der Umgebungskarte, in welche das Objekt 3 selbst und der Schatten 1 1 beziehungsweise das Kontrastmuster 13 eingetragen sind, eine Projektion des Objektes 3 auf den Boden 12 bestimmt werden. Mittels der Projektion des Objektes 3 auf den Boden 12, welche insbesondere in Abhängigkeit von der aktuellen Lichteinfallsrichtung 20 bestimmt wird, kann also künstlich beziehungsweise virtuell von der Image processing device 10 is provided for identifying the object 3. In addition, the operations can be carried out at least temporarily simultaneously. The image processing device 10 can thus perform the process of identification based on the object 3 itself and the process of identification using the contrast pattern 13 in parallel by means of the image B. Thus, the process is designed especially fast. Also, in the environment map, in which the object 3 itself and the shadow 1 1 and the contrast pattern 13 are registered, a projection of the object 3 are determined on the ground 12. By means of the projection of the object 3 on the floor 12, which is determined in particular as a function of the current light incident direction 20, so artificially or virtually by the
Bildverarbeitungseinrichtung 10 ein Schatten des Objektes 3 auf dem Boden 12 erzeugt beziehungsweise bestimmt werden. Wenn sich die Projektion des Objektes 3 und das Kontrastmuster 13, also der virtuell erzeugte Schatten und der erfasste Schatten 1 1 des Objektes 3 zumindest bereichsweise überlappen, wird das Objekt 3 als Fußgänger 5 identifiziert. Image processing device 10 a shadow of the object 3 on the floor 12 generated or determined. If the projection of the object 3 and the contrast pattern 13, ie the virtually generated shadows and the detected shadows 1 1 of the object 3, overlap at least in regions, the object 3 is identified as a pedestrian 5.

Claims

Patentansprüche claims
1 . Verfahren zum Identifizieren eines Objektes (3) in einem Umgebungsbereich (4) eines Kraftfahrzeugs (1 ) als einen Fußgänger (5), bei welchem mittels zumindest einer fahrzeugseitigen Kamera (6) der Umgebungsbereich (4) in Bildern (B) erfasst wird, 1 . Method for identifying an object (3) in a surrounding area (4) of a motor vehicle (1) as a pedestrian (5), in which the surrounding area (4) is captured in pictures (B) by means of at least one vehicle-side camera (6),
dadurch gekennzeichnet, dass  characterized in that
in zumindest einem der erfassten Bilder (B) ein von dem Objekt (3) auf einen Boden (12) in dem Umgebungsbereich (4) projizierter Schatten (1 1 ) und ein auf dem Boden (12) gebildetes und von dem Schatten (1 1 ) abhängiges Kontrastmuster (13) erkannt werden und das Objekt (3) anhand eines Vergleiches des gebildeten Kontrastmusters (13) mit einem vorbestimmten, einen Fußgänger (5)  in at least one of the captured images (B), a shadow (1 1) projected from the object (3) onto a floor (12) in the surrounding area (4) and a shadow (11) formed on the floor (12) ) dependent contrast pattern (13) are detected and the object (3) based on a comparison of the formed contrast pattern (13) with a predetermined, a pedestrian (5)
charakterisierenden Kontrastmuster identifiziert wird.  characterizing contrast pattern is identified.
2. Verfahren nach Anspruch 1 , 2. The method according to claim 1,
dadurch gekennzeichnet, dass  characterized in that
das Objekt (3) als Fußgänger (5) identifiziert wird, wenn in dem von dem Schatten (1 1 ) des Objektes (3) abhängigen Kontrastmuster (13) zwei im Wesentlichen parallel verlaufende, dunkle Streifen (14) und ein dazwischen liegender, hellerer Streifen (15) als das vorbestimmte Kontrastmuster erkannt werden.  the object (3) is identified as a pedestrian (5) if, in the contrast pattern (13) dependent on the shadow (11) of the object (3), two substantially parallel dark stripes (14) and an intervening, lighter one Strips (15) are recognized as the predetermined contrast pattern.
3. Verfahren nach Anspruch 2, 3. The method according to claim 2,
dadurch gekennzeichnet, dass  characterized in that
das Objekt (3) als Fußgänger (5) identifiziert wird, wenn erfasst wird, dass eine Orientierung zumindest eines der Streifen (14, 15) höchstens um einen  the object (3) is identified as a pedestrian (5) if it is detected that an orientation of at least one of the strips (14, 15) at most by one
vorbestimmten Winkel von einer Detektionsachse (23) der Kamera (6) abweicht.  predetermined angle of a detection axis (23) of the camera (6) deviates.
4. Verfahren nach Anspruch 2 oder 3, 4. The method according to claim 2 or 3,
dadurch gekennzeichnet, dass  characterized in that
eine jeweilige Länge (18) und/oder eine jeweilige Breite (17) der Streifen (14, 15) erfasst wird und das Objekt (3) als Fußgänger (5) identifiziert wird, wenn die jeweilige Länge (18) und/oder die jeweilige Breite (17) höchstens um einen vorgegebenen Wert von einer für das vorbestimmte Kontrastmuster vorgegebenen Länge und/oder Breite abweicht. a respective length (18) and / or a respective width (17) of the strips (14, 15) is detected and the object (3) is identified as a pedestrian (5) if the respective length (18) and / or the respective Width (17) at most by a predetermined value of one predetermined for the predetermined contrast pattern Length and / or width deviates.
5. Verfahren nach einem der vorhergehenden Ansprüche, 5. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
eine aktuelle Lichteinfallsrichtung (20) von Sonnenlicht bezogen auf das  a current light incident direction (20) of sunlight with respect to the
Kraftfahrzeug (1 ) bestimmt wird und das vorbestimmte Kontrastmuster in  Motor vehicle (1) is determined and the predetermined contrast pattern in
Abhängigkeit von der bestimmten Lichteinfallsrichtung (20) bestimmt wird.  Dependent on the particular light incident direction (20) is determined.
6. Verfahren nach einem der vorhergehenden Ansprüche, 6. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
anhand des zumindest einen Bildes (B) eine Position (P) des als Fußgänger (5) identifizierten Objektes (3) in einer den Umgebungsbereich (4) darstellenden Umgebungskarte bestimmt wird und zur Verfolgung des Fußgängers (5) in zumindest einem weiteren Bild das Objekt (3) anhand des Schattens (1 1 ) des Objektes (3) und des gebildeten Kontrastmusters (13) als Fußgänger (5) identifiziert wird und anhand des zumindest einen weiteren Bildes eine weitere Position des Objektes (3) in der Umgebungskarte bestimmt wird.  a position (P) of the object (3) identified as pedestrian (5) in an environment map representing the surrounding area (4) is determined on the basis of the at least one image (B) and the object is tracked in at least one further image for tracking the pedestrian (5) (3) on the basis of the shadow (1 1) of the object (3) and the formed contrast pattern (13) is identified as a pedestrian (5) and based on the at least one further image, a further position of the object (3) is determined in the environment map.
7. Verfahren nach einem der vorhergehenden Ansprüche, 7. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
zusätzlich in zumindest einem der Bilder (B) das Objekt (3) selbst erkannt wird und das Objekt (3) nur dann als Fußgänger (5) identifiziert und bestätigt wird, wenn das Objekt (3) anhand des in zumindest einem der Bilder (B) erkannten Objektes (3) und anhand des in zumindest einem der Bilder (B) erkannten Kontrastmusters (13) als Fußgänger (5) identifiziert wurde.  in addition, the object (3) itself is detected in at least one of the images (B) and the object (3) is identified and confirmed as pedestrian (5) only if the object (3) is identified on the basis of at least one of the images (B ) recognized object (3) and on the basis of the in at least one of the images (B) detected contrast pattern (13) has been identified as a pedestrian (5).
8. Verfahren nach Anspruch 7, 8. The method according to claim 7,
dadurch gekennzeichnet, dass  characterized in that
in dem gleichen, von der zumindest einen Kamera (6) erfassten Bild (B) das Objekt (3) selbst und das Kontrastmuster (13) erkannt werden und das Objekt (3) anhand des gleichen Bildes (B) als Fußgänger (5) identifiziert wird.  in the same image (B) captured by the at least one camera (6), the object (3) itself and the contrast pattern (13) are recognized and the object (3) is identified as a pedestrian (5) on the basis of the same image (B) becomes.
9. Verfahren nach Anspruch 7 oder 8, 9. The method according to claim 7 or 8,
dadurch gekennzeichnet, dass  characterized in that
ein Vorgang der Identifizierung des Objektes (3) als Fußgänger (5) anhand des erkannten Objektes (3) und ein Vorgang der Identifizierung des Objektes (3) als Fußgänger (5) anhand des erkannten Kontrastmusters (13) zumindest zeitweise gleichzeitig durchgeführt werden. a process of identifying the object (3) as a pedestrian (5) on the basis of detected object (3) and a process of identifying the object (3) as a pedestrian (5) on the basis of the recognized contrast pattern (13) at least temporarily performed simultaneously.
10. Verfahren nach einem der Ansprüche 7 bis 9, 10. The method according to any one of claims 7 to 9,
dadurch gekennzeichnet, dass  characterized in that
eine Position (P) des erkannten Objektes (3) und eine Position des erkannten Kontrastmusters (13) in einer Umgebungskarte bestimmt werden und das erkannte Objekt (3) und das Kontrastmuster (13) in die Umgebungskarte eingetragen werden.  a position (P) of the detected object (3) and a position of the detected contrast pattern (13) in an environment map are determined and the detected object (3) and the contrast pattern (13) are entered in the surrounding map.
1 1 . Verfahren nach Anspruch 10, 1 1. Method according to claim 10,
dadurch gekennzeichnet, dass  characterized in that
in der Umgebungskarte eine Projektion des erkannten Objektes (3) auf dem Boden (12) bestimmt wird und das Objekt (3) als Fußgänger (5) identifiziert wird, wenn sich die Projektion des Objektes (3) und das in die Umgebungskarte eingetragene Kontrastmuster (13) des Objektes (3) zumindest in einem vorbestimmten  a projection of the recognized object (3) on the floor (12) is determined in the surroundings map and the object (3) is identified as a pedestrian (5) when the projection of the object (3) and the contrast pattern entered in the area map ( 13) of the object (3) at least in a predetermined
Überlappungsbereich überlappen.  Overlap overlap area.
12. Fahrerassistenzsystem (2) zum Identifizieren eines Objektes (3) in einem 12. driver assistance system (2) for identifying an object (3) in one
Umgebungsbereich (4) eines Kraftfahrzeugs (1 ) als einen Fußgänger (5), mit zumindest einer fahrzeugseitigen Kamera (6) zum Erfassen des  Surrounding area (4) of a motor vehicle (1) as a pedestrian (5), with at least one vehicle-side camera (6) for detecting the
Umgebungsbereiches (4) in Bildern (B),  Surrounding area (4) in pictures (B),
dadurch gekennzeichnet, dass  characterized in that
eine Bildverarbeitungseinrichtung (10) des Fahrerassistenzsystems (2) dazu ausgelegt ist, in zumindest einem der erfassten Bilder (B) einen von dem Objekt (3) auf einen Boden (12) in dem Umgebungsbereich (4) projizierten Schatten (1 1 ) und ein auf dem Boden (12) gebildetes und vom dem Schatten (1 1 ) abhängiges Kontrastmuster (13) zu erkennen und das Objekt (3) anhand eines Vergleiches des gebildeten Kontrastmusters (13) mit einem vorbestimmten, einen Fußgänger (5) charakterisierenden Kontrastmuster zu identifizieren.  an image processing device (10) of the driver assistance system (2) is adapted, in at least one of the captured images (B) one of the object (3) on a floor (12) in the surrounding area (4) projected shadow (1 1) and a on the floor (12) formed and of the shadow (1 1) dependent contrast pattern (13) to recognize and identify the object (3) based on a comparison of the formed contrast pattern (13) with a predetermined, a pedestrian (5) characterizing contrast pattern ,
13. Kraftfahrzeug (1 ) mit einem Fahrerassistenzsystem (2) nach Anspruch 12. 13. Motor vehicle (1) with a driver assistance system (2) according to claim 12.
EP16816262.6A 2015-12-16 2016-12-16 Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system, and motor vehicle Withdrawn EP3391282A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015121952.2A DE102015121952A1 (en) 2015-12-16 2015-12-16 Method for identifying an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle
PCT/EP2016/081409 WO2017103096A1 (en) 2015-12-16 2016-12-16 Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system, and motor vehicle

Publications (1)

Publication Number Publication Date
EP3391282A1 true EP3391282A1 (en) 2018-10-24

Family

ID=57590515

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16816262.6A Withdrawn EP3391282A1 (en) 2015-12-16 2016-12-16 Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system, and motor vehicle

Country Status (6)

Country Link
US (1) US10635896B2 (en)
EP (1) EP3391282A1 (en)
JP (1) JP6698163B2 (en)
CN (1) CN108496176B (en)
DE (1) DE102015121952A1 (en)
WO (1) WO2017103096A1 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017200574B4 (en) * 2017-01-16 2019-12-12 Robert Bosch Gmbh Method for monitoring an environment of a vehicle
DE102017206974A1 (en) * 2017-04-26 2018-10-31 Conti Temic Microelectronic Gmbh Method for the indirect detection of a covered road user
DE102017010731A1 (en) 2017-11-20 2018-05-30 Daimler Ag Method for detecting an object
US20190164309A1 (en) * 2017-11-29 2019-05-30 Electronics And Telecommunications Research Institute Method of detecting shooting direction and apparatuses performing the same
DE102018203242A1 (en) 2018-03-05 2019-09-05 Robert Bosch Gmbh Measurement of vehicle dimensions from a shadow
KR20210136567A (en) * 2020-05-08 2021-11-17 현대자동차주식회사 Communication lighting system of vehicle
DE102020206829A1 (en) 2020-06-02 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for determining the height of plants and computer program product
US11900695B2 (en) 2021-03-04 2024-02-13 Nec Corporation Of America Marking and detecting road marks
US11881033B2 (en) * 2021-03-04 2024-01-23 Nec Corporation Of America Reliable visual markers based on multispectral characteristics
DE102021213881A1 (en) 2021-12-07 2023-06-07 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for operating a vehicle
GB2621822A (en) * 2022-08-17 2024-02-28 Skystrm Ltd Monitoring system

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2901112B2 (en) * 1991-09-19 1999-06-07 矢崎総業株式会社 Vehicle periphery monitoring device
JP3574780B2 (en) 2000-08-29 2004-10-06 株式会社日立製作所 Vehicle safe driving support system
DE10160719B4 (en) * 2001-12-11 2011-06-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and device for detecting and recognizing moving objects
DE10324895A1 (en) * 2003-05-30 2004-12-16 Robert Bosch Gmbh Vehicle object location procedure for adaptive cruise control system car tracking, uses video mask matching in search field from radar sensor
DE102006003538B3 (en) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section
CN101149794A (en) * 2007-10-16 2008-03-26 王海燕 Automobile detecting following based on video frequency and system
DE102008062915B4 (en) * 2008-12-23 2019-10-24 Continental Safety Engineering International Gmbh Detecting people, especially pedestrians
WO2012010180A1 (en) * 2010-07-17 2012-01-26 Valeo Schalter Und Sensoren Gmbh Method for warning a driver of a motor vehicle of an obstacle present in a side area next to a side flank of the vehicle and motor vehicle with a driver assistance system
DE102010034139A1 (en) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Method for supporting a parking process of a motor vehicle, driver assistance system and motor vehicle
DE112012002885B4 (en) * 2011-07-08 2022-01-27 Bendix Commercial Vehicle Systems Llc Method and device for image-based vehicle detection and distance measurement
JP5906696B2 (en) * 2011-11-30 2016-04-20 アイシン精機株式会社 Vehicle periphery photographing apparatus and vehicle periphery image processing method
WO2013169601A2 (en) * 2012-05-07 2013-11-14 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
US9460354B2 (en) 2012-11-09 2016-10-04 Analog Devices Global Object detection
WO2014192143A1 (en) * 2013-05-31 2014-12-04 トヨタ自動車 株式会社 Driving assistance device for vehicles and onboard computer
CN103325255B (en) * 2013-06-29 2016-01-20 佘若凡 The method of region transportation situation detection is carried out based on photogrammetric technology
JP6155963B2 (en) * 2013-08-21 2017-07-05 株式会社デンソー Collision mitigation device
JP6187817B2 (en) * 2013-10-09 2017-08-30 アイシン精機株式会社 Face detection apparatus, method and program
US9158985B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Method and apparatus for processing image of scene of interest
JP6407626B2 (en) * 2014-08-26 2018-10-17 日立オートモティブシステムズ株式会社 Object recognition device and vehicle control system
US9990550B2 (en) * 2014-09-19 2018-06-05 Bendix Commercial Vehicle Systems Llc Wide baseline object detection stereo system
US10055643B2 (en) * 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction

Also Published As

Publication number Publication date
CN108496176A (en) 2018-09-04
JP6698163B2 (en) 2020-05-27
JP2019500695A (en) 2019-01-10
US20190012537A1 (en) 2019-01-10
WO2017103096A1 (en) 2017-06-22
DE102015121952A1 (en) 2017-06-22
US10635896B2 (en) 2020-04-28
CN108496176B (en) 2021-12-31

Similar Documents

Publication Publication Date Title
EP3391282A1 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system, and motor vehicle
EP3329462B1 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
DE102011088130B4 (en) Method and device for detecting a braking situation
DE102018203807A1 (en) Method and device for detecting and evaluating road conditions and weather-related environmental influences
DE102014201159A1 (en) Method and device for classifying a behavior of a pedestrian when crossing a roadway of a vehicle and personal protection system of a vehicle
WO2017008801A1 (en) Detection of brake lights of preceding vehicles for adaptation of an initiation of active safety mechanisms
WO2007033870A1 (en) Method and driver assistance system for sensor-based driving off control of a motor vehicle
EP2710573B1 (en) Method and apparatus for identifying a possible collision object
EP3046076B1 (en) Method for calibrating an image capturing device
DE102017223160B4 (en) Method for detecting at least one object lying on a motor vehicle and control device and motor vehicle
DE102006060893A1 (en) Device and method for determining a free space in front of a vehicle
DE102019216348A1 (en) VEHICLE SUPPORT SYSTEM
DE102017118651A1 (en) Method and system for collision avoidance of a vehicle
DE102015010746A1 (en) Method for self-localization of a vehicle
EP2080684B1 (en) Method and device for recording a passing vehicle in the dark
DE102015223500B4 (en) Method and device for testing the functionality of an outside light device of a vehicle
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
WO2015090691A1 (en) Method for generating a model of the surroundings of a motor vehicle, driver assistance system and motor vehicle
WO2009097883A1 (en) Method for operating an image capturing device and an image capturing device
DE102013022050A1 (en) Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle
DE102006004770B4 (en) Method for image-based recognition of vehicles in the vicinity of a road vehicle
EP3520020B1 (en) Road sign classification in a surrounding area of a motor vehicle
EP2748759A1 (en) Method and device for detecting disturbing objects in the surrounding air of a vehicle
EP1962245B1 (en) Method and device for detecting the movement state of objects
DE102018202356A1 (en) Method and device for checking a release of a journey for a vehicle

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180611

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210324

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20211005