DE102017206973A1

DE102017206973A1 - Method for using an indirect detection of a covered road user for controlling a driver assistance system or a Fahrrauomatisierungsfunktion a vehicle

Info

Publication number: DE102017206973A1
Application number: DE102017206973.2A
Authority: DE
Inventors: Karsten Breuer; Boris Werthessen; Robert Thiel; Mark Sollweck; Christian Brendler
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2017-04-26
Filing date: 2017-04-26
Publication date: 2018-10-31

Abstract

Die Erfindung betrifft ein Verfahren zur Nutzung einer indirekten Detektion eines verdeckten Verkehrsteilnehmers zur Steuerung eines_Fahrerassistenzsystems oder einer Fahrautomatisierungsfunktion eines Fahrzeugs. Das Verfahren umfasst ein Bereitstellen eines bilderfassenden Sensors, welcher an einem Fahrzeug angeordnet ist. Ein Schatten (13) wird in einem mittels des Sensors erzeugten Bild (8) erfasst und erkannt, wobei der Schatten (13) durch ein verdecktes Objekt erzeugt wird. Weiterhin erfolgt ein Analysieren des erkannten Schattens (13) durch Methoden der Bildverarbeitung mittels einer Bildverarbeitungseinheit, sodass basierend auf dem erkannten Schatten (13) darauf geschlossen werden kann, ob ein verdeckter Verkehrsteilnehmer vorhanden ist oder nicht. Ferner wird ein Fahrerassistenzsystem oder eine Fahrautomatisierungsfunktion des Fahrzeugs basierend auf dem Schluss gesteuert, dass ein verdeckter Verkehrsteilnehmer vorhanden ist.The invention relates to a method for using an indirect detection of a covered road user for controlling a driver assistance system or a driving automation function of a vehicle. The method includes providing an image sensing sensor disposed on a vehicle. A shadow (13) is detected and detected in an image (8) generated by the sensor, the shadow (13) being generated by a hidden object. Furthermore, the recognized shadow (13) is analyzed by methods of image processing by means of an image processing unit, so that it can be concluded based on the detected shadow (13) whether a covered road user is present or not. Further, a driver assistance system or a driving automation function of the vehicle is controlled based on the conclusion that a covered road user is present.

Description

Die Erfindung betrifft ein Verfahren zur Nutzung einer indirekten Detektion eines verdeckten Verkehrsteilnehmers zur Steuerung eines Fahrerassistenzsystems oder einer Fahrautomatisierungsfunktion eines Fahrzeugs.The invention relates to a method for using an indirect detection of a hidden road user for controlling a driver assistance system or a Fahrrauomatisierungsfunktion a vehicle.

„Intelligente“ ADAS-Sensoren, vor allem Kameras von Fahrzeugen, erkennen Objekte in einer äußeren Umgebung des Fahrzeugs anhand ihrer Abbildung. Ein Fahrzeug sieht dabei in einem Bild der Kamera anders aus als eine Straßenoberfläche, und wird anhand typischer Merkmale wie Shape, Rücklicht, Kennzeichen und Reifen erkannt."Smart" ADAS sensors, especially cameras of vehicles, detect objects in an external environment of the vehicle based on their image. A vehicle looks different in a picture of the camera than a road surface, and is recognized by typical features such as shape, taillight, license plate and tires.

Zur Automatisierung der Fahraufgabe oder zur Realisierung von Sicherheitsassistenzfunktionen wie etwa „Lane Change Assist“, „EBA Pedestrian“ oder „Lane Departure Protection/Oncoming“ müssen jedoch auch andere Verkehrsteilnehmer berücksichtigt werden, deren direkte Detektion durch Verdeckungen möglicherweise behindert oder verhindert wird. Diese Verdeckungen werden insbesondere durch vorausfahrende oder nachfolgende Verkehrsteilnehmer verursacht. Verdeckte Objekte (z.B. durch ein anderes Fahrzeug in einem Stau) können aktuell durch Nutzung von Bodenreflektionen mittels Radar detektiert werden.To automate the driving task or to implement safety assistance functions such as "Lane Change Assist", "EBA Pedestrian" or "Lane Departure Protection / Oncoming", however, other road users whose direct detection by means of obstruction may be impeded or prevented must also be taken into account. These coverages are caused in particular by preceding or following road users. Hidden objects (for example, by another vehicle in a traffic jam) can currently be detected by using radar ground reflections.

Insbesondere, wenn sich ein Fahrzeug innerhalb eines Staus oder innerhalb eines Kolonnenverkehrs bewegt, ist es wichtig, im Verkehr „mitzuschwimmen“. Beim hochautomatisierten Fahren muss dafür der Verkehr vor dem Fahrzeug erkannt und für die Regelung verwendet werden. Häufig reicht es dabei nicht aus, nur auf das direkte Vorderfahrzeug zu schauen. Wenn das Fahrzeug vor dem Vorderfahrzeug anfährt, kann man davon ausgehen kann, dass das Vorderfahrzeug dies auch gleich tun wird und eine Aktuatorik des Fahrzeugs schon „vorkonditionieren“.In particular, when a vehicle is moving within a congestion or within a convoy traffic, it is important to "swim" in traffic. In highly automated driving, the traffic in front of the vehicle must be detected and used for the control. Often it is not enough just to look at the direct vehicle in front. If the vehicle starts in front of the vehicle in front, one can assume that the vehicle in front will do the same and "pre-condition" the vehicle's actuators.

In Situationen, in denen ein Fußgänger plötzlich hinter einem Hindernis auf die Straße springt, wäre es sehr hilfreich, diesen schon erkennen oder zumindest die Gefahr „erahnen“ zu können, bevor der Fußgänger direkt selbst sichtbar ist. Dies ist im Moment nicht möglich.In situations in which a pedestrian suddenly jumps onto the road behind an obstacle, it would be very helpful to be able to recognize it or at least be able to "guess" the danger before the pedestrian is directly visible. This is not possible at the moment.

Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren zur Nutzung einer Detektion verdeckter Verkehrsteilnehmer innerhalb eines Bilds eines Sensors eines Fahrzeugs bereitzustellen, um Fahrautomatisierungsfunktionen oder Fahrerassistenzfunktionen insbesondere in Stausituationen verbessern zu können.It is the object of the present invention to provide a method for utilizing a detection of hidden road users within an image of a sensor of a vehicle in order to be able to improve driving automation functions or driver assistance functions, in particular in traffic situations.

Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der folgenden Beschreibung sowie der Figuren.The object is solved by the subject matters of the independent claims. Advantageous embodiments are subject of the dependent claims, the following description and the figures.

Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zur Nutzung einer indirekten Detektion von verdeckten Verkehrsteilnehmern zur Steuerung eines Fahrerassistenzsystems oder einer Fahrautomatisierungsfunktion eines Fahrzeugs bereitgestellt.According to a first aspect of the invention, a method is provided for utilizing indirect detection of hidden road users for controlling a driver assistance system or a driving automation function of a vehicle.

Unter einem Verkehrsteilnehmer kann im Zusammenhang mit der vorliegenden Erfindung insbesondere ein Fußgänger oder ein anderes Fahrzeug verstanden werden. Unter dem Merkmal „verdeckt“ kann im Zusammenhang mit der vorliegenden Erfindung insbesondere verstanden werden, dass der Verkehrsteilnehmer nicht direkt von dem Sensor erfasst werden kann. Mit anderen Worten befindet sich der Verkehrsteilnehmer für den Sensor nicht sichtbar hinter einem anderen Objekt, welches den Verkehrsteilnehmer in einem Bild des Sensors, insbesondere einer Kamera, verdeckt.In the context of the present invention, a road user may, in particular, be understood as a pedestrian or another vehicle. In the context of the present invention, the term "hidden" can be understood in particular to mean that the road user can not be detected directly by the sensor. In other words, the road user for the sensor is not visible behind another object, which obscures the road user in an image of the sensor, in particular a camera.

Das Verfahren umfasst ein Bereitstellen eines bilderfassenden Sensors, welcher an einem Fahrzeug angeordnet ist. Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen. Es folgt ein Erfassen und ein Erkennen eines Schattens, welcher durch ein verdecktes Objekt erzeugt wird, in einem mittels des Sensors erzeugten Bild. Weiterhin wird der erkannte Schatten durch Methoden der Bildverarbeitung mittels einer Bildverarbeitungseinheit analysiert, sodass basierend auf dem erkannten Schatten darauf geschlossen werden kann, ob ein verdeckter Verkehrsteilnehmer vorhanden ist oder nicht. Ferner wird ein Fahrerassistenzsystem und/oder eine Fahrautomatisierungsfunktion des Fahrzeugs basierend auf dem Schluss gesteuert, dass ein verdeckter Verkehrsteilnehmer vorhanden ist.The method includes providing an image sensing sensor disposed on a vehicle. The vehicle is, for example, a motor vehicle, such as a car, bus or truck. This is followed by a detection and recognition of a shadow, which is generated by a hidden object, in an image generated by means of the sensor. Furthermore, the detected shadow is analyzed by means of image processing methods by means of an image processing unit, so that it can be concluded based on the detected shadow whether there is a covered road user or not. Furthermore, a driver assistance system and / or a driving automation function of the vehicle is controlled based on the conclusion that a covered road user is present.

Das erfindungsgemäße Verfahren ermöglicht, Objekte, welche selbst nicht in einem Bild des Sensors sichtbar sind, durch Informationen, welche die verdeckten Objekte selbst in dem Bild hinterlassen, zu erkennen oder zumindest zu „erahnen“. Die vorliegende Erfindung macht sich dafür zu Nutze, dass Objekte in ihrer Umwelt interagieren. Bei Vorliegen einer ausreichenden Beleuchtung, insbesondere bei Tageslicht oder bei Sonnenschein, werfen Objekte sichtbare Schatten. Diese Schatten können eine Information liefern, ohne dass das Objekt selbst sichtbar sein muss. Die vorliegende Erfindung ermöglicht somit eine indirekte Detektion von Verkehrsteilnehmern, die ansonsten gar nicht oder nur ungenau bzw. unsicher (z.B. mittels Radar-Bodenreflexion) detektiert werden könnten.The method according to the invention makes it possible to recognize or at least to "guess" objects which are not themselves visible in an image of the sensor by information which the concealed objects themselves leave in the image. The present invention makes use of the fact that objects interact in their environment. When sufficient lighting is available, especially in daylight or sunshine, objects cast visible shadows. These shadows can provide information without the object itself being visible. The present invention thus enables indirect detection of road users who otherwise could not be detected or only inaccurate or uncertain (for example by means of radar ground reflection).

Erfindungsgemäß ist vorgesehen, dass anstatt auf Objektmerkale zu achten, die bei verdeckten Objekten typischerweise nicht sichtbar sind, die erkannten Schatten dazu verwendet werden, um indirekt auf das Vorhandensein eines verdeckten Objekts bzw. eines Verkehrsteilnehmers zu schließen. Dabei wird auf bekannte Methoden zur Erkennung von Schatten in einem durch den Sensor erfassten Bild zurückgegriffen. Die genannten Methoden zur Erkennung von Schatten in dem durch den Sensor erfassten Bild können insbesondere durch die Bildverarbeitungseinheit, eine dazu eingerichtete Steuerungseinheit oder durch den Sensor selbst durchgeführt werden. According to the invention, instead of paying attention to object features that are typically not visible in hidden objects, the detected shadows are used to indirectly infer the presence of a hidden object or a road user. In this case, recourse is had to known methods for detecting shadows in an image captured by the sensor. The aforementioned methods for detecting shadows in the image acquired by the sensor can be carried out in particular by the image processing unit, by a control unit set up for this purpose, or by the sensor itself.

Bei einer entsprechend genauen Modellierung von Schatten bekannter Objekte, können sogar genauere Objekteigenschaften, z.B. die Größe des verdeckten Verkehrsteilnehmers, bestimmt werden. Insbesondere in Situationen, in denen sich ein Fußgänger plötzlich hinter einem Hindernis auf die Straße bewegt, ermöglicht die vorliegende Erfindung, diesen schon zu erkennen oder zumindest die Gefahr zu „erahnen“, dass er sich auf die Straße bewegen wird, bevor der Fußgänger direkt selbst sichtbar ist.With a correspondingly accurate modeling of shadows of known objects, even more accurate object properties, e.g. the size of the covered road user, be determined. In particular, in situations where a pedestrian suddenly moves behind an obstacle on the road, the present invention makes it possible to recognize it or at least to "sense" the danger that it will move onto the road before the pedestrian jumps on his own is visible.

Sofern bei der Analyse des erkannten Schattens der Schluss gezogen wird, dass ein verdeckter Verkehrsteilnehmer vorhanden ist, kann diese Information dazu genutzt werden, ein Fahrerassistenzsystem oder eine Fahrautomatisierungsfunktion des Fahrzeugs zu steuern.If it is concluded in the analysis of the detected shadow that there is a covered road user, this information can be used to control a driver assistance system or a driving automation function of the vehicle.

Beispielsweise kann das Fahrzeug in einer Kolonnensituation hinter einem vorausfahrenden ersten Fahrzeug her fahren, welches wiederum hinter einem vorausfahrenden zweiten Fahrzeug her fährt. Sofern nun ein Schatten erkannt wird, der den Schluss zulässt, dass sich beispielsweise zwischen dem vorausfahrenden ersten Fahrzeug und dem vorausfahrenden zweiten Fahrzeug ein verdeckter Verkehrsteilnehmer befindet, z.B. ein weiteres Fahrzeug oder ein Fußgänger, so kann auf eine Reaktion insbesondere des vorausfahrenden ersten Fahrzeugs geschlossen werden. Z.B. kann abgeleitet werden, dass das vorausfahrende erste Fahrzeug bremsen, ausweichen und/oder beschleunigen wird. Es lässt sich somit eine Reaktion des Fahrers insbesondere des vorausfahrenden ersten Fahrzeugs ableiten und so sicherer und vorausschauender reagieren, indem das Fahrerassistenzsystem oder die Fahrautomatisierungsfunktion des Fahrzeugs entsprechend gesteuert wird.For example, in a column situation, the vehicle can drive behind a preceding first vehicle, which in turn travels behind a preceding second vehicle. If a shadow is now detected which allows the conclusion that, for example, there is a covered road user between the preceding first vehicle and the preceding second vehicle, e.g. Another vehicle or a pedestrian, it can be concluded that a reaction in particular of the preceding vehicle first. For example, can be derived that the preceding vehicle will brake, dodge and / or accelerate. Thus, a reaction of the driver, in particular of the preceding vehicle, can be derived and thus react in a safer and more forward-looking manner by correspondingly controlling the driver assistance system or the vehicle driving function of the vehicle.

Weiterhin kann sich das Fahrzeug beispielsweise in einer Stausituation hinter einem vorausfahrenden ersten Fahrzeug befinden, welches sich wiederum hinter einem vorausfahrenden zweiten Fahrzeug befindet. Das vorausfahrende zweite Fahrzeug wird dabei unter Umständen von dem ersten Fahrzeug verdeckt. Mittels der vorliegenden Erfindung kann das vorausfahrende zweite Fahrzeug dennoch aufgrund seines Schattens als verdeckter Verkehrsteilnehmer erkannt werden. Insbesondere ermöglicht die vorliegende Erfindung, zu erkennen, dass das vorausfahrende zweite Fahrzeug anfährt. Daraus kann man ableiten, dass das vorausfahrende erste Fahrzeug dies auch gleich tun wird und das Fahrassistenzsystem oder die Fahrautomatisierungsfunktion des Fahrzeugs entsprechend steuern, z.B. indem eine Aktuatorik des Fahrzeugs schon „vorkonditioniert“ wird.Furthermore, the vehicle may, for example, be in a traffic jam situation behind a preceding vehicle, which in turn is behind a preceding second vehicle. The preceding second vehicle may be covered by the first vehicle. By means of the present invention, the preceding second vehicle can still be recognized as a covered road user due to its shadow. In particular, the present invention makes it possible to recognize that the preceding second vehicle is approaching. From this, it can be deduced that the preceding vehicle will also do the same and control the driver assistance system or the vehicle driving function of the vehicle accordingly, e.g. by already "preconditioning" an actuator of the vehicle.

Das erfindungsgemäße Verfahren ermöglicht folglich, insbesondere beim hochautomatisierten Fahren den Verkehr vor dem Fahrzeug zu erkennen und einen erkannten verdeckten Verkehrsteilnehmer für die Steuerung oder Regelung eines Fahrerassistenzsystems oder einer Fahrautomatisierungsfunktion des Fahrzeugs situationsgerecht zu verwenden.Consequently, the method according to the invention makes it possible, in particular in highly automated driving, to recognize the traffic in front of the vehicle and to use a detected covered road user to control or regulate a driver assistance system or a driving automation function of the vehicle in accordance with the situation.

Gemäß einer Ausführungsform ist vorgesehen, dass das Fahrerassistenzsystem oder die Fahrautomatisierungsfunktion derart gesteuert wird, dass ein Fahrmanöver, insbesondere ein Bremsmanöver und/oder ein Lenkmanöver, eingeleitet wird, sofern der Schluss gezogen worden ist, dass ein verdeckter Verkehrsteilnehmer vorhanden ist. Insbesondere kann dadurch in einer Kolonnensituation oder in einer Stausituation eine Kollision mit einem unmittelbar vorausfahrenden Fahrzeug vermieden werden, welches insbesondere auf den verdeckten Verkehrsteilnehmer reagiert. Weiterhin kann dadurch ein Verkehrsfluss insbesondere in einer Stausituation verbessert werden, indem beispielsweise ein Wiederanfahren eines vorausfahrenden Fahrzeugs mittels der Analyse des erkannten Schattens frühzeitig ermittelt und basierend auf dieser Information eine Zeitspanne bis zu einem Wiederanfahren des Fahrzeugs verkürzt werden kann. Ferner kann auch insbesondere eine Kollision mit dem verdeckten Verkehrsteilnehmer selbst vermieden werden.According to one embodiment, it is provided that the driver assistance system or the driving automation function is controlled such that a driving maneuver, in particular a braking maneuver and / or a steering maneuver, is initiated, provided that it has been concluded that a covered road user is present. In particular, a collision with an immediately preceding vehicle can thereby be avoided in a column situation or in a traffic jam situation, which in particular reacts to the covered road user. Furthermore, a traffic flow can thereby be improved, in particular in a traffic jam situation, by, for example, early determination of a restart of a preceding vehicle by means of the analysis of the detected shadow and, based on this information, a time span until a restart of the vehicle can be shortened. Furthermore, in particular a collision with the covered road users themselves can be avoided.

Insbesondere kann das Fahrerassistenzsystem oder die Fahrautomatisierungsfunktion des Fahrzeugs derart gesteuert werden, dass ein Überholmanöver, ein Einschermanöver und/oder ein Ausschermanöver eingeleitet wird. Derartige Manöver sind besonders dazu geeignet, die Sicherheit des Fahrzeugs bei einem erkannten verdeckten Verkehrsteilnehmer zu erhöhen, insbesondere in einer Kolonnensituation oder in einer Stausituation.In particular, the driver assistance system or the vehicle automation function of the vehicle can be controlled such that an overtaking maneuver, a maneuvering maneuver and / or a maneuvering maneuver is initiated. Such maneuvers are particularly suitable for increasing the safety of the vehicle when a hidden road user is detected, in particular in a column situation or in a traffic jam situation.

Gemäß einer Ausführungsform handelt es sich bei dem Sensor um eine Kamera, z.B. um eine multifunktionale Frontkamera (MFC). Gemäß dieser Ausführungsform ist weiterhin vorgesehen, dass der Schatten durch ein von der Kamera aufgenommenes Bild einer äußeren Umgebung des Fahrzeugs erfasst wird, und dass der innerhalb des Bilds erkannte Schatten durch Methoden der Bildverarbeitung mittels der Bildverarbeitungseinheit analysiert wird.According to one embodiment, the sensor is a camera, for example a multifunctional front camera (MFC). According to this embodiment, it is further provided that the shadow is detected by an image taken by the camera of an external environment of the vehicle, and that within the image detected shadow is analyzed by methods of image processing by means of the image processing unit.

Insbesondere kann der innerhalb des Bilds erkannte Schatten durch Methoden der Bildverarbeitung mittels der Bildverarbeitungseinheit analysiert werden, und basierend auf den Ergebnissen der Analyse kann auf eine Position des verdeckten Verkehrsteilnehmers geschlossen werden. Das Schließen auf eine Position des verdeckten Verkehrsteilnehmers basierend auf den Ergebnissen der Analyse kann beispielsweise mittels der Bildverarbeitungseinheit erfolgen. Alternativ kann dazu jedoch auch eine entsprechend eingerichtete Steuerungseinheit eingesetzt werden. Die Bildverarbeitungseinheit und/oder die Steuerungseinheit können insbesondere software-implementiert sein.In particular, the shadow detected within the image may be analyzed by methods of image processing by means of the image processing unit, and based on the results of the analysis, it may be concluded that the hidden road user has a position. The closing on a position of the hidden road user based on the results of the analysis can be done for example by means of the image processing unit. Alternatively, however, a correspondingly established control unit can also be used for this purpose. The image processing unit and / or the control unit may in particular be software implemented.

Weiterhin kann vorteilhaft vorgesehen sein, dass der Schatten durch eine von der Kamera aufgenommene Bildfolge der äußeren Umgebung des Fahrzeugs erfasst und erkannt wird. Dabei kann der innerhalb der Bildfolge erkannte Schatten durch Methoden der Bildverarbeitung mittels der Bildverarbeitungseinheit analysiert werden, und basierend auf den Ergebnissen der Analyse kann auf eine Bewegung des verdeckten Verkehrsteilnehmers geschlossen werden. Die Bewegung des verdeckten Verkehrsteilnehmers kann dabei insbesondere eine Richtung und eine Geschwindigkeit umfassen.Furthermore, it can be advantageously provided that the shadow is detected and recognized by a captured by the camera image sequence of the external environment of the vehicle. In this case, the detected within the image sequence shadow can be analyzed by methods of image processing using the image processing unit, and based on the results of the analysis can be concluded on a movement of the covered road user. The movement of the covered road user can in particular include a direction and a speed.

Die Bildfolge enthält wenigstens ein erstes Bild der äußeren Umgebung und ein zweites Bild der äußeren Umgebung, wobei das zweite Bild zeitlich nach dem ersten Bild aufgenommen worden ist. Der Schatten kann somit über die Zeit ausgewertet werden. Dabei kann sich ein erfasster Bereich der äußeren Umgebung ändern, wenn sich beispielsweise das Fahrzeug und damit auch die Kamera fortbewegt.The image sequence contains at least a first image of the external environment and a second image of the external environment, wherein the second image has been recorded temporally after the first image. The shadow can thus be evaluated over time. In this case, a detected area of the external environment may change if, for example, the vehicle and thus also the camera moves away.

Das Auswerten des Schattens über die Zeit ermöglicht ein Tracking des verdeckten Objekts, und zwar sowohl bei einer kurzzeitigen als auch bei einer langfristigen Verdeckung. Unbekannte Objekte können auf diese Weise auch erkannt werden. Dabei kann die Annahme getroffen werden, dass es ein bewegtes Objekt geben muss, welches sich über Grund in eine Bewegungsrichtung des Schattens bewegt, sofern ein bewegter Schatten erkannt worden ist. Dadurch wird ermöglicht, ein verdecktes Objekt bzw. einen verdeckten Verkehrsteilnehmer frühzeitig zu entdecken.Evaluating the shadow over time allows tracking of the obscured object, both for short-term and long-term occlusion. Unknown objects can also be detected in this way. In this case, the assumption can be made that there must be a moving object, which moves over reason in a direction of movement of the shadow, if a moving shadow has been detected. This makes it possible to detect a hidden object or a hidden road user early.

Gemäß einer weiteren Ausführungsform ist vorteilhaft vorgesehen, dass der Schatten durch eine von der Kamera aufgenommene Bildfolge der äußeren Umgebung des Fahrzeugs erfasst und erkannt wird, und wobei der innerhalb der Bildfolge erkannte Schatten durch Methoden der Bildverarbeitung mittels der Bildverarbeitungseinheit analysiert wird, und basierend auf den Ergebnissen der Analyse auf eine Relation des verdeckten Verkehrsteilnehmers zu anderen, nicht verdeckten Objekten innerhalb der Bildfolge geschlossen wird. Unter einer „Relation“ kann in diesem Zusammenhang insbesondere eine relative Größe des verdeckten Verkehrsteilnehmers bezüglich eines anderen, nicht verdeckten Objekts innerhalb der Bilder der Bildfolge verstanden werden.According to a further embodiment, it is advantageously provided that the shadow is detected and recognized by a sequence of images taken by the camera of the external environment of the vehicle, and wherein the shadow detected within the image sequence is analyzed by methods of image processing by means of the image processing unit, and based on the Results of the analysis on a relation of the hidden road user to other, not hidden objects within the image sequence is closed. In this context, a "relation" may be understood as meaning, in particular, a relative size of the covered traffic participant with regard to another, not hidden object within the images of the image sequence.

Das vorstehend beschriebene Schließen auf eine Bewegung des verdeckten Verkehrsteilnehmers bzw. auf eine Relation des verdeckten Verkehrsteilnehmers zu anderen, nicht verdeckten Objekten innerhalb der Bildfolge basierend auf den Ergebnissen der Analyse kann beispielsweise mittels der Bildverarbeitungseinheit erfolgen. Alternativ kann dazu jedoch auch eine entsprechend eingerichtete Steuerungseinheit eingesetzt werden. Die Bildverarbeitungseinheit und/oder die Steuerungseinheit können insbesondere software-implementiert sein.The above-described closing on a movement of the hidden road user or on a relation of the hidden road user to other, not hidden objects within the image sequence based on the results of the analysis can be done for example by means of the image processing unit. Alternatively, however, a correspondingly established control unit can also be used for this purpose. The image processing unit and / or the control unit may in particular be software implemented.

Gemäß einem zweiten Aspekt der Erfindung wird eine Vorrichtung zur Nutzung einer indirekten Erkennung eines verdeckten Verkehrsteilnehmers zur Steuerung eines_Fahrerassistenzsystems oder einer Fahrautomatisierungsfunktion eines Fahrzeugs bereitgestellt. Die Vorrichtung umfasst einen bilderfassenden Sensor und eine Bildverarbeitungseinheit, wobei die Vorrichtung mittels des bilderfassenden Sensors und der Bildverarbeitungseinheit dazu eingerichtet ist, ein Verfahren gemäß dem ersten Aspekt der Erfindung durchzuführen.According to a second aspect of the invention, there is provided an apparatus for utilizing indirect detection of a covered road user to control a driver assistance system or a driving automation function of a vehicle. The apparatus comprises an image capturing sensor and an image processing unit, wherein the apparatus is configured by means of the image capturing sensor and the image processing unit to perform a method according to the first aspect of the invention.

Gemäß einem dritten Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, welches eine Vorrichtung gemäß dem zweiten Aspekt der Erfindung umfasst.According to a third aspect of the invention, there is provided a vehicle comprising a device according to the second aspect of the invention.

Gemäß einem vierten Aspekt der Erfindung wird ein Programmelement bereitgestellt, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte des Verfahrens gemäß dem ersten Aspekt der Erfindung durchzuführen, wobei alle Verfahrensschritte durchgeführt werden, welche nach dem Bereitstellen des bilderfassenden Sensors vorgesehen sind.According to a fourth aspect of the invention there is provided a program element which, when executed on a processor, instructs the processor to perform the method steps of the method according to the first aspect of the invention, performing all method steps subsequent to providing the image capturing sensor are provided.

Gemäß einem fünften Aspekt der Erfindung wird ein computerlesbares Medium bereitgestellt, auf dem ein Programmelement gespeichert ist, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte des Verfahrens gemäß dem ersten Aspekt der Erfindung durchzuführen, wobei alle Verfahrensschritte durchgeführt werden, welche nach dem Bereitstellen des bilderfassenden Sensors vorgesehen sind.According to a fifth aspect of the invention there is provided a computer-readable medium having stored thereon a program element which, when executed on a processor, instructs the processor to perform the method steps of the method according to the first aspect of the invention, wherein all method steps are performed which are provided after providing the image-capturing sensor.

Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der schematischen Zeichnung näher erläutert. Hierbei zeigt

1 eine Seitenansicht eines Kraftfahrzeugs mit einem Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung,
2 ein Bild, auf welchem ein Fußgänger durch zwei hintereinander parkende Fahrzeuge verdeckt wird,
3 ein Bild, auf welchem ein Fußgänger durch ein vorausfahrendes Fahrzeug verdeckt wird, und
4 ein Bild, auf welchem ein Fahrzeug durch ein vorausfahrendes Fahrzeug verdeckt wird.

Embodiments of the invention are explained in more detail below with reference to the schematic drawing. This shows

1 a side view of a motor vehicle with an embodiment of a device according to the invention,
2 a picture in which a pedestrian is covered by two vehicles parked one behind the other,
3 an image on which a pedestrian is covered by a preceding vehicle, and
4 an image on which a vehicle is covered by a preceding vehicle.

1 zeigt ein Fahrzeug 1 in Form eines Automobils. Das Fahrzeug 1 umfasst eine Vorrichtung 2 zur Nutzung einer Detektion verdeckter Verkehrsteilnehmer zur Steuerung eines Fahrerassistenzsystems oder einer Fahrautomatisierungsfunktion des Fahrzeugs 1, wobei die Vorrichtung 2 wiederum einen bilderzeugenden Sensor in Form einer Kamera 3 und eine Bildverarbeitungseinheit 4 umfasst. Die Bildverarbeitungseinheit 4 kann insbesondere software-implementiert sein. In dem gezeigten Ausführungsbeispiel kann eine software-implementierte Bildverarbeitungseinheit 4 beispielsweise auf einer Speichereinheit der Kamera 3 hinterlegt sein. 1 shows a vehicle 1 in the form of an automobile. The vehicle 1 includes a device 2 for using a detection of hidden road users to control a driver assistance system or a Fahrrauomatisierungsfunktion the vehicle 1 , wherein the device 2 again an image-forming sensor in the form of a camera 3 and an image processing unit 4 includes. The image processing unit 4 may be especially software implemented. In the embodiment shown, a software-implemented image processing unit 4 for example, on a storage unit of the camera 3 be deposited.

Die Kamera 3 ist in einem Innenraum 5 des Fahrzeugs 1 angeordnet, und zwar insbesondere in einem Bereich hinter einer Windschutzscheibe 6 des Fahrzeugs 1. Mittels der Kamera 3 können durch die Windschutzscheibe 6 eine oder mehrere Außenaufnahmen bzw. Bilder von einer äußeren Umgebung 7 des Fahrzeugs 1 aufgenommen werden, wobei im Falle mehrerer Außenaufnahmen die Außenaufnahmen zeitlich aufeinanderfolgend gemacht werden können.The camera 3 is in an interior 5 of the vehicle 1 arranged, in particular in an area behind a windshield 6 of the vehicle 1 , By means of the camera 3 can through the windshield 6 one or more exterior shots or images of an external environment 7 of the vehicle 1 be recorded, in the case of multiple outdoor shots, the outdoor shots can be made temporally consecutive.

2 zeigt ein Bild 8, welches von der Kamera 3 aus 1 aufgenommen worden ist. Das Bild 8 enthält ein erstes parkendes Fahrzeug 9, ein zweites parkendes Fahrzeug 10 und ein drittes parkendes Fahrzeug 11. In dem Bild 8 parken die Fahrzeuge 9 bis 11 hintereinander auf einer rechten Seite einer Straße 12. Zwischen dem ersten Fahrzeug 9 und dem zweiten Fahrzeug 10 befindet sich ein Verkehrsteilnehmer in Form eines Fußgängers, welcher jedoch auf dem Bild 8 durch das erste Fahrzeug 9 verdeckt und somit nicht sichtbar ist. Allerdings wirft der verdeckte Verkehrsteilnehmer einen Schatten 13 auf die Straße 12, welche von der Kamera 3 in dem Bild 8 erfasst ist. Auch die Fahrzeuge 9 bis 11 werfen Schatten auf die Straße 12. Auch diese Schatten sind in dem Bild 8 enthalten, in 2 jedoch aus Gründen der besseren Übersichtlichkeit nicht dargestellt. 2 shows a picture 8th which from the camera 3 out 1 has been recorded. The picture 8th contains a first parking vehicle 9 , a second parking vehicle 10 and a third parked vehicle 11 , In the picture 8th park the vehicles 9 to 11 one behind the other on a right side of a road 12 , Between the first vehicle 9 and the second vehicle 10 is a road user in the form of a pedestrian, which, however, in the picture 8th through the first vehicle 9 hidden and therefore not visible. However, the covered road user casts a shadow 13 on the street 12 which from the camera 3 in the picture 8th is detected. Also the vehicles 9 to 11 cast shadows on the street 12 , These shadows are also in the picture 8th included, in 2 but not shown for reasons of clarity.

Mittels bekannter Methoden kann beispielsweise die Bildverarbeitungseinheit 4 den Schatten 13 innerhalb des Bilds 8 erkennen.By means of known methods, for example, the image processing unit 4 the shadow 13 within the picture 8th detect.

Weiterhin kann mittels der Bildverarbeitungseinheit 4 der erkannte Schatten 13 durch Methoden der Bildverarbeitung analysiert werden, sodass basierend auf dem erkannten Schatten 13 darauf geschlossen werden kann, dass in dem vorliegenden Bild 8 ein verdeckter Verkehrsteilnehmer vorhanden ist, und in welcher Position sich der verdeckte Verkehrsteilnehmer zwischen dem ersten Fahrzeug 9 und dem zweiten Fahrzeug 10 befindet.Furthermore, by means of the image processing unit 4 the recognized shadow 13 be analyzed by image processing methods, so based on the detected shadow 13 it can be concluded that in the present picture 8th a covered road user is present, and in which position the covered road user between the first vehicle 9 and the second vehicle 10 located.

Der verdeckte Verkehrsteilnehmer kann beispielsweise die Absicht haben, die Straße 12 zu überqueren. Daher ist es sinnvoll, die Bewegung des verdeckten Verkehrsteilnehmers zu ermitteln. Dazu kann der Schatten 13 in einzelnen, nacheinander aufgenommenen Bildern einer durch die Kamera 3 aufgenommenen Bildfolge der äußeren Umgebung 7 des Fahrzeugs 1 erfasst und erkannt werden. Innerhalb der einzelnen Bilder der Bildfolge wird der erkannte Schatten 13 durch Methoden der Bildverarbeitung mittels der Bildverarbeitungseinheit 4 analysiert, und basierend auf den Ergebnissen der Analyse wird auf eine Bewegung des verdeckten Verkehrsteilnehmers geschlossen, insbesondere auf eine Bewegungsrichtung und Geschwindigkeit des verdeckten Verkehrsteilnehmers. Weiterhin kann basierend auf den Ergebnissen der Analyse auf eine Relation des verdeckten Verkehrsteilnehmers zu den Fahrzeugen 9 bis 11 innerhalb der einzelnen Bilder der Bildfolge geschlossen werden. Die Information über den verdeckten Verkehrsteilnehmer wird genutzt, um ein Fahrerassistenzsystem oder eine Fahrautomatisierungsfunktion des Fahrzeugs 1 zu steuern, z.B. derart, dass das Fahrzeug 1 abgebremst und/oder von dem erkannten Verkehrsteilnehmer weg gelenkt wird.For example, the covered road user may intend to drive the road 12 to cross. Therefore, it makes sense to determine the movement of the hidden road user. This can be the shadow 13 in single, consecutively taken pictures by the camera 3 recorded image sequence of the external environment 7 of the vehicle 1 be detected and recognized. Within the individual pictures of the sequence becomes the recognized shadow 13 by methods of image processing by means of the image processing unit 4 analyzed, and based on the results of the analysis is concluded on a movement of the covered road user, in particular a direction of movement and speed of the hidden road user. Furthermore, based on the results of the analysis, a relation of the covered road user to the vehicles 9 to 11 be closed within the individual images of the image sequence. The hidden road user information is used to provide a driver assistance system or a vehicle driving function 1 to control, for example, such that the vehicle 1 braked and / or steered away from the detected road users.

3 zeigt ein weiteres Bild 8, welches von der Kamera 3 aus 1 aufgenommen worden ist. Das Bild 8 enthält ein auf der Straße 12 fahrendes Fahrzeug 14 im Vorausbereich des Fahrzeugs 1. Vor dem vorausfahrenden Fahrzeug 14 am rechten Straßenrand befindet sich ein Verkehrsteilnehmer in Form eines Fußgängers, welcher jedoch auf dem Bild 8 durch das vorausfahrende Fahrzeug 14 verdeckt und somit nicht sichtbar ist. 3 shows another picture 8th which from the camera 3 out 1 has been recorded. The picture 8th contains one on the street 12 moving vehicle 14 in advance of the vehicle 1 , In front of the vehicle in front 14 on the right side of the road is a road user in the form of a pedestrian, which, however, in the picture 8th by the preceding vehicle 14 hidden and therefore not visible.

Allerdings wirft der verdeckte Verkehrsteilnehmer einen Schatten 13 auf die Straße 12, wobei die Straße und der Schatten 13 von der Kamera 3 in dem Bild 8 erfasst sind. Auch das vorausfahrende Fahrzeug 14 wirft einen Schatten 15. Wie im Zusammenhang mit dem Bild 8 nach 2 beschrieben, kann der Schatten 13 erkannt werden, und es kann durch Analyse des Schattens darauf geschlossen werden, dass sich am rechten Straßenrand vor dem Fahrzeug 14 ein verdeckter Fußgänger befindet, in welcher Position sich der verdeckte Fußgänger vor dem Fahrzeug 14 befindet, was für eine Bewegung der verdeckte Fußgänger ausführt (Bewegungsrichtung und Geschwindigkeit, z.B. dass der Fußgänger über die Straße laufen wird), und welche Relation der verdeckte Fußgänger zu dem Fahrzeug 14 hat.However, the covered road user casts a shadow 13 on the street 12 where the road and the shadow 13 from the camera 3 in the picture 8th are recorded. Also the vehicle in front 14 casts a shadow 15 , As related to the picture 8th to 2 described, can the shadow 13 be detected, and it can be concluded by analysis of the shadow on the right side of the road in front of the vehicle 14 a covered pedestrian is located, in which position the covered pedestrian in front of the vehicle 14 What is the movement of the hidden pedestrian (direction of movement and speed, eg that the pedestrian will walk across the street), and what is the relation of the hidden pedestrian to the vehicle 14 Has.

Die Information über den verdeckten Verkehrsteilnehmer wird weiterhin genutzt, um ein Fahrerassistenzsystem oder eine Fahrautomatisierungsfunktion des Fahrzeugs 1 zu steuern, z.B. derart, dass das Fahrzeug 1 abgebremst wird, um einen Auffahrunfall mit dem vorausfahrenden Fahrzeug 14 zu vermeiden.The information about the covered road user is further used to a driver assistance system or a Fahrrauomatisierungsfunktion the vehicle 1 to control, for example, such that the vehicle 1 is braked to a rear-end collision with the vehicle ahead 14 to avoid.

4 zeigt ein weiteres Bild 8, welches von der Kamera 3 aus 1 aufgenommen worden ist. Das Bild 8 enthält ein auf der Straße 12 fahrendes erstes Fahrzeug 17 im Vorausbereich des Fahrzeugs 1 und ein zweites Fahrzeug 18 im Vorausbereich des ersten Fahrzeugs 17. Das erste Fahrzeug 16 wirft einen ersten Schatten 18 und das zweite Fahrzeug 17 wirft einen zweiten Schatten 19. 4 shows another picture 8th which from the camera 3 out 1 has been recorded. The picture 8th contains one on the street 12 driving first vehicle 17 in advance of the vehicle 1 and a second vehicle 18 in advance of the first vehicle 17 , The first vehicle 16 casts a first shadow 18 and the second vehicle 17 casts a second shadow 19 ,

Vor dem vorausfahrenden ersten Fahrzeug 16 befindet sich ein Verkehrsteilnehmer in Form eines dritten Fahrzeugs, welches jedoch auf dem Bild 8 durch das vorausfahrende erste Fahrzeug 16 verdeckt und somit nicht sichtbar ist. Allerdings wirft der verdeckte Verkehrsteilnehmer einen Schatten 13 auf die Straße 12, wobei die Straße und der Schatten 13 von der Kamera 3 in dem Bild 8 erfasst sind.Before the preceding vehicle 16 there is a road user in the form of a third vehicle, which, however, in the picture 8th by the preceding vehicle 16 hidden and therefore not visible. However, the covered road user casts a shadow 13 on the street 12 where the road and the shadow 13 from the camera 3 in the picture 8th are recorded.

Wie im Zusammenhang mit dem Bild 8 nach 2 beschrieben, kann der Schatten 13 erkannt werden, und es kann durch Analyse des Schattens darauf geschlossen werden, dass sich zwischen dem ersten Fahrzeug 16 und dem zweiten Fahrzeug 17 ein verdecktes drittes Fahrzeug befindet, in welcher Position sich das verdeckte dritte Fahrzeug zwischen dem ersten Fahrzeug 16 und dem zweiten Fahrzeug 17 befindet, was für eine Bewegung das verdeckte dritte Fahrzeug ausführt (Bewegungsrichtung und Geschwindigkeit, z.B. dass das dritte Fahrzeug bremst oder beschleunigt), und welche Relation das verdeckte dritte Fahrzeug zu dem ersten Fahrzeug 16 und dem zweiten Fahrzeug 17 hat. Davon ausgehend kann eine Reaktion des ersten Fahrzeugs 16 abgeleitet werden (z.B. ein Beschleunigen, Abbremsen oder Ändern der Richtung) und dadurch besonders sicher und vorausschauend reagiert werden. Beispielsweise kann die Information über das verdeckte dritte Fahrzeug genutzt werden, um ein Fahrerassistenzsystem oder eine Fahrautomatisierungsfunktion des Fahrzeugs 1 zu steuern, z.B. derart, dass das Fahrzeug 1 ausschert, um die vorausfahrenden drei Fahrzeuge zu überholen.As related to the picture 8th to 2 described, can the shadow 13 be detected, and it can be concluded by analysis of the shadow, that between the first vehicle 16 and the second vehicle 17 a hidden third vehicle is located in what position is the hidden third vehicle between the first vehicle 16 and the second vehicle 17 which movement the covert third vehicle executes (direction of movement and speed, eg that the third vehicle is braking or accelerating), and what relation the covert third vehicle has to the first vehicle 16 and the second vehicle 17 Has. Based on this, a reaction of the first vehicle 16 be derived (eg an acceleration, deceleration or change the direction) and thereby particularly safe and anticipatory reaction. For example, the information about the hidden third vehicle can be used to a driver assistance system or a Fahrrauomatisierungsfunktion the vehicle 1 to control, for example, such that the vehicle 1 to overtake the three preceding vehicles.

Claims

A method of using an indirect detection of a covered road user to control a driver assistance system or a driving automation function of a vehicle, the method comprising: Providing an image-capturing sensor (3) which is arranged on a vehicle (1), Detecting and recognizing a shadow (13), which is generated by a hidden object, in an image (8) generated by means of the sensor (3), - Analyzing the recognized shadow (13) by means of image processing methods by means of an image processing unit (4), so that it can be based on the detected shadow (13) on whether a covered road user exists or not, and Controlling a driver assistance system or a driving automation function of the vehicle based on the conclusion that a covered road user is present.

Method according to Claim 1 wherein the driver assistance system or the Fahrahomatomatisierungsfunktion is controlled such that a driving maneuver, in particular a braking maneuver and / or a steering maneuver is initiated, provided that it has been concluded that a covered road user exists.

Method according to Claim 2 in which an overtaking maneuver, a Einschermanöver and / or a Ausschermanöver is initiated.

Method according to one of Claims 1 to 3 wherein the sensor (3) is a camera (3), wherein the shadow (13) is detected by an image (8) of an external environment (7) of the vehicle (1) taken by the camera (3), and wherein the Shadows (13) detected within the image (8) are analyzed by image processing methods by means of the image processing unit (4).

Method according to Claim 4 in which the shadow detected within the image (8) is analyzed by image processing methods by means of the image processing unit (4), and based on the results of the analysis, is closed to a position of the covered road user.

Method according to one of Claims 4 or 5 , wherein the shadow (13) by a captured by the camera (3) image sequence of the outer Environment (7) of the vehicle (1) is detected and detected, and wherein the shadow (13) recognized within the image sequence is analyzed by image processing methods by the image processing unit (4), and based on the results of the analysis, a movement of the hidden Road user is closed.

Method according to one of Claims 4 to 6 in which the shadow (13) is detected and detected by an image sequence of the external environment (7) of the vehicle (1) picked up by the camera (3), and wherein the shadow (13) recognized within the image sequence is determined by image processing methods using the image processing method Image processing unit (4) is analyzed, and is closed on the basis of the results of the analysis on a relation of the hidden road user to other, not hidden objects within the image sequence.

Device (2) for using an indirect detection of a covered road user for controlling a driver assistance system or a driving automation function of a vehicle, the device comprising an image sensing sensor (3) and an image processing unit (4), wherein the device (2) by means of the image sensing sensor (3 ) and the image processing unit (4) is adapted to perform a method according to one of the preceding claims.

Vehicle (1) comprising a device (2) according to Claim 8 ,

A program element that, when executed on a processor, instructs the processor to perform the method steps of one of Claims 1 to 7 perform.

A computer-readable medium having stored thereon a program element that, when executed on a processor, directs the processor to perform the method steps of one of Claims 1 to 7 perform.