DE102017206974A1 - Method for the indirect detection of a covered road user - Google Patents

Method for the indirect detection of a covered road user Download PDF

Info

Publication number
DE102017206974A1
DE102017206974A1 DE102017206974.0A DE102017206974A DE102017206974A1 DE 102017206974 A1 DE102017206974 A1 DE 102017206974A1 DE 102017206974 A DE102017206974 A DE 102017206974A DE 102017206974 A1 DE102017206974 A1 DE 102017206974A1
Authority
DE
Germany
Prior art keywords
image
shadow
road user
camera
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017206974.0A
Other languages
German (de)
Inventor
Karsten Breuer
Boris Werthessen
Robert Thiel
Mark Sollweck
Christian Brendler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102017206974.0A priority Critical patent/DE102017206974A1/en
Publication of DE102017206974A1 publication Critical patent/DE102017206974A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

Die Erfindung betrifft ein Verfahren zur indirekten Detektion eines verdeckten Verkehrsteilnehmers. Das Verfahren umfasst ein Bereitstellen einer Kamera (3), welche an einem Fahrzeug (1) angeordnet ist, und einer Bildverarbeitungseinheit (4). Es wird ein Bild einer äußeren Umgebung (7) des Fahrzeugs (1) mittels der Kamera (3) aufgenommen, ein Schatten wird innerhalb des Bilds erkannt, und ein innerhalb des Bilds verdeckter Verkehrsteilnehmer wird basierend auf dem erkannten Schatten durch bildbasierte Objekterkennungsmethoden mittels der Bildverarbeitungseinheit (4) erkannt.

Figure DE102017206974A1_0000
The invention relates to a method for the indirect detection of a covered road user. The method comprises providing a camera (3), which is arranged on a vehicle (1), and an image processing unit (4). An image of an external environment (7) of the vehicle (1) is captured by the camera (3), a shadow is detected within the image, and a road user hidden within the image is determined based on the detected shadow by image-based object recognition methods by the image processing unit (4) recognized.
Figure DE102017206974A1_0000

Description

Die Erfindung betrifft ein Verfahren zur indirekten Detektion eines verdeckten Verkehrsteilnehmers.The invention relates to a method for the indirect detection of a covered road user.

Zur Automatisierung von Fahraufgaben oder zur Realisierung von Sicherheitsassistenzfunktionen müssen auch Verkehrsteilnehmer berücksichtigt werden, deren direkte Detektion durch Verdeckungen möglicherweise behindert oder verhindert wird.In order to automate driving tasks or to implement safety assistance functions, road users whose direct detection through obstruction may be hindered or prevented must also be taken into account.

Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, mittels welchem verdeckte Objekte detektiert werden können, um Fahrautomatisierungsfunktionen oder Fahrerassistenzfunktionen verbessern zu können.It is the object of the present invention to provide a method by means of which hidden objects can be detected in order to be able to improve driving automation functions or driver assistance functions.

Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der folgenden Beschreibung sowie der Figuren.The object is solved by the subject matters of the independent claims. Advantageous embodiments are subject of the dependent claims, the following description and the figures.

Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zur indirekten Detektion eines verdeckten Verkehrsteilnehmers bereitgestellt.According to a first aspect of the invention, a method for the indirect detection of a covered road user is provided.

Gemäß dem Verfahren wird eine Kamera bereitgestellt, welche an einem Fahrzeug angeordnet ist. Außerdem wird eine Bildverarbeitungseinheit bereitgestellt. Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen. Die Bildverarbeitungseinheit kann insbesondere software-implementiert sein. Es wird ein Bild einer äußeren Umgebung des Fahrzeugs mittels der Kamera aufgenommen, ein Schatten wird innerhalb des Bilds erkannt (insbesondere mittels der Bildverarbeitungseinheit, welche dazu entsprechende Methoden anwenden kann), und ein innerhalb des Bilds verdeckter Verkehrsteilnehmer wird durch bildbasierte Objekterkennungsmethoden mittels der Bildverarbeitungseinheit basierend auf dem erkannten Schatten erkannt. Im Rahmen der bildbasierten Objekterkennungsmethoden kann insbesondere eine klassische Klassifizierung zum Einsatz kommen, z.B. Adaboost, CNNs oder SfM.According to the method, a camera is provided which is arranged on a vehicle. In addition, an image processing unit is provided. The vehicle is, for example, a motor vehicle, such as a car, bus or truck. The image processing unit may in particular be software implemented. An image of an external environment of the vehicle is taken by the camera, a shadow is recognized within the image (in particular by the image processing unit which can apply corresponding methods), and a road user hidden within the image is based on image-based object recognition methods by the image processing unit recognized on the recognized shadow. In the context of the image-based object recognition methods, in particular a classical classification can be used, e.g. Adaboost, CNNs or SfM.

Das erfindungsgemäße Verfahren ermöglicht durch eine aktive Erkennung von Schatten eine Detektion von Verkehrsteilnehmern, welche ansonsten gar nicht oder nur ungenau bzw. unsicher (z.B. mittels Radar-Bodenreflexions-Verfahren) detektiert werden können. Das erfindungsgemäße Verfahren kann beispielsweise auch in Surround-View-Systemen von Fahrzeugen eingesetzt werden.By actively detecting shadows, the method according to the invention makes it possible to detect road users, who otherwise can not be detected at all or only in an inaccurate or insecure manner (for example by means of radar ground reflection methods). The method according to the invention can also be used, for example, in surround-view systems of vehicles.

Gemäß einer Ausführungsform wird weiterhin basierend auf einer erkannten Position des Schattens und einer ebenfalls aus dem Bild resultierenden Schätzung von Position und/oder Abstrahlrichtung einer oder mehrerer Lichtquellen mittels der bildbasierten Objekterkennungsmethoden eine Position des verdeckten Verkehrsteilnehmers erkannt, welcher den Schatten verursacht. Mit anderen Worten kann mittels der bildbasierten Objekterkennungsmethoden innerhalb des Bilds der Kamera ein erkannter Schatten lokalisiert werden. Basierend auf der ermittelten Position des Schattens innerhalb des Bilds und der geschätzten Eigenschaften von Lichtquellen kann auf die Position des verdeckten Verkehrsteilnehmers innerhalb des Bilds geschlossen werden. Diese Ausführungsform ermöglicht auf besonders einfache Art und Weise, basierend auf einem lokalisierten Schattenwurf innerhalb eines von der Kamera aufgenommenen Bilds einen verdeckten Verkehrsteilnehmer zu lokalisieren, welcher an sich in dem Bild gar nicht sichtbar ist. Gemäß der vorliegenden Erfindung ist somit insbesondere die Erkennung von Lichtquellen und derer Eigenschaften vorgesehen. Diese Information ermöglichen, von einem erkannten Schatten sinnvoll auf die Position des den Schatten werfenden Verkehrsteilnehmers schließen zu können. Befindet sich die Lichtquelle im Bild, so können grundsätzlich zu deren Detektion schon existierende Detektoren von Lichtquellen verwendet werden, wie sie etwa für HLA (Headlight-Assist), TLR (Traffic Light Recognition) und CB (Camera Blockage - Erkennung von Blendung) benutzt werden. Befindet sich die Lichtquelle jedoch außerhalb des Bildes, so können deren Position und Abstrahlrichtung geschätzt werden, z.B. anhand einer 3D-Rekonstruktion (über (Motion-) Stereo) von im Bild sichtbaren Objekten, die den Boden berühren, im Vergleich mit einem direkt an sie grenzenden Schatten.According to one embodiment, based on a detected position of the shadow and an image also resulting from the image of position and / or emission of one or more light sources by means of the image-based object recognition methods, a position of the hidden road user is detected, which causes the shadow. In other words, a detected shadow can be located within the image of the camera by means of the image-based object recognition methods. Based on the determined position of the shadow within the image and the estimated properties of light sources, it is possible to deduce the position of the hidden road user within the image. This embodiment makes it possible in a particularly simple manner, based on a localized shadow within an image captured by the camera, to locate a covered road user who is not at all visible in the image. According to the present invention, the detection of light sources and their properties is thus provided in particular. This information makes it possible to reasonably deduce the position of the shadowing road user from a detected shadow. If the light source is present in the image, existing detectors of light sources, such as those used for HLA (Headlight Assist), TLR (Traffic Light Recognition) and CB (Camera Blockage Detection), can in principle be used for their detection , However, if the light source is outside the image, its position and direction of emission can be estimated, e.g. using a 3D reconstruction (via (motion) stereo) of objects visible in the image that touch the ground in comparison with a shadow directly adjacent to them.

Weiterhin kann eine Bewegung des verdeckten Verkehrsteilnehmers mittels bildbasierter Objekterkennungsmethoden erkannt werden, wobei eine Bewegung des verdeckten Verkehrsteilnehmers, welcher den Schatten verursacht, basierend auf einer erkannten Bewegung des Schattens und/oder der geschätzten Eigenschaften von Lichtquellen erkannt werden kann. Insbesondere kann mittels der bildbasierten Objekterkennungsmethoden eine Bildfolge, welche von der Kamera aufgenommen worden ist, dahingehend analysiert werden, ob und wie sich eine Position eines erkannten Schattens innerhalb der einzelnen Bilder der Bildfolge verändert. Basierend auf der erkannten Änderungen der Position des erkannten Schattens innerhalb der einzelnen Bilder der Bildfolge und der geschätzten Eigenschaften (Position, Abstrahlrichtung, Bewegung) von Lichtquellen kann darauf geschlossen werden, wie sich die Position des verdeckten Verkehrsteilnehmers innerhalb der einzelnen Bilder der Bildfolge verändert. Diese Ausführungsform ermöglicht auf besonders einfache Art und Weise, basierend auf Positionen eines Schattens innerhalb einer von der Kamera aufgenommenen Bildfolge eine Bewegung eines verdeckten Verkehrsteilnehmers zu ermitteln oder vorauszusagen, welcher an sich in der Bildfolge gar nicht sichtbar ist.Furthermore, movement of the concealed road user can be detected by means of image-based object recognition methods, wherein a movement of the concealed road user, which causes the shadow, can be detected based on a detected movement of the shadow and / or the estimated properties of light sources. In particular, by means of the image-based object recognition methods, an image sequence which has been recorded by the camera can be analyzed as to whether and how a position of a recognized shadow changes within the individual images of the image sequence. Based on the detected changes in the position of the detected shadow within the individual images of the image sequence and the estimated properties (position, direction of emission, movement) of light sources, it can be deduced how the position of the hidden traffic participant within the individual images of the image sequence changes. This embodiment makes it possible to move a hidden object in a particularly simple manner, based on positions of a shadow within an image sequence recorded by the camera Traffic participant to determine or predict which is not visible in itself in the sequence.

Gemäß einer weiteren Ausführungsform ist vorgesehen, dass das Erkennen des Schattens innerhalb des Bilds erfolgt, indem benachbarte Bildbereiche miteinander verglichen werden, wobei der Schluss gezogen wird, dass einer dieser Bildbereiche einen Schatten beinhaltet, sofern die Bildbereiche ähnliche oder gleiche Texturen aufweisen.According to a further embodiment, it is provided that the recognition of the shadow within the image is carried out by comparing adjacent image regions with each other, wherein it is concluded that one of these image regions includes a shadow if the image regions have similar or identical textures.

Weiterhin kann das Erkennen des Schattens innerhalb des Bilds erfolgen, indem benachbarte Bildbereiche miteinander verglichen werden, wobei der Schluss gezogen wird, dass einer dieser Bildbereiche einen Schatten beinhaltet, sofern dieser Bildbereich ein insbesondere deutlich in den Blaubereich verschobenes Farbspektrum im Vergleich zu dem anderen Bildbereich aufweist. Diese Ausführungsform liefert besonders gute Ergebnisse bei Tageslicht. Je klarer der Himmel, desto besser funktioniert der Blaulichtvergleich, da beschattete Bereiche in diesem Fall von ambientem Licht des blauen Himmels beleuchtet werden. In dem Forschungsartikel „Moving Object Detection and Shadow Removing under Changing Illumination Condition“ von Jinhai Xiang, Heng Fan, Honghong Liao, Jun Xu, Weiping Sun and Shengsheng Yu (Hindawi Publishing Corporation; Mathematical Problems in Engineering; Volume 2014, Article ID 827461, z.B. abrufbar im Internet unter http://dx.doi.org/10.1155/2014/827461) ist beispielsweise auf S. 2, Spalte 2, letzter Absatz, ein für die vorliegende Erfindung geeignetes Verfahren zur Erkennung einer Verschiebung eines Farbspektrums eines Bildbereichs in einen Blaubereich beschrieben. Dieser Forschungsartikel ist hiermit Teil der Offenbarung der vorliegenden Anmeldung (incorporated by reference).Furthermore, the detection of the shadow within the image can be carried out by comparing adjacent image regions with one another, it being concluded that one of these image regions includes a shadow, provided that this image region has a color spectrum shifted in particular clearly in the blue region compared to the other image region , This embodiment provides particularly good results in daylight. The clearer the sky, the better the blue light comparison works, as shaded areas in this case are illuminated by ambient light from the blue sky. Jinhai Xiang, Heng Fan, Honghong Liao, Jun Xu, Weiping Sun and Shengsheng Yu (Hindawi Publishing Corporation, Volume 2014, Article ID 827461, eg on the Internet at http://dx.doi.org/10.1155/2014/827461) is, for example, on page 2, column 2, last paragraph, a suitable method for the present invention for detecting a shift of a color spectrum of an image area in a blue area described. This research article is hereby part of the disclosure of the present application (incorporated by reference).

Zur Prüfung, ob ein Bildbereich einen Schatten aufweist, kann weiterhin beispielsweise das sogenannte GMM (Gaussian Mixture Model) angewandt werden. Eine Beschreibung dieses und verschiedener weiterer für die vorliegende Erfindung geeigneter Verfahren zur Erkennung von Schatten ist z.B. beschrieben in dem bereits vorstehend zitierten Forschungsartikel „Moving Object Detection and Shadow Removing under Changing Illumination Condition“ (vgl. in diesem Artikel insbesondere S. 1, Sp. 2, Absatz 2 bis Sp. 2, Absatz 3; betreffend das GMM siehe insbesondere Kapitel 3 dieses Artikels).To check whether an image area has a shadow, for example, the so-called GMM (Gaussian Mixture Model) can be used, for example. A description of this and various other shadow detection methods useful in the present invention is disclosed in e.g. described in the above-cited research article "Moving Object Detection and Shadow Removing and Changing Illuminating Condition" (see in this article in particular page 1, paragraph 2, paragraph 2 to paragraph 2, paragraph 3, concerning the GMM, see in particular chapter 3 of this article).

Gemäß einer weiteren Ausführungsform ist vorgesehen, dass das Erkennen des Schattens innerhalb des Bilds erfolgt, indem benachbarte Bildbereiche miteinander verglichen werden, wobei der Schluss gezogen wird, dass einer dieser Bildbereiche einen Schatten beinhaltet, sofern die Helligkeit in dem anderen Bildbereich deutlich höher ist. Dazu kann insbesondere eine kontinuierlich statistisch ermittelte Helligkeit eines (unbewegten) Bildhintergrunds mit den relevanten Bereichen verglichen werden. Mit anderen Worten liegt an einer Grenze zwischen den beiden Bildbereichen ein insbesondere deutlicher Sprung der lokalen Helligkeit vor. Der Bildbereich, welcher keinen Schatten enthält, weist eine insbesondere deutlich höhere Helligkeit auf, als derjenige Bildbereich, welcher den Schatten enthält.According to a further embodiment it is provided that the detection of the shadow within the image is carried out by comparing adjacent image areas with each other, wherein it is concluded that one of these image areas includes a shadow if the brightness in the other image area is significantly higher. In particular, a continuously statistically determined brightness of a (stationary) image background can be compared with the relevant areas. In other words, at a border between the two image areas, there is a particularly significant jump in the local brightness. The image area, which contains no shadow, in particular has a significantly higher brightness than the image area which contains the shadow.

Weiterhin kann vorteilhaft vorgesehen sein, dass in Bildbereichen, welche einen Bodenbereich der äußeren Umgebung beinhalten, nach Schatten gesucht wird. Bodenbereiche können dabei beispielsweise über semantische Segmentierung oder den optischen Fluss in Kombination mit der Eigenbewegung identifiziert werden.Furthermore, it may be advantageous to search for shadows in image regions which include a bottom region of the external environment. Floor areas can be identified, for example, by semantic segmentation or the optical flow in combination with proper motion.

Gemäß einem zweiten Aspekt der Erfindung wird eine Vorrichtung zur indirekten Erkennung eines verdeckten Verkehrsteilnehmers bereitgestellt. Die Vorrichtung umfasst eine Kamera und eine Bildverarbeitungseinheit, wobei die Vorrichtung mittels der Kamera und der Bildverarbeitungseinheit dazu eingerichtet ist, ein Verfahren gemäß dem ersten Aspekt der Erfindung durchzuführen, wobei alle Verfahrensschritte durchgeführt werden, welche nach dem Bereitstellen der Kamera und der Bildverarbeitungseinheit vorgesehen sind.According to a second aspect of the invention, an apparatus for the indirect detection of a covered road user is provided. The device comprises a camera and an image processing unit, wherein the device is set up by means of the camera and the image processing unit to carry out a method according to the first aspect of the invention, wherein all method steps are performed, which are provided after the provision of the camera and the image processing unit.

Gemäß einem dritten Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, welches eine Vorrichtung gemäß dem zweiten Aspekt der Erfindung umfasst.According to a third aspect of the invention, there is provided a vehicle comprising a device according to the second aspect of the invention.

Gemäß einem vierten Aspekt der Erfindung wird ein Programmelement bereitgestellt, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte des Verfahrens gemäß dem ersten Aspekt der Erfindung durchzuführen, wobei alle Verfahrensschritte durchgeführt werden, welche nach dem Bereitstellen der Kamera und der Bildverarbeitungseinheit vorgesehen sind.According to a fourth aspect of the invention, there is provided a program element which, when executed on a processor, instructs the processor to perform the method steps of the method according to the first aspect of the invention, performing all method steps subsequent to providing the camera and the image processing unit are provided.

Gemäß einem fünften Aspekt der Erfindung wird ein computerlesbares Medium bereitgestellt, auf dem ein Programmelement gespeichert ist, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte des Verfahrens gemäß dem ersten Aspekt der Erfindung durchzuführen, wobei alle Verfahrensschritte durchgeführt werden, welche nach dem Bereitstellen der Kamera und der Bildverarbeitungseinheit vorgesehen sind.According to a fifth aspect of the invention there is provided a computer-readable medium having stored thereon a program element which, when executed on a processor, instructs the processor to perform the method steps of the method according to the first aspect of the invention, wherein all method steps are performed which are provided after the provision of the camera and the image processing unit.

Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der schematischen Zeichnung näher erläutert. Hierbei zeigt

  • 1 eine Seitenansicht eines Kraftfahrzeugs mit einem Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und
  • 2 ein von einer Kamera der Vorrichtung nach 1 aufgenommenes Bild, welches einen durch einen verdeckten Verkehrsteilnehmer erzeugten Schatten auf einer Straße zeigt.
Embodiments of the invention are explained in more detail below with reference to the schematic drawing. This shows
  • 1 a side view of a motor vehicle with an embodiment of a device according to the invention and
  • 2 one from a camera of the device 1 taken picture showing a shadow generated by a covered road user on a road.

1 zeigt ein Fahrzeug 1 in Form eines Automobils. Das Fahrzeug 1 umfasst eine Vorrichtung 2 zur indirekten Erkennung eines verdeckten Verkehrsteilnehmers, wobei die Vorrichtung 2 wiederum einen bilderzeugenden Sensor in Form einer Kamera 3 und eine Bildverarbeitungseinheit 4 umfasst. Die Bildverarbeitungseinheit 4 kann insbesondere software-implementiert sein. In dem gezeigten Ausführungsbeispiel kann eine software-implementierte Bildverarbeitungseinheit 4 beispielsweise auf einer Speichereinheit der Kamera 3 hinterlegt sein. 1 shows a vehicle 1 in the form of an automobile. The vehicle 1 includes a device 2 for the indirect detection of a covered road user, wherein the device 2 again an image-forming sensor in the form of a camera 3 and an image processing unit 4 includes. The image processing unit 4 may be especially software implemented. In the embodiment shown, a software-implemented image processing unit 4 for example, on a storage unit of the camera 3 be deposited.

Die Kamera 3 ist in einem Innenraum 5 des Fahrzeugs 1 angeordnet, und zwar insbesondere in einem Bereich hinter einer Windschutzscheibe 6 des Fahrzeugs 1. Andere Verbaupositionen bzw. Anordnungen sind jedoch grundsätzlich auch möglich - im Fall von Surround-View-Kameras kann die Kamera 3 beispielsweise auch außerhalb des Innenraums 5 angeordnet sein. Mittels der Kamera 3 können durch die Windschutzscheibe 6 eine oder mehrere Außenaufnahmen bzw. Bilder von einer äußeren Umgebung 7 des Fahrzeugs 1, insbesondere in einer Vorausrichtung des Fahrzeugs 1, aufgenommen werden, wobei im Falle mehrerer Außenaufnahmen (Bildfolge) die Außenaufnahmen zeitlich aufeinanderfolgend gemacht werden können.The camera 3 is in an interior 5 of the vehicle 1 arranged, in particular in an area behind a windshield 6 of the vehicle 1 , However, other installation positions or arrangements are also possible in principle - in the case of surround-view cameras, the camera 3 for example, outside the interior 5 be arranged. By means of the camera 3 can through the windshield 6 one or more exterior shots or images of an external environment 7 of the vehicle 1 , in particular in a pre-alignment of the vehicle 1 , are taken in the case of multiple outdoor shots (image sequence), the outdoor shots can be made temporally consecutive.

2 zeigt ein beispielhaftes Bild 8, welches von der Kamera 3 aus 1 aufgenommen worden ist. Das Bild 8 enthält ein erstes parkendes Fahrzeug 9, ein zweites parkendes Fahrzeug 10 und ein drittes parkendes Fahrzeug 11. In dem Bild 8 parken die Fahrzeuge 9 bis 11 hintereinander auf einer rechten Seite einer Straße 12. Zwischen dem ersten Fahrzeug 9 und dem zweiten Fahrzeug 10 befindet sich ein Verkehrsteilnehmer in Form eines Fußgängers, welcher jedoch auf dem Bild 8 durch das erste Fahrzeug 9 verdeckt und somit nicht sichtbar ist. Allerdings wirft der verdeckte Verkehrsteilnehmer einen Schatten 13 auf die Straße 12 (Bodenbereich), welche von der Kamera 3 in dem Bild 8 erfasst ist. Auch die Fahrzeuge 9 bis 11 werfen Schatten auf die Straße 12. Auch diese Schatten sind in dem Bild 8 enthalten, in 2 jedoch aus Gründen der besseren Übersichtlichkeit nicht dargestellt. 2 shows an exemplary picture 8th which from the camera 3 out 1 has been recorded. The picture 8th contains a first parking vehicle 9 , a second parking vehicle 10 and a third parked vehicle 11 , In the picture 8th park the vehicles 9 to 11 one behind the other on a right side of a road 12 , Between the first vehicle 9 and the second vehicle 10 is a road user in the form of a pedestrian, which, however, in the picture 8th through the first vehicle 9 hidden and therefore not visible. However, the covered road user casts a shadow 13 on the street 12 (Floor area), which from the camera 3 in the picture 8th is detected. Also the vehicles 9 to 11 cast shadows on the street 12 , These shadows are also in the picture 8th included, in 2 but not shown for reasons of clarity.

Mittels der Bildverarbeitungseinheit kann der Schatten 13 innerhalb des Bilds 8 erkannt werden. Basierend auf dem erkannten Schatten 13 und/oder den geschätzten Eigenschaften (Position, Abstrahlrichtung) der hier nicht im Bild befindlichen Lichtquelle kann mittels der Bildverarbeitungseinheit durch Anwendung bildbasierter Objekterkennungsmethoden der innerhalb des Bilds 8 nicht sichtbare, verdeckte Verkehrsteilnehmer erkannt werden.By means of the image processing unit can the shadow 13 within the picture 8th be recognized. Based on the detected shadow 13 and / or the estimated properties (position, direction of emission) of the light source not shown here can be determined by means of the image processing unit by applying image-based object recognition methods within the image 8th invisible, hidden road users are detected.

Der erkannte Schatten 13 kann mithilfe von bildbasierten Objekterkennungsmethoden (klassische Klassifizierung wie z.B. Adabost, CNNs, SfM etc.) auf eine Position und eine Bewegung des schattenwerfend Objektes, d.h. des verdeckten Verkehrsteilnehmers, analysiert werden.The recognized shadow 13 can be analyzed for position and movement of the shadow-throwing object, ie the hidden road user, using image-based object recognition methods (classical classification such as Adabost, CNNs, SfM etc.).

Insbesondere kann mittels der Bildverarbeitungseinheit 4 der erkannte Schatten 13 durch Methoden der Bildverarbeitung analysiert werden, sodass basierend auf dem erkannten Schatten 13 und/oder den geschätzten Eigenschaften (Position, Abstrahlrichtung) der Lichtquelle darauf geschlossen werden kann, dass in dem vorliegenden Bild 8 ein verdeckter Verkehrsteilnehmer vorhanden ist, und in welcher Position sich der verdeckte Verkehrsteilnehmer zwischen dem ersten Fahrzeug 9 und dem zweiten Fahrzeug 10 befindet.In particular, by means of the image processing unit 4 the recognized shadow 13 be analyzed by image processing methods, so based on the detected shadow 13 and / or the estimated properties (position, direction of emission) of the light source can be concluded that in the present image 8th a covered road user is present, and in which position the covered road user between the first vehicle 9 and the second vehicle 10 located.

Der verdeckte Verkehrsteilnehmer kann beispielsweise die Absicht haben, die Straße 12 zu überqueren. Daher ist es sinnvoll, die Bewegung des verdeckten Verkehrsteilnehmers zu ermitteln. Dazu kann der Schatten 13 in einzelnen, nacheinander aufgenommenen Bildern einer durch die Kamera 3 aufgenommenen Bildfolge der äußeren Umgebung 7 des Fahrzeugs 1 erfasst und erkannt werden. Innerhalb der einzelnen Bilder der Bildfolge wird der erkannte Schatten 13 durch Methoden der Bildverarbeitung mittels der Bildverarbeitungseinheit 4 analysiert, und basierend auf den Ergebnissen der Analyse wird auf eine Bewegung des verdeckten Verkehrsteilnehmers geschlossen, insbesondere auf eine Bewegungsrichtung und Geschwindigkeit des verdeckten Verkehrsteilnehmers. Weiterhin kann basierend auf den Ergebnissen der Analyse auf eine Relation des verdeckten Verkehrsteilnehmers zu den Fahrzeugen 9 bis 11 innerhalb der einzelnen Bilder der Bildfolge geschlossen werden.For example, the covered road user may intend to drive the road 12 to cross. Therefore, it makes sense to determine the movement of the hidden road user. This can be the shadow 13 in single, consecutively taken pictures by the camera 3 recorded image sequence of the external environment 7 of the vehicle 1 be detected and recognized. Within the individual pictures of the sequence becomes the recognized shadow 13 by methods of image processing by means of the image processing unit 4 analyzed, and based on the results of the analysis is concluded on a movement of the covered road user, in particular a direction of movement and speed of the hidden road user. Furthermore, based on the results of the analysis, a relation of the covered road user to the vehicles 9 to 11 be closed within the individual images of the image sequence.

Der Schatten 13 kann insbesondere erkannt werden, indem durch die Bildverarbeitungseinheit 4 ermittelt wird, dass ein beschatteter Bereich 13 innerhalb des Bilds 8 eine ähnliche oder eine gleiche Textur aufweist wie ein nicht beschatteter Bereich 14 daneben.The shadow 13 can be detected in particular by the image processing unit 4 it is determined that a shaded area 13 within the picture 8th has a similar or the same texture as a non-shaded area 14 Besides.

Alternativ oder zusätzlich kann der Schatten 13 auch erkannt werden, indem mittels der Bildverarbeitungseinheit 4 festgestellt wird, dass der beschattete Bereich 13 ein deutlich in den Blaubereich verschobenes Farbspektrum aufweist im Vergleich zu einem nicht beschatteten Bereich 14, welcher unmittelbar neben dem beschatteten Bereich 13 innerhalb des Bilds 8 angeordnet ist.Alternatively or additionally, the shadow 13 also be recognized by means of the image processing unit 4 it is determined that the shaded area 13 has a clearly shifted in the blue range color spectrum compared to a non-shaded area 14 , which is next to the shaded area 13 within the picture 8th is arranged.

Eine weitere Möglichkeit, den Schatten 13 zu erkennen, besteht darin, dass mittels der Bildverarbeitungseinheit 4 festgestellt wird, dass zwischen dem beschatteten Bereich 13 und dem angrenzenden nicht beschatteten Bereich 14 ein deutlicher Sprung der lokalen Helligkeit besteht.Another way, the shadow 13 to recognize, is that by means of the image processing unit 4 it is found that between the shaded area 13 and the adjacent non-shaded area 14 there is a significant jump in local brightness.

Weiterhin kann insbesondere in einen Bodenbereich repräsentierenden Bereichen des Bilds 8, z.B. in Bereichen, welche die Straße 12 beinhalten, nach Schatten 13 gesucht werden.Furthermore, in particular areas of the image which represent a ground area can be used 8th , eg in areas which the street 12 involve, after shade 13 be searched.

Claims (10)

Verfahren zur indirekten Detektion eines verdeckten Verkehrsteilnehmers, das Verfahren umfassend: - Bereitstellen einer Kamera (3), welche an einem Fahrzeug (1) angeordnet ist, und einer Bildverarbeitungseinheit (4), - Aufnehmen eines Bilds (8) einer äußeren Umgebung (7) des Fahrzeugs (1) mittels der Kamera (3), - Erkennen eines Schattens (13) innerhalb des Bilds (8), - Erkennen eines innerhalb des Bilds (8) verdeckten Verkehrsteilnehmers durch bildbasierte Objekterkennungsmethoden mittels der Bildverarbeitungseinheit (4) basierend auf dem erkannten Schatten (13).Method for the indirect detection of a covered road user, the method comprising: Providing a camera (3), which is arranged on a vehicle (1), and an image processing unit (4), - taking an image (8) of an external environment (7) of the vehicle (1) by means of the camera (3), Detecting a shadow (13) within the image (8), - Detecting a hidden inside the image (8) road user by image-based object recognition methods by means of the image processing unit (4) based on the detected shadow (13). Verfahren nach Anspruch 1, das Verfahren weiterhin umfassend - Erkennen einer Position des Schattens (13) mittels der bildbasierten Objekterkennungsmethoden, und - Schätzen der Position und/oder Abstrahlrichtung von einer oder mehreren Lichtquellen, die die Szene im Bild (8) beleuchten, - Erkennen einer Position des verdeckten Verkehrsteilnehmers, welcher den Schatten (13) verursacht, basierend auf der erkannten Position des Schattens (13) und/oder der geschätzten Eigenschaften von die Szene beleuchtenden Lichtquellen.Method according to Claim 1 , the method further comprising - detecting a position of the shadow (13) by means of the image-based object recognition methods, and - estimating the position and / or direction of emission of one or more light sources illuminating the scene in the image (8), - detecting a position of the obscured Road user causing the shadow (13) based on the detected position of the shadow (13) and / or the estimated characteristics of the scene lighting light sources. Verfahren nach Anspruch 1 oder 2, das Verfahren weiterhin umfassend - Erkennen einer Bewegung des Schattens (13) mittels der bildbasierten Objekterkennungsmethoden, und - Erkennen einer Bewegung des verdeckten Verkehrsteilnehmers, welcher den Schatten (13) verursacht, basierend auf der erkannten Bewegung des Schattens (13).Method according to Claim 1 or 2 , the method further comprising - detecting a movement of the shadow (13) by means of the image-based object recognition methods, and - detecting a movement of the concealed road user, which causes the shadow (13), based on the detected movement of the shadow (13). Verfahren nach einem der vorstehenden Ansprüche, wobei das Erkennen des Schattens (13) innerhalb des Bilds (8) erfolgt, indem benachbarte Bildbereiche miteinander verglichen werden, wobei der Schluss gezogen wird, dass einer dieser Bildbereiche einen Schatten (13) beinhaltet, sofern die Bildbereiche ähnliche oder gleiche Texturen aufweisen.A method as claimed in any one of the preceding claims, wherein recognizing the shadow (13) within the image (8) by comparing adjacent image areas with one another, concluding that one of these image areas includes a shadow (13) provided that the image areas have similar or same textures. Verfahren nach einem der vorstehenden Ansprüche, wobei das Erkennen des Schattens (13) innerhalb des Bilds (8) erfolgt, indem benachbarte Bildbereiche miteinander verglichen werden, wobei der Schluss gezogen wird, dass einer dieser Bildbereiche einen Schatten (13) beinhaltet, sofern dieser Bildbereich ein in den Blaubereich verschobenes Farbspektrum im Vergleich zu dem anderen Bildbereich aufweist.Method according to one of the preceding claims, wherein recognizing the shadow (13) within the image (8) by comparing adjacent image areas, it being concluded that one of these image areas includes a shadow (13), if that image area has a color spectrum shifted in the blue area compared to the other image area. Verfahren nach einem der vorstehenden Ansprüche, wobei das Erkennen des Schattens (13) innerhalb des Bilds (8) erfolgt, indem benachbarte Bildbereiche miteinander verglichen werden, wobei der Schluss gezogen wird, dass einer dieser Bildbereiche einen Schatten (13) beinhaltet, sofern die Helligkeit in dem anderen Bildbereich höher ist.A method as claimed in any one of the preceding claims, wherein recognizing the shadow (13) within the image (8) by comparing adjacent image areas with one another, concluding that one of these image areas includes a shadow (13) if the brightness is higher in the other image area. Verfahren nach Anspruch 1 oder 2, wobei in Bildbereichen, welche einen Bodenbereich der äußeren Umgebung (7) beinhalten, nach Schatten (13) gesucht wird.Method according to Claim 1 or 2 in which image areas which include a floor area of the external environment (7) are searched for shadows (13). Vorrichtung (2) zur indirekten Detektion eines verdeckten Verkehrsteilnehmers, die Vorrichtung (2) umfassend eine Kamera (3) und eine Bildverarbeitungseinheit (4), wobei die Vorrichtung (2) mittels der Kamera (3) und der Bildverarbeitungseinheit (4) dazu eingerichtet ist, ein Verfahren gemäß einem der vorstehenden Ansprüche durchzuführen.Device (2) for the indirect detection of a covered road user, the device (2) comprising a camera (3) and an image processing unit (4), wherein the device (2) by means of the camera (3) and the image processing unit (4) is arranged to perform a method according to any one of the preceding claims. Fahrzeug (1) umfassend eine Vorrichtung (2) nach Anspruch 8.Vehicle (1) comprising a device (2) according to Claim 8 , Programmelement, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte gemäß einem der Ansprüche 1 bis 5 durchzuführen.A program element that, when executed on a processor, instructs the processor to perform the method steps of one of Claims 1 to 5 perform.
DE102017206974.0A 2017-04-26 2017-04-26 Method for the indirect detection of a covered road user Pending DE102017206974A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017206974.0A DE102017206974A1 (en) 2017-04-26 2017-04-26 Method for the indirect detection of a covered road user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017206974.0A DE102017206974A1 (en) 2017-04-26 2017-04-26 Method for the indirect detection of a covered road user

Publications (1)

Publication Number Publication Date
DE102017206974A1 true DE102017206974A1 (en) 2018-10-31

Family

ID=63797511

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017206974.0A Pending DE102017206974A1 (en) 2017-04-26 2017-04-26 Method for the indirect detection of a covered road user

Country Status (1)

Country Link
DE (1) DE102017206974A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2621822A (en) * 2022-08-17 2024-02-28 Skystrm Ltd Monitoring system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080118149A1 (en) * 2006-11-17 2008-05-22 Pengyu Fu Method and apparatus for partitioning an object from an image
US20090297041A1 (en) * 2008-06-02 2009-12-03 Aisin Seiki Kabushiki Kaisha Surrounding recognition support system
US20120140988A1 (en) * 2009-08-12 2012-06-07 Nec Corporation Obstacle detection device and method and obstacle detection system
US20160090023A1 (en) * 2013-04-11 2016-03-31 Toyota Jidosha Kabushiki Kaisha Information display device and information display method
DE102015121952A1 (en) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Method for identifying an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080118149A1 (en) * 2006-11-17 2008-05-22 Pengyu Fu Method and apparatus for partitioning an object from an image
US20090297041A1 (en) * 2008-06-02 2009-12-03 Aisin Seiki Kabushiki Kaisha Surrounding recognition support system
US20120140988A1 (en) * 2009-08-12 2012-06-07 Nec Corporation Obstacle detection device and method and obstacle detection system
US20160090023A1 (en) * 2013-04-11 2016-03-31 Toyota Jidosha Kabushiki Kaisha Information display device and information display method
DE102015121952A1 (en) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Method for identifying an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Junqiu Wang, Yasushi Yagi: Shadow extraction and application in pedestrian detection. In: EURASIP Journal on Image and Video Processing, 2014/01/12, 1 - 10. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2621822A (en) * 2022-08-17 2024-02-28 Skystrm Ltd Monitoring system

Similar Documents

Publication Publication Date Title
DE102011106050B4 (en) Shadow removal in an image captured by a vehicle-based camera for detection of a clear path
DE102018201054A1 (en) System and method for image representation by a driver assistance module of a vehicle
DE102011106052B4 (en) Shadow removal in an image captured by a vehicle based camera using a nonlinear illumination invariant core
DE102007034657B4 (en) Image processing device
DE102018203807A1 (en) Method and device for detecting and evaluating road conditions and weather-related environmental influences
EP2718869A2 (en) Method and device for detecting objects in the area surrounding a vehicle
DE102015121952A1 (en) Method for identifying an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle
DE102014208271A1 (en) Method and apparatus for image based vision estimation
DE102013212495A1 (en) Method and device for inspecting a contoured surface, in particular the underbody of a motor vehicle
DE102011107458A1 (en) Method for evaluating an object recognition device of a motor vehicle
DE102013011975A1 (en) Method for evaluating headlamps
DE102011081362A1 (en) Method for determining surface quality of track for passing vehicle, involves outputting surface state signal indicating surface condition of the track when the comparison signal satisfies predetermined relationship
EP4078941A2 (en) Converting input image data from a plurality of vehicle cameras of a surround-view system into optimised output image data
EP2166489B1 (en) Method and device for detecting vehicles in the dark
DE102019220168A1 (en) Brightness conversion of images from a camera
DE102017122432A1 (en) Method for detecting a road condition of a roadway for a motor vehicle, driver assistance system and motor vehicle
DE102017117211B3 (en) A method of trajectory-based feature mapping in an image captured by an image capture unit of a vehicle
DE102006004770B4 (en) Method for image-based recognition of vehicles in the vicinity of a road vehicle
DE102013022050A1 (en) Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle
DE102015210934A1 (en) Apparatus and method for improved visual localization of a motor vehicle in an environment
DE102017206974A1 (en) Method for the indirect detection of a covered road user
DE102014208272A1 (en) Method and apparatus for tracking-based visibility estimation
DE102006039832B4 (en) Method and device for locating and distinguishing persons, animals or vehicles by means of automatic image monitoring of digital or digitized images
DE102006043433B4 (en) Method for image-based determination of the direction of travel of vehicles
EP1962245B1 (en) Method and device for detecting the movement state of objects

Legal Events

Date Code Title Description
R163 Identified publications notified
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE

R012 Request for examination validly filed