DE102016216462A1

DE102016216462A1 - Method of inherent shadow recognition

Info

Publication number: DE102016216462A1
Application number: DE102016216462.7A
Authority: DE
Inventors: Daniel Liebehenschel; Maciej Korzec; Hellward Broszio; Kai Cordes; Carolin Last
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2016-08-31
Filing date: 2016-08-31
Publication date: 2018-03-01
Anticipated expiration: 2036-09-01
Also published as: DE102016216462B4

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen des Eigenschattens 5 eines Fahrzeugs 1 mittels einer Kameravorrichtung 3, die eingerichtet ist, um eine digitale 360°-Aufnahme der Fahrzeugumgebung aufzunehmen. Um eine Eigenschattenerkennung ressourcenschonend und mit einem minimalen Rechenaufwand durchführen zu können, wird erfindungsgemäß vorgesehen, dass die Daten der digitalen 360°-Aufnahme innerhalb einer Auswerteeinheit ausgewertet werden, um zunächst die Position einer oder mehrerer Lichtquellen 4 festzustellen, so dass die Auswertung der digitalen 360°-Aufnahme zur Identifikation des Eigenschattens 5 anschließend auf den Bildbereich beschränkbar ist, der den identifizierten Lichtquellen 4 gegenüberliegt.The present invention relates to a method for detecting the intrinsic shadow 5 of a vehicle 1 by means of a camera device 3, which is set up to record a digital 360 ° recording of the vehicle surroundings. In order to be able to perform an inherent shadow recognition in a resource-saving manner and with minimal computational effort, it is provided according to the invention that the data of the digital 360 ° recording are evaluated within an evaluation unit in order to first determine the position of one or more light sources 4, so that the evaluation of the digital 360 ° recording for identifying the intrinsic shadow 5 is then limited to the image area, which is opposite to the identified light sources 4.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen des Eigenschattens eines Fahrzeugs mittels einer Kameravorrichtung, die eingerichtet ist, um eine digitale 360°-Aufnahme der Fahrzeugumgebung aufzunehmen.The present invention relates to a method for detecting the intrinsic shadow of a vehicle by means of a camera device, which is set up to record a digital 360 ° recording of the vehicle surroundings.

Die digitale Umgebungsrekonstruktion von Fahrzeugen gewinnt insbesondere aufgrund von autonomen und teilautonomen Fahrassistenzsystemen, wie beispielsweise automatischen Einparkhilfen, und dem zunehmenden Wunsch nach Autopilotsystemen stetig an Bedeutung. Gegenwärtig verfügbare Systeme zur Umgebungsrekonstruktion weisen vielfach Probleme beim Erkennen des fahrzeugeigenen Schattens (Egoschatten) auf, was zumindest teilweise zu einer fehlerhaften Umgebungsrekonstruktion führen kann. Funktionierende und zuverlässige Systeme zur Egoschattenerkennung sind rechenaufwendig, was bei begrenzten Rechenressourcen innerhalb eines Fahrzeugs kostenintensiv und mithin nachteilbehaftet ist. Auch ist die zeitliche Anforderung solcher Systeme insbesondere zum Einsatz in Autopilotsystemen ist sehr hoch, um auch eine schnelle Reaktion bei unvorhergesehenen Fahrsituationen zu ermöglichen.The digital environmental reconstruction of vehicles is becoming increasingly important, in particular due to autonomous and semi-autonomous driver assistance systems, such as automatic parking aids, and the increasing desire for autopilot systems. Currently available systems for environmental reconstruction often have problems recognizing the vehicle's shadow (ego shadows), which can at least partially lead to a faulty environment reconstruction. Functioning and reliable systems for ego shadow recognition are computationally expensive, which is cost-intensive and therefore disadvantageous given limited computational resources within a vehicle. The time requirement of such systems, in particular for use in autopilot systems, is also very high, in order to also enable a quick reaction in the event of unforeseen driving situations.

Verschiedene Systeme zur Schattenerkennung, insbesondere zur Eigenschattenerkennung, sind in DE 10 2012 105 659 A1 , DE 10 2011 122 454 A1 und DE 10 2006 027 113 A1 angedeutet, wobei hiernach die gesamte Fahrzeugumgebung auf das Vorhandensein eines Eigenschattens untersucht wird.Various systems for shadow detection, in particular for self-shadow recognition, are known in DE 10 2012 105 659 A1 . DE 10 2011 122 454 A1 and DE 10 2006 027 113 A1 hereafter the entire vehicle environment is examined for the presence of an intrinsic shadow.

Hiervon ausgehend ist es die Aufgabe der vorliegenden Erfindung, ein Verfahren vorzuschlagen, mit dem die Eigenschattenerkennung ressourcenschonend und mit einem minimalen Rechenaufwand durchgeführt werden kann.On this basis, it is the object of the present invention to propose a method with which the inherent shadow recognition can be performed in a resource-saving manner and with a minimum amount of computation.

Diese Aufgabe wird durch das Verfahren nach Anspruch 1 gelöst, wonach erfindungsgemäß die Daten der digitalen 360°-Aufnahme innerhalb einer Auswerteeinheit ausgewertet werden, um zunächst die Position einer oder mehrerer Lichtquellen festzustellen, so dass die Auswertung der digitalen 360°-Aufnahme zur Identifikation des Eigenschattens anschließend auf den Bildbereich beschränkbar ist, der den identifizierten Lichtquellen gegenüberliegt. This object is achieved by the method according to claim 1, according to the invention, the data of the digital 360 ° recording are evaluated within an evaluation to first determine the position of one or more light sources, so that the evaluation of the digital 360 ° recording for the identification of Eigenschattens is then limited to the image area, which is opposite to the identified light sources.

Hierbei ist es nur von untergeordneter Bedeutung, mit welchen Mitteln die 360°-Aufnahme aufgenommen wurde. Mit anderen Worten wird zunächst anhand von schnell verfügbaren Eigenschaften der digitalen Bilder die Position von vorhandenen (Haupt-)Lichtquellen festgestellt. Der von dem Fahrzeug geworfene Schatten muss demzufolge auf der gegenüberliegenden Seite der Lichtquelle angeordnet sein, so dass die weitere Untersuchung der digitalen Bilder auf diese Bildbereiche beschränkt werden kann. Eine derartige Einschränkung der Bildbereiche führt zu einem wesentlich ressourcenschonderen Verfahren und der Eigenschatten kann schnell und präzise von anderen Schatten unterschieden werden. Ferner kann eine angepasste (adaptive) Parametrierung in den verschiedenen Bereichen vorgenommen werden, was die Güten der Ausgaben verbessert.In this context, it is only of secondary importance with which means the 360 ° recording was recorded. In other words, the location of existing (main) light sources is first determined based on readily available characteristics of the digital images. The shadow cast by the vehicle must therefore be arranged on the opposite side of the light source, so that the further examination of the digital images can be limited to these image areas. Such a limitation of the image areas results in a very resource-conserving process, and the inherent shade can be quickly and accurately distinguished from other shadows. Furthermore, an adapted (adaptive) parameterization can be made in the different areas, which improves the qualities of the outputs.

Bevorzugte Ausführungsformen der vorliegenden Erfindung werden nachfolgend und in den Unteransprüchen beschrieben.Preferred embodiments of the present invention are described below and in the subclaims.

Nach einer ersten bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass zur Identifikation der Lichtquellen das Helligkeitshistogramm, die Belichtungszeit und/oder der Verstärkungsfaktor (engl. Gain) der digitalen 360°-Aufnahme ausgewertet wird. Selbstverständlich sind auch andere Eigenschaften der digitalen 360°-Aufnahme verwendbar, die auf eine helle Lichtquelle zurückschließen lassen. Ebenfalls ist auch eine an sich bekannte Lichtquellenerkennung anwendbar. According to a first preferred embodiment of the invention, it is provided that the brightness histogram, the exposure time and / or the gain of the digital 360 ° recording is evaluated for the identification of the light sources. Of course, other features of the digital 360 ° recording are useful, which can be concluded that a bright light source. Also, a known per se light source detection is applicable.

Vorzugsweise ist die Kameravorrichtung eine Kombination aus mehreren Einzelkameras, deren Bilder zu einer 360°-Aufnahme von der Auswerteeinheit zusammengefügt werden und eine 360°-surround view ermöglichen. Als besonders bevorzugt hat sich die Verwendung von vier Kameras herausgestellt, die jeweils einen Bildbereich von 190° abdecken und die an den Seitenspiegeln des Fahrzeugs, sowie am Kühlergrill und am Heck des Fahrzeugs angeordnet sind. Alternativ ist auch eine andere Anzahl von Kameras oder eine omnidirektionale Kamera verwendbar.Preferably, the camera device is a combination of a plurality of individual cameras whose images are combined to a 360 ° recording by the evaluation and allow a 360 ° surround view. Particularly preferred has been the use of four cameras, each covering an image area of 190 ° and which are arranged on the side mirrors of the vehicle, as well as on the grille and at the rear of the vehicle. Alternatively, a different number of cameras or an omnidirectional camera can be used.

Das beschriebene Verfahren ist insbesondere bei Dämmerung oder in der Nacht vorteilhaft, weil anhand der digitalen 360°-Aufnahme unmittelbar festgestellt werden kann, dass keine Hauptlichtquelle existiert und dass mithin komplett auf eine Eigenschattenselektion verzichtet werden kann, was ebenfalls die Rechenressourcen schont. Die Analyse, ob Dämmerung oder Nacht vorliegt, kann dabei ebenfalls über eine lange Belichtungszeit bzw. einem hohen Verstärkungsfaktor ermittelt werden.The method described is particularly advantageous at twilight or at night, because it can be determined directly from the digital 360 ° recording that no main light source exists and that therefore can be completely dispensed with an own shadow selection, which also protects the computational resources. The analysis of whether twilight or night is present can also be determined over a long exposure time or a high amplification factor.

Der Verfahrensablauf wird nachfolgend anhand der einzigen Figur nochmals erläutert, die die Draufsicht eines Fahrzeugs 1 zeigt, das vier Einzelkameras 2, 2‘, 2‘‘, 2‘‘‘ besitzt, die eine Kameravorrichtung 3 zur Erstellung einer digitalen 360°-Aufnahme der Fahrzeugumgebung bilden. Die Einzelkameras 2, 2‘, 2‘‘, 2‘‘‘ besitzen jeweils einen bevorzugten Erfassungswinkel von 190° (nur exemplarisch an der Einzelkamera 2' dargestellt), so dass auch nahe Bereiche des Fahrzeugs 1 von der 360°-Aufnahme umfasst sind. Das mit Bezug auf ein Fahrzeugkoordinatensystem mit einer x- und einer y-Achse sowie einer nicht dargestellten z-Achse, die aus der Papierebene heraus zeigt, befindet sich eine Lichtquelle 4 in unmittelbarer Umgebung zu dem Fahrzeug 1, die das Fahrzeug 1 anstrahlt. Infolgedessen entsteht ein Schatten 5 des Fahrzeugs 1 auf der gegenüberliegenden Seite des Fahrzeugs 1, der von der Kameravorrichtung 3 detektiert werden soll. Hierzu werden zunächst die digitalen Einzelbilder der Einzelkameras 2, 2', 2'', 2''' dahingehend ausgewertet, ob eine Lichtquelle 4 vorhanden ist. Dabei werden die digitalen Bilder insbesondere auf eine hohe Helligkeit, eine hohe Belichtungszeit und/oder einen hohen Verstärkungsfaktor ausgewertet, was alles auf eine starke Lichtquelle 4 hindeutet. Sobald die Winkelposition der Lichtquelle 4 gegenüber dem Fahrzeugkoordinatensystem festgestellt wurde, kann die Untersuchung der 360°-Aufnahme auf einen etwaigen Eigenschatten auf den Bildbereich beschränkt werden, der der identifizierten Lichtquelle 4 gegenüberliegt. Im dargestellten Ausführungsbeispiel beschränkt sich die Auswertung auf den Bildbereich der Einzelkamera 2''. Hieraus ergeben sich insbesondere hinsichtlich der Rechenkapazität und der zeitlichen Anforderung der Bestimmung des Eigenschattens 5 erhebliche Vorteile.The process sequence will be explained again with reference to the single figure, which is the top view of a vehicle 1 shows that four single cameras 2 . 2 ' . 2 '' . 2 ''' owns a camera device 3 to create a digital 360 ° recording of the vehicle environment. The single cameras 2 . 2 ' . 2 '' . 2 ''' each have a preferred detection angle of 190 ° (only exemplary of the single camera 2 ' shown), so that also close areas of the vehicle 1 from the 360 ° recording. With respect to one Vehicle coordinate system with an x and a y-axis and a z-axis, not shown, which points out of the plane of the paper, there is a light source 4 in the immediate vicinity of the vehicle 1 that the vehicle 1 spotlighting. As a result, a shadow is created 5 of the vehicle 1 on the opposite side of the vehicle 1 by the camera device 3 should be detected. For this purpose, first the digital frames of the single cameras 2 . 2 ' . 2 '' . 2 ''' evaluated as to whether a light source 4 is available. In this case, the digital images are evaluated in particular for high brightness, high exposure time and / or a high amplification factor, all for a strong light source 4 suggesting. Once the angular position of the light source 4 with respect to the vehicle coordinate system, the examination of the 360 ° recording can be limited to any self-shadowing on the image area corresponding to the identified light source 4 opposite. In the illustrated embodiment, the evaluation is limited to the image area of the single camera 2 '' , This results in particular with regard to the computing capacity and the temporal requirement of the determination of the eigenshade 5 considerable advantages.

Desweiteren ist vorgesehen, dass bestimmte Parameter in den Bildbereich mit dem Eigenschatten anders gesetzt werden. Insbesondere können Existenz- und/oder Detektionswahrscheinlichkeiten gesenkt werden, falls das Verfahren zur Umfelderkennung in den Bereichen mit einem Eigenschatten eine geringere oder schlechtere Performance zeigt. Auch kann die Kenntnis um die Hauptlichtquelle eingesetzt werden, um gefundenen Objekten in den anderen Kameras mögliche Schatteneigenschaften zuzuordnen. Steht die Sonne beispielsweise tief links vor dem Fahrzeug, kann auch in der vorderen (nicht nur rechten) Kamera davon ausgegangen werden, dass weitere Objekte längliche Schatten nach rechts werfen.Furthermore, it is provided that certain parameters are set differently in the image area with the property shadow. In particular, existence and / or detection probabilities can be lowered if the method for environment detection in the areas with an own shadow shows a lower or worse performance. The knowledge about the main light source can also be used to assign possible shadow properties to found objects in the other cameras. If, for example, the sun is low in front of the vehicle, then it can be assumed in the front camera (not just the right one) that further objects cast oblong shadows to the right.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Fahrzeug vehicle
2, 2‘. 2‘‘, 2‘‘‘2, 2 '. 2 '', 2 '' ': Einzelkameras Single camera
33: Kameravorrichtung camera device
44: Lichtquelle light source
55: Eigenschatten own shadow

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102012105659 A1 [0003]
DE 102011122454 A1 [0003]
DE 102006027113 A1 [0003]

Claims

Method for recognizing the intrinsic shadow ( 5 ) of a vehicle ( 1 ) by means of a camera device ( 3 ), which is set up to record a digital 360 ° recording of the vehicle environment, characterized in that the data of the digital 360 ° recording are evaluated within an evaluation unit in order to first determine the position of one or more light sources ( 4 ), so that the evaluation of the digital 360 ° recording for the identification of the characteristic shadow ( 5 ) can then be limited to the image area that corresponds to the identified light sources ( 4 ) is opposite.

Method according to claim 1, characterized in that for identifying the light sources ( 4 ) the brightness histogram, the exposure time and / or the gain of the digital 360 ° recording is evaluated.

Method according to one of claims 1 or 2, characterized in that the camera device ( 3 ) a combination of several single cameras ( 2 . 2 ' . 2 '' . 2 ''' ), whose pictures are combined to a 360 ° recording.