DE102017214973A1

DE102017214973A1 - Method and apparatus for image based object identification for a vehicle

Info

Publication number: DE102017214973A1
Application number: DE102017214973.6A
Authority: DE
Inventors: Johannes-Joerg Rueger; Udo Schulz; Gregor Schwarzenberg
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2017-08-28
Filing date: 2017-08-28
Publication date: 2019-02-28

Abstract

Die Erfindung betrifft ein Verfahren zur bildbasierenden Objektidentifikation für ein Fahrzeug 100, wobei das Verfahren einen Schritt des Einlesens von einer Umgebung des Fahrzeugs 100 abbildenden Bilddaten einer Kamera 106 umfasst, wobei die Kamera 106 an einer Aufnahmeposition im Fahrzeug 100 angeordnet ist. Weiterhin umfasst das Verfahren einen Schritt des Umrechnens der Bilddaten in Hilfsbilddaten, wobei die Hilfsbilddaten dem Abbild der Umgebung des Fahrzeugs 100 aus einer an einer Auswerteposition angeordneten Kamera 110 entsprechen. Schließlich umfasst das Verfahren einen Schritt des Anwendens zumindest eines Klassifikators zur Identifikation eines Objekts 104 aus den Hilfsbilddaten, wobei der Klassifikator auf das Erkennen von Objekten 104 aus Bilddaten eines Bildes von einer in der Auswerteposition angeordneten Kamera 110 trainiert ist.

The invention relates to a method for image-based object identification for a vehicle 100, the method comprising a step of reading image data of a camera 106 depicting an environment of the vehicle 100, wherein the camera 106 is arranged at a pickup position in the vehicle 100. Furthermore, the method comprises a step of converting the image data into auxiliary image data, the auxiliary image data corresponding to the image of the surroundings of the vehicle 100 from a camera 110 arranged at an evaluation position. Finally, the method comprises a step of applying at least one classifier for identifying an object 104 from the auxiliary image data, wherein the classifier is trained to detect objects 104 from image data of an image from a camera 110 arranged in the evaluation position.

Description

Stand der TechnikState of the art

Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.The invention is based on a device or a method according to the preamble of the independent claims. The subject of the present invention is also a computer program.

Die Erkennung von Objekten mittels eines Kamerasystems gewinnt in vielen Bereichen zunehmend an Bedeutung. Insbesondere im Fahrzeugumfeld sind Kamerasysteme mit Funktionen zur Erkennung von Objekten, beispielsweise die Detektion von Fußgängern, für diverse Assistenzfunktionen bis hin zum automatisierten Fahren zwingend erforderlich.The recognition of objects by means of a camera system is becoming increasingly important in many areas. Particularly in the vehicle environment, camera systems with functions for detecting objects, for example the detection of pedestrians, for various assistance functions up to automated driving are absolutely necessary.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zur bildbasierenden Objektidentifikation für ein Fahrzeug, weiterhin eine Vorrichtung sowie ein Steuergerät, das dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.Against this background, with the approach presented here, a method for image-based object identification for a vehicle, furthermore a device and a control unit, which uses this method, and finally a corresponding computer program according to the main claims are presented. The measures listed in the dependent claims advantageous refinements and improvements of the independent claim device are possible.

Durch eine horizontale und/oder vertikale Drehung und/oder Verschiebung von Bilddaten, die einer veränderten Kameraposition eines Fahrzeuges entsprechen, kann eine Objektidentifikation durchgeführt werden, ohne die Notwendigkeit neue Bildbeispiele aufzunehmen sowie Objektklassifikatoren zu trainieren. Es können somit bereits trainierte Klassifikatoren für Bilder verwendet werden, die mittels Bildern von einer anderen Kameraperspektive aus trainiert wurden, wobei eine Umrechnung der Bilddaten in diejenigen Bilddaten erfolgt, für die der Klassifikator trainiert wurde.By a horizontal and / or vertical rotation and / or displacement of image data corresponding to a changed camera position of a vehicle, an object identification can be performed without the need to take new image examples and train object classifiers. It is thus possible to use already trained classifiers for images which have been trained by means of images from a different camera perspective, whereby a conversion of the image data into the image data for which the classifier was trained.

Es wird ein Verfahren zur bildbasierenden Objektidentifikation für ein Fahrzeug vorgestellt, wobei das Verfahren die folgenden Schritte umfasst:

Einlesen von eine Umgebung des Fahrzeugs abbildenden Bilddaten einer Kamera, die an einer Aufnahmeposition im Fahrzeug angeordnet ist;
Umrechnen der Bilddaten in Hilfsbilddaten, wobei die Hilfsbilddaten dem Abbild der Umgebung des Fahrzeugs aus einer an einer Auswerteposition angeordneten Kamera entsprechen; und
Anwenden zumindest eines Klassifikators zur Identifikation eines Objekts aus den Hilfsbilddaten, wobei der Klassifikator auf das Erkennen von Objekten aus Bilddaten eines Bildes von einer in der Auswerteposition angeordneten Kamera trainiert ist.

A method for image-based object identification for a vehicle is presented, the method comprising the following steps:

Reading image data of a camera imaging surroundings of the vehicle, which is arranged at a pickup position in the vehicle;
Converting the image data into auxiliary image data, the auxiliary image data corresponding to the image of the surroundings of the vehicle from a camera arranged at an evaluation position; and
Applying at least one classifier for identifying an object from the auxiliary image data, wherein the classifier is trained on recognizing objects from image data of an image from a camera arranged in the evaluation position.

Bei einem Fahrzeug kann es sich um ein Fahrzeug zur Personenbeförderung, beispielsweise ein hochautomatisiert fahrendes Fahrzeug, handeln. Bei einer Kamera kann es sich um eine Objekte erfassende Stereokamera handeln, die am Fahrzeug angeordnet ist. Unter einer Objektidentifikation kann ein Verfahren bezeichnet werden, bei dem sich in aufgenommenen Bilddaten eine Anzahl diverser Klassifikatoren identifizieren lässt, die dasselbe Objekt in der realen Welt repräsentieren. Bei einem Klassifikator kann es sich hierbei um eine Instanz oder einen Algorithmus handeln, die/der Objekte klassiert, also in Kategorien einordnet. Bei Bilddaten kann es sich um eine Mehrzahl zusammengesetzter Bildpunkte (Pixel) handeln, die eine Umgebung eines Fahrzeugs abbilden, die einer an einer Aufnahmeposition angeordneten Kamera entspricht. Bei Hilfsbilddaten kann es sich um umgerechnete Bilddaten handeln, die dem Abbild der Umgebung eines Fahrzeugs aus einer an einer Auswerteposition angeordneten Kamera entsprechen würde. Bei einer Aufnahmeposition kann es sich um eine aktuelle, erhöhte Position der Kamera am Fahrzeug handeln. Bei einer Auswerteposition kann es sich hingegen um eine vertiefte oder niedriger (beispielsweise in Bezug auf einen Abstand zu einer Fahrbahn) im Fahrzeug angeordnete Referenzposition der Kamera am Fahrzeug handeln.A vehicle may be a passenger vehicle, such as a highly automated vehicle. A camera may be an object-sensing stereo camera located on the vehicle. An object identification may be a method in which a number of different classifiers representing the same object in the real world can be identified in recorded image data. A classifier can be an instance or an algorithm that classifies objects, ie classifies them into categories. Image data may be a plurality of composite pixels that map an environment of a vehicle that corresponds to a camera located at a shooting position. Auxiliary image data can be converted image data which would correspond to the image of the surroundings of a vehicle from a camera arranged at an evaluation position. A shooting position may be a current, elevated position of the camera on the vehicle. On the other hand, an evaluation position can be a reference position of the camera on the vehicle that is recessed or lower (for example with respect to a distance to a roadway) in the vehicle.

Gemäß einer Ausführungsform kann im Schritt des Einlesens die Umgebung des Fahrzeugs dreidimensional abgebildet werden. Vorteilhafterweise führt eine dreidimensionale Aufnahme der Fahrzeugumgebung zu einer gesteigerten Informationsdichte zur Fahrzeugumgebung und dient daher einer schnelleren Gefahrenerkennung und Unfallvermeidung.According to one embodiment, in the reading step, the environment of the vehicle may be three-dimensionally imaged. Advantageously, a three-dimensional recording of the vehicle environment leads to an increased density of information to the vehicle environment and therefore serves a faster detection of hazards and accident prevention.

Gemäß einer Ausführungsform kann im Schritt des Einlesens eine abgebildete Bilddatei eine Entfernungsinformation in Bezug auf das Objekt in der Umgebung des Fahrzeugs aufweisen. Durch das Wissen um eine Objektentfernung kann eine Objektgeschwindigkeit errechnet werden, was eine schnellere Gefahrenerkennung und dadurch eine gesteigerte Unfallvermeidung ermöglicht.According to one embodiment, in the reading step, a mapped image file may include distance information related to the object in the vicinity of the vehicle. By knowing about an object distance, an object speed can be calculated, which allows a faster detection of danger and thereby an increased accident avoidance.

Gemäß einer Ausführungsform können im Schritt des Einlesens Entfernungsdaten eingelesen werden, die von einem Sensor bereitgestellt werden, insbesondere wobei der Sensor sich von der Kamera unterscheidet und/oder auf einem von einem optischen Messprinzip abweichenden Messprinzip arbeitet. Bei dem optischen Messprinzip kann es sich beispielweise um die Auswertung aus einem mit einer Kamera erfassten Bild handeln, sodass gemäß der hier vorgestellten Ausführungsform beispielsweise zur Erfassung von Entfernungsdaten auf einen Lidar-Sensor, Radar-Sensor, Ultraschall-Sensor und/oder einen Infrarot-Sensor zurückgegriffen werden kann.According to one embodiment, in the reading step, distance data provided by a sensor can be read in, in particular wherein the sensor differs from the camera and / or operates on a measuring principle deviating from an optical measuring principle. The optical measuring principle can be, for example, the evaluation of an image acquired with a camera, so that according to FIG The embodiment presented here can be used, for example, to record distance data on a lidar sensor, radar sensor, ultrasound sensor and / or an infrared sensor.

Gemäß einer weiteren Ausführungsform können im Schritt des Umrechnens Hilfsbilddaten errechnet werden, die eine vorbekannte horizontale und/oder vertikale Drehung und/oder eine vorbekannte horizontale und/oder vertikale Verschiebung einer Position der Kamera von der Aufnahmeposition in die Auswerteposition repräsentieren. Je nach Anwendungsfall brauchen somit mit der Ausführungsform des vorgestellten Verfahrens weder neue Bildbeispiele aufgenommen noch die Objektklassifikation neu trainiert werden, sondern es brauchen lediglich bekannte Zusammenhänge der Verzerrung bzw. einer Verschiebung von Elementen in dem Bild umgerechnet werden, um die Hilfsbilddaten zu erhalten.According to a further embodiment, in the step of converting auxiliary image data can be calculated which represent a previously known horizontal and / or vertical rotation and / or a known horizontal and / or vertical displacement of a position of the camera from the recording position to the evaluation position. Depending on the application, neither new image examples nor the object classification need to be re-trained with the embodiment of the presented method, but only known relationships of the distortion or a shift of elements in the image need to be converted in order to obtain the auxiliary image data.

Gemäß einer Ausführungsform können im Schritt des Umrechnens Hilfsbilddaten dann errechnet werden, wenn die vorbekannte Drehung innerhalb eines Toleranzwinkelbereichs und/oder die vorbekannte Verschiebung der Position der Kamera innerhalb eines Toleranzhöhenbereichs liegt. Vorausgesetzt ist, dass die Drehung und/oder Verschiebung der Kameraposition keine generelle Perspektivänderung zur Folge hat, also nicht von einer Zentralperspektive der Auswerteposition der Kamera in eine Vogelperspektive der Aufnahmeposition der Kamera verschobenen und gedreht wird. Eine solche Ausführungsform bietet den Vorteil, dass sichergestellt ist, dass durch den Perspektivwechsel die Proportionen des Objektes noch korrekt wiederhergestellt bzw. rekonstruiert werden können, sodass der Klassifikator noch eine korrekte Klassierung vornehmen kann.According to one embodiment, in the step of converting, auxiliary image data may be calculated when the known rotation is within a tolerance angle range and / or the previously known displacement of the position of the camera is within a tolerance height range. It is assumed that the rotation and / or displacement of the camera position does not result in a general change in perspective, ie is not shifted and rotated from a central perspective of the evaluation position of the camera into a bird's-eye view of the camera's shooting position. Such an embodiment offers the advantage that it is ensured that the proportions of the object can still be correctly restored or reconstructed by the change of perspective, so that the classifier can still perform a correct classification.

Gemäß einer Ausführungsform können im Schritt des Umrechnens in den Hilfsbilddaten zumindest Ergänzungsbilddaten eingefügt werden, die einer perspektivischen Ansicht von Objekten in der Umgebung des Fahrzeugs entspricht, die aus der Aufnahmeposition verborgen sind. Solche Ergänzungsbilddaten können beispielsweise aus einem Speicher entnommen werden, in dem vorbestimmte Zusammenhänge oder Objektabmessungen hinterlegt sind, die bei einem bestimmten Objekt bzw. bei einer erkannten vorbestimmten Struktur im Bild mit hoher Wahrscheinlichkeit vermutet werden können. Diese Vorgehensweise kann eine Güte der Objektidentifikation deutlich erhöhen.According to an embodiment, in the step of converting in the auxiliary image data, at least supplementary image data corresponding to a perspective view of objects in the vicinity of the vehicle hidden from the photographing position may be inserted. Such additional image data can be taken, for example, from a memory in which predetermined relationships or object dimensions are stored, which can be assumed to be highly probable in the image for a specific object or for a recognized predetermined structure. This approach can significantly increase a quality of object identification.

Gemäß einer Ausführungsform kann im Schritt des Anwendens zumindest ein Klassifikator verwendet werden, der auf die Identifikation des Objekts in zweidimensionalen Bilddaten trainiert ist. Dieser trainierte Klassifikator kann über den Einsatz zusätzlicher entfernungsmessender Sensorik auch in einer Fahrzeugumgebung zum Einsatz kommen, für die er ursprünglich nicht vorgesehen war. Auf diese Weise kann die Einsatzflexibilität von bereits trainierten Klassifikatoren erhöht werden, sodass auch von weiteren Trainingsszenarios außerhalb des Automobilbereichs profitiert werden kann.According to one embodiment, in the step of applying, at least one classifier trained on the identification of the object in two-dimensional image data may be used. This trained classifier can also be used in a vehicle environment for which it was originally not intended, through the use of additional distance-measuring sensors. In this way, the versatility of already trained classifiers can be increased, so that further training scenarios outside the automotive sector can also be benefited.

Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Ansteuerns eines Fahrerassistenzsystems unter Verwendung eines Objektidentifizierungssignals aufweisen, das ein aus den Hilfsbilddaten identifiziertes Objekt repräsentiert. Das Fahrerassistenzsystem kann hierbei einer Unfallvermeidung dienen, wenn beispielweise eine Kollision mit dem identifizierten Objekt bevorsteht.According to one embodiment, the method may include a step of driving a driver assistance system using an object identification signal representing an object identified from the auxiliary image data. In this case, the driver assistance system can serve to avoid accidents if, for example, a collision with the identified object is imminent.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.The approach presented here also creates a device that is designed to perform the steps of a variant of a method presented here in appropriate facilities to drive or implement. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.

Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.For this purpose, the device may comprise at least one computing unit for processing signals or data, at least one memory unit for storing signals or data, at least one interface to a sensor or an actuator for reading sensor signals from the sensor or for outputting data or control signals to the sensor Actuator and / or at least one communication interface for reading or outputting data embedded in a communication protocol. The arithmetic unit may be, for example, a signal processor, a microcontroller or the like, wherein the memory unit may be a flash memory, an EEPROM or a magnetic memory unit. The communication interface can be designed to read or output data wirelessly and / or by line, wherein a communication interface that can read or output line-bound data, for example, electrically or optically read this data from a corresponding data transmission line or output in a corresponding data transmission line.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. At a For example, in terms of hardware, the interfaces may be part of a so-called system ASIC, which includes various functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also of advantage is a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the embodiments described above is used, especially when the program product or program is executed on a computer or a device.

Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Seitenansicht eines Fahrzeugs während einer erfindungsgemäßen bildbasierenden Objektidentifikation gemäß einem Ausführungsbeispiel;
2 eine schematische Seitenansicht eines Fahrzeugs im Trainingsverfahren einer bildbasierenden Objektidentifikation gemäß einem Ausführungsbeispiel;
3 eine schematische Seitenansicht eines Fahrzeugs im Anwendungsverfahren einer bildbasierenden Objektidentifikation gemäß einem Ausführungsbeispiel;
4 eine Darstellung zur Erläuterung der Vorgehensweise eines Verfahrens zur bildbasierenden Objektidentifikation gemäß einem Ausführungsbeispiel; und
5 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur bildbasierenden Objektidentifikation gemäß einem Ausführungsbeispiel.

Embodiments of the approach presented here are shown in the drawings and explained in more detail in the following description. It shows:

1 a schematic side view of a vehicle during an image-based object identification according to the invention according to an embodiment;
2 a schematic side view of a vehicle in the training method of an image-based object identification according to an embodiment;
3 a schematic side view of a vehicle in the application method of an image-based object identification according to an embodiment;
4 a representation for explaining the procedure of a method for image-based object identification according to an embodiment; and
5 a flowchart of an embodiment of a method for image-based object identification according to an embodiment.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, with a repeated description of these elements is omitted.

1 zeigt eine schematische Seitenansicht eines Fahrzeugs 100 während einer bildbasierenden Objektidentifikation gemäß einem hier vorgestellten Ausführungsbeispiel, wobei es sich bei dem Fahrzeug 100 um einen LKW 100 handelt. Auf der Fahrbahn 102 befindet sich ebenfalls ein detektiertes Objekt 104, wobei es sich bei dem Objekt 104 beispielsweise um einen Fußgänger 104 handeln kann. An dem LKW 100 ist eine erste Kamera 106 in einer Aufnahmeposition angeordnet, wobei die Kamera 106 einen Umgebungsbereich 108 des LKW 100 umfasst, wobei nur ein Teilabschnitt des Fußgängers 104 von der Kamera 106 erfasst wird. Ebenso sind die Position einer zweiten Kamera 110 in einer Auswerteposition sowie deren erfasster Umgebungsbereich 112 durch eine gestrichelte Linie dargestellt, wobei der Fußgänger 104 hier komplett von der Kamera 110 erfasst wird. Ferner umfasst der LKW 100 ein Fahrerassistenzsystem 114, welches unter Verwendung eines Objektidentifizierungssignals 116, angesteuert wird. 1 shows a schematic side view of a vehicle 100 during an image-based object identification according to an embodiment presented here, wherein the vehicle 100 around a truck 100 is. On the roadway 102 there is also a detected object 104 , where it is the object 104 for example, a pedestrian 104 can act. On the truck 100 is a first camera 106 arranged in a shooting position, the camera 106 a surrounding area 108 the truck 100 includes, with only a portion of the pedestrian 104 from the camera 106 is detected. Likewise, the position of a second camera 110 in an evaluation position as well as their registered environment 112 represented by a dashed line, the pedestrian 104 here completely from the camera 110 is detected. Furthermore, the truck includes 100 a driver assistance system 114 which is generated using an object identification signal 116 , is controlled.

Bei dem Verfahren zur bildbasierenden Objektidentifikation für ein Fahrzeug 100 werden zunächst Bilddaten einer Kamera 106, 110 eingelesen, die eine Umgebung des Fahrzeugs 100 abbilden, hier insbesondere den detektierten Fußgänger 104. Diese Bilddaten werden von der Kamera 106 eingelesen, die an einer Aufnahmeposition im Fahrzeug 100 angeordnet ist. Die Umgebung des Fahrzeugs 100 wird hierbei dreidimensional abgebildet, wodurch die abgebildete Bilddatei eine Entfernungsinformation in Bezug auf das detektierte Objekt 104, also den Fußgänger 104, in der Umgebung des Fahrzeugs 100 aufweist. Die Entfernungsdaten werden von einem Sensor 118 bereitgestellt, der auf einem von einem optischen Messprinzip abweichenden Messprinzip arbeitet, beispielweise ein Lidar-Sensor.In the image based object identification method for a vehicle 100 First, image data of a camera 106 . 110 read in, which is an environment of the vehicle 100 depict, here in particular the detected pedestrian 104 , This image data is taken from the camera 106 read in at a pickup position in the vehicle 100 is arranged. The environment of the vehicle 100 is hereby imaged three-dimensionally, whereby the imaged image file is a distance information with respect to the detected object 104 So the pedestrian 104 , in the environment of the vehicle 100 having. The distance data is from a sensor 118 provided that works on a deviating from an optical measuring principle measuring principle, for example, a lidar sensor.

Nun werden die eingelesenen Bilddaten in Hilfsbilddaten umgerechnet. Die Hilfsbilddaten entsprechen hierbei dem Abbild der Umgebung des Fahrzeugs 100 aus einer Kamera 110, die an einer Auswerteposition im Fahrzeug 100 angeordnet ist und eine vorbekannte horizontale und/oder vertikale Drehung und/oder eine vorbekannte horizontale und/oder vertikale Verschiebung einer Position der Kamera 106 von der Aufnahmeposition in die Auswerteposition der Kamera 110 repräsentieren. Die vorbekannte Drehung der Kameraposition sollte hierbei innerhalb eines Toleranzwinkelbereichs von beispielsweise ca. 45° liegen. Die vorbekannte Verschiebung der Position der Kamera 106, 110 sollte innerhalb eines Toleranzhöhenbereichs von beispielsweise 2 Metern liegen. Bei Bedarf können in die Hilfsbilddaten Ergänzungsbilddaten eingefügt werden, die einer perspektivischen Ansicht von Objekten 104 in der Umgebung des Fahrzeugs 100 entspricht, die aus der Aufnahmeposition womöglich verborgen sind.Now the read-in image data is converted into auxiliary image data. The auxiliary image data correspond to the image of the surroundings of the vehicle 100 from a camera 110 at an evaluation position in the vehicle 100 is arranged and a known horizontal and / or vertical rotation and / or a known horizontal and / or vertical displacement of a position of the camera 106 from the recording position to the evaluation position of the camera 110 represent. The previously known rotation of the camera position should in this case be within a tolerance angle range of, for example, approximately 45 °. The previously known shift of the position of the camera 106 . 110 should be within a tolerance height range of, for example, 2 meters. If necessary, supplementary image data, which is a perspective view of objects, can be inserted in the auxiliary image data 104 in the vicinity of the vehicle 100 corresponds, which may be hidden from the recording position.

Schließlich wird zumindest ein Klassifikator zur Identifikation des detektierten Objekts 104 aus den Hilfsbilddaten angewendet, wobei der Klassifikator auf das Erkennen von Objekten aus Bilddaten eines Bildes von einer in der Auswerteposition angeordneten Kamera 110 trainiert ist. Ein bereits auf zweidimensionale Daten trainierter Klassifikator kann somit in Fahrzeugumgebungen zum Einsatz kommen, für die dieser ursprünglich nicht vorgesehen waren und in denen dieser normalerweise nicht die notwendige Güte erreichen würde. Über den Einsatz zusätzlicher entfernungsmessender Sensorik 118, wie ein Lidar-Sensor, kann der Klassifikator zusätzlich zu dem vorgestellten Ansatz weiterhin mit hoher Güte zum Einsatz kommen, wobei der Einsatz der entfernungsmessenden Sensorik 118 optional ist. Finally, at least one classifier for identifying the detected object 104 from the auxiliary image data, wherein the classifier is based on the recognition of objects from image data of an image from a camera arranged in the evaluation position 110 is trained. A classifier that has already been trained on two-dimensional data can thus be used in vehicle environments for which it was originally not intended and in which it would normally not achieve the required quality. About the use of additional distance-measuring sensors 118 Like a lidar sensor, in addition to the approach presented, the classifier can continue to be used with high quality, with the use of distance-measuring sensors 118 is optional.

Zusätzlich wird ein Fahrerassistenzsystem 114 unter Verwendung eines Objektidentifizierungssignals 116 angesteuert, wobei das Objektidentifizierungssignal 116 ein aus den Hilfsbilddaten identifiziertes Objekt 104 repräsentiert. So kann das Fahrerassistenzsystem 114 beispielsweise einer Unfallvermeidung dienen, wenn eine berechnete Kollision mit dem identifizierten Objekt 104 bevorsteht.In addition, a driver assistance system 114 using an object identification signal 116 controlled, the object identification signal 116 an object identified from the auxiliary image data 104 represents. So can the driver assistance system 114 For example, serve an accident prevention when a calculated collision with the identified object 104 imminent.

Bei dem Verfahren zur bildbasierenden Objektidentifikation für ein Fahrzeug 100 wird gemäß einem Ausführungsbeispiel von einer bekannten und damit Referenzkameraposition bzw. der Auswerteposition am Fahrzeug 100 ausgegangen, in der auch das maschinelle Lernen bzw. das Modelltraining zum Training des Klassifikators durchgeführt wurde. Eine absichtlich geänderte Aufnahmeposition der Kamera 106 ist bezüglich der horizontalen und/oder vertikalen Drehung und/oder der horizontalen und/oder vertikalen Verschiebung gegenüber der Auswerteposition der Kamera 110 bekannt. Vorausgesetzt ist, dass die Drehung und/oder Verschiebung der Kameraposition keine generelle Perspektivänderung (d. h. keine Perspektivänderung um mehr als eine vorgegebene Abweichung zwischen Aufnahmeposition und Referenzposition) zur Folge hat, also das beispielsweise die Zentralperspektive der Auswerteposition der Kamera 110 am Fahrzeug 100 nicht in eine Vogelperspektive der Aufnahmeposition der Kamera 106 verschobenen und/oder gedreht wird.In the image based object identification method for a vehicle 100 According to one embodiment of a known and thus reference camera position or the evaluation position on the vehicle 100 in which the machine learning or the model training for training the classifier was performed. A deliberately changed shooting position of the camera 106 is with respect to the horizontal and / or vertical rotation and / or the horizontal and / or vertical displacement relative to the evaluation position of the camera 110 known. It is assumed that the rotation and / or displacement of the camera position does not result in a general change in perspective (ie, no change in perspective by more than a predetermined deviation between the recording position and the reference position), that is, for example, the central perspective of the evaluation position of the camera 110 at the vehicle 100 not in a bird's-eye view of the camera's shooting position 106 moved and / or rotated.

Die Bildmerkmale werden in dreidimensionalen Daten eingelesen, die eine Umgebung des Fahrzeugs 100 abbilden. Das heißt, dass zu jedem Pixel auch eine Entfernungsinformation vorliegt, da die Idee einer Drehung und/oder Verschiebung von Bildpixeln dreidimensionale Informationsdaten benötigt. Entweder liegt die Entfernungsinformation schon mit jedem Pixel vom Kamerasensor vor, oder die zweidimensionalen Bildinformationen der Klassifikatoren werden mit distanzmessenden Sensoren 118 fusioniert, wobei es sich bei den distanzmessenden Sensoren 118 beispielsweise um einen Lidar-Sensoren, einen Radar-Sensor oder einen Infrarot-Sensor handeln kann.The image features are read in three-dimensional data representing an environment of the vehicle 100 depict. That is, there is also distance information for each pixel since the idea of rotating and / or shifting image pixels requires three-dimensional information data. Either the distance information is already available with every pixel from the camera sensor, or the two-dimensional image information of the classifiers are provided with distance-measuring sensors 118 fused, which is the distance-measuring sensors 118 For example, it can be a lidar sensor, a radar sensor or an infrared sensor.

Während einer Laufzeit des Systems wird jeder Bildpixel im dreidimensionalen Raum von der aktuellen Aufnahmeposition Position der Kamera 106 in die Auswerteposition der Kamera 110 gedreht und/oder verschoben, wobei die Rotations- und/oder Verschiebedaten für die Koordinatendrehung und/oder die Koordinatenverschiebung bekannt sind. Erst dann werden nach dem Stand der Technik folgenden Verfahren, wie beispielsweise Filter und/oder Grauwertverfahren und/oder Gradientenverfahren und/oder Merkmalsextraktionen und/oder Klassifikationsmodelle, ausgeführt.During a runtime of the system, each image pixel in three-dimensional space from the current shooting position position of the camera 106 in the evaluation position of the camera 110 rotated and / or shifted, wherein the rotation and / or displacement data for the coordinate rotation and / or the coordinate shift are known. Only then, according to the state of the art, are the following processes, such as filters and / or grayscale methods and / or gradient methods and / or feature extractions and / or classification models, carried out.

Je nach Anwendungsfall müssen mit dem hier vorgestellten Verfahren zur bildbasierenden Objektidentifikation keine neuen Bildbeispiele aufgenommen und die Objektidentifikation und/oder Klassifikation nicht neu trainiert oder gelernt werden.Depending on the application, no new image examples have to be taken with the image-based object identification method presented here, and the object identification and / or classification need not be re-trained or learned.

2 zeigt eine schematische Seitenansicht eines Fahrzeugs 100 im Trainingsverfahren einer bildbasierenden Objektidentifikation gemäß einem Ausführungsbeispiel, wobei es sich bei dem Fahrzeug 100 um einen PKW 100 handelt. Auf der Fahrbahn 102 befindet sich ebenfalls ein detektiertes Objekt 104, wobei es sich bei dem Objekt 104 beispielsweise um einen Fußgänger 104 handeln kann. An dem PKW 100 ist eine Kamera 110 in einer Auswerteposition angeordnet, wobei die Kamera 110 einen Umgebungsbereich 112 des PKW 100 umfasst, wobei der Fußgänger 104 in seiner Gesamtheit von der Kamera 110 erfasst wird. 2 shows a schematic side view of a vehicle 100 in the training method of image-based object identification according to an embodiment, wherein the vehicle 100 for a car 100 is. On the roadway 102 there is also a detected object 104 , where it is the object 104 for example, a pedestrian 104 can act. At the car 100 is a camera 110 arranged in an evaluation position, the camera 110 a surrounding area 112 of the car 100 includes, being the pedestrian 104 in its entirety from the camera 110 is detected.

Für die Erkennung eines gewünschten Objekttyps, wie beispielsweise eines Fahrzeugs, Motorrads oder Fußgängers, werden für den jeweiligen Objekttyp eine Vielzahl an Bildbeispielen benötigt, die unterschiedlichste Ausprägungen des Objektes 104 bei idealerweise allen vorkommenden Umweltbedingungen darstellen. Damit über das maschinelle Lernen die charakteristischen bildbasierten Eigenschaften des gewünschten Objektes 104 ermittelt werden können, wird ebenso eine Vielzahl an Gegenbeispielen benötigt. Für die Objekterkennung werden das Objekt 104 beschreibende Merkmalszahlen des Klassifikators über viele verschachtelte und automatisch generierte Gewichte in eine Zahl umgerechnet, die die Wahrscheinlichkeit für das zu klassifizierende Objekt 104 im aktuellen Suchfenster angibt. Beim bisherigen Vorgehen, beispielweise auch bei trainierten neuronalen Netzen, werden alle Objektbeispiele eintrainiert. Daraus resultiert dann eine starre Struktur der Objektdetektion auf Basis von festen Filtermasken und Gewichten.For the recognition of a desired object type, such as a vehicle, motorcycle or pedestrian, a large number of image examples are needed for the respective object type, the most different forms of the object 104 Ideally, it should represent all the environmental conditions that occur. Thus, through machine learning, the characteristic image-based properties of the desired object 104 can be determined, a variety of counterexamples is also needed. For the object recognition become the object 104 descriptive feature numbers of the classifier over many nested and automatically generated weights converted into a number representing the probability of the object to be classified 104 in the current search window. In the previous procedure, for example also in trained neural networks, all object examples are trained. This then results in a rigid structure of object detection based on fixed filter masks and weights.

3 zeigt eine schematische Seitenansicht eines Fahrzeugs 100 im Anwendungsverfahren einer bildbasierenden Objektidentifikation gemäß einem Ausführungsbeispiel, wobei es sich bei dem Fahrzeug 100 um einen LKW 100 handelt. Auf der Fahrbahn 102 befindet sich ebenfalls ein detektiertes Objekt 104, wobei es sich bei dem Objekt 104 beispielsweise um einen Fußgänger 104 handeln kann. An dem LKW 100 ist eine Kamera 106 in einer Aufnahmeposition angeordnet, wobei die Kamera 106 einen Umgebungsbereich 108 des LKW 100 umfasst, wobei nur ein Teilabschnitt des Fußgängers 104 von der Kamera 106 erfasst wird. 3 shows a schematic side view of a vehicle 100 in the application process an image-based object identification according to an embodiment, wherein the vehicle 100 around a truck 100 is. On the roadway 102 there is also a detected object 104 , where it is the object 104 for example, a pedestrian 104 can act. On the truck 100 is a camera 106 arranged in a shooting position, the camera 106 a surrounding area 108 the truck 100 includes, with only a portion of the pedestrian 104 from the camera 106 is detected.

Der Einsatz von Frontkameras im Fahrerassistenzbereich steigt stetig und umfasst insbesondere den PKW- und LKW-Bereich, wobei auch die Nachfrage für Straßenbahnen oder Züge steigt, die jedoch einen deutlich erhöhten Blickwinkel auf die Szene vor sich aufweisen. Trainierte Klassifikatoren, die mit Beispieldaten von Fahrzeugen, Fußgängern und Fahrradfahrern aus der typischen Einbauhöhe in PKWs, also etwa 1 Meter über der Fahrbahn 102, erstellt wurden, können durch die geänderte Perspektive und damit deutlich geänderte Abbildung ihre Objektidentifikationsleistung nicht mehr erhalten. Ein Perspektivwechsel der Kamera von der Zentralperspektive eines Fußgängers 104, wobei Gesicht, Körper mit Armen und Beinen und dessen Kleidung gut sichtbar sind, in eine Vogelperspektive des Fußgängers 104, wobei dessen Kopfhaupt und Schultern gut sichtbar sind, lässt die Objektklassifikation scheitern, wenn das Training des Klassifikators nur aus der Zentralperspektive erfolgt ist. Bei kleineren Änderungen der Perspektive ist die Personenerkennung und generelle Objektklassifikation aber so robust, dass eine vom PKW ausgehend höher positionierte Kamera 106, beispielsweise vom einem Kompaktwagen eines Herstellers auf einen Lieferwagen des Herstellers, immer noch funktioniert, im Nahbereich vor dem Fahrzeug 100 jedoch bereits Einbußen in der Erkennungsleistung aufweist.The use of front cameras in the driver assistance sector is steadily increasing and includes in particular the car and truck sector, whereby the demand for trams or trains increases, but have a significantly increased viewing angle on the scene in front of him. Trained classifiers, with example data of vehicles, pedestrians and cyclists from the typical installation height in cars, ie about 1 meter above the road 102 , created, can no longer receive their object identification performance due to the changed perspective and thus significantly changed image. A change of perspective of the camera from the central perspective of a pedestrian 104 , where face, body with arms and legs and its clothing are clearly visible, in a bird's eye view of the pedestrian 104 whose head and shoulders are clearly visible, the object classification fails if the training of the classifier is done only from the central perspective. With smaller changes of the perspective the person recognition and general object classification is so robust that starting from the car higher positioned camera 106 For example, from a manufacturer's compact car to a van of the manufacturer, still works, in the vicinity of the vehicle 100 but already has a loss in recognition performance.

Die Grenze der Objektklassifikation ist beispielsweise erreicht, wenn sich die Proportionen durch eine veränderte Kameraposition so ändern, dass die Personen und/oder Objekte 104 kein Rechteck sondern ein Quadrat ergeben. Sehr weit entfernte Objekte 104 würden übrigens ihr Aussehen bei einer geänderten Kameraposition nicht ändern bzw. hätte dies keine Auswirkungen auf die Objektklassifikation.The limit of the object classification is achieved, for example, if the proportions change as a result of a changed camera position in such a way that the persons and / or objects 104 not a rectangle but a square. Very distant objects 104 Incidentally, they would not change their appearance with a changed camera position or would have no effect on the object classification.

4 zeigt eine Darstellung zur Erläuterung der Vorgehensweise eines Verfahrens zur bildbasierenden Objektidentifikation gemäß einem Ausführungsbeispiel. Die Darstellung unterteilt sich in ein Trainingsverfahren 400 und in ein Anwendungsverfahren 401. 4 shows a representation for explaining the procedure of a method for image-based object identification according to an embodiment. The presentation is subdivided into a training procedure 400 and in an application procedure 401 ,

Zunächst wird in dem Trainingsverfahren 400 die Kamera mit einem Klassifikator so trainiert, dass beispielsweise ein Objekt 104, hier ein Fußgänger 104, aus der Perspektive eines PKWs, wobei die Kamera in einer Auswerteposition von ca. 1 Meter eingebaut ist, identifiziert wird (Block 402). Der Klassifikator ist auf zweidimensionale Daten trainiert und wird nun gespeichert (Block 404).First, in the training process 400 the camera is trained with a classifier such that, for example, an object 104 , here a pedestrian 104 , from the perspective of a car, with the camera installed in an evaluation position of about 1 meter, is identified (block 402 ). The classifier is trained on two-dimensional data and is now saved (block 404 ).

In dem Anwendungsverfahren 401, findet neben dem Einsatz des auf zweidimensionale Daten trainierten Klassifikators eine zusätzliche dreidimensionale Vermessung des erkannten Objektes 104 statt (Block 406). Hierbei wird eine Änderung der Perspektive für bereits existierende zweidimensionale Klassifikatoren durchgeführt, wobei die trainierten Klassifikatoren das Objekt 104 identifizieren können (Block 408). Der Klassifikator ist auf zweidimensionale Daten trainiert und wird nun gespeichert (Block 410).In the application process 401 , In addition to the use of trained on two-dimensional data classifier finds an additional three-dimensional measurement of the detected object 104 instead (block 406 ). In this case, a change of the perspective is carried out for already existing two-dimensional classifiers, wherein the trained classifiers are the object 104 can identify (block 408 ). The classifier is trained on two-dimensional data and is now saved (block 410 ).

Eine beabsichtigte Veränderung der Kameraanbauposition, beispielsweise eine Drehung und/oder Verschiebung der optischen Achse und/oder der vertikalen und/oder horizontalen Kameraposition, benötigt weder neue Bildbeispiele noch ein erneutes maschinelles Lernen und/oder Modelltraining von Klassifikatoren. Bereits auf zweidimensionale Daten trainierte Klassifikatoren können damit in Fahrzeugumgebungen zum Einsatz kommen, für die sie ursprünglich nicht vorgesehen waren und in denen sie normalerweise nicht die notwendige Güte erreichen würden. Über den Einsatz zusätzlicher entfernungsmessender Sensorik sollen diese Klassifikatoren über den vorgestellten Ansatz dennoch mit hoher Güte zum Einsatz kommen können.An intentional change in the camera mounting position, such as rotation and / or displacement of the optical axis and / or the vertical and / or horizontal camera position, requires neither new image examples nor a re-machine learning and / or model training of classifiers. Already trained on two-dimensional data classifiers can thus be used in vehicle environments for which they were not originally intended and in which they would not normally achieve the necessary quality. By using additional distance-measuring sensors, these classifiers should still be able to be used with high quality via the presented approach.

Grundsätzlich kann bei dem hier vorgestellten Verfahren zur bildbasierenden Objektidentifikation die Objektdetektionsrate geringer sein, da aufgrund der Koordinatendrehung und/oder Koordinatenverschiebung von der Aufnahmeposition im Vergleich zur ursprünglichen Auswerteposition Bildpixel fehlen oder verloren gehen können. Hier wäre denkbar, die detektierten Objekte zu Identifikationszwecken mit virtuellen Pixeln aufzufüllen.In principle, in the method for image-based object identification presented here, the object detection rate may be lower, since image pixels may be missing or lost due to the coordinate rotation and / or coordinate shift from the recording position in comparison to the original evaluation position. Here it would be conceivable to fill the detected objects with virtual pixels for identification purposes.

Wenn sich beispielsweise Bildpixel mit unterschiedlichen Entfernungen nach dem Verschieben in der gleichen zweidimensionalen Position befinden, wäre der weiter entfernte Bildpixel unsichtbar. Wenn der entferntere Bildpixel aber zum Beispiel noch halb sichtbar wäre, könnte diese Grauwertinformation in den vorderen Bildpixel einbezogen werden. Im Grunde wäre das neue Bild eine Neuabtastung eines dreidimensionalen Bildes entsprechend der Ansicht einer dreidimensionalen Szene an einem zweidimensionalen Monitor. Dabei wird für jeden zweidimensionalen Bildpunkt ermittelt, welche dreidimensionalen Bildpunkte sichtbar sind und welche Grauwerte dabei zugeordnet werden.For example, if image pixels at different distances are in the same two-dimensional position after being moved, the more distant image pixel would be invisible. For example, if the more distant image pixel were still half visible, that gray value information could be included in the front image pixel. Basically, the new image would be a resampling of a three-dimensional image corresponding to the view of a three-dimensional scene on a two-dimensional monitor. It is determined for each two-dimensional pixel, which three-dimensional pixels are visible and which gray values are assigned.

Kritischer kann das Ganze bei entstehenden Lücken werden, die mit der Umgebung interpoliert werden können, womit die fehlende Information jedoch nicht wieder hergestellt wird und beispielsweise ein Objektklassifikator an solchen Stellen tendenziell schlechter arbeitet. Sollten nach der Rotation und/oder Verschiebung die entstehenden Lücken an dem detektierten Objekt überhandnehmen, wird die Güte der Klassifikation entsprechend schlechter.The whole thing can become more critical in the event of gaps that can be interpolated with the environment, but the missing information is not restored and, for example, an object classifier tends to work worse in such places. If, after the rotation and / or displacement, the resulting gaps in the detected object become more prevalent, the quality of the classification becomes correspondingly worse.

Bestehende dreidimensionale Daten, also Grauwertinformationen an definierten Punkten im Raum, aus einer anderen Perspektive zu betrachten, wäre ein einzelner Berechnungsschritt. Für ein einzelnes Objekt könnte man im Voraus bereits durch eine Drehung des Rechtecks, das das Objekt umfasst, bestimmen, um wieviel sich die Fläche des umschreibenden Rechtecks verändert. Diese Flächenänderung wäre ein Hinweis darauf, wieviel Informationen zusammengestaucht werden, wobei Details verloren gingen, oder gestreckt werden sollten, wobei Grauwertinformationen aufgefüllt werden. Diese Informationen können in der Bestimmung der Detektionsrate und nachfolgenden Entscheidungsfindung, beispielsweise einem Systemeingriff, berücksichtigt werden.Existing three-dimensional data, ie gray value information at defined points in space, to be viewed from a different perspective would be a single calculation step. For a single object, you could already determine in advance by a rotation of the rectangle that encloses the object how much the area of the circumscribing rectangle changes. This area change would be an indication of how much information is being collapsed, with details being lost or stretched, filling in grayscale information. This information can be taken into account in the determination of the detection rate and subsequent decision making, for example a system intervention.

Eine Besonderheit ergibt sich bei Überdeckungen, bei denen aus einer erhöhten Perspektive heraus, beispielsweise wenn zwei Fahrzeuge hintereinander vor dem Ego-Fahrzeug zu sehen sind, die aber aus der niedrigeren Perspektive nicht getrennt sichtbar wären, sondern das entferntere Fahrzeug durch das Nähere verdeckt wird. Um dabei keine Informationen zu verschenken, wäre es erfindungsgemäß sinnvoll, zwei getrennte zweidimensionale Bilder zu erzeugen, die einmal das vordere Fahrzeug aus der niedrigeren Perspektive (entsprechend rotiert) zeigen und einmal nur das entferntere Fahrzeug (das Vordere wäre hier also unsichtbar).A peculiarity arises in overlaps, in which, from an elevated perspective, for example, when two vehicles can be seen one behind the other in front of the ego vehicle, but would not be visible separately from the lower perspective, but the distant vehicle is covered by the closer. In order not to give away any information, it would be useful according to the invention to generate two separate two-dimensional images, which once show the front vehicle from the lower perspective (correspondingly rotated) and only the more distant vehicle (the front would be invisible here).

Eine Hinderniserkennung und eine Bestimmung des Fahrschlauches sind Hauptthemen hinsichtlich des automatisierten Fahrens. Oftmals existiert hier nicht der Anspruch Personen als solche zu erkennen, sondern pauschal lediglich Hindernisse zu erkennen. Personen als solche zu erkennen hat jedoch den Vorteil, dass dabei Informationen über mögliche Bewegungsabläufe dieses Objektes verfügbar werden, wenn ein Objekt als Person klassifiziert wird. Generell ist ein Mensch zwar recht langsam, kann aber sehr abrupt seine Richtung und Geschwindigkeit ändern. Wenn man diese Information einbeziehen kann, bekommen als Personen klassifizierte Objekte am Straßenrand eine andere Bedeutung beispielsweise für die Bewertung möglicher Gefahrensituationen.An obstacle detection and a determination of the driving tube are major issues in terms of automated driving. Often there is no claim to recognize persons as such, but merely to recognize obstacles. However, recognizing persons as such has the advantage that information about possible movements of this object becomes available when an object is classified as a person. In general, a person is quite slow, but can change his direction and speed very abruptly. If one can include this information, objects classified as persons on the roadside get a different meaning, for example for the evaluation of possible dangerous situations.

5 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 500 zur bildbasierenden Objektidentifikation gemäß einem Ausführungsbeispiel. Das Verfahren 500 zur bildbasierenden Objektidentifikation für ein Fahrzeug umfasst einen Schritt 501, in dem eine Umgebung des Fahrzeugs abbildende Bilddaten einer Kamera, die an einer Aufnahmeposition im Fahrzeug angeordnet ist, eingelesen werden. In einem Schritt 503 werden die Bilddaten in Hilfsbilddaten umgerechnet, wobei die Hilfsbilddaten dem Abbild der Umgebung des Fahrzeugs aus einer an einer Auswerteposition angeordneten Kamera entsprechen. Schließlich wird in einem Schritt 505 zumindest ein Klassifikator zur Identifikation eines Objekts aus den Hilfsbilddaten angewendet, wobei der Klassifikator auf das Erkennen von Objekten aus Bilddaten eines Bildes von einer in der Auswerteposition angeordneten Kamera trainiert ist. Zusätzlich kann in einem Schritt 507 ein Fahrerassistenzsystem unter Verwendung eines Objektidentifizierungssignals, das ein aus den Hilfsbilddaten identifiziertes Objekt repräsentiert, angesteuert werden. 5 shows a flowchart of an embodiment of a method 500 for image-based object identification according to an embodiment. The procedure 500 Image-based object identification for a vehicle includes a step 501 in which an environment of the vehicle imaging image data of a camera, which is arranged at a pickup position in the vehicle, are read. In one step 503 the image data are converted into auxiliary image data, the auxiliary image data corresponding to the image of the surroundings of the vehicle from a camera arranged at an evaluation position. Finally, in one step 505 at least one classifier for identifying an object from the auxiliary image data applied, wherein the classifier is trained on the recognition of objects from image data of an image from a camera arranged in the evaluation position. In addition, in one step 507 driving a driver assistance system using an object identification signal representing an object identified from the auxiliary image data.

Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

Claims

A method (500) of image-based object identification for a vehicle (100), the method (500) comprising the steps of: Reading (501) image data of a camera (106) imaging an environment of the vehicle (100), which is arranged at a pickup position in the vehicle (100); Converting (503) the image data into auxiliary image data, the auxiliary image data corresponding to the image of the surroundings of the vehicle (100) from a camera (110) arranged at an evaluation position; and Applying (505) at least one classifier for identifying an object (104) from the auxiliary image data, wherein the classifier is trained to recognize objects (104) from image data of an image from a camera (110) arranged in the evaluation position.

Method (500) according to Claim 1 in which, in the reading-in step (501), the environment of the vehicle (100) is depicted three-dimensionally.

The method (500) according to one of the preceding claims, wherein in the reading-in step (501), a mapped image file has distance information related to the object (104) in the vicinity of the vehicle (100).

Method (500) according to one of the preceding claims, wherein in the step of reading in (501) distance data are read in, which are provided by a sensor (118), in particular wherein the sensor (118) differs from the camera (106) and / or works on a deviating from an optical measuring principle measuring principle.

Method (500) according to one of the preceding claims, in which in the step of converting (503) auxiliary image data are calculated which include a previously known horizontal and / or vertical rotation and / or a previously known horizontal and / or vertical displacement of a position of the camera (106, 110) from the pickup position to the evaluation position.

Method (500) according to Claim 5 in which, in the step of converting (503), auxiliary image data are calculated when the known rotation is within a tolerance angle range and / or the previously known displacement of the position of the camera (106, 110) is within a tolerance height range.

Method (500) according to one of the preceding claims, in which, in the step of converting (503) in the auxiliary image data, at least supplementary image data corresponding to a perspective view of objects (104) in the vicinity of the vehicle (100) is obtained from the pickup position are hidden.

Method (500) according to one of the preceding claims, wherein in the step of applying (505) the at least one classifier is trained, which is trained on the identification of the object (104) in two-dimensional image data.

Method (500) according to one of the preceding claims, comprising a step of driving (507) a driver assistance system (114) using an object identification signal (116) representing an object (104) identified from the auxiliary image data.

Apparatus arranged to execute and / or control steps of the method (500) according to one of the preceding claims in corresponding units.

Computer program adapted to execute and / or control the method (500) according to one of the preceding claims.

Machine-readable storage medium on which the computer program is based Claim 11 is stored.