DE102016212620A1

DE102016212620A1 - Method for recognizing a living being in the environment of a vehicle

Info

Publication number: DE102016212620A1
Application number: DE102016212620.2A
Authority: DE
Inventors: Alexander Augst; Andy KING
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2016-07-12
Filing date: 2016-07-12
Publication date: 2018-01-18

Abstract

Es wird ein Verfahren (300) zur Detektion eines Lebewesens in einem Umfeld eines Fahrzeugs (100) beschrieben. Das Verfahren (300) umfasst das Erfassen (301) von Sensordaten in Bezug auf Licht, das von einem Bereich eines Objektes (110) im Umfeld des Fahrzeugs (100) ausgeht. Außerdem umfasst das Verfahren (300) das Ermitteln (302), auf Basis der Sensordaten, einer oder mehrerer Farbsättigung und/oder Farbtonung repräsentierender Größen (203) des von dem Bereich des Objektes (110) ausgehenden Lichtes. Das Verfahren (300) umfasst weiter das Bestimmen (303), auf Basis der ein oder mehreren Farbsättigung und/oder Farbtonung repräsentierenden Größen (203), ob es sich bei dem Objekt (110) um ein Lebewesen, insbesondere um einen Menschen, handelt.A method (300) for detecting a living being in an environment of a vehicle (100) is described. The method (300) comprises detecting (301) sensor data relating to light emanating from an area of an object (110) in the vicinity of the vehicle (100). In addition, the method (300) comprises determining (302), based on the sensor data, one or more color saturation and / or hue representing sizes (203) of the outgoing from the region of the object (110) light. The method (300) further comprises determining (303), based on the quantities (203) representing one or more color saturation and / or hue, whether the object (110) is a living being, in particular a human being.

Description

Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Erkennung eines Lebewesens, insbesondere eines Menschen, in einem relativ nahen Umfeld eines Fahrzeugs. The invention relates to a method and a corresponding device for detecting a living being, in particular a human, in a relatively close environment of a vehicle.

Es gibt diverse Verfahren (z.B. DE 10 2007 022 524 A1 ) um das Umfeld eines Fahrzeugs bildlich zu erfassen und um Menschen, insbesondere Fußgänger, im Umfeld des Fahrzeugs zu erkennen. Derartige Verfahren zur Erkennung eines Fußgängers sind im Nahfeld eines Fahrzeugs meist unzureichend, da in unmittelbarer Nähe eines Fahrzeugs bestimmte Ansichten, Perspektiven und/oder Brennweiten einer Bildkamera des Fahrzeugs nicht verfügbar bzw. einsetzbar sind. Beispielsweise können mit einer Fahrzeug-Kamera im Nahfeld meist nicht die Kopf-Schulter-Partie oder das Gesicht eines Fußgängers erkannt werden, weil die entsprechenden Partien mit einer Fahrzeug-Kamera relativ stark verzerrt sind, oder weil der Lichteinfall meist ungünstig ist oder weil die für eine erfolgreiche Erkennung eines Fußgängers wichtigen Proportionen aufgrund der Brennweite (Weitwinkel typischer Nahfeld-Kameras) nicht korrekt wiedergegeben werden. Folglich kann z.B. bei Park- und Rangiervorgängen ein seitlich stehender Fußgänger ggf. nicht automatisch von einem anderen Objekt unterschieden werden. There are various methods (eg DE 10 2007 022 524 A1 ) to capture the environment of a vehicle and to recognize people, especially pedestrians, in the environment of the vehicle. Such methods for detecting a pedestrian are usually inadequate in the near field of a vehicle, since certain views, perspectives and / or focal lengths of an image camera of the vehicle are not available or can be used in the immediate vicinity of a vehicle. For example, with a vehicle camera in the near field usually not the head-shoulder game or the face of a pedestrian can be detected because the corresponding games are relatively heavily distorted with a vehicle camera, or because the incidence of light is usually unfavorable or because of a successful detection of a pedestrian important proportions due to the focal length (wide-angle typical near-field cameras) can not be reproduced correctly. Consequently, for example, during parking and maneuvering operations a sideways pedestrian may not be automatically distinguished from another object.

Eine zuverlässige Erkennung von Fußgängern im (unmittelbaren) Umfeld eines Fahrzeugs ist insbesondere für die Bereitstellung von zuverlässigen, automatischen Fahrfunktionen (z.B. für die Ausführung eines Fahrwerkseigriffs, etwa eines Bremseingriffs, Lenkeingriffs, oder für die Ausgabe einer Fahrerinformation) wichtig. In diesem Bereich sind typischerweise auch hohe gesetzliche Anforderungen zu erfüllen. Reliable pedestrian identification in the (immediate) environment of a vehicle is particularly important for providing reliable, automatic driving functions (e.g., for performing a vehicle grip, such as a brake application, steering intervention, or for issuing driver information). In this area also typically high legal requirements are to be fulfilled.

Das vorliegende Dokument befasst sich mit der technischen Aufgabe, ein Verfahren und eine Vorrichtung bereitzustellen, die eine zuverlässige Erkennung eines Lebewesens, insbesondere eines Menschen, im näheren Umfeld eines Fahrzeugs ermöglichen. The present document deals with the technical problem of providing a method and a device which enable a reliable recognition of a living being, in particular of a person, in the immediate surroundings of a vehicle.

Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. The object is solved by the independent claims. Advantageous embodiments are described i.a. in the dependent claims.

Gemäß einem Aspekt wird ein Verfahren zur Detektion eines Lebewesens in einem Umfeld eines Fahrzeugs beschrieben. Das Verfahren kann durch eine Steuereinheit bzw. eine Vorrichtung eines Fahrzeugs ausgeführt werden. Das Verfahren umfasst das Erfassen von Sensordaten in Bezug auf Licht, das von einem Bereich eines Objektes im Umfeld des Fahrzeugs ausgeht, z.B. reflektiert wird. Zu diesem Zweck können ein oder mehrere Sensoren des Fahrzeugs (insbesondere Bildkameras) verwendet werden. Die Sensordaten können beispielsweise Farbwerte, z.B. RGB oder RGBI Werte (bei RGBI umfassen die Daten auch einen separat messbaren Infrarotanteil), für eine Vielzahl von Bildpunkten des Bereichs des Objektes umfassen. Alternativ oder ergänzend kann ein Spektrograph verwendet werden, um Spektraldaten bzgl. eines Bereichs eines Objektes zu erfassen. According to one aspect, a method for detecting a living being in an environment of a vehicle is described. The method may be performed by a control unit or a device of a vehicle. The method includes acquiring sensor data relating to light emanating from an area of an object around the vehicle, e.g. is reflected. For this purpose, one or more sensors of the vehicle (in particular image cameras) can be used. The sensor data may include, for example, color values, e.g. RGB or RGBI values (in RGBI, the data also include a separately measurable infrared component), for a plurality of pixels of the area of the object. Alternatively or additionally, a spectrograph can be used to acquire spectral data relating to a region of an object.

Das Verfahren umfasst weiter das Ermitteln, auf Basis der Sensordaten, (mindestens) einer Farbsättigung und/oder Farbtonung repräsentierenden Größe (z.B. eines Farbspektrums) des von dem Bereich des Objektes ausgehenden Lichtes. Die Farbsättigung und/oder Farbtonung repräsentierende Größe des Bereichs des Objektes kann die Energie des ausgehenden Lichtes als Funktion der Frequenz bzw. Wellenlänge anzeigen. Dabei kann z.B. auf Basis der Farbwerte für die Vielzahl von Bildpunkten des Bereichs des Objekts eine (gemeinsame, z.B. durchschnittliche) Farbsättigung und/oder Farbtonung repräsentierende Größe für diesen Bereich ermittelt werden. Alternativ oder ergänzend können für mehrere unterschiedliche Unterbereiche des Bereichs des Objekts jeweils unterschiedliche Farbsättigung und/oder Farbtonung repräsentierende Größen ermittelt werden. The method further comprises determining, based on the sensor data, magnitude (e.g., a color spectrum) representing the color saturation and / or hue of the light emanating from the region of the object. The color saturation and / or hue representing size of the area of the object may indicate the energy of the outgoing light as a function of the frequency or wavelength. In this case, e.g. On the basis of the color values for the plurality of pixels of the region of the object, a size representing (common, for example average) color saturation and / or color tone for this region can be determined. Alternatively or additionally, variables representing different color saturation and / or hue may be determined for a plurality of different subregions of the region of the object.

Eine Farbsättigung und/oder Farbtonung repräsentierende Größe kann beispielsweise umfassen: einen, insbesondere entsprechend einem technischen Standard ermittelten, objektiven, Wert der Farbsättigung, und/oder einen, insbesondere entsprechend einem technischen Standard ermittelten, objektiven, Wert der Farbtonung. Eine Farbsättigung und/oder Farbtonung repräsentierende Größe kann beispielsweise einen Durchschnittswert und/oder eine Variation der jeweiligen Werte für die Farbsättigung und/oder Farbtonung, ggf. in Bezug auf unterschiedliche Teile des Bereichs des Objekts, repräsentieren. A variable representing color saturation and / or coloration may comprise, for example: an objective color saturation value determined in particular in accordance with a technical standard, and / or an objective color tone value determined in particular according to a technical standard. For example, a variable representing color saturation and / or hue may represent an average value and / or a variation of the respective values for color saturation and / or hue, possibly in relation to different parts of the region of the object.

Eine Farbsättigung und/oder Farbtonung repräsentierende Größe kann im Rahmen dieser Beschreibung auch eine ein Farbspektrum repräsentierende Größe sein. Mit anderen Worten die in den Ansprüchen spezifizierte „Farbsättigung und/oder Farbtonung repräsentierende Größe“ kann (ggf. alternativ) „eine ein Farbspektrum repräsentierende Größe“ sein. In the context of this description, a variable representing color saturation and / or hue may also be a variable representing a color spectrum. In other words, the "color saturation and / or hue-representing size" specified in the claims may (optionally alternatively) be "a quantity representing a color spectrum".

Beispielsweise kann eine Farbsättigung und/oder Farbtonung repräsentierende Größe auch eine ein Farbspektrum repräsentierende Größe des von dem Bereich des Objekts ausgehenden Lichts sein. Beispielsweise kann eine ein Farbspektrum repräsentierende Größe eine Information in Bezug auf ein Farbspektrum und/oder ein Farbspektrum (in einem bestimmten Wellenlängen-Bereich) repräsentieren. Die Farbspektrum repräsentierende Größe kann beispielsweise ein mathematisches Verhältnis zwischen der in zumindest drei oder mehreren unterschiedlichen Wellenlängenbereichen von dem Bereich des Objekts ausgehenden Lichtenergie sein. For example, a variable representing color saturation and / or hue may also be a color spectrum representative quantity of the light emanating from the region of the object. For example, a quantity representing a color spectrum may include information related to a color spectrum and / or a color spectrum (in a certain wavelength range). The variable representing the color spectrum may, for example, be a mathematical relationship between the light energy originating in at least three or more different wavelength regions from the region of the object.

Außerdem umfasst das Verfahren das Bestimmen, auf Basis der Farbsättigung und/oder Farbtonung repräsentierenden Größe, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt. Insbesondere kann bestimmt werden, ob es sich bei dem Objekt um einen erwachsenen Menschen, um ein Kind oder um ein Tier handelt. Dabei kann die Unterscheidung, ob das Objekt ein erwachsener Mensch oder ein Kind ist, abhängig von einem ermittelten mathematischen Zusammenhangs oder Musters von oder mehrerer Farbsättigung und/oder Farbtonung repräsentierender Größen erfolgen. Ferner können auch weitere Kriterien, insbesondere die Größe und/oder Proportionen des Objekts im Verfahren berücksichtigt werden. In addition, the method comprises determining, based on the color saturation and / or hue representing size, whether the object is a living being, in particular a human. In particular, it can be determined whether the object is an adult human, a child or an animal. In this case, the distinction whether the object is an adult human or a child, depending on a determined mathematical relationship or pattern of or more color saturation and / or hue representing sizes occur. Furthermore, further criteria, in particular the size and / or proportions of the object in the method can be taken into account.

Eine Farbsättigung und/oder Farbtonung repräsentierende Größe (insbesondere das Farbspektrum) der Haut eines Lebewesens weist typischerweise ein bestimmtes Muster auf. Insbesondere sind die Farbtonung und die Sättigung von Licht, das von der Haut eines Menschen ausgeht, bei allen Menschen sehr ähnlich und bei anderen Objekten typischerweise nicht anzutreffen. Dies gilt unabhängig von der Hautfarbe eines Menschen. Durch Auswertung der Farbsättigung und/oder Farbtonung repräsentierenden Größe (insbesondere des Farbspektrums) eines Bereichs eines Objektes kann somit in zuverlässiger Weise bestimmt werden, ob der Bereich des Objektes Haut umfasst und ob es sich daher bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt. A color saturation and / or hue representing size (especially the color spectrum) of a subject's skin typically has a particular pattern. In particular, the hue and saturation of light emanating from one's skin are very similar in all humans and typically not found in other objects. This applies regardless of the skin color of a human. By evaluating the color saturation and / or hue representing size (in particular the color spectrum) of a region of an object can thus be reliably determined whether the area of the object comprises skin and therefore whether the object is a living being, in particular a human , acts.

Beispielsweise können Farbwerte aus den Sensordaten in einem HSV-Farbraum („hue, saturation und value“ für „Farbe, Farbsättigung und Hellwert bzw. Dunkelstufe“) angezeigt werden. Insbesondere auf Basis der Farbe und der Farbsättigung kann bestimmt werden, ob es sich bei einem Objekt um ein Lebewesen handelt oder nicht. For example, color values from the sensor data in an HSV color space ("hue, saturation and value" for "color, color saturation and light value or dark level") can be displayed. In particular, based on the color and the color saturation, it can be determined whether or not an object is a living being.

Die eine oder mehreren Farbsättigung und/oder Farbtonung repräsentierenden Größen können beispielsweise als ein (bestimmtes) mathematisches Verhältnis aus Farbanteile repräsentierende Größen ermittelt werden. Die Farbanteile können beispielsweise sogenannte RGB-Anteile (Rot-Grün-Blau) des von dem Bereich des Objekts ausgehenden (reflektierten) Lichts sein. Als eine Farbsättigung und/oder Farbtonung repräsentierende Größen kann ein Farbspektrum bzw. eine ein Farbspektrum repräsentierende Größe dienen. Das Farbspektrum kann beispielsweise als Messgrößen widergegeben werden, die eine Amplitudenverteilung bzw. Energieverteilung auf zumindest drei oder mehr unterschiedliche Wellenlängenanteile repräsentieren. The quantities representing one or more color saturation and / or hue can be determined, for example, as a (specific) mathematical ratio of quantities representing color components. The color components can be, for example, so-called RGB components (red-green-blue) of the light emitted from the region of the object (reflected). Sizes representing a color saturation and / or hue may be a color spectrum or a quantity representing a color spectrum. The color spectrum can, for example, be reproduced as measured variables which represent an amplitude distribution or energy distribution to at least three or more different wavelength components.

Im Rahmen des Verfahrens kann ein Mustererkennungsverfahren verwendet werden, wobei das Bestimmen, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt, aufgrund eines bestimmten erkannten Musters in Bezug auf das ermittelte Farbspektrum erfolgen kann. Within the scope of the method, a pattern recognition method can be used, whereby the determination as to whether the object is a living being, in particular a human, can be made on the basis of a specific recognized pattern with regard to the determined color spectrum.

In dem Verfahren können auch Infrarotanteile, z.B. Nahinfrarot- und/oder Ferninfrarotanteile, des Lichts berücksichtigt werden. Dabei können die Werte für Farbsättigung und/oder Farbtonung (bzw. sinngemäß entsprechende Größen) im Verfahren auch auf die Wellenlängen außerhalb des sichtbaren Spektrums angewandt werden. Mit anderen Worten, eine Farbsättigung und/oder Farbtonung Größe kann für Wellenlängen im sichtbaren und/oder im nicht-sichtbaren Wellenlängen-Bereich ermittelt werden. In the method also infrared components, e.g. Near-infrared and / or far-infrared components of the light. The values for color saturation and / or color shade (or correspondingly corresponding quantities) in the method can also be applied to the wavelengths outside the visible spectrum. In other words, a color saturation and / or coloration magnitude can be determined for wavelengths in the visible and / or in the non-visible wavelength range.

Bevorzugt erfolgt das Bestimmen, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt, auf Basis zumindest einer die Farbsättigung repräsentierenden Größe und zumindest einer die Farbtonung repräsentierenden Größe. Dabei kann zumindest ein positives Kriterium und/oder zumindest ein negatives Kriterium in Bezug auf den Wert der Farbsättigung und/oder Farbtonung repräsentierenden Größen und/oder das mathematische Verhältnis der Farbsättigung und/oder Farbtonung repräsentierender Größen ermittelt werden. The determination is preferably made as to whether the object is a living being, in particular a human being, based on at least one variable representing the color saturation and at least one variable representing the color toning. In this case, at least one positive criterion and / or at least one negative criterion with respect to the values representing the color saturation and / or hue value and / or the mathematical ratio of the color saturation and / or hue representing quantities can be determined.

Das Bestimmen, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt, kann abhängig davon erfolgen, dass eine oder mehrere Farbsättigung und/oder Farbtonung repräsentierende Größen des von dem Bereich des Objekts ausgehenden Lichts innerhalb und/oder außerhalb vorausbestimmter Wertebereiche liegen; und/oder das ein bestimmtes mathematisches Verhältnis zwischen der Farbsättigung und/oder Farbtonung repräsentierender Größen besteht. Determining whether the object is a living being, in particular a human being, may be dependent on whether or not quantities of the light emanating from the area of the object within and / or outside of one or more color saturation and / or hue representations Ranges of values lie; and / or there is a certain mathematical relationship between the color saturation and / or hue representative quantities.

Besonders bevorzugt können die Werte der ein oder mehreren Farbsättigung und/oder Farbtonung repräsentierenden Größen und/oder ein mathematisches Verhältnis zumindest einer die Farbsättigung repräsentierenden Größe und zumindest einer die Farbtonung repräsentierenden Größe berücksichtigt werden. Insbesondere kann das Bestimmen, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt, durch Anwendung eines Mustererkennungsverfahren ermittelt werden, wobei die Mustererkennung abhängig von einer ermittelten Kombination aus Farbsättigung und Farbtonung repräsentierenden Größen ausgeführt wird. Beispielsweise kann das Bestimmen, ob es sich bei dem Objekt um einen Menschen handelt, auch abhängig von einer Gewichtung der ermittelten positiven und negativen Kriterien erfolgen. Particularly preferably, the values of the variables representing one or more color saturation and / or hue and / or a mathematical ratio of at least one color saturation-representing variable and at least one color representing the color tone can be taken into account. In particular, determining whether the object is a living being, in particular a human, can be determined by applying a pattern recognition method, the pattern recognition being performed depending on a determined combination of color saturation and hue representing sizes. For example, determining whether the object is a human also depending on a weighting of the determined positive and negative criteria.

Beispielsweise kann das von dem Bereich des Objekts ausgehende Licht, insbesondere separat von weiteren Sensordaten, mit Mitteln des Fahrzeugs in ein Farbmodell umgewandelt und analysiert werden. Insbesondere können die Sensordaten aus einem RGB-Farbraum in einen HSV-Farbraum (englisch: Hue, Saturation, Value, entsprechend: Farbtonung, Farbsättigung, Helligkeit) umgewandelt werden. Dabei können bevorzugt die Werte für die Farbtonung („Hue“) und Farbsättigung („Saturation“) als Basis für das Bestimmen, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt, genutzt werden. For example, the light emanating from the region of the object, in particular separately from other sensor data, can be converted into a color model and analyzed by means of the vehicle. In particular, the sensor data from an RGB color space in a HSV color space (English: Hue, Saturation, Value, corresponding to: color, color saturation, brightness) are converted. In this case, the values for the color tone ("hue") and color saturation ("saturation") can be used as the basis for determining whether the object is a living being, in particular a human being.

Alternativ oder ergänzend kann (zumindest) eine ein Farbspektrum repräsentierende Größe mittels eines HSL-Farbraums mit der relativen Helligkeit (lightness), mittels eines HSB-Farbraums mit der absoluten Helligkeit (brightness) und/oder mittels eines HSI-Farbraums mit der Lichtintensität (intensity) ermittelt werden. Dabei kann mit Mitteln des Fahrzeugs eine Mustererkennung auf die Farbanteile, insbesondere auf eine in ein bestimmtes Farbmodell/Farbraum umgewandelte Farbanteile repräsentierende Größe, angewandt werden. Alternatively or additionally, (at least) a quantity representing a color spectrum can be determined by means of an HSL color space with the relative brightness (lightness), by means of an HSB color space with the absolute brightness and / or by means of an HSI color space with the light intensity (intensity ) be determined. In this case, by means of the vehicle, pattern recognition can be applied to the color components, in particular to a variable representing color components converted into a specific color model / color space.

Das Bestimmen, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt, kann in Form einer Wahrscheinlichkeitsaussage erfolgen. Das Bestimmen, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt, kann ggf. als eine Negativaussage, insbesondere mit einer entsprechenden Wahrscheinlichkeitsschätzung, ermittelt werden. Dabei kann anhand des Verfahrens zumindest mit einer gewissen Wahrscheinlichkeit ausgeschlossen werden, dass es sich bei dem Objekt um kein Lebewesen bzw. keinen Menschen, insbesondere kein Kind oder keinen Erwachsenen, handelt. Determining whether the object is a living being, in particular a human, can take the form of a probability statement. Determining whether the object is a living being, in particular a human being, can be determined, if appropriate, as a negative statement, in particular with a corresponding probability estimate. In this case, it can be ruled out with the aid of the method, at least with a certain probability, that the object is not a living being or no human, in particular no child or no adult.

Beispielsweise kann das Verfahren eine Wahrscheinlichkeitsschätzung oder das Ermitteln eines Wahrscheinlichkeitswertes umfassen, dafür, dass es sich bei dem Objekt um ein (bzw. kein) Lebewesen handelt; das es sich bei dem Objekt um ein (bzw. kein Tier), insbesondere um eine bestimmte Tierart, handelt; dass es sich bei dem Objekt um einen (bzw. keinen) Menschen handelt; dass es sich bei dem Objekt um ein (bzw. kein Kind) handelt; und/oder dass es sich bei dem Objekt um einen (bzw. keinen) Erwachsenen handelt. For example, the method may include a probability estimate or the determination of a probability value for the object to be (or not) a living being; that the object is a (or no animal), in particular a particular species; that the object is a (or no) human; that the object is a (or no child); and / or that the object is a (or no) adult.

Insbesondere kann das Verfahren auch die Erkennung von bestimmten Tierarten umfassen, die eine bestimmte Gefahr für das Fahrzeug darstellen. Eine Wahrscheinlichkeitsschätzung kann beispielsweise abhängig von einer ermittelten Übereinstimmung bei der Ausführung einer Mustererkennung erfolgen. In particular, the method may also include the detection of certain animal species that pose a certain danger to the vehicle. For example, a probability estimate may be dependent on a determined match in the execution of pattern recognition.

Das Verfahren kann bei einem abgestellten (geparkten bzw. nicht fahrbereiten) Fahrzeug ausgeführt werden. Insbesondere kann bei einem Indiz dafür, dass sich ein Objekt in der Nähe des Fahrzeugs befindet oder dem Fahrzeug nähert, zumindest ein Teil des Verfahrens ausgeführt werden. Ein solches Indiz kann beispielsweise aus einer (bei einem abgestellten Fahrzeug aktivierbaren) Diebstahl-Warn-Anlage des Fahrzeugs ermittelt werden. Daraufhin können weitere Schritte des Verfahrens veranlasst werden. Beispielsweise können die entsprechenden Mittel des Fahrzeugs zumindest für eine begrenzte Zeit aktiviert werden. Ferner kann ermittelt werden, ob es sich bei dem Objekt um einen Menschen, um ein Kind oder um ein Tier handelt. Abhängig hiervon können unterschiedliche Maßnahmen getroffen werden. Beispielsweise kann daraufhin ggf. eine Fahrerinformation, beispielsweise als eine drahtlose Nachricht mit oder ohne Bild an ein mobiles Anwendergerät des Nutzers (Fahrers) versendet werden. Bei dieser Variante des Verfahrens kann einer Beschädigung des Fahrzeugs durch ein Lebewesen einer bestimmten Art vorgebeugt werden. The procedure can be carried out at a parked (parked or not running) vehicle. In particular, if there is an indication that an object is near or approaching the vehicle, at least part of the method may be performed. Such an indication can be determined, for example, from a theft-warning system of the vehicle (which can be activated when the vehicle is parked). Thereupon, further steps of the method can be initiated. For example, the corresponding means of the vehicle can be activated at least for a limited time. It can also be determined whether the object is a human, a child or an animal. Depending on this, different measures can be taken. By way of example, driver information, for example as a wireless message with or without a picture, can then possibly be sent to a mobile user device of the user (driver). In this variant of the method of damage to the vehicle by a living being of a certain kind can be prevented.

Beispielsweise kann das Verfahren auch die Erkennung von bestimmten Tierarten umfassen, die eine bestimmte Gefahr für das Fahrzeug darstellen, insbesondere von Mardern die ein abgestelltes Fahrzeug beschädigen können. Beispielsweise kann das Verfahren umfassen, dass bei einem abgestellten Fahrzeug, bei einem Indiz, dass sich ein Objekt dem Fahrzeug nähert, eine oder mehrere Kameras des Fahrzeugs aktiviert werden. Mit zumindest einer Kamera des Fahrzeugs kann zumindest ein Teil des Objekts erfasst und zumindest eine Farbsättigung oder Farbtonung repräsentierende Größe ermittelt werden. Abhängig von den ermittelten Größen kann bestimmt werden, ob es sich bei dem Objekt um eine bestimmte Tierart (z.B. einen Marder) handelt. Daraufhin kann ggf. eine Fahrerinformation, beispielsweise als eine drahtlose Nachricht mit oder ohne Bild an ein mobiles Anwendergerät des Fahrers versendet werden. For example, the method may also include the detection of certain animal species that pose a particular danger to the vehicle, in particular martens that can damage a parked vehicle. For example, the method may include activating one or more cameras of the vehicle when the vehicle is parked, indicating that an object is approaching the vehicle. With at least one camera of the vehicle, at least a part of the object can be detected and at least one variable representing color saturation or color tone can be determined. Depending on the sizes determined, it may be determined if the object is a particular species (e.g., a marten). Thereupon, if necessary, driver information, for example as a wireless message with or without a picture, can be sent to a mobile user device of the driver.

Das Bestimmen bzw. Ermitteln kann umfassen, das Normalisieren der Sensordaten bzw. das Normieren der Farbsättigung und/oder Farbtonung repräsentierenden Größe, um normierte Sensordaten bzw. eine normalisierte Farbsättigung und/oder Farbtonung repräsentierende Größe zu ermitteln, wobei das Normalisieren das Anpassen eines Betrags der Sensordaten bzw. der Farbsättigung und/oder Farbtonung repräsentierenden Größe umfassen kann. The determining may include normalizing the sensor data or normalizing the color saturation and / or hue representing magnitude to determine normalized sensor data or a normalized color saturation and / or hue representing quantity, the normalizing adjusting an amount of the Sensor data or the color saturation and / or coloration representing size may include.

Beispielsweise kann die Farbsättigung und/oder Farbtonung repräsentierende Größe auf einen vordefinierten Maximalwert (z.B. 1) normiert werden. Das Normalisieren kann in Bezug auf absolute Helligkeitswerte durchgeführt werden. Dabei können bevorzugt Farbsättigung und/oder Farbtonung repräsentierende Größen, insbesondere eine ein normalisiertes Farbspektrum repräsentierende Größe, ermittelt werden, die von der Helligkeit des Bereichs des Objekts im Wesentlichen unabhängig ist. Es kann dann auf Basis der Farbsättigung und/oder Farbtonung repräsentierenden Größe bzw. auf Basis der normierten Sensordaten bestimmt werden, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt. So kann die Zuverlässigkeit der Erkennung eines Lebewesens weiter erhöht werden. For example, the color saturation and / or hue representing size to a predefined maximum value (eg 1) are normalized. The normalization can be performed with respect to absolute brightness values. In this case, it is possible to determine variables representing color saturation and / or hue, in particular a variable representing a normalized color spectrum, which is substantially independent of the brightness of the region of the object. It can then be determined on the basis of the color saturation and / or color representing size or based on the normalized sensor data, whether the object is a living being, in particular a human being. Thus, the reliability of the recognition of a living being can be further increased.

Das Bestimmen kann umfassen, das Auswerten und/oder Vergleichen von unterschiedlichen spektralen Anteilen eines Farbspektrums bzw. der Farbsättigung und/oder Farbtonung repräsentierenden Größe. Insbesondere kann das Verhältnis zwischen unterschiedlichen spektralen Anteilen eines Farbspektrums bzw. der Farbsättigung und/oder Farbtonung repräsentierenden Größe betrachtet werden, um zu bestimmen, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt. So kann die Zuverlässigkeit der Erkennung eines Lebewesens weiter erhöht werden. The determining may include evaluating and / or comparing different spectral components of a color spectrum or of the color saturation and / or color tone representing quantity. In particular, the relationship between different spectral portions of a color spectrum or color saturation and / or hue representing size can be considered to determine whether the object is a living being, in particular a human being. Thus, the reliability of the recognition of a living being can be further increased.

Das Bestimmen kann insbesondere umfassen, das Erkennen, auf Basis der Farbsättigung und/oder Farbtonung repräsentierenden Größe, eines vordefinierten spektralen Musters für ein Lebewesen. Beispielsweise kann ein vordefiniertes (ggf. normiertes) Referenz-Spektrum bereitgestellt werden, das ein typisches Farbspektrum für ein Lebewesen (insbesondere für die Haut eines Menschen) anzeigt. Es kann dann anhand eines Mustererkennungs-Algorithmus ermittelt werden, ob das Referenz-Spektrum in dem ermittelten Farbspektrum enthalten ist, um zu bestimmen, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt. So kann die Zuverlässigkeit der Erkennung eines Lebewesens weiter erhöht werden. Specifically, the determining may include detecting, based on the color saturation and / or hue representing size, a predefined spectral pattern for a living being. For example, a predefined (possibly normalized) reference spectrum can be provided which indicates a typical color spectrum for a living being (in particular for the skin of a human being). It can then be determined by means of a pattern recognition algorithm whether the reference spectrum is contained in the determined color spectrum in order to determine whether the object is a living being, in particular a human being. Thus, the reliability of the recognition of a living being can be further increased.

Das Verfahren kann das Aussenden von Beleuchtungs-Licht (insbesondere von Nahfeldbeleuchtung) durch eine Beleuchtungsvorrichtung des Fahrzeugs auf den Bereich des Objekts umfassen. Es können dann Sensordaten in Bezug auf Licht erfasst werden, das von dem Bereich des Objektes in Reaktion auf das Beleuchtungs-Licht ausgeht (insbesondere reflektiert wird). Durch das Aussenden von Beleuchtungs-Licht können einheitliche Bedingungen in Bezug auf das von einem Objekt ausgehende Licht erzeugt werden, was die Zuverlässigkeit der Erkennung eines Lebewesens erhöht. The method may comprise emitting illumination light (in particular near-field illumination) through a lighting device of the vehicle onto the area of the object. It is then possible to detect sensor data relating to light emanating (in particular reflecting) from the region of the object in response to the illumination light. By emitting illumination light, uniform conditions with respect to the light emitted from an object can be generated, which increases the reliability of the recognition of a living being.

Insbesondere kann das Beleuchtungs-Licht eine bestimmte (bekannte) spektrale Eigenschaft aufweisen. Es kann dann auch auf Basis der spektralen Eigenschaft des Beleuchtungs-Lichts bestimmt werden, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt. Mit anderen Worten, die spektrale Zusammensetzung des ausgesendeten Beleuchtungs-Lichts kann bei der Erkennung eines Lebewesens berücksichtigt werden, was die Zuverlässigkeit der Erkennung weiter erhöht. In particular, the illumination light may have a specific (known) spectral property. It can then also be determined on the basis of the spectral property of the illumination light whether the object is a living being, in particular a human being. In other words, the spectral composition of the emitted illumination light can be taken into account in the recognition of a living being, which further increases the reliability of the recognition.

Das Aussenden von Beleuchtungs-Licht kann das Ansteuern ein oder mehrerer Licht-emittierender Elemente des Fahrzeugs umfassen, um das Beleuchtungs-Licht zu generieren. Dabei können die ein oder mehreren Licht-emittierenden Elemente ein oder mehrere LEDs (Light Emitting Diodes) umfassen. Des Weiteren können die ein oder mehreren Licht-emittierenden Elemente in einem Front-, Heck- und/oder Seiten-Bereich des Fahrzeugs angeordnet sein. Dabei kann es sich um ein oder mehrere Licht-emittierende Elemente handeln, die bereits anderweitig im Fahrzeug genutzt werden (z.B. zur Bereitstellung eines Fahrlichts oder eines Bremslichts). So kann eine kosteneffiziente Bereitstellung von Beleuchtungs-Licht ermöglicht werden. The emission of illumination light may include driving one or more light-emitting elements of the vehicle to generate the illumination light. In this case, the one or more light-emitting elements may comprise one or more LEDs (Light Emitting Diodes). Furthermore, the one or more light-emitting elements may be arranged in a front, rear and / or side region of the vehicle. This may be one or more light-emitting elements that are already being used elsewhere in the vehicle (for example, to provide a driving light or a brake light). Thus, a cost-efficient provision of illumination light can be made possible.

Das Verfahren kann das Ermitteln einer ersten Farbsättigung und/oder Farbtonung repräsentierenden Größe (z.B. eines ersten Farbspektrums) umfassen (z.B. bei Verwendung eines ersten Typs von Beleuchtungs-Licht). Es kann dann veranlasst werden, dass von dem Objekt geändertes Licht, mit zumindest einer geänderten Eigenschaft, ausgeht. Zu diesem Zweck kann das Objekt mit einem zweiten Typ von Beleuchtungs-Licht angestrahlt werden. Das geänderte Licht kann dabei auch eine oder mehrere geometrische Muster und/oder Lichtpulse und/oder Pulsationsmuster umfassen. The method may include determining a first color saturation and / or hue representing size (e.g., a first color spectrum) (e.g., using a first type of illuminating light). It can then be caused that the object changed light, with at least one changed property emanates. For this purpose, the object may be illuminated with a second type of illumination light. The changed light can also comprise one or more geometric patterns and / or light pulses and / or pulsation patterns.

Des Weiteren kann eine zweite Farbsättigung und/oder Farbtonung repräsentierende Größe (z.B. ein zweites Farbspektrum) des von dem Objekt ausgehenden, geänderten Lichtes ermittelt werden. Dabei können sich die erste Farbsättigung und/oder Farbtonung repräsentierende Größe und die zweite Farbsättigung und/oder Farbtonung repräsentierende Größe zumindest teilweise auf denselben Bereich des Objektes beziehen. Es kann dann auf Basis der ersten und zweiten Farbsättigung und/oder Farbtonung repräsentierenden Größen bestimmt werden, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt. Insbesondere kann auf Basis eines Unterschieds zwischen der ersten und der zweiten Farbsättigung und/oder Farbtonung repräsentierenden Größen bestimmt werden, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt. Durch die Berücksichtigung von unterschiedlichen Lichtverhältnissen und entsprechenden unterschiedlichen Farbsättigung und/oder Farbtonung repräsentierenden Größen kann die Zuverlässigkeit der Erkennung eines Lebewesens weiter erhöht werden. Furthermore, a variable representing a second color saturation and / or hue (eg a second color spectrum) of the changed light emanating from the object can be determined. In this case, the variable representing the first color saturation and / or hue and the variable representing the second color saturation and / or hue may relate at least partially to the same region of the object. It can then be determined based on the first and second color saturation and / or hue representing sizes, whether the object is a living being, in particular a human. In particular, it may be determined on the basis of a difference between the quantities representing the first and second color saturation and / or hue, whether the object is a living being, in particular a human being. By taking into account different light conditions and corresponding different color saturation and / or color tone representing Sizes, the reliability of the recognition of a living being can be further increased.

Das Veranlassen, dass von dem Objekt geändertes Licht ausgeht, kann das Variieren des auf das Objekt ausgesendeten Beleuchtungs-Lichts umfassen. Das Variieren des Beleuchtungs-Lichts kann dabei insbesondere umfassen, das Ändern des Beleuchtungs-Lichts mit der Zeit, insbesondere gemäß einem vordefinierten zeitlichen Muster; und/oder das Ändern einer spektralen Zusammensetzung des Beleuchtungs-Lichts, insbesondere gemäß einem vordefinierten spektralen Muster; und/oder das Ändern einer räumlichen Ausdehnung des Beleuchtungs-Lichts, insbesondere gemäß einem vordefinierten räumlichen Muster. Durch gezieltes Variieren des Beleuchtungs-Lichts kann die Zuverlässigkeit der Erkennung eines Lebewesens weiter erhöht werden. Mit anderen Worten, das Veranlassen, dass von dem Objekt geändertes Licht ausgeht, kann umfassen, das Ansteuern der Beleuchtungsvorrichtung des Fahrzeugs, insbesondere der Nahfeldbeleuchtungsvorrichtung, derart, dass das auf das Objekt ausgesendete Beleuchtungs-Licht mit der Zeit, insbesondere gemäß einem vordefinierten zeitlichen Muster, variiert wird; und/oder dass eine spektrale Zusammensetzung des auf das Objekt ausgesendeten Beleuchtungs-Lichts, insbesondere gemäß einem vordefinierten spektralen Muster, variiert wird; und/oder dass ein räumlicher Parameter des auf das Objekt ausgesendeten Beleuchtungs-Lichts, insbesondere gemäß einem vordefinierten räumlichen Muster, variiert wird. Making the light changed by the object may include varying the illuminating light emitted to the object. The varying of the illumination light may in particular include the changing of the illumination light with time, in particular according to a predefined temporal pattern; and / or changing a spectral composition of the illumination light, in particular according to a predefined spectral pattern; and / or changing a spatial extent of the illumination light, in particular according to a predefined spatial pattern. By deliberately varying the illumination light, the reliability of the recognition of a living being can be further increased. In other words, causing the light to be changed from the object may include driving the illumination device of the vehicle, in particular the near-field illumination device, such that the illumination light emitted onto the object with time, in particular according to a predefined temporal pattern , is varied; and / or that a spectral composition of the illumination light emitted onto the object is varied, in particular in accordance with a predefined spectral pattern; and / or that a spatial parameter of the illumination light emitted onto the object is varied, in particular according to a predefined spatial pattern.

Das Verfahren kann umfassen, das Bestimmen, auf Basis der Sensordaten, einer Hypothese dahingehend, dass es sich bei dem Bereich des Objektes für den die Farbsättigung und/oder Farbtonung repräsentierende Größe ermittelt wird, um einen Hautbereich des Objektes handelt. Beispielsweise kann im Vorfeld (z.B. durch Analyse der Sensordaten mittels eines Bildanalyse-Verfahrens) bestimmt werden, ob sich in einem bestimmten Bereich des Objektes Haut eines Lebewesens (insbesondere eines Menschen) befinden könnte (mit einer bestimmten Wahrscheinlichkeit). Insbesondere können alle Bereiche des Objektes, die nicht als Haut infrage kommen, ausgeschlossen werden. Dabei kann die Bildung der Hypothese darüber, ob es sich bei dem Bereich des Objekts um einen Hautbereich handelt, mittels des gleichen Sensors und/oder eines anderen Sensors erfolgen, der zum Ermitteln der Farbsättigung und/oder Farbtonung repräsentierender Größen genutzt wird. The method may include determining, based on the sensor data, a hypothesis that the region of the object for the variable representing color saturation and / or hue is determined to be a skin region of the object. For example, it may be determined in advance (e.g., by analysis of the sensor data by means of an image analysis method) whether skin of an animal (in particular a human) could be located (with a certain probability) in a particular area of the object. In particular, all areas of the object that are not considered as skin can be excluded. In this case, the formation of the hypothesis as to whether the region of the object is a skin region can be effected by means of the same sensor and / or another sensor which is used to determine the color saturation and / or hue representing variables.

Der Bereich des Objekts, für den Sensordaten erfasst werden, kann somit einem räumlich begrenzten Teilbereich des Objekts entsprechen, wobei der Teilbereich insbesondere menschliche Haut umfassen kann (mit einer bestimmten Wahrscheinlichkeit). Es kann somit ein erster, insbesondere geometrisch geschlossener, Bereich des Objekts ausgewählt werden, der mit einer gewissen Wahrscheinlichkeit einen Teil eines menschlichen Körpers darstellt. Ferner kann ein zweiter Bereich des Objekts, insbesondere als eine Untermenge des ersten Bereichs, ausgewählt werden, der zumindest mit einer gewissen Wahrscheinlichkeit die Haut des Lebewesens, insbesondere menschliche Haut, umfasst. So kann die Ermittlung von Farbspektren auf Teilbereiche des Objektes eingegrenzt werden, wodurch der Rechenaufwand des Verfahrens reduziert wird. The area of the object for which sensor data are detected can thus correspond to a spatially limited subarea of the object, wherein the subarea may in particular comprise human skin (with a certain probability). It is thus possible to select a first, in particular geometrically closed, region of the object which, with a certain probability, represents a part of a human body. Furthermore, a second region of the object, in particular as a subset of the first region, can be selected which, at least with a certain probability, comprises the skin of the animal, in particular human skin. Thus, the determination of color spectra can be limited to subregions of the object, whereby the computational complexity of the method is reduced.

Das Verfahren kann das Ermitteln von Forminformation in Bezug auf den Bereich des Objektes und/oder in Bezug auf einen weiteren Bereich des Objektes umfassen. Beispielsweise können anhand eines Bildanalyse-Verfahrens die Konturen eines Bereichs des Objektes bestimmt werden. Es kann dann auch auf Basis der Forminformation bestimmt werden, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt. Insbesondere kann überprüft werden, ob aufgrund der Forminformation ein bestimmter Bereich als typischer Hautbereich (z.B. Gesicht, Arm, Bein, Hand, etc.) eines Lebewesens infrage kommt. So kann die Zuverlässigkeit der Erkennung eines Lebewesens weiter erhöht werden. The method may include determining shape information with respect to the region of the object and / or with respect to another region of the object. For example, the contours of a region of the object can be determined by means of an image analysis method. It can then also be determined on the basis of the shape information whether the object is a living being, in particular a human being. In particular, it can be checked whether, due to the shape information, a particular area is considered to be a typical skin area (e.g., face, arm, leg, hand, etc.) of a living being. Thus, the reliability of the recognition of a living being can be further increased.

Das Verfahren kann umfassen, das Ermitteln einer Bewegungstrajektorie des Fahrzeugs. Es kann dann das Umfeld des Fahrzeugs zum Erfassen von Sensordaten in Abhängigkeit von der Bewegungstrajektorie bestimmt werden. So können bereits frühzeitig Lebewesen auf der Trajektorie des Fahrzeugs detektiert werden. The method may include determining a motion trajectory of the vehicle. It can then be determined the environment of the vehicle for detecting sensor data depending on the movement trajectory. In this way, living beings can be detected early on the trajectory of the vehicle.

Das Verfahren kann umfassen, wenn bestimmt wurde, dass es sich bei dem Objekt um ein Lebewesen handelt, das Ausgeben oder Variieren von Fahrerinformation und/oder das Ansteuern eines Aktuators des Fahrzeugs (zur Umsetzung einer automatischen Fahrfunktion, z.B. einer automatischen Bremsung oder eines automatischen Ausweichmanövers). Aufgrund der erhöhten Zuverlässigkeit der Erkennung eines Lebewesens kann somit die Zuverlässigkeit von automatischen Fahrunktionen erhöht werden. The method may include, when it has been determined that the object is a living being, outputting or varying driver information, and / or driving an actuator of the vehicle (to implement an automatic driving function, eg, an automatic braking or an automatic evasive maneuver ). Due to the increased reliability of detection of a living being, thus, the reliability of automatic driving functions can be increased.

Beispielsweise kann es sich bei der Fahrerinformation und/oder beim Ansteuern eines oder mehrerer Aktuatoren um Maßnahmen handeln, die einer Kollisionsvermeidung mit dem Objekt, beispielsweise in einem vorderen, seitlichen oder hinteren Bereich des Fahrzeugs, dienen. Beispielsweise kann eine auszugebende Fahrerinformation dabei hinsichtlich ihrer Wichtigkeit oder Handlungsempfehlung für den Fahrer variiert werden. Bei den Aktuatoren kann es sich um eine Bremsung, Vorderradlenkung und/oder Hinterradlenkung handeln. Beispielsweise kann, wenn festgestellt wird, dass ein vorausbestimmter Sicherheitsabstand zu einem Menschen, insbesondere zu einem Kind, in einem seitlichen Bereich des Fahrzeugs unterschritten wird, die Vorderradlenkung und/oder Hinterradlenkung angesteuert werden, insbesondere derart, dass ein Abstand zu dem Menschen vergrößert wird. For example, the driver information and / or the driving of one or more actuators can be measures which serve to avoid collision with the object, for example in a front, side or rear area of the vehicle. For example, a driver information to be issued can be varied with respect to its importance or action recommendation for the driver. The actuators may be a brake, front-wheel steering and / or rear-wheel steering. For example, if it is determined that a predetermined safety distance to a human, in particular to a child, in a lateral region of the vehicle is exceeded, the front-wheel steering and / or rear-wheel steering are controlled, in particular such that a distance to the human is increased.

Gemäß einem weiteren Aspekt wird eine Vorrichtung für ein Fahrzeug beschrieben. Die Vorrichtung ist eingerichtet, Sensordaten in Bezug auf Licht, das von einem Bereich eines Objektes im Umfeld des Fahrzeugs ausgeht, zu ermitteln. Die Vorrichtung ist weiter eingerichtet, auf Basis der Sensordaten, eine Farbsättigung und/oder Farbtonung repräsentierende Größe des von dem Bereich des Objektes ausgehenden Lichtes zu ermitteln. Außerdem ist die Vorrichtung eingerichtet, auf Basis der Farbsättigung und/oder Farbtonung repräsentierenden Größe zu bestimmen, ob es sich bei dem Objekt um ein Lebewesen, insbesondere um einen Menschen, handelt. In another aspect, an apparatus for a vehicle is described. The device is set up to determine sensor data relating to light emanating from an area of an object in the surroundings of the vehicle. The device is further set up on the basis of the sensor data to determine a color saturation and / or hue representing size of the outgoing of the area of the object light. In addition, the apparatus is arranged to determine on the basis of the color saturation and / or color representing size, whether the object is a living being, in particular a human, is.

Gemäß einem weiteren Aspekt wird ein Fahrzeug (insbesondere ein Straßenkraftfahrzeug z.B. ein Personenkraftwagen, ein Lastkraftwagen oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung bzw. Steuereinheit umfasst. According to a further aspect, a vehicle (in particular a road motor vehicle, for example a passenger car, a lorry or a motorbike) is described which comprises the device or control unit described in this document.

Gemäß einem weiteren Aspekt wird ein Computerprogramm, insbesondere ein Computerprogrammprodukt, beschrieben. Das Computerprogramm kann ggf. direkt in den internen Speicher einer digitalen Vorrichtung (insbesondere einer elektronischen Steuereinheit der Vorrichtung) geladen werden. Desweiteren kann das Computerprogramm Softwarecodeabschnitte umfassen, mit denen die Schritte des Verfahrens gemäß einem der beschriebenen Verfahrensansprüche ausgeführt werden, wenn das Computerprodukt auf der digitalen Vorrichtung läuft. According to a further aspect, a computer program, in particular a computer program product, is described. If necessary, the computer program can be loaded directly into the internal memory of a digital device (in particular an electronic control unit of the device). Furthermore, the computer program may comprise software code sections with which the steps of the method according to one of the described method claims are executed when the computer product is running on the digital device.

Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Desweiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. It should be understood that the methods, devices and systems described herein may be used alone as well as in combination with other methods, devices and systems described in this document. Furthermore, any aspects of the methods, devices, and systems described herein may be combined in a variety of ways. In particular, the features of the claims can be combined in a variety of ways.

Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen Furthermore, the invention will be described in more detail with reference to exemplary embodiments. Show

1 beispielhafte Komponenten eines Fahrzeugs; 1 exemplary components of a vehicle;

2 ein beispielhaftes Farbspektrum: und 2 an exemplary color spectrum: and

3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Erkennung eines Lebewesens in einem Umfeld eines Fahrzeugs. 3 a flowchart of an exemplary method for detecting a living being in an environment of a vehicle.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der zuverlässigen Erkennung von Menschen, insbesondere Fußgängern, im Nahfeld eines Fahrzeugs. In diesem Zusammenhang zeigt 1 ein Blockdiagramm mit beispielhaften Komponenten eines Fahrzeugs 100. Das Fahrzeug 100 umfasst ein oder mehrere Sensoren 102 (insbesondere Bildsensoren, etwa Bildkameras, oder Spektrographen), die eingerichtet sind, Sensordaten in Bezug auf ein Objekt 110 im Umfeld des Fahrzeugs 100 zu erfassen. Das Objekt 110 kann sich dabei in unmittelbarer Nähe des Fahrzeugs 100 befinden. Die Sensordaten können ggf. nur Information in Bezug auf einen Teil bzw. einen Ausschnitt bzw. einen Bereich des Objektes 110 umfassen. As set forth above, the present document is concerned with the reliable detection of people, especially pedestrians, in the near field of a vehicle. In this context shows 1 a block diagram with exemplary components of a vehicle 100 , The vehicle 100 includes one or more sensors 102 (In particular, image sensors, such as image cameras, or spectrographs), which are arranged, sensor data relating to an object 110 in the environment of the vehicle 100 capture. The object 110 can be in the immediate vicinity of the vehicle 100 are located. The sensor data may possibly only contain information relating to a part or a section or an area of the object 110 include.

Das Fahrzeug 100 umfasst eine Steuereinheit oder Vorrichtung 101, die eingerichtet ist, die Sensordaten zu verarbeiten und auf Basis der Sensordaten zu ermitteln, ob es sich bei dem erfassten Objekt 110 um einen Menschen handelt oder nicht. Die Vorrichtung 101 ist weiter eingerichtet, ein oder mehrere Aktuatoren 103 des Fahrzeugs 100 (z.B. eine Bremse) in Abhängigkeit davon anzusteuern, ob bestimmt wurde, dass es sich bei dem Objekt 110 um einen Menschen handelt. The vehicle 100 includes a control unit or device 101 , which is set up to process the sensor data and to determine, based on the sensor data, whether it is the detected object 110 to be a human or not. The device 101 is further set up, one or more actuators 103 of the vehicle 100 (eg a brake) depending on whether it has been determined that it is the object 110 is about a human being.

Insbesondere kann die Vorrichtung 101 eingerichtet sein, auf Basis der Sensordaten ein Farbspektrum oder Frequenzspektrum des von dem Objekt 110 ausgestrahlten (oder reflektierten) Lichtes zu ermitteln. 2 zeigt ein beispielhaftes Farbspektrum 203 für ein Objekt 110, wobei das Farbspektrum 203 die spektrale Energie 202 des von dem Objekt 110 abgestrahlten Lichts als Funktion der Frequenz oder Wellenlänge 201 anzeigt. Auf Basis des Farbspektrums des Objekts 110 kann in zuverlässiger Weise ermittelt werden, ob es sich bei dem Objekt 110 um einen Menschen handelt oder nicht. Insbesondere weist dabei die menschliche Haut ein typisches Farbspektrum 203 auf, das in zuverlässiger Weise erkannt werden kann. In particular, the device can 101 be set up based on the sensor data, a color spectrum or frequency spectrum of the object 110 emitted (or reflected) light to determine. 2 shows an exemplary color spectrum 203 for an object 110 , where the color spectrum 203 the spectral energy 202 of the object 110 radiated light as a function of frequency or wavelength 201 displays. Based on the color spectrum of the object 110 can be reliably determined, whether it is the object 110 to be a human or not. In particular, the human skin has a typical color spectrum 203 that can be reliably recognized.

3 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 300 zur Detektion eines Lebewesens in einem Umfeld eines Fahrzeugs 100. Das Verfahren 300 umfasst das Erfassen 301 von Sensordaten in Bezug auf Licht, das von einem Bereich eines Objektes 110 im Umfeld des Fahrzeugs 100 ausgeht. Außerdem umfasst das Verfahren 300 das Ermitteln 302, auf Basis der Sensordaten, einer Farbsättigung und/oder Farbtonung repräsentierenden Größe (z.B. eines Farbspektrums) 203 des von dem Bereich des Objektes 110 ausgehenden Lichtes. Das Verfahren 300 umfasst weiter das Bestimmen 303, auf Basis der Farbsättigung und/oder Farbtonung repräsentierenden Größe (z.B. auf Basis des Farbspektrums 203), ob es sich bei dem Objekt 110 um ein Lebewesen, insbesondere um einen Menschen, handelt (oder nicht). Insbesondere kann ein Wahrscheinlichkeitswert für die Wahrscheinlichkeit ermittelt werden, dass es sich bei dem Objekt 110 um ein Lebewesen, insbesondere um einen Menschen, handelt. Es kann dann in Abhängigkeit von dem Wahrscheinlichkeitswert (z.B. wenn der Wert über einem Schwellenwert (z.B. 50% oder mehr) liegt) bestimmt werden, dass es sich bei dem Objekt 110 um ein Lebewesen, insbesondere um einen Menschen, handelt. 3 shows a flowchart of an exemplary method 300 for detecting a living being in an environment of a vehicle 100 , The procedure 300 includes capturing 301 of sensor data relating to light coming from an area of an object 110 in the environment of the vehicle 100 emanates. In addition, the process includes 300 the determining 302 , based on the sensor data, a variable representing color saturation and / or hue (eg a color spectrum) 203 of the area of the object 110 outgoing light. The procedure 300 further comprises determining 303 , on the basis of the color saturation and / or color representing size (eg based on the color spectrum 203 ), whether it is the object 110 is (or is not) about a being, especially a human being. In particular, a probability value for the probability can be determined that the object is 110 is a living being, especially a human. It may then be determined, depending on the probability value (eg if the value is above a threshold (eg 50% or more) that the object is 110 is a living being, especially a human.

Durch die in diesem Dokument beschriebenen Maßnahmen kann erreicht werden, dass Fußgänger, insbesondere Kinder, z.B. mit einer Rückfahrkamera 102 und/oder mit in den Spiegeln oder im Frontbereich verbauten Kameras 102 zur Erfassung des Nahfelds des Fahrzeugs 100 erkannt werden. Dabei kann die Erkennung inkl. Klassifikation derart zuverlässig gestaltet werden, dass auf dieser Basis (aktiv ins Fahrwerk eingreifende) Fahrerassistenzsysteme angesteuert werden können. In diesem Dokument werden zu diesem Zweck ein verbessertes Verfahren 300 zur Erkennung zumindest eines Fußgängers, insbesondere eines Kindes, im Nahfeld eines Fahrzeugs, sowie ein entsprechendes System und ein entsprechendes Computerprodukt beschrieben. By the measures described in this document can be achieved that pedestrians, especially children, eg with a reversing camera 102 and / or with cameras installed in the mirrors or in the front area 102 for detecting the near field of the vehicle 100 be recognized. In this case, the recognition incl. Classification can be designed so reliable that on this basis (active in the chassis intervening) driver assistance systems can be controlled. This document will provide an improved procedure for this purpose 300 for detecting at least one pedestrian, in particular a child, in the near field of a vehicle, as well as a corresponding system and a corresponding computer product.

Das Verfahren 300 zur Erkennung eines Fußgängers, insbesondere eines Kindes, im Nahfeld eines Fahrzeugs 100 kann umfassen, das Erfassen zumindest eines Teils bzw. Bereichs eines Objekts 110 in der Umgebung des Fahrzeugs 100 mit einem Fahrzeugsensor 102. Es kann dann eine Auswertung des Farbspektrums 203, insbesondere einer normierten Gewichtung bzw. von Verhältnissen von spektralen Anteilen, des von dem Teil des Objekts 110 abgestrahlten Lichts erfolgen. Es kann dann abhängig von der Auswertung des Farbspektrums 203 darauf geschlossen werden, ob es sich bei dem Objekt 110 um einen Fußgänger, insbesondere um ein Kind, handelt. The procedure 300 for recognizing a pedestrian, in particular a child, in the near field of a vehicle 100 may include capturing at least a portion of an object 110 in the vicinity of the vehicle 100 with a vehicle sensor 102 , It can then be an evaluation of the color spectrum 203 , in particular a normalized weighting or proportions of spectral components, that of the part of the object 110 emitted light. It may then depend on the evaluation of the color spectrum 203 be closed on whether it is the object 110 is a pedestrian, especially a child.

Bevorzugt wird im Verfahren 300 ermittelt, mit welcher Wahrscheinlichkeit die erfassten spektralen Anteile auf eine menschliche Haut hindeuten bzw. menschliche Haut indizieren. Das Verfahren 300 basiert insbesondere darauf, dass menschliche Haut besondere spektrale Muster aufweist bzw. eine besondere Eigenschaft in Bezug darauf hat, wie auf die Haut einfallendes Licht abgestrahlt bzw. reflektiert wird. Diese Eigenschaften der gewichteten (relativen) spektralen Anteile des reflektierten Lichts sind typischerweise von der Hautfarbe (Rasse des Menschen, Sonnenbräune, etc.) unabhängig bzw. rechnerisch entkoppelbar. Es gibt somit in einem Farbspektrum 203 typischerweise hinreichend viele Eigenschaften, die für die Erkennung der Haut als solche verwendet werden können. Preference is given in the process 300 Determines the probability with which the detected spectral components indicate a human skin or index human skin. The procedure 300 is based, in particular, on the fact that human skin has special spectral patterns or has a special property with respect to how light incident on the skin is radiated or reflected. These properties of the weighted (relative) spectral components of the reflected light are typically independent of the skin color (race of the human, tan, etc.) or decoupled by calculation. There is thus in a color spectrum 203 typically a sufficient number of properties that can be used to identify the skin as such.

Die Auswertung des Farbspektrums oder eines davon abgeleiteten normierten Spektrums kann das Erkennen von Mustern umfassen. Dabei können sich die Muster insbesondere auf die Verhältnisse von spektralen Anteilen in dem Farbspektrum 203 oder in dem genormten Spektrum beziehen. The evaluation of the color spectrum or a normalized spectrum derived therefrom may include the recognition of patterns. In this case, the patterns can in particular on the ratios of spectral components in the color spectrum 203 or in the standardized spectrum.

Ein Fußgänger kann z.B. ein erwachsener Mensch, ein Kind oder ggf. ein Tier umfassen. Im Rahmen des Verfahrens 300 kann ein Fußgänger als solcher, bevorzugt einschließlich von unterschiedlichen Unterklassen (Erwachsener, Kind, Tier), erkannt und insbesondere klassifiziert werden. A pedestrian may include, for example, an adult human, a child or possibly an animal. As part of the procedure 300 For example, a pedestrian as such, preferably including of different subclasses (adult, child, animal), may be recognized and, in particular, classified.

Zur Erhöhung der Zuverlässigkeit in Bezug auf die Erkennung eines Fußgängers kann eine Beeinflussung eines Teils des Objekts 110 (z.B. einer möglichen Hautpartie des möglichen Fußgängers) mit einer bestimmten Anstrahlung (mit bestimmten spektralen Anteilen) aus dem Fahrzeug 100 erfolgen. Dazu kann z.B. eine Vielzahl der (LED-)Leuchten am Fahrzeug 100 genutzt werden, um eine Beleuchtung zu generieren, die in diesem Dokument als „Beleuchtungs-Licht“ bzw. als „Nahfeldbeleuchtung“ bezeichnet wird. Ein Teil des Objekts 110 kann somit durch Beleuchtungsmittel des Fahrzeugs 100 bestrahlt werden, und es kann ein sich daraus ergebendes Reflektions-Farbspektrum 203 ermittelt werden. So kann die Zuverlässigkeit der Erkennung von Lebewesen im Umfeld des Fahrzeugs 100 weiter erhöht werden. To increase the reliability with respect to the detection of a pedestrian can affect a part of the object 110 (For example, a possible skin area of the possible pedestrian) with a certain radiation (with certain spectral components) from the vehicle 100 respectively. For this purpose, for example, a variety of (LED) lights on the vehicle 100 be used to generate a lighting, which is referred to in this document as "illumination light" or "near field illumination". A part of the object 110 can thus by means of illumination of the vehicle 100 can be irradiated, and it can produce a resulting reflection color spectrum 203 be determined. Thus, the reliability of detection of living things in the environment of the vehicle 100 be further increased.

Es kann zumindest eine spektrale Eigenschaft der Nahfeldbeleuchtung zum Zeitpunkt der Erfassung des Teils des Objekts 110 beim Auswerten des Farbspektrums des von dem Teil des Objekts 110 abgestrahlten Lichts und/oder bei dem Bestimmen, dass es sich bei dem Objekt 110 um einen Fußgänger bzw. um ein Lebewesen handelt, berücksichtigt werden. Bevorzugt können dabei unterschiedlich eingestellte Mustererkennungsverfahren verwendet werden, die von den Eigenschaften der Nahfeldbeleuchtung oder der variierten Nahfeldbeleuchtung abhängen. It can have at least one spectral property of the near field illumination at the time of detection of the part of the object 110 in evaluating the color spectrum of the part of the object 110 radiated light and / or in determining that it is the object 110 be considered a pedestrian or a living thing. Preferably, differently set pattern recognition methods can be used which depend on the properties of the near field illumination or the varied near field illumination.

Es kann eine Unterscheidung zwischen einem erwachsenen Fußgänger und einem Kind und/oder einem Tier, insbesondere abhängig von der Auswertung absoluter und/oder relativer spektraler Anteile im Farbspektrum des zumindest einen Teils des Objekts 110, erfolgen. Bevorzugt kann im Verfahren 300 eine Unterscheidung zwischen einem erwachsenen Fußgänger und einem Kind und/oder einem Tier auch abhängig von einem weiteren Kriterium erfolgen. Beispielhafte Kriterien sind: die Größe und/oder Form des Objekts 110; Bewegungseigenschaften, insbesondere Verhaltensmuster, des Objekts 110; Reflektionseigenschaften von Radarwellen (die z.B. als kennzeichnend für die „Dicke“ des Objekts 110 ausgewertet werden können); etc. There may be a distinction between an adult pedestrian and a child and / or an animal, in particular depending on the evaluation of absolute and / or relative spectral components in the color spectrum of the at least one part of the object 110 , respectively. Preferably, in the process 300 a distinction between an adult pedestrian and a child and / or an animal also depends on another criterion. Exemplary criteria are: the size and / or shape of the object 110 ; Movement properties, in particular behavioral patterns, of the object 110 ; Reflecting properties of radar waves (eg as indicative of the "thickness" of the object 110 can be evaluated); Etc.

Des Weiteren können weitere Eigenschaften des Objekts 110 berücksichtigt werden, z.B.: die Erkennung besonderer Körperpartien, z.B. eine Gesichtserkennung; und/oder die Erkennung der Dynamik und Verformungseigenschaften bestimmter Körperpartien; und/oder visuelle, ultraschallreflektierende und/oder radarstrahlenreflektierende Eigenschaften des Objekts 110. Furthermore, further properties of the object 110 be taken into account, for example: the detection of special parts of the body, such as a face recognition; and / or the detection of the dynamics and deformation properties of certain body parts; and / or visual, ultrasound-reflecting and / or radar-reflecting properties of the object 110 ,

Das Verfahren 300 kann weiter umfassen, das Erfassen eines ersten Farbspektrums zumindest eines Bereichs bzw. Teils eines Objekts 110. Des Weiteren kann zumindest ein vom Fahrzeug 100 abgestrahltes Licht variiert werden. Es kann dann ein zweites Farbspektrum des Bereichs bzw. Teils des Objekts 110 ermittelt werden, das durch das variierte Licht angestrahlt wurde. Die Erkennung des Objekts 110 als ein Fußgänger/Lebewesen, insbesondere als ein Kind, kann dann anhand des ersten Farbspektrums und des zweites Farbspektrums erfolgen. So kann die Erkennungsrate verbessert werden. The procedure 300 may further comprise acquiring a first color spectrum of at least a portion of an object 110 , Furthermore, at least one of the vehicle 100 radiated light can be varied. It can then be a second color spectrum of the area or part of the object 110 be detected, which was irradiated by the varied light. The recognition of the object 110 as a pedestrian, in particular as a child, can then be based on the first color spectrum and the second color spectrum. So the recognition rate can be improved.

Wenn die (Abstrahlungs-)Reaktion eines Teils des Objekts 110 bei Vorliegen einer Nahfeldbeleuchtung des Fahrzeugs 100 erfasst und ausgewertet wird, kann das Objekt 110 mit einer hohen Sicherheit und Verlässlichkeit als ein Fußgänger/Lebewesen, z.B. als ein erwachsener Mensch, als ein Kind oder als ein bestimmtes Tier, erkannt werden. When the (radiative) response of a part of the object 110 in the presence of near-field illumination of the vehicle 100 captured and evaluated, the object can 110 with a high degree of safety and reliability as a pedestrian, for example, as an adult, as a child, or as a particular animal.

Das erste Farbspektrum und/oder zweite Farbspektrum bezieht sich bevorzugt auf einen bestimmten, räumlich eingegrenzten Teil des Objekts 110. Die Farbspektren können bevorzugt von jeweils zumindest teilweise überlappenden Teilen des Objektes 110 erfasst werden. The first color spectrum and / or second color spectrum preferably relates to a specific, spatially delimited part of the object 110 , The color spectra may preferably each of at least partially overlapping parts of the object 110 be recorded.

Bei der Nahfeldbeleuchtung können unterschiedliche (ggf. bereits vorhandene) Fahrzeugleuchten verwendet werden, z.B: Begrüßungslicht, Kurvenlicht, „Lichtteppich“, Signallicht, z.B. Blicksignallicht, Bremslicht, ambiente Nahfeldbeleuchtung und/oder ein Fahr- oder Standlicht. Ferner kann als Nahfeldbeleuchtung eine spezielle Lichtquelle, z.B. mit einer bestimmten spektralen Verteilung ggf. auch im infraroten Lichtspektrum, verwendet werden. Die Nahfeldbeleuchtung kann speziell für das Verfahren 300 (passend zu zumindest einem weiteren Schritt des Verfahrens 300) angesteuert werden. In the near-field illumination, different (possibly existing) vehicle lights may be used, for example: welcome light, cornering light, "carpet of light", signal light, eg eye signal light, brake light, ambiente near field lighting and / or a driving or parking light. Furthermore, as a near-field illumination, a special light source, for example, with a certain spectral distribution, possibly also in the infrared light spectrum, can be used. The near field illumination may be specific to the procedure 300 (suitable for at least one further step of the process 300 ).

Des Weiteren kann eine Unterscheidung zwischen einem erwachsenen Fußgänger, einem Kind und/oder einem Tier abhängig von absoluten und/oder relativen spektralen Anteilen in einem ersten und/oder in einem zweiten Farbspektrum, erfolgen. Furthermore, a distinction can be made between an adult pedestrian, a child and / or an animal depending on absolute and / or relative spectral components in a first and / or in a second color spectrum.

Der zumindest eine Teil des Objekts 110 kann räumlich, insbesondere als ein Pixelbereich, eingegrenzt werden, wobei die Auswertung des Farbspektrums sich nur auf den räumlich eingegrenzten Teil des Objekts 110 beziehen kann. Eine solche Eingrenzung erhöht die Zuverlässigkeit des Verfahrens 300. Ohne einen (räumlichen) Bezug könnten bei der Auswertung (insbesondere Normierung) der spektralen Anteile, z.B. durch das Vorhandensein von Kleidung oder durch das Vorhandensein von umgebenden Objekten, im Auswertungsbereich Ergebnisse verfälscht werden. Des Weiteren kann durch die räumliche Eingrenzung eine (rechenintensive) Auswertung der ersten und/oder zweiten Farbspektren zumindest teilweise auf bestimmte Teile des Objekts 110 eingeschränkt werden. The at least part of the object 110 can be limited spatially, in particular as a pixel area, wherein the evaluation of the color spectrum is limited to the spatially delimited part of the object 110 can relate. Such a limitation increases the reliability of the method 300 , Without a (spatial) reference, in the evaluation (in particular normalization) of the spectral components, eg due to the presence of clothing or the presence of surrounding objects, results could be falsified in the evaluation area. Furthermore, due to the spatial delimitation, a (computation-intensive) evaluation of the first and / or second color spectra may be at least partially directed to specific parts of the object 110 be restricted.

Das Verfahren 300 kann umfassen, das Bilden eine Hypothese, dass es sich bei dem Objekt 110 um einen Fußgänger handelt, und/oder dass es sich bei dem Teil des Objekts 110 um eine (bestimmte) Hautpartie des Fußgängers, insbesondere Gesicht, Hand, etc. handelt. Es kann dann ein Auswerten des ersten und/oder zweiten Farbspektrums eines Teils eines Objekts 110 erfolgen, wobei das Objekt 110 und/oder der Teil des Objekts 110 abhängig von der Hypothese gewählt wird. Besonders bevorzugt kann dabei die räumliche Eingrenzung des Teils des Objekts 110 abhängig von der Hypothese ausgeführt werden. The procedure 300 may include forming a hypothesis that it is the object 110 is a pedestrian, and / or that it is the part of the object 110 to a (certain) skin area of the pedestrian, especially face, hand, etc. acts. It may then be an evaluation of the first and / or second color spectrum of a part of an object 110 take place, the object 110 and / or the part of the object 110 depending on the hypothesis is chosen. Particularly preferred may be the spatial delimitation of the part of the object 110 be executed depending on the hypothesis.

Es kann eine Auswertung des Farbspektrums zu einem ersten Teil des Objekts 110 erfolgen. Des Weiteren kann eine Forminformation zu einem ersten oder zu einem zweiten Teil des Objekts 110 bei der Bildung der Hypothese und/oder bei der Auswertung des Farbspektrums und/oder bei dem Bestimmen, dass es sich bei dem Objekt 110 um einen Fußgänger handelt, berücksichtigt werden. Besonders bevorzugt kann im Verfahren 300 eine Fusion einer Form-Information zu dem ersten Teil des Objekts 110 und einer Auswertung des abgestrahlten Farbspektrums von zumindest einem zweiten Teil des Objekts 110 erfolgen. Dabei kann der erste Teil des Objekts 110 zumindest teilweise dem zweiten Teil des Objekts 110 entsprechen und/oder Überschneidungen mit dem zweiten Teil aufweisen und/oder im Wesentlichen unterschiedlich (komplementär) zu dem zweiten Teil sein. It may be an evaluation of the color spectrum to a first part of the object 110 respectively. Furthermore, a shape information may be related to a first or a second part of the object 110 in the formation of the hypothesis and / or in the evaluation of the color spectrum and / or in determining that the object 110 be considered a pedestrian. Particularly preferred in the process 300 a fusion of shape information to the first part of the object 110 and an evaluation of the radiated color spectrum of at least a second part of the object 110 respectively. It may be the first part of the object 110 at least partially the second part of the object 110 correspond and / or overlap with the second part and / or be substantially different (complementary) to the second part.

Das Erfassen des ersten Farbspektrum und/oder zweiten Farbspektrums kann sich zumindest teilweise auf denselben Bereich des Objekts 110 beziehen. Alternativ oder zusätzlich kann sich das Erfassen (insbesondere die entsprechende Auswertung) des ersten Farbspektrum und/oder zweiten Farbspektrums auf unterschiedliche Teile desselben Objekts 110 beziehen. The detection of the first color spectrum and / or the second color spectrum may be at least partially on the same area of the object 110 Respectively. Alternatively or additionally, the Detecting (in particular the corresponding evaluation) of the first color spectrum and / or the second color spectrum on different parts of the same object 110 Respectively.

Das Variieren der Nahfeldbeleuchtung kann gezielt (ggf. auch) zur Bildung zumindest einer Hypothese und/oder zum Erkennen weiterer Merkmale erfolgen. The variation of the near field illumination can take place deliberately (possibly also) to form at least one hypothesis and / or to recognize further features.

Das Variieren der Nahfeldbeleuchtung kann eine zeitliche Veränderung, insbesondere eine Pulsation und/oder zumindest ein bestimmtes zeitliches Muster, umfassen. Beispielsweise kann, wenn die Nahfeldbeleuchtung ausgeschaltet war, die Nahfeldbeleuchtung zumindest kurzzeitig zur Erfassung des zweiten Farbspektrums eingeschaltet werden. Wenn die Nahfeldbeleuchtung eingeschaltet war, kann die Nahfeldbeleuchtung zumindest kurzzeitig zur Erfassung des zweiten Farbspektrums ausgeschaltet werden. Dabei kann im Verfahren zuerst das zweite Farbspektrum und danach das erste Farbspektrum erfasst werden. Mit anderen Worten, die Auswertung des Unterschieds der Farbspektren kann auch mit einer anderen (umgekehrten) Reihenfolge von Schritten erfolgen. The variation of the near field illumination may include a temporal change, in particular a pulsation and / or at least one specific temporal pattern. For example, if the near field illumination was switched off, the near field illumination can be switched on at least briefly to detect the second color spectrum. If the near-field illumination has been switched on, the near-field illumination can be switched off, at least for a short time, in order to acquire the second color spectrum. In this case, in the method first the second color spectrum and then the first color spectrum can be detected. In other words, the evaluation of the difference of the color spectra can also be done with a different (reverse) sequence of steps.

Die Nahfeldbeleuchtung und insbesondere das Variieren der Nahfeldbeleuchtung können zumindest ein räumliches Muster umfassen. Mit anderen Worten, die Nahfeldbeleuchtung kann sich in Abhängigkeit von einer Position im Raum verändern. The near field illumination, and in particular the variation of the near field illumination, may comprise at least one spatial pattern. In other words, the near field illumination may change depending on a position in the room.

Die Nahfeldbeleuchtung und insbesondere das Variieren der Nahfeldbeleuchtung können zumindest ein spektrales Muster bzw. eine Veränderung des spektralen Musters umfassen. Mit anderen Worten, die spektrale Zusammensetzung der Nahfeldbeleuchtung kann einem bestimmten Muster entsprechen, das sich ggf. mit der Zeit verändert. The near-field illumination and in particular the variation of the near-field illumination may comprise at least one spectral pattern or a change of the spectral pattern. In other words, the spectral composition of the near field illumination may correspond to a particular pattern that may change over time.

Bevorzugt kann das Variieren des Spektrums der Nahfeldbeleuchtung im Wesentlichen neutral (oder nur gering wirksam) auf die visuelle Wahrnehmung gestaltet werden. Mit anderen Worten kann das spektrale Muster der Nahfeldbeleuchtung (unter Berücksichtigung von Psychooptik) derart geändert werden, dass ein menschlicher Beobachter das Variieren des Spektrums (ggf. fast) nicht wahrnimmt. Insbesondere kann dabei eine Veränderung der spektralen Anteile des Lichts, z.B. einer LED, erfolgen, wobei die kumulierte, von der menschlichen visuellen Wahrnehmung wahrnehmbare, Farbe des Lichts im Wesentlichen unverändert bleibt. Preferably, the varying of the spectrum of the near field illumination can be made substantially neutral (or only slightly effective) on the visual perception. In other words, the spectral pattern of the near-field illumination (taking into account psycho-optics) can be changed such that a human observer does not perceive (possibly almost) the variation of the spectrum. In particular, a change in the spectral components of the light, e.g. an LED, whereby the cumulative color of the light perceptible by human visual perception remains substantially unchanged.

Es kann eine Mustererkennung auf das erste Farbspektrum und/oder auf das zweite Farbspektrum angewandt werden, wobei dabei ein für die menschliche Haut typisches Muster erkannt wird. Besonders bevorzugt erfolgt das Bestimmen, dass es sich bei dem Teil des Objekts 110 um eine Hautpartie eines Fußgängers handelt, anhand eines entsprechenden ersten Musters (für das erste Farbspektrum) und eines entsprechenden zweiten Musters (für das zweite Farbspektrum). Dabei können für die Mustererkennung neuronale Netze verwendet werden. Pattern recognition can be applied to the first color spectrum and / or to the second color spectrum, thereby recognizing a pattern typical for the human skin. Particularly preferably, the determination is made that the part of the object 110 is a pedestrian's skin area based on a corresponding first pattern (for the first color spectrum) and a corresponding second pattern (for the second color spectrum). In this case, neural networks can be used for pattern recognition.

Die Erkennung des Objekts als einen Fußgänger kann anhand von dem Unterschied zwischen dem ersten Farbspektrum und dem zweiten Farbspektrum, insbesondere mittels einer Mustererkennung, erfolgen. Besonders bevorzugt kann in der Mustererkennung ein mathematisches Verhältnis aus dem ersten Farbspektrum und dem zweiten Farbspektrum berücksichtigt werden. Insbesondere kann eine Mustererkennung auf einen additiven, multiplikativen, logarithmischen, etc. Unterschied zwischen dem ersten Farbspektrum und dem zweiten Farbspektrum angewandt werden. Das Bestimmen, dass es sich bei dem Teil des Objekts 110 um eine Hautpartie eines Fußgängers handelt, kann anhand des entsprechenden ersten Musters und/oder des entsprechenden zweiten Musters und ggf. anhand des Musters in Bezug auf den Unterschied zwischen dem ersten Farbspektrum und dem zweiten Farbspektrum erfolgen. The recognition of the object as a pedestrian can take place on the basis of the difference between the first color spectrum and the second color spectrum, in particular by means of pattern recognition. Particularly preferably, a mathematical relationship between the first color spectrum and the second color spectrum can be taken into account in the pattern recognition. In particular, pattern recognition may be applied to an additive, multiplicative, logarithmic, etc. difference between the first color spectrum and the second color spectrum. Determining that the part of the object 110 is a pedigree of a pedestrian can be based on the corresponding first pattern and / or the corresponding second pattern and possibly on the basis of the pattern with respect to the difference between the first color spectrum and the second color spectrum.

Die Nahfeldbeleuchtung kann zumindest teilweise durch LED-Licht, insbesondere in den Türgriffen und/oder den Bremslichtern und/oder Fahr- oder Standlichtern des Fahrzeugs 100, generiert werden. The near-field illumination can at least partially by LED light, in particular in the door handles and / or the brake lights and / or driving or parking lights of the vehicle 100 , to be generated.

Es kann sich bei der Umgebung des Fahrzeugs 100 um einen bestimmten Bereich der Umgebung handeln, der anhand einer vorausermittelten Trajektorie des Fahrzeugs 100 ausgewählt wird. Bevorzugt handelt es sich um einen räumlichen Bereich, der anhand der Fahrzeugtrajektorie des Fahrzeug 100 in der nahen Zukunft befahren wird bzw. durch eine mögliche oder wahrscheinliche Fahrzeugbewegung in der nahen Zukunft erreicht wird. It can affect the environment of the vehicle 100 to act on a certain area of the environment, based on a pre-determined trajectory of the vehicle 100 is selected. It is preferably a spatial area that is based on the vehicle trajectory of the vehicle 100 in the near future, or will be reached by a possible or probable vehicle movement in the near future.

Das Verfahren 300 kann umfassen, die Ausgabe einer Fahrerinformation, insbesondere einer Warnung und/oder einer zumindest symbolischen Darstellung, in Bezug auf eine zumindest wahrscheinliche Anwesenheit eines Fußgängers/Lebewesens in der Umgebung des Fahrzeugs. Die Ausgabe erfolgt dabei abhängig von der ermittelten Fußgängerinformation. Bevorzugt kann dabei eine symbolische Darstellung eines Menschen in einem realen Kamerabild, insbesondere in einem Surround-View-Bild, erfolgen. Bevorzugt kann dabei zwischen einem Erwachsenen, einem Kind oder einem Tier unterschieden werden. Bevorzugt kann auch die Position des zumindest einen Fußgängers, zumindest symbolisch und/oder im Vergleich zu einem symbolhaften Fahrzeugmodell, dargestellt werden. The procedure 300 may include issuing driver information, in particular a warning and / or an at least symbolic representation, regarding an at least likely presence of a pedestrian / animal in the vicinity of the vehicle. The output is dependent on the pedestrian information determined. In this case, a symbolic representation of a human being in a real camera image, in particular in a surround view image, may preferably take place. A distinction can preferably be made between an adult, a child or an animal. Preferably, the position of the at least one pedestrian, at least symbolically and / or in comparison to a symbolic vehicle model, can be represented.

Alternativ oder ergänzend kann abhängig von der ermittelten Fußgängerinformation ein Ansteuern oder ein Variieren zumindest eines Aktorik-Eingriffs in das Fahrwerk des Fahrzeugs 100 erfolgen. Insbesondere kann zumindest ein Aktorik-Eingriff in das Fahrwerk des Fahrzeug z.B. ein Lenk- und/oder Bremseigriff, erfolgen. Besonders bevorzugt kann ein Ansteuern oder Variieren zumindest eines Aktorik-Eingriffs in das Fahrwerk des Fahrzeugs 100 erfolgen, falls der Fahrer nicht (rechtzeitig und/oder hinreichend schnell und/oder passend) auf die ausgegebene Fahrerinformation reagiert hat. Alternatively or additionally, depending on the determined pedestrian information, a driving or varying at least one Aktorik engagement in the chassis of the vehicle 100 respectively. In particular, at least one actuation engagement in the chassis of the vehicle, for example, a steering and / or braking action, take place. Particularly preferred may be a driving or varying at least one Aktorik engagement in the chassis of the vehicle 100 take place if the driver has not responded (timely and / or sufficiently fast and / or appropriate) to the issued driver information.

Ferner werden in diesem Dokument ein korrespondierendes System eines Fahrzeugs 100 (mit einem einsprechend eingerichteten Kamerasystem, einer Ansteuerung der Nahfeldbeleuchtung, etc.) sowie ein entsprechendes Computerprodukt beschrieben. Further, in this document, a corresponding system of a vehicle 100 (With an appealingly equipped camera system, a control of the near field illumination, etc.) and a corresponding computer product described.

Bei dem Fahrzeug 100 im Rahmen dieser Beschreibung kann es sich insbesondere um ein Kraftfahrzeug (Personenkraftwagen, Lastkraftwagen, Transporter, sog. „Sattelschlepper“,) oder ein Fahrzeuganhänger (Wohnmobil, Lastanhänger, Pferdeanhänger, Yachtanhänger, etc.) handeln. Des Weiteren kann das Fahrzeug 100 auch Wasserfahrzeuge umfassen. In the vehicle 100 In the context of this description may in particular be a motor vehicle (passenger cars, trucks, vans, so-called. "Semi-trailer") or a vehicle trailer (motorhome, trailer, horse trailer, yacht trailer, etc.). Furthermore, the vehicle can 100 also include watercraft.

Im Rahmen des beschriebenen Verfahrens 300 kann mit Mitteln 101, 102 des Fahrzeugs 100, z.B. mittels Kamera, anderer Sensorik, Sender, IT-Mittel, eine Hypothese dahingehend ermittelt werden, dass ein bestimmtes Objekt 110 in der Umgebung des Fahrzeugs 100 (mit einer vorausbestimmten Wahrscheinlichkeit) ein Fußgänger sein kann; und/oder dass sich ein Fußgänger, insbesondere ein Kind, in der Umgebung des Fahrzeugs 100 befindet. In the context of the described method 300 can with funds 101 . 102 of the vehicle 100 For example, by means of camera, other sensors, transmitters, IT means, a hypothesis can be determined that a particular object 110 in the vicinity of the vehicle 100 (with a predicted probability) can be a pedestrian; and / or that a pedestrian, especially a child, is in the vicinity of the vehicle 100 located.

Dabei kann eine solche Hypothese in Bezug auf einen Hautbereich, insbesondere Gesichtsbereich, Armbereich, Beinbereich, etc., gebildet werden, z.B. aufgrund der Form und/oder des Bewegungsverhaltens. In this case, such a hypothesis can be formed with respect to a skin area, in particular face area, arm area, leg area, etc., e.g. due to the shape and / or the movement behavior.

Es kann ein erstes Farbspektrum 203 in Bezug auf das Objekt 110, bevorzugt in Bezug auf den laut Hypothese bestimmten Bereich des Objekts 110, ermittelt werden. Anhand von Mustererkennung im Farbspektrum 203 kann festgestellt werden, dass der Bereich des Objekts 110 mit einer (einen ersten Schwellenwert übersteigenden Wahrscheinlichkeit) menschliche Haut aufweist. It can be a first color spectrum 203 in relation to the object 110 , preferably with respect to the hyphenated area of the object 110 , be determined. Based on pattern recognition in the color spectrum 203 can be found that the area of the object 110 having human skin (exceeding a first threshold).

Es kann, ggf. daraufhin, Nahfeldbeleuchtung des Fahrzeugs 100 variiert werden, z.B. eingeschaltet, gepulst oder zur Erzeugung von Lichtmustern. Es kann dann ein zweites Farbspektrum in Bezug auf dasselbe Objekt 110, bevorzugt in Bezug auf denselben Bereich des Objekts 110, im Licht der Nahfeldbeleuchtung ermittelt werden. Anhand von Mustererkennung kann festgestellt werden, dass der Bereich mit einer (einen ersten Schwellewert übersteigenden Wahrscheinlichkeit) menschliche Haut umfasst. It can, if necessary, then, near field lighting of the vehicle 100 can be varied, for example, switched on, pulsed or to generate light patterns. It can then have a second color spectrum with respect to the same object 110 , preferably with respect to the same area of the object 110 , are detected in the light of the near field illumination. Based on pattern recognition, it can be determined that the region having a probability (exceeding a first threshold) comprises human skin.

Durch das in diesem Dokument beschriebene Verfahren 300 können die Wahrscheinlichkeit einer richtigen Erkennung eines Fußgängers wesentlich erhöht bzw. die Wahrscheinlichkeit einer fehlerhaften Erkennung verringert werden. By the method described in this document 300 The probability of a correct recognition of a pedestrian can be significantly increased or the probability of a faulty detection can be reduced.

Bevorzugt kann eine Musterkennung (alternativ oder zusätzlich) auf einen (im Verfahren 300 ermittelten) Unterschied zwischen dem ersten Farbspektrum und dem zweiten Farbspektrum angewandt werden, wobei festgestellt werden kann, dass der zumindest eine Bereich des Objekts 110 menschliche Haut umfasst, und somit das Objekt 110 ein Mensch ist. Preferably, a pattern identifier (alternatively or additionally) may be applied to a (in the method 300 determined) difference between the first color spectrum and the second color spectrum, wherein it can be determined that the at least one region of the object 110 human skin, and thus the object 110 a human being is.

Ferner kann zumindest ein Positionsparameter und/oder eine Verhaltenseigenschaft des Objekts 110 ermittelt werden. Außerdem kann zwischen einem erwachsenen Fußgänger und einem Kind, insbesondere anhand der Größe des Objekts 110, unterschieden werden. Furthermore, at least one position parameter and / or a behavior property of the object 110 be determined. In addition, between an adult pedestrian and a child, especially based on the size of the object 110 to be distinguished.

Es kann eine Ausgabe einer Fahrerinformation, insbesondere einer Warnung und/oder eine zumindest symbolische Darstellung der Anwesenheit eines Fußgängers in der Umgebung des Fahrzeugs 100, erfolgen. Dabei kann eine symbolische Darstellung eines Menschen in einem realen Kamerabild, insbesondere in einen Surround-View-Bild erfolgen. It can be an output of driver information, in particular a warning and / or an at least symbolic representation of the presence of a pedestrian in the surroundings of the vehicle 100 , respectively. In this case, a symbolic representation of a person in a real camera image, in particular in a surround view image done.

Anhängig von der ermittelten Position zumindest eines Teils des Objekts 110 kann eine Aktion eines Fahrerassistenzsystems, insbesondere ein Aktorik-Eingriff in das Fahrwerk des Fahrzeugs 100 (z.B. ein Lenk- und/oder Bremseigriff) passend zu der ermittelten Fußgängerinformation ausgeführt werden. Depending on the determined position of at least a part of the object 110 may be an action of a driver assistance system, in particular an actuator intervention in the chassis of the vehicle 100 (For example, a steering and / or braking action) are executed to match the determined pedestrian information.

Durch die in diesem Dokument beschriebenen Maßnahmen kann die Sicherheit für Fußgänger (insbesondere Kinder) erhöht werden. Des Weiteren können Fahrerinformation ermittelt und Souveränität beim Fahrer, Rangieren, Parken, etc. bewirkt werden. Außerdem können gesetzliche Anforderungen in Bezug auf Fahrerassistenzsysteme erfüllt werden. Die Maßnahmen können in kosteneffizienter Weise umgesetzt werden, da typischerweise keine zusätzliche Sensorik erforderlich ist. The measures described in this document can increase safety for pedestrians (especially children). Furthermore, driver information can be determined and driver sovereignty, maneuvering, parking, etc., can be effected. In addition, legal requirements regarding driver assistance systems can be met. The measures can be implemented in a cost-efficient manner, since typically no additional sensor technology is required.

Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen. The present invention is not limited to the embodiments shown. In particular, it should be noted that the description and figures are intended to illustrate only the principle of the proposed methods, apparatus and systems.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102007022524 A1 [0002]

Claims

Procedure ( 300 ) for detecting a living being in an environment of a vehicle ( 100 ), the process ( 300 ), - detecting ( 301 ) of sensor data relating to light coming from an area of an object ( 110 ) in the environment of the vehicle ( 100 ) goes out; - Determine ( 302 ), based on the sensor data, one or more color saturation and / or hue representing quantities ( 203 ) of the area of the object ( 110 ) outgoing light; and - determining ( 303 ), based on the one or more color saturation and / or hue representing sizes ( 203 ), whether the object ( 110 ) is a living being, especially a human being.

Procedure ( 300 ) according to claim 1, wherein - determining ( 302 ) of one or more color saturation and / or hue representing quantities ( 203 ) normalizing sensor data to determine one or more normalized color saturation and / or hue representative quantities, in particular a normalized color spectrum representative variable; and - it is determined on the basis of the normalized sensor data and / or on the basis of the variables representing one or more normalized color saturation and / or color hue, whether the object ( 110 ) is a living being, especially a human being.

Procedure ( 300 ) according to one of the preceding claims, wherein the determining ( 303 ), evaluating and / or comparing different color components, in particular different spectral components, of the variables representing one or more color saturation and / or color toning ( 203 ) of the area of the object ( 110 ) outgoing light.

Procedure ( 300 ) according to one of the preceding claims, wherein the determining ( 303 ), detecting, based on the one or more color saturation and / or hue representing sizes ( 203 ), a predefined characteristic spectral pattern for a human.

Procedure ( 300 ) according to one of the preceding claims, wherein - the method ( 300 ), emitting an illumination light by means of a lighting device of the vehicle ( 100 ), in particular by means of a near-field illumination device, on the area of the object ( 110 ); and - the sensor data relating to light detected by the area of the object ( 110 ) in response to the illumination light of the lighting device of the vehicle ( 100 ).

Procedure ( 300 ) according to claim 5, wherein - the illumination light of the illumination device of the vehicle has a predefined spectral property; and - it is also determined on the basis of the spectral property of the illumination light of the illumination device, whether the object ( 110 ) is about a human being.

Procedure ( 300 ) according to one of claims 5 to 6, wherein - emitting an illumination light from a lighting device, driving one or more light-emitting elements of the vehicle ( 100 ) to generate the illumination light, in particular with certain spectral properties; The one or more light-emitting elements comprise in particular one or more LEDs; and - the one or more light-emitting elements, in particular in a front, rear and / or side region of the vehicle ( 100 ) are arranged.

Procedure ( 300 ) according to any one of the preceding claims, wherein the process ( 300 ), determining quantities representing one or more first color saturation and / or hue ( 203 ); - causing that of the object ( 110 ) emits a changed light, with at least one changed property; Determining quantities representing one or more second color saturation and / or hue ( 203 ) of the object ( 110 ) outgoing, changed light; and determining, based on the quantities representing one or more first and second color saturation and / or hue ( 203 ), whether the object ( 110 ) is about a human being.

Procedure ( 300 ) according to claim 8, wherein the quantities (1) representing one or more first color saturation and / or color hues ( 203 ) and the quantities representing one or more second color saturation and / or coloring ( 203 ) at least partially on the same area of the object ( 110 ) Respectively.

Procedure ( 300 ) according to any one of claims 8 to 9, wherein causing the object to be ( 110 ), the activation of the illumination device of the vehicle, in particular of the near-field illumination device, such that - that on the object ( 110 ) emitted light is varied with time, in particular according to a predefined temporal pattern; and or A spectral composition of the illumination light emitted onto the object is varied, in particular according to a predefined spectral pattern; and / or - a spatial parameter of the illumination light emitted onto the object, in particular according to a predefined spatial pattern, is varied.

Procedure ( 300 ) according to one of claims 8 to 10, wherein on the basis of a comparison, in particular of a difference, between the quantities representing one or more first color saturation and / or coloring ( 203 ) and the quantities representing one or more second color saturation and / or hue ( 203 ) determines whether the object ( 110 ) is a living being, especially a human being.

Procedure ( 300 ) according to one of the preceding claims, wherein the method comprises, on the basis of the sensor data, a hypothesis that the area of the object ( 110 ) for the quantities representing the one or more color saturation and / or coloring ( 203 ) are determined to a skin area of the object ( 110 ).

Procedure ( 300 ) according to one of the preceding claims, wherein - the method comprises determining shape information with respect to the region of the object ( 110 ) and / or with respect to another area of the object ( 110 ); and - it is also determined on the basis of the shape information whether the object ( 110 ) is a living being, especially a human being.

Procedure ( 300 ) according to one of the preceding claims, wherein - the area of the object ( 110 ) for which sensor data are acquired, a spatially limited subarea of the object ( 110 ) corresponds; and - the subregion comprises at least a certain probability human skin.

Procedure ( 300 ) according to one of the preceding claims, wherein the determining ( 303 ), determining whether the object ( 110 ) is about an adult, a child or an animal.

Procedure ( 300 ) according to any one of the preceding claims, wherein the process ( 300 ), - determining a current and / or predicted movement trajectory of the vehicle ( 100 ); and - determining the environment of the vehicle ( 100 ), from which the sensor data are evaluated, depending on the movement trajectory.

Procedure ( 300 ) according to any one of the preceding claims, wherein the process ( 300 ) when it has been determined that the object ( 110 ) is a living being, - issuing or varying driver information; and / or - driving an actuator ( 103 ) of the vehicle ( 100 ).

Computer program that is set up to run on a processor, and thereby the method ( 300 ) according to one of the preceding claims.

Contraption ( 101 ) for a vehicle ( 100 ), the device ( 101 ) sensor data relating to light emitted by an area of an object ( 110 ) in the environment of the vehicle ( 100 ) to determine; On the basis of the sensor data, a color saturation and / or color representing size ( 203 ) of the area of the object ( 110 ) of outgoing light; and - size representing color saturation and / or coloration ( 203 ) to determine if the object ( 110 ) is a living being, especially a human being.