DE102019207700A1 - Classification device for object detection in environment sensor data and methods - Google Patents

Classification device for object detection in environment sensor data and methods Download PDF

Info

Publication number
DE102019207700A1
DE102019207700A1 DE102019207700.5A DE102019207700A DE102019207700A1 DE 102019207700 A1 DE102019207700 A1 DE 102019207700A1 DE 102019207700 A DE102019207700 A DE 102019207700A DE 102019207700 A1 DE102019207700 A1 DE 102019207700A1
Authority
DE
Germany
Prior art keywords
feature
class
sensor data
identified
classification device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102019207700.5A
Other languages
German (de)
Inventor
Jörg Angermayer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102019207700.5A priority Critical patent/DE102019207700A1/en
Publication of DE102019207700A1 publication Critical patent/DE102019207700A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers

Abstract

Die Erfindung betrifft eine Klassifikationsvorrichtung (3, 3a) zur Objektdetektion in Umfeldsensordaten eines Fahrzeuges. Ferner betrifft die Erfindung ein Verfahren, ein Fahrerassistenzsystem und ein Computerprogramm als auch ein computerlesbares Speichermedium.The invention relates to a classification device (3, 3a) for object detection in environment sensor data of a vehicle. The invention also relates to a method, a driver assistance system and a computer program as well as a computer-readable storage medium.

Description

Die Erfindung betrifft eine Klassifikationsvorrichtung zur Objektdetektion eines Objektes in Umfeldsensordaten. Ferner betrifft die Erfindung noch ein Fahrerassistenzsystem mit einer solchen Klassifikationsvorrichtung, ein Verfahren zur Objektdetektion in Umfeldsensordaten mittels einer solchen Klassifikationsvorrichtung sowie ein Computerprogramm und ein computerlesbares Medium.The invention relates to a classification device for object detection of an object in environment sensor data. The invention also relates to a driver assistance system with such a classification device, a method for object detection in surroundings sensor data by means of such a classification device, and a computer program and a computer-readable medium.

Fahrerassistenzsysteme in Kraftfahrzeugen unterstützen den Fahrer in einer Vielzahl von unterschiedlichen Verkehrssituationen. Dabei wird eine Umgebung des Fahrzeugs mit einem geeigneten Erfassungsmittel, einer hochauflösenden Kamera oder einem Radar-System, erfasst. Aus dem erfassten Bild bzw. den erfassten Daten werden dabei entsprechende Objekte extrahiert, die zur Fahrerassistenz genutzt werden können. Entsprechende Objekterkennungsvorrichtungen ordnen hierbei erkannte Objekte mittels eines trainierten generischen Klassifikators einem Objekttyp zu. Solche Objekterkennungsvorrichtungen verwenden für gewöhnlich eine einfache Heuristik um viele unterschiedliche Objekte klassifizieren zu können. Auf der Grundlage von Klassifikationsverfahren erstellte Softwaremodule zur Klassifizierung werden als Klassifikatoren bezeichnet.Driver assistance systems in motor vehicles support the driver in a large number of different traffic situations. The surroundings of the vehicle are recorded with a suitable recording means, a high-resolution camera or a radar system. Corresponding objects that can be used for driver assistance are extracted from the captured image or the captured data. Corresponding object recognition devices assign recognized objects to an object type using a trained generic classifier. Such object recognition devices usually use a simple heuristic in order to be able to classify many different objects. Software modules for classification created on the basis of classification methods are referred to as classifiers.

Oftmals besteht das Problem, dass durch die Objekterkennungsvorrichtung die Objekte im Umfeld des Fahrzeugs nur ungenau erkannt werden können. Aufgrund nur ungenau erkannter Objekte können Fehleinschätzungen durch das Fahrerassistenzsystem entstehen, welche zu gefährlichen Fahrsituationen führen können.The problem often arises that the objects in the vicinity of the vehicle can only be recognized imprecisely by the object recognition device. As a result of only inaccurately recognized objects, incorrect assessments can arise by the driver assistance system, which can lead to dangerous driving situations.

Die DE 11 2009 000 480 T5 offenbart ein Kamerasystem mit einer Bilderfassungsvorrichtung mit einem Blickfeld, die Bilddaten erzeugt, die ein Bild des Blickfeldes darstellen; und einem Objektdetektionsmodul, das mit der Bilderfassungsvorrichtung verbunden ist. Dabei ist das Objektdetektionsmodul betriebsfähig, um festzustellen, ob ein Objekt in einem Bild ein Mitglied einer Objektklasse ist oder nicht. Dabei umfasst das Objektdetektionsmodul mehrere Entscheidungsschritte, die in einer Kaskadenkonfiguration konfiguriert sind, wobei mindestens einer der mehrere Entscheidungsschritte betriebsfähig ist, um ein Objekt als Mitglied der Objektklasse anzunehmen, ein Objekt als Mitglied der Objektklasse abzulehnen, und einen nächsten Schritt heranzuziehen, um festzustellen, ob ein Objekt ein Mitglied der Objektklasse ist oder nicht.The DE 11 2009 000 480 T5 discloses a camera system having an image capture device having a field of view that generates image data representing an image of the field of view; and an object detection module connected to the image capture device. The object detection module is operable to determine whether or not an object in an image is a member of an object class. The object detection module comprises several decision steps that are configured in a cascade configuration, with at least one of the several decision steps being operational to accept an object as a member of the object class, reject an object as a member of the object class, and use a next step to determine whether an object is or is not a member of the object class.

Der Erfindung liegt die Aufgabe zugrunde, Mittel zur Objektdetektion in Umfeldsensordaten mit erhöhter Leistungsfähigkeit zur Verfügung zu stellen.The invention is based on the object of providing means for object detection in environment sensor data with increased performance.

Die Aufgabe wird gelöst durch eine Klassifikationsvorrichtung mit den Merkmalen des Anspruchs 1, einem Fahrerassistenzsystem mit den Merkmalen des Anspruchs 12 und ein Verfahren mit den Merkmalen des Anspruchs 13. Ferner wird die Aufgabe gelöst durch die Angabe eines Computerprogramms mit den Merkmalen des Anspruchs 14 und ein computerlesbares Medium mit den Merkmalen des Anspruchs 15.The object is achieved by a classification device with the features of claim 1, a driver assistance system with the features of claim 12 and a method with the features of claim 13. Furthermore, the object is achieved by specifying a computer program with the features of claim 14 and a Computer readable medium with the features of claim 15.

In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die beliebig geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.The subclaims list further advantageous measures that can be combined with one another in any suitable manner in order to achieve further advantages.

Die Aufgabe wird gelöst durch eine Klassifikationsvorrichtung zur Objektdetektion eines Objektes in Umfeldsensordaten eines Fahrzeugs umfassend:

  • ein Sensorsystem zur Bereitstellung von Umfeldsensordaten von einem Umfeld eines Fahrzeugs,
  • einen Kaskadenklassifikator mit einer vorgegebenen Anzahl von hierarchisch aufeinander aufbauenden Hierarchieebenen, wobei in jeder Hierarchieebene zumindest eine Merkmalsklasse mit Referenzmerkmalen vorgesehen ist,
  • wobei zumindest ein Referenzmerkmal einer jeweils höheren Hierarchieebene mit einer vorbestimmten Merkmalsklasse, welche auf einer, der höheren Hierarchieebene hierarchisch nachfolgenden unteren Hierarchieebene angeordnet ist, verknüpft ist,
  • wobei die verknüpfte Merkmalsklasse auf der unteren Hierarchieebene als Referenzmerkmale die Unterreferenzmerkmale des Referenzmerkmals auf der höheren Hierarchieebene umfasst,
  • eine Detektionseinheit, welche dazu ausgebildet ist, die zumindest eine Merkmalsklasse der ersten Hierarchieebene als identifiziert anzunehmen und welche ferner dazu ausgebildet ist, die Umfeldsensordaten mit den, durch eine identifizierte Merkmalsklasse vorgegebenen Referenzmerkmale zu vergleichen und bei einem positiven Vergleich, das jeweils positiv verglichene Referenzmerkmal sowie die, mit dem positiv verglichenen Referenzmerkmal verknüpfte Merkmalsklasse als identifiziert anzunehmen und
  • jedes nicht identifizierte Referenzmerkmal als auch die zu dem nicht identifizierten Referenzmerkmal verknüpfte Merkmalsklasse zu verwerfen.
The object is achieved by a classification device for object detection of an object in environment sensor data of a vehicle, comprising:
  • a sensor system for providing environment sensor data from the environment of a vehicle,
  • a cascade classifier with a predetermined number of hierarchical levels building on one another, with at least one feature class with reference features being provided in each hierarchy level,
  • wherein at least one reference feature of a higher hierarchical level is linked to a predetermined feature class which is arranged on a lower hierarchical level that follows the higher hierarchical level,
  • wherein the linked feature class on the lower hierarchical level comprises, as reference features, the sub-reference features of the reference feature on the higher hierarchical level,
  • a detection unit which is designed to accept the at least one feature class of the first hierarchical level as identified and which is also designed to compare the environment sensor data with the reference features specified by an identified feature class and, in the case of a positive comparison, the respectively positively compared reference feature and to accept the feature class linked to the positively compared reference feature as identified and
  • discard each unidentified reference feature as well as the feature class linked to the unidentified reference feature.

Hierarchisch aufeinander aufbauend bedeutet hierbei, dass die Merkmalsklassen in verschiedenen Hierarchieebenen, welche hier mit 01, ..., 0N, bezeichnet werden, liegen.Hierarchically building on one another means here that the feature classes are in different hierarchical levels, which are designated here with 01, ..., 0N.

Sensordaten sind hierbei bearbeitbare Sensorsignale, welche mit einem Sensorsystem erzeugt werden. Ein Sensorsystem umfasst ein oder mehrere Sensoren, welche auch unterschiedlicher Bauart sein können, beispielsweise Lidar-/ Radarsensoren, Kamerasensoren etc.Sensor data are processable sensor signals that are generated with a sensor system. A sensor system comprises one or more sensors, which can also be of different types, for example lidar / radar sensors, camera sensors, etc.

Umfeldsensordaten eines Fahrzeugs sind Sensordaten, welche vorzugsweise durch am oder im Fahrzeug angeordnete Sensoren erzeugt werden. Alternativ oder zusätzlich können diese auch durch externe nicht am Fahrzeug angeordnete Sensoren erzeugt werden.Environment sensor data of a vehicle are sensor data which are preferably generated by sensors arranged on or in the vehicle. Alternatively or additionally, these can also be generated by external sensors that are not arranged on the vehicle.

Ein Unterreferenzmerkmal ist eine Verfeinerung/ Detaillierung des jeweiligen Referenzmerkmals; so sind beispielsweise „Metall“, „Holz“, „Stoff“ Unterreferenzmerkmale zu „Material“.A sub-reference feature is a refinement / detailing of the respective reference feature; for example, “metal”, “wood”, “fabric” are sub-reference characteristics to “material”.

Dabei heißt verworfen, dass die Detektionseinheit ein nicht identifiziertes Referenzmerkmal als auch, bei Vorhandensein, die zu dem nicht identifizierten Referenzmerkmal verknüpfte Merkmalsklasse nicht mehr berücksichtigt bzw. nicht mehr weiterverfolgt.In this context, rejected means that the detection unit no longer takes into account or no longer follows up an unidentified reference feature and, if present, the feature class linked to the unidentified reference feature.

Dabei bedeutet positiver Vergleich, dass ein Annahmeschwellenwert vorgesehen ist und bei einem vorgegebenen Annahmeschwellenwert, das Referenzmerkmal in den Umfeldsensordaten als erkannt vorliegt. Dieser Annahmeschwellenwert kann eine Wahrscheinlichkeit sein. Wird der Annahmeschwellenwert beispielsweise bei 80% festgesetzt, so muss mit 80% Wahrscheinlichkeit das Referenzmerkmal in den Umfeldsensordaten als erkannt gelten, um einen positiven Vergleich zu erlangen. Auch andere Annahmeschwellenwerte sind jedoch möglich.In this context, a positive comparison means that an acceptance threshold value is provided and, given a predefined acceptance threshold value, the reference feature is present as recognized in the surroundings sensor data. This acceptance threshold can be a probability. If the acceptance threshold value is set at 80%, for example, then the reference feature in the environment sensor data must be considered recognized with an 80% probability in order to obtain a positive comparison. However, other acceptance thresholds are also possible.

Durch die hier vorgestellte Klassifikationsvorrichtung sind detektierte Objekte in Umfeldsensordaten nicht mehr lediglich durch einen generischen Klassifikator, sondern durch den erfindungsgemäßen hierarchischen Kaskadenklassifikator klassifizierbar. Dies ermöglicht eine schnellere Detektion von Objekten und auch eine Detektion von nur schwer erkennbaren Objekten.
Durch das kaskadieren, insbesondere durch das Verwerfen von Referenzmerkmalen auf allen Hierarchieebenen kann die Klassifikationsvorrichtung eine verbesserte Entscheidung treffen und dabei Ressourcen schonen.As a result of the classification device presented here, detected objects in environment sensor data can no longer be classified only by a generic classifier, but by the hierarchical cascade classifier according to the invention. This enables faster detection of objects and also the detection of objects that are difficult to recognize.
By cascading, in particular by discarding reference features on all hierarchical levels, the classification device can make an improved decision while conserving resources.

Dabei untersucht die Detektionseinheit vorzugsweise nur diejenigen Umfeldsensordaten in denen die zuvor identifizierten Referenzmerkmale liegen. Somit werden Berechnungsergebnisse von einer Hierarchieebene zur nächsten weitergegeben. Dadurch werden Ressourcen gespart. Zudem kann hierdurch ein schnellerer und genauerer Vergleich getroffen werden.The detection unit preferably only examines those environment sensor data in which the previously identified reference features are located. Thus, calculation results are passed on from one hierarchical level to the next. This saves resources. In addition, a faster and more accurate comparison can be made.

Vorzugsweise ist die Detektionseinheit dazu ausgelegt, den Vergleich der Umfeldsensordaten mit den, durch die identifizierte Merkmalsklasse, vorgegebenen Referenzmerkmale mit einem Verfahren aus der künstlichen Intelligenz durchzuführen. Vorzugsweise ist das Verfahren ein Verfahren des Maschinellen Lernens, insbesondere ein künstliches neuronales Netz. Insbesondere kann durch ein solches Verfahren die Auswertung in Echtzeit erfolgen, sodass das Fahrerassistenzsystem bzw. das Fahrzeug schnell auf die jeweiligen Erkenntnisse reagieren kann. Durch die Verwendung eines solchen Verfahrens können große Datenmenge einfach verarbeitet und komplexe Zusammenhänge erfasst werden.The detection unit is preferably designed to carry out the comparison of the environment sensor data with the reference features specified by the identified feature class using a method from artificial intelligence. The method is preferably a machine learning method, in particular an artificial neural network. In particular, the evaluation can take place in real time using such a method, so that the driver assistance system or the vehicle can react quickly to the respective findings. By using such a method, large amounts of data can be processed easily and complex relationships can be recorded.

Ferner ist eine Verfahrensdatenbank vorgesehen, wobei die Detektionseinheit dazu ausgelegt ist, das Verfahren in Abhängigkeit von den, durch die identifizierten Merkmalsklassen, vorgegebenen Referenzmerkmale und/oder in Abhängigkeit von den identifizierten Merkmalsklassen aus der Verfahrensdatenbank auszuwählen.A method database is also provided, the detection unit being designed to select the method from the method database as a function of the reference features specified by the identified feature classes and / or as a function of the identified feature classes.

Dabei kann das Verfahren an den Schwierigkeitsgrad oder der Art des Vergleiches der Umfeldsensordaten mit den Referenzmerkmalen angepasst werden. Abhängig von der identifizierten Merkmalsklasse wird jetzt der beste oder die besten Algorithmen für den Vergleich automatisch ausgewählt. Dadurch werden nur die Algorithmen aktiviert, die wirklich grade benötigt werden. Somit wird die benötigte Laufzeit zur Erkennung eines Objektes erheblich reduziert.The method can be adapted to the degree of difficulty or the type of comparison of the environment sensor data with the reference features. Depending on the identified feature class, the best or the best algorithms are now automatically selected for the comparison. This means that only the algorithms that are really needed are activated. This significantly reduces the runtime required to detect an object.

Vorzugsweise ist das Sensorsystem zum Aufnehmen eines Innenraums eines Fahrzeugs ausgestaltet, so dass die Umfeldsensordaten Innenraumsensordaten sind. Dadurch können Objekte im Innenraum eines Fahrzeugs erkannt werden.The sensor system is preferably designed to record an interior of a vehicle, so that the environment sensor data are interior sensor data. This allows objects in the interior of a vehicle to be recognized.

Vorzugsweise umfassen die Referenzmerkmale statische und/oder dynamische Eigenschaften und/oder Beschaffenheiten von Objekten. Die Referenzmerkmale sind dahingehend ausgelegt, dass sie zur Beschreibung eines Objektes geeignet sind. Ferner sind sie dazu ausgelegt, sich in Umfeldsensordaten detektieren zu lassen.The reference features preferably include static and / or dynamic properties and / or properties of objects. The reference features are designed in such a way that they are suitable for describing an object. They are also designed to be detected in environment sensor data.

In weiterer vorteilhafter Ausgestaltung ist eine Aktionsdatenbank vorgesehen, welche dazu ausgelegt ist, in Abhängigkeit von den identifizierten Referenzmerkmalen ein Aktionssignal auszugeben. Dadurch können der Fahrer bzw. die Insassen eines Fahrzeugs auf Objekte hingewiesen werden, welche eine Gefährdung des Fahrers bzw. der Insassen des Fahrzeugs darstellen.In a further advantageous embodiment, an action database is provided which is designed to output an action signal as a function of the identified reference features. As a result, the driver or the occupants of a vehicle can be made aware of objects which represent a risk to the driver or the occupants of the vehicle.

In bevorzugter Ausgestaltung ist eine Objektdatenbank mit Objekten vorgegeben, wobei die Klassifikationsvorrichtung dazu ausgebildet ist, mittels der identifizierten Referenzmerkmale ein Objekt in der Objektdatenbank als detektiertes Objekt zu bestimmen. Dazu sind dem Objekt Objektmerkmale in der Objektdatenbank zugeordnet. Die als positiv identifizierten Referenzmerkmale werden zusammengefasst und mit den, zu dem Objekt gehörenden Objektmerkmalen in der Objektdatenbank verglichen. Dadurch werden die positiv identifizierten Referenzmerkmale auf ein Objekt abgebildet und das Objekt gilt, bei genügend hoher Übereinstimmung, als in den Umfeldsensordaten detektiert. Dem Objekt ist vorzugsweise eine Gefahrenstufe zugewiesen, d.h. jedes Objekt ist mit einer Gefahrenstufe in der Objektdatenbank hinterlegt. Vorzugsweise ist eine Aktionsdatenbank vorgesehen, welche dazu ausgelegt ist, in Abhängigkeit von dem detektierten Objekt ein Aktionssignal auszugeben.In a preferred embodiment, an object database with objects is specified, the classification device being designed to use the identified reference features to determine an object in the object database as the detected object. For this purpose, object features are assigned to the object in the object database. The reference features identified as positive are summarized and compared with the object features belonging to the object in the object database. As a result, the positively identified reference features are mapped onto an object and the object is deemed to have been detected in the surroundings sensor data if there is a sufficiently high degree of correspondence. A danger level is preferably assigned to the object, ie each object is stored with a danger level in the object database. An action database is preferably provided which is designed to output an action signal as a function of the detected object.

Bevorzugt ist ein Annahmeschwellenwert vorgesehen, wobei die Detektionseinheit dazu ausgelegt ist, den Vergleich in Abhängigkeit von einem vorgegebenen Annahmeschwellenwert als positiv einzustufen. Vorzugsweise gibt der Annahmeschwellenwert die Wahrscheinlichkeit an, mit welcher das Referenzmerkmal in den Umfeldsensordaten als durch die Detektionseinheit erkannt vorliegt. Der Annahmeschwellenwert kann vorab in der Detektionseinheit hinterlegt sein. Dadurch lässt sich einfach ermitteln, ob ein positiver Vergleich zwischen Umfeldsensordaten und Referenzmerkmalen vorliegt.An acceptance threshold value is preferably provided, the detection unit being designed to classify the comparison as positive as a function of a predefined acceptance threshold value. The acceptance threshold value preferably indicates the probability with which the reference feature is present in the surroundings sensor data as being recognized by the detection unit. The acceptance threshold value can be stored in the detection unit in advance. This makes it easy to determine whether there is a positive comparison between the environment sensor data and reference features.

Ferner wird die Aufgabe gelöst durch ein Fahrerassistenzsystem mit einer wie oben beschriebenen Klassifikationsvorrichtung, wobei das Fahrerassistenzsystem ein Head-Up-Display, eine Anzeigeeinheit und/oder akustische Informationseinheit aufweist. Somit können beispielsweise die durch die Klassifikationsvorrichtung generierten Aktionssignale als Warnung angezeigt werden. Die Warnung ist beispielsweise visuell oder akustisch wahrnehmbar. Die akustische Informationseinheit ist beispielsweise eine Lautsprechereinheit oder eine Sprachausgabeeinheit. Ferner können anhand der detektierten Objekte, beispielsweise im Innenraum des Fahrzeugs, die Funktionen, die nicht sicherheitsrelevant sind abgeschaltet werden, um sicherheitsrelevante Funktionen bevorzugt auszuführen. Dabei kann die Entscheidung, ob eine Funktion sicherheitsrelevant ist oder nicht sicherheitsrelevant ist, vom Fahrerassistenzsystem anhand der detektierten Objekte getroffen werden.The object is also achieved by a driver assistance system with a classification device as described above, the driver assistance system having a head-up display, a display unit and / or an acoustic information unit. Thus, for example, the action signals generated by the classification device can be displayed as a warning. The warning can be perceived visually or acoustically, for example. The acoustic information unit is, for example, a loudspeaker unit or a voice output unit. Furthermore, on the basis of the detected objects, for example in the interior of the vehicle, the functions that are not safety-relevant can be switched off in order to preferably carry out safety-relevant functions. The decision as to whether a function is safety-relevant or not safety-relevant can be made by the driver assistance system on the basis of the detected objects.

Die Aufgabe wird ferner gelöst durch die Angabe eines Verfahrens zur Objektdetektion eines Objektes in Umfeldsensordaten eines Fahrzeugs, umfassend der Schritte:

  • - Bereitstellen von Umfeldsensordaten von einem Umfeld eines Fahrzeugs durch ein Sensorsystem,
  • - Bereitstellen eines Kaskadenklassifikators mit einer vorgegebenen Anzahl von hierarchisch aufeinander aufbauenden Hierarchieebenen, wobei in jeder Hierarchieebene zumindest eine Merkmalsklasse mit Referenzmerkmalen, vorgesehen ist, wobei zumindest ein Referenzmerkmal einer jeweils höheren Hierarchieebene mit einer vorbestimmten Merkmalsklasse, welche auf einer, der höheren Hierarchieebene hierarchisch nachfolgenden unteren Hierarchieebene angeordnet ist, verknüpft ist, wobei die verknüpfte Merkmalsklasse auf der unteren Hierarchieebene als Referenzmerkmale die Unterreferenzmerkmale des Referenzmerkmals auf der höheren Hierarchieebene umfasst,
  • - Annehmen der zumindest einen Merkmalsklasse der ersten Hierarchieebene als identifiziert durch eine Detektionseinheit,
  • - Vergleichen der Umfeldsensordaten mit den, durch eine identifizierte Merkmalsklasse vorgegebenen Referenzmerkmalen durch die Detektionseinheit,
  • - Annahme bei einem positiven Vergleich, das jeweils positiv verglichene Referenzmerkmal sowie der, mit dem positiv verglichenen Referenzmerkmal verknüpften Merkmalsklasse als identifiziert,
  • - Verwerfen eines jeweils nicht identifizierten Referenzmerkmales als auch der, zu dem nicht identifizierten Referenzmerkmal verknüpften Merkmalsklasse.
The object is also achieved by specifying a method for object detection of an object in environment sensor data of a vehicle, comprising the steps:
  • - Provision of environment sensor data from the environment of a vehicle by a sensor system,
  • - Provision of a cascade classifier with a predetermined number of hierarchically building up hierarchical levels, with at least one feature class with reference features being provided in each hierarchy level, with at least one reference feature of a respective higher hierarchy level with a predetermined feature class, which is on a hierarchically following lower hierarchy level Hierarchical level is arranged, is linked, the linked feature class on the lower hierarchical level as reference features comprising the sub-reference features of the reference feature on the higher hierarchical level,
  • - Accepting the at least one feature class of the first hierarchical level as identified by a detection unit,
  • - Comparison of the surroundings sensor data with the reference features specified by an identified feature class by the detection unit,
  • - Assumption in the case of a positive comparison that the respective positively compared reference feature as well as the feature class linked to the positively compared reference feature are identified,
  • Discarding a respectively unidentified reference feature and also the feature class linked to the unidentified reference feature.

Die Vorteile der Klassifikationsvorrichtung können auch auf das Verfahren übertragen werden.The advantages of the classification device can also be transferred to the method.

Weiterhin wird die Aufgabe gelöst durch ein Computerprogramm, umfassend Befehle, die bewirken, dass die wie oben beschriebene Klassifikationsvorrichtung das wie oben beschriebene Verfahren durchführt. Dadurch kann das Verfahren auch noch nachträglich vereinfacht in Fahrzeuge mit einem dafür ausgelegten Fahrerassistenzsystem installiert werden.Furthermore, the object is achieved by a computer program comprising commands which cause the classification device as described above to carry out the method as described above. As a result, the method can also be installed subsequently in a simplified manner in vehicles with a driver assistance system designed for this purpose.

Ferner wird die Aufgabe gelöst durch ein computerlesbares Medium, auf dem das wie oben beschriebene Computerprogramm gespeichert ist. Dadurch lässt sich das Computerprogramm einfach in Fahrzeuge installieren oder updaten.The object is also achieved by a computer-readable medium on which the computer program as described above is stored. This makes it easy to install or update the computer program in vehicles.

Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

  • 1: ein Fahrerassistenzsystem gemäß der Erfindung,
  • 2: eine erste Ausgestaltung einer erfindungsgemäßen Klassifikationsvorrichtung,
  • 3: eine erfindungsgemäße Verfahrensdatenbank für die Klassifikationsvorrichtung,
  • 4: eine zweite Ausgestaltung einer erfindungsgemäßen Klassifikationsvorrichtung,
  • 5: eine Ausgestaltung eines erfindungsgemäßen Verfahrens.
Further features, properties and advantages of the present invention emerge from the following description with reference to the accompanying figures. They show schematically:
  • 1 : a driver assistance system according to the invention,
  • 2 : a first embodiment of a classification device according to the invention,
  • 3 : a method database according to the invention for the classification device,
  • 4th : a second embodiment of a classification device according to the invention,
  • 5 : an embodiment of a method according to the invention.

Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt. Variationen hiervon können vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung, wie er durch die nachfolgenden Patentansprüche definiert wird, zu verlassen.Although the invention has been illustrated and described in detail by the preferred exemplary embodiments, the invention is not restricted by the examples disclosed. Variations on this can be derived by the person skilled in the art without departing from the scope of protection of the invention as defined by the following patent claims.

1 zeigt ein Fahrerassistenzsystem 1 mit einer Klassifikationsvorrichtung 3 gemäß der Erfindung. Das Fahrerassistenzsystem 1 weist dabei ein Head-Up Display 7 und/oder eine andere Anzeigeeinheit auf. Das Fahrerassistenzsystem 1 weist ferner eine Klassifikationsvorrichtung 3 auf. Die Klassifikationsvorrichtung 3 weist ein Sensorsystem 2 mit mehreren Sensoren zur Aufnahme des Innenraums und/oder des Außenraums eines Fahrzeugs auf. 1 shows a driver assistance system 1 with a classification device 3 according to the invention. The driver assistance system 1 has a head-up display 7th and / or another display unit. The driver assistance system 1 further comprises a classification device 3 on. The classification device 3 exhibits a sensor system 2 with several sensors for recording the interior and / or the exterior of a vehicle.

Das Sensorsystem 2 stellt die Aufnahmen in Form von Umfeldsensordaten bereit. Die Sensoren können dabei Lidar- und/oder Radarsensoren als auch Kamerasysteme für die Aufnahme des Innen- und/oder des Außenraums umfassen.The sensor system 2 provides the recordings in the form of environment sensor data. The sensors can include lidar and / or radar sensors as well as camera systems for recording the interior and / or exterior.

Die Klassifikationsvorrichtung 3 umfasst weiterhin einen Kaskadenklassifikator 4. Dieser weist eine hierarchische Struktur mit verschiedenen
Hierarchieebenen 01, ...,0N (2) mit jeweils unterschiedlichen Merkmalsklassen auf, wobei die Merkmalsklassen jeweils verschiedene Referenzmerkmale enthalten.The classification device 3 further comprises a cascade classifier 4th . This has a hierarchical structure with different
Hierarchy levels 01 , . .., 0N ( 2 ) each with different feature classes, the feature classes each containing different reference features.

Referenzmerkmale können z. B. sein: die Beschaffenheit oder Eigenschaften von Gegenständen und/oder Menschen und /oder Tieren etc., welche geeignet sind, in den Umfeldsensordaten detektiert zu werden und den Gegenstand/Mensch/Tier zu beschreiben, wie beispielsweise: Material, Haut, Volumen, Länge, Gewicht.Reference features can e.g. B. be: the nature or properties of objects and / or people and / or animals etc. which are suitable to be detected in the environment sensor data and to describe the object / person / animal, such as: material, skin, volume, Length, weight.

Ferner können den Referenzmerkmalen noch verschiedene Gefahrenstufen zugeordnet werden. So kann beispielsweise der Eigenschaft „Metall“ eine höhere Gefahrenstufe als „Stoff“ zugeordnet werden. Die Referenzmerkmale können ebenfalls in Form von Regeln zur Identifizierung von Objekten vorliegen, wobei die Regeln hier ebenfalls als Referenzmerkmale bezeichnet werden.Furthermore, different levels of danger can be assigned to the reference features. For example, the property “metal” can be assigned a higher hazard level than “substance”. The reference features can also be in the form of rules for identifying objects, the rules also being referred to here as reference features.

Ferner umfasst die Klassifikationsvorrichtung 3 eine Detektionseinheit 5. Diese ist dazu ausgebildet, einen Vergleich der durch den Kaskadenklassifikator 4 vorgegebenen Referenzmerkmale mit den aufgenommenen Umfeldsensordaten zu bewerkstelligen.The classification device further comprises 3 a detection unit 5 . This is designed to enable a comparison to be made with the cascade classifier 4th to accomplish predetermined reference features with the recorded environment sensor data.

Nach Durchlaufen des Kaskadenklassifikators 4 können die durch die Klassifikationsvorrichtung 3 als positiv identifizierten Referenzmerkmale zusammengefasst und mit, zu einem Objekt gehörenden Objektmerkmalen in einer Objektdatenbank OD (4) verglichen werden. Anschließend wird das Objekt mit dem meisten Übereinstimmungen mit den identifizierten Referenzmerkmalen ausgewählt. Das Objekt gilt, bei genügend hoher Übereinstimmung, als in den Umfeldsensordaten detektiert. Dadurch werden die positiv identifizierten Referenzmerkmale auf ein Objekt abgebildet. Dem Objekt ist vorzugsweise durch die Objektdatenbank OD (4) eine Gefahrenstufe zugewiesen, d.h. jedes Objekt ist mit einer Gefahrenstufe in der Objektdatenbank OD (4) hinterlegt.After going through the cascade classifier 4th can that through the classification device 3 summarized as positively identified reference features and with object features belonging to an object in an object database OD ( 4th ) can be compared. Then the object with the most matches with the identified reference features is selected. If the match is sufficiently high, the object is considered to be detected in the surroundings sensor data. As a result, the positively identified reference features are mapped onto an object. The object is preferably through the object database OD ( 4th ) assigned a hazard level, ie each object has a hazard level in the object database OD ( 4th ) deposited.

Dadurch wird das Objekt detektiert. Anhand des detektierten Objektes durch die Klassifikationsvorrichtung 3 kann eine Aktion vorzugsweise in Form eines Aktionssignals ausgegeben werden. Alternativ kann anhand der positiv identifizierten Referenzmerkmale eine Aktion vorzugsweise in Form eines Aktionssignals ausgegeben werden. Das Aktionssignal kann beispielsweise an das Fahrerassistenzsystem 1 übertragen und beispielsweise als Anzeige über ein Head-Up-Display 7 ausgegeben werden.This will detect the object. On the basis of the detected object by the classification device 3 an action can preferably be output in the form of an action signal. Alternatively, based on the positively identified reference features, an action can be output, preferably in the form of an action signal. The action signal can be sent to the driver assistance system, for example 1 and for example as a display on a head-up display 7th are issued.

So kann beispielsweise bei Erkennen eines metallischen spitzen Gegenstandes im Fahrzeuginnenraum ein Warnsignal auf dem Head-Up-Display 7 angezeigt werden.For example, if a metallic, pointed object is detected in the vehicle interior, a warning signal can be displayed on the head-up display 7th are displayed.

Die Detektionseinheit 5 weist vorzugsweise für den Vergleich zwischen Umfeldsensordaten und einem Referenzmerkmal eine Verfahrensdatenbank 6 auf. Dies bedeutet, dass je nach Merkmalsklasse und/oder Referenzmerkmal ein unterschiedliches Verfahren verwendet werden kann, d. h. die Merkmalsklasse oder das Referenzmerkmal mit einem zu verwendenden Verfahren verknüpft ist.
Die verschiedenen Verfahren sind vorzugsweise Verfahren aus der künstlichen Intelligenz.The detection unit 5 preferably has a method database for the comparison between environment sensor data and a reference feature 6th on. This means that, depending on the feature class and / or reference feature, a different method can be used, ie the feature class or the reference feature is linked to a method to be used.
The various methods are preferably methods from artificial intelligence.

Dabei bedeutet positiver Vergleich, dass bei einem vorgegebenen Annahmeschwellenwert, das Referenzmerkmal in den Umfeldsensordaten als erkannt vorliegt. Dieser Annahmeschwellenwert kann eine Wahrscheinlichkeit sein. Wird dieser bei 80% festgesetzt, so muss beispielsweise mit 80% Wahrscheinlichkeit das Referenzmerkmal in den Umfeldsensordaten als erkannt gelten, um einen positiven Vergleich zu erlangen. Der Annahmeschwellenwert ist vorzugsweise in der Detektionseinheit 5 hinterlegt.In this context, a positive comparison means that, given a predetermined acceptance threshold value, the reference feature is present as recognized in the environment sensor data. This acceptance threshold can be a probability. If this is set at 80%, then for example 80% Probability to apply the reference feature in the environment sensor data as recognized in order to obtain a positive comparison. The acceptance threshold is preferably in the detection unit 5 deposited.

2 zeigt ein Ausführungsbeispiel einer Klassifikationsvorrichtung 3 mit einem ersten Kaskadenklassifikator 4 gemäß der Erfindung. 2 shows an embodiment of a classification device 3 with a first cascade classifier 4th according to the invention.

Die Klassifikationsvorrichtung 3 weist ein Sensorsystem 2 auf. Das Sensorsystem 2 kann Lidar- und/ oder Radarsensoren und/oder Kamerasysteme zur Erzeugung von Umfeldsensordaten umfassen. Dabei können die Umfeldsensordaten den Innenraum eines Fahrzeuges und/oder den Außenraum eines Fahrzeuges abbilden.The classification device 3 exhibits a sensor system 2 on. The sensor system 2 can include lidar and / or radar sensors and / or camera systems for generating environment sensor data. The environment sensor data can map the interior of a vehicle and / or the exterior of a vehicle.

Die Klassifikationsvorrichtung 3 weist einen Kaskadenklassifikator 4 auf. Der Kaskadenklassifikator 4 weist hierarchisch aufeinander aufbauende Merkmalsklassen auf, welche hier mit „Class“ bezeichnet werden. Hierarchisch aufeinander aufbauend bedeutet hierbei, dass die Merkmalsklassen in verschiedenen Hierarchieebenen, welche hier mit 01...,0N, wobei 0N hier 4 ist, bezeichnet werden, liegen. Es sei hier darauf hingewiesen, dass andere Beispiele mehr oder weniger Hierarchieebenen aufweisen können.The classification device 3 assigns a cascade classifier 4th on. The cascade classifier 4th has feature classes that build on one another hierarchically and are referred to here as "Class". Hierarchically building on one another means that the feature classes are in different hierarchical levels, which are designated here with 01 ..., 0N, where 0N is 4 here. It should be pointed out here that other examples can have more or fewer hierarchical levels.

Jede der Merkmalsklassen umfasst dabei vorgegebene Referenzmerkmale. Dabei sind Referenzmerkmale auch Regeln, die zur Erkennung eines Objektes führen können. Diese werden ebenfalls als Referenzmerkmale bezeichnet. Die Referenzmerkmale sind für jede der Merkmalsklassen dabei vorzugsweise unterschiedlich.Each of the feature classes includes predetermined reference features. Reference features are also rules that can lead to the recognition of an object. These are also referred to as reference features. The reference features are preferably different for each of the feature classes.

In der ersten Hierarchieebene 01 befinden sich erste Referenzmerkmale in einer Merkmalsklasse „Class_Object_Basismerkmale“. Diese ersten Referenzmerkmale umfassen eine grobe Unterteilung von möglichen Objekteigenschaften: diese sind hier beispielsweise Position, Größe, Gewicht, Volumen, Geschwindigkeit etc. Eine weitere Merkmalsklasse in der ersten Hierarchieebene 01 ist in diesem Beispiel nicht vorgesehen.In the first hierarchy level 01 the first reference features are in a feature class "Class_Object_Basismerkmale". These first reference features include a rough subdivision of possible object properties: these are, for example, position, size, weight, volume, speed, etc. A further feature class in the first hierarchical level 01 is not provided in this example.

Die Referenzmerkmale der Merkmalsklasse „Class_Object_Basismerkmale“ auf der ersten Hierarchieebene 01 sind dabei jeweils mit Merkmalsklassen der zweiten Hierarchieebene 02 verbunden. Die Merkmalsklassen der zweiten Hierarchieebene 02 umfassen dabei Unterreferenzmerkmale zu dem jeweiligen verbundenen Referenzmerkmal: dabei ist ein Unterreferenzmerkmal eine Verfeinerung/ Detaillierung des jeweiligen Referenzmerkmals.The reference characteristics of the characteristic class "Class_Object_Basismerkmale" on the first hierarchical level 01 are each with feature classes of the second hierarchical level 02 connected. The feature classes of the second hierarchy level 02 include sub-reference features for the respective connected reference feature: a sub-reference feature is a refinement / detailing of the respective reference feature.

Das Referenzmerkmal „Material“ wird beispielsweise auf der ersten Hierarchieebene 01 mit einer Merkmalsklasse auf der zweiten Hierarchieebene 02 verknüpft, deren Unterreferenzmerkmale eine Detaillierung der Eigenschaft „Material“ sind, hier beispielsweise „Holz“, „Haut“, „Sonstige“. Die Merkmalsklasse auf der zweiten Hierarchieebene 02 wird in diesem Fall mit „Class_Object-Material“ bezeichnet.The reference characteristic “material” is, for example, on the first hierarchical level 01 with a characteristic class on the second hierarchical level 02 linked, the sub-reference characteristics of which are a detailing of the property “material”, here for example “wood”, “skin”, “other”. The characteristic class on the second hierarchical level 02 in this case is called "Class_Object - Material".

Das Referenzmerkmal „Größe“ wird auf der ersten Hierarchieebene 01 mit einer Merkmalsklasse auf der zweiten Hierarchieebene 02 verknüpft, deren Unterreferenzmerkmale eine Detaillierung der Eigenschaft „Größe“ sind, hier beispielsweise die Unterreferenzmerkmale „Volumen“ und „Flächig“. Die Merkmalsklasse auf der zweiten Hierarchieebene 02 wird in diesem Fall mit „Class_Object_Größe“ bezeichnet.The reference characteristic “size” is on the first hierarchical level 01 with a characteristic class on the second hierarchical level 02 linked, the sub-reference characteristics of which are a detailing of the “Size” property, here for example the “Volume” and “Area” sub-reference characteristics. The characteristic class on the second hierarchical level 02 in this case is called "Class_Object_Size".

Ferner wird beispielsweise das Referenzmerkmal „Geschwindigkeit“ auf der ersten Hierarchieebene 01 mit einer Merkmalsklasse auf der zweiten Hierarchieebene 02 verknüpft, deren Unterreferenzmerkmale eine Detaillierung der Eigenschaft „Geschwindigkeit“ sind, hier beispielsweise: „Geschwindigkeit= < 50 km/h“ und „Geschwindigkeit> 50 km/h“. Die Merkmalsklasse auf der zweiten Hierarchieebene 02 wird in diesem Fall mit „Class_Object_Geschwindigkeit“ bezeichnet.Furthermore, the reference characteristic “speed” is, for example, on the first hierarchical level 01 with a characteristic class on the second hierarchical level 02 linked, whose sub-reference features are a detailing of the “speed” property, here for example: “speed = <50 km / h” and “speed> 50 km / h”. The characteristic class on the second hierarchical level 02 in this case is called "Class_Object_Speed".

Für die anderen angegebenen Referenzmerkmale in der Merkmalsklasse der ersten Hierarchieebene 01 „Class_Object_Basismerkmale“ sind die damit verknüpften Merkmalsklassen auf der zweiten Hierarchieebene nicht mehr separat aufgeführt.For the other specified reference characteristics in the characteristic class of the first hierarchy level 01 “Class_Object_Basismerkmale”, the associated characteristic classes are no longer listed separately on the second hierarchy level.

Ferner umfasst die Klassifikationsvorrichtung 3 eine Detektionseinheit 5, die die aufgenommenen Umfeldsensordaten mit den, in der Merkmalsklasse „Class_Object_Basismerkmale“ auf der ersten Hierarchieebene 01 angegebenen Referenzmerkmale vergleicht. Dabei heißt vergleichen, dass in den Umfeldsensordaten überprüft wird, ob sich das Referenzmerkmal dort wiederfindet. In diesem Beispiel werden die Umfeldsensordaten mit den Referenzmerkmalen „Position“ „Größe“, „Gewicht“, „Material“ ... verglichen. Sind mehr Merkmalsklassen auf der ersten Hierarchieebene 01 vorgesehen, so werden die darin enthaltenden Referenzmerkmale alle durch die Detektionseinheit 5 mit den aufgenommenen Umfeldsensordaten verglichen, da alle Merkmalsklassen auf der ersten Hierarchieebene 01 als identifiziert angenommen werden.The classification device further comprises 3 a detection unit 5 , which the recorded environment sensor data with the, in the characteristic class "Class_Object_Basismerkmale" on the first hierarchy level 01 compares specified reference characteristics. In this context, comparing means that it is checked in the environment sensor data whether the reference feature can be found there. In this example, the environment sensor data are compared with the reference characteristics “Position” “Size”, “Weight”, “Material” ... There are more characteristic classes on the first hierarchical level 01 provided, the reference features contained therein are all provided by the detection unit 5 compared with the recorded environment sensor data, since all feature classes are on the first hierarchical level 01 be accepted as identified.

Die Detektionseinheit 5 überprüft nun, ob die Referenzmerkmale der Merkmalsklasse der ersten Hierarchieebene 01 in den Umfeldsensordaten vorliegen. Hierzu wird vorzugsweise ein Algorithmus aus der künstlichen Intelligenz verwendet.The detection unit 5 now checks whether the reference characteristics of the characteristic class of the first hierarchy level 01 are available in the environment sensor data. An algorithm from artificial intelligence is preferably used for this.

Bei einem positiven Vergleich wird das positiv verglichene Referenzmerkmal auf der jeweiligen Hierarchieebene sowie die mit dem positiv verglichenen Referenzmerkmal verknüpfte Merkmalsklasse auf der der jeweiligen Hierarchieebene nachfolgenden unteren Hierarchieebene als identifiziert angenommen.In the event of a positive comparison, the positively compared reference feature is linked to the respective hierarchical level as well as the one linked to the positively compared reference feature Characteristic class assumed to be identified on the lower hierarchical level following the respective hierarchical level.

Dabei bedeutet positiver Vergleich, dass bei einem vorgegebenen Annahmeschwellenwert, das Referenzmerkmal in den Umfeldsensordaten als erkannt vorliegt. Dieser Annahmeschwellenwert ist vorzugsweise als Wahrscheinlichkeitswert ausgebildet. Wird dieser bei 80% festgesetzt, so muss beispielsweise mit 80% Wahrscheinlichkeit das Referenzmerkmal in den Umfeldsensordaten als erkannt gelten, um einen positiven Vergleich zu erlangen.In this context, a positive comparison means that, given a predetermined acceptance threshold value, the reference feature is present as recognized in the environment sensor data. This acceptance threshold is preferably designed as a probability value. If this is set at 80%, then, for example, the reference feature in the environment sensor data must be recognized with 80% probability in order to achieve a positive comparison.

In diesem Beispiel wird angenommen, dass die Detektionseinheit 5 die Umfeldsensordaten mit dem Referenzmerkmal „Material“ und „Größe“ abgeglichen hat, und diesen Vergleich als positiv eingestuft hat.In this example it is assumed that the detection unit 5 has compared the environment sensor data with the reference characteristics "material" and "size" and has classified this comparison as positive.

In diesem Beispiel wurden daher die Referenzmerkmale „Material“ und „Größe“ in den Umfeldsensordaten durch die Detektionseinheit 5 erkannt.In this example, the reference characteristics “material” and “size” in the environment sensor data were therefore determined by the detection unit 5 recognized.

Damit gelten die Referenzmerkmale „Material“ und „Größe“ auf der ersten Hierarchieebene 01 sowie die zu den Referenzmerkmal „Material“ und „Größe“ zugehörigen Merkmalsklassen „Class_Object_Größe“ und „Class_Object_Material“ auf der zweiten Hierarchieebene 02 als identifiziert.The reference characteristics “material” and “size” thus apply on the first hierarchical level 01 as well as the characteristic classes “Class_Object_Size” and “Class_Object_Material” belonging to the reference characteristic “Material” and “Size” on the second hierarchical level 02 as identified.

Die nicht identifizierten Referenzmerkmale als auch, falls vorhanden, die zu dem jeweiligen nicht identifizierten Referenzmerkmal verknüpfte Merkmalsklasse wird verworfen.The unidentified reference features and, if present, the feature class linked to the respective unidentified reference feature are discarded.

In diesem Beispiel bedeutet dies, dass bei einem Vergleich des Referenzmerkmals „Geschwindigkeit“ auf der Hierarchieebene 01 keine Identifikation vorliegt und somit das Referenzmerkmal „Geschwindigkeit“ auf der Hierarchieebene 01 und die dazugehörende Merkmalsklasse „Class_Object_Geschwindigkeit“ auf der Hierarchieebene 02 mit den Unterreferenzmerkmalen „ ,10= < 50 km/h“ und „>50 km/h“ verworfen wird. Dabei heißt verworfen, dass die Detektionseinheit 5 diese nicht mehr berücksichtigt. Dies wird hier durch den durchgestrichenen Pfeil grafisch dargestellt.In this example, this means that when comparing the reference characteristic “speed” on the hierarchy level 01 there is no identification and thus the reference characteristic “speed” on the hierarchical level 01 and the associated characteristic class "Class_Object_Speed" on the hierarchy level 02 with the sub-reference characteristics ", 10 = <50 km / h" and "> 50 km / h" is discarded. Discarded here means that the detection unit 5 this is no longer taken into account. This is shown graphically here by the crossed arrow.

Ebenso werden die Referenzmerkmale „Geschwindigkeit“, „Orientierung“, „Gewicht“ etc. auf der Hierarchieebene 01 in diesem Beispiel nicht in den Umfeldsensordaten erkannt, das heißt, dass diese Referenzmerkmale nicht positiv identifiziert werden. Somit werden diese Referenzmerkmale sowie mögliche, mit den Referenzmerkmalen verbundene Merkmalsklassen auf der zweiten Hierarchieebene 02 verworfen. Dabei heißt verworfen, dass die Detektionseinheit 5 diese nicht mehr berücksichtigt.The reference characteristics “speed”, “orientation”, “weight” etc. are also used on the hierarchical level 01 in this example not recognized in the environment sensor data, that is, these reference features are not positively identified. This means that these reference features and possible feature classes associated with the reference features are on the second hierarchical level 02 discarded. Discarded here means that the detection unit 5 this is no longer taken into account.

Die Detektionseinheit 5 gleicht nun die zu den Merkmalsklassen „Class_Object_Größe“ und „Class_Object-Material“ auf der zweiten Hierarchieebene 02 gehörenden Referenzmerkmale mit den Umfeldsensordaten ab. Dabei untersucht die Detektionseinheit 5 vorzugsweise nur diejenigen Umfeldsensordaten, in denen die zuvor identifizierten Referenzmerkmale, also hier die Referenzmerkmale „Größe“ und „Material“, liegen. Dadurch werden Ressourcen gespart. Zudem kann hierdurch ein schnellerer Vergleich getroffen werden.The detection unit 5 is now the same for the feature classes "Class_Object_Size" and "Class_Object - Material" on the second hierarchy level 02 associated reference features with the environment sensor data. The detection unit investigates 5 preferably only those environment sensor data in which the previously identified reference features, that is to say here the reference features “size” and “material”, are located. This saves resources. In addition, this enables a faster comparison to be made.

Die Merkmalsklasse „Class_Object_Größe“ umfasst die Referenzmerkmale „Volumen“ und „Flächig“. In diesem Beispiel wird das Referenzmerkmal „Volumen“ als in den Umfeldsensordaten vorliegend erkannt, d. h., es liegt ein positiver Vergleich vor.The feature class "Class_Object_Size" includes the reference features "Volume" and "Area". In this example, the reference feature “volume” is recognized as being present in the surroundings sensor data, i. i.e. there is a positive comparison.

Damit gilt das Referenzmerkmal „Volumen“ als auch die mit dem Referenzmerkmal „Volumen“ verbundene Merkmalsklasse „Class_Object_Volumen“ der nächst unteren dritten Hierarchieebene 03 als identifiziert.This means that the reference characteristic “Volume” as well as the characteristic class “Class_Object_Volumen” of the next lower third hierarchy level, which is linked to the reference characteristic “Volume”, apply 03 as identified.

In diesem Beispiel wird das Referenzmerkmal „Flächig“ nicht in den Umfeldsensordaten erkannt. Das Referenzmerkmal „Flächig“ sowie eine zu diesem Referenzmerkmal gehörende mögliche Merkmalsklasse auf der nächst unteren dritten Hierarchieebene 03 werden verworfen.In this example, the reference characteristic “flat” is not recognized in the environment sensor data. The reference characteristic “flat” as well as a possible characteristic class belonging to this reference characteristic on the next lower third hierarchical level 03 are discarded.

In diesem Beispiel umfasst die Merkmalsklasse „Class_Object_Material“ auf der zweiten Hierarchieebene 02 die Referenzmerkmale „Holz“, „Haut“ und „Sonstiges“. Dabei wird das Referenzmerkmal „Haut“, als in den Umfeldsensordaten vorliegend, erkannt, d. h., es liegt ein positiver Vergleich vor. Damit gilt das Referenzmerkmal „Haut“ als auch die mit dem Referenzmerkmal verbundene Merkmalsklasse „Class_ Object_Haut“ der nächst unteren dritten Hierarchieebene 03 als identifiziert.In this example, the property class includes "Class_Object_Material" on the second hierarchy level 02 the reference characteristics “wood”, “skin” and “other”. The reference feature “skin” is recognized as being present in the environment sensor data, ie a positive comparison is present. This means that the reference characteristic “Skin” as well as the characteristic class “Class_Object_Haut” associated with the reference characteristic of the next lower third hierarchy level apply 03 as identified.

Die Referenzmerkmale „Holz“ und „Sonstiges“ werden in diesem Beispiel nicht durch die Detektionseinheit 5 erkannt. Die Referenzmerkmale „Holz“ und „Sonstiges“ und mögliche, zu diesen Referenzmerkmalen gehörende Merkmalsklassen auf der nächst unteren dritten Hierarchieebene 03 werden verworfen.The reference characteristics "wood" and "other" are not used in this example by the detection unit 5 recognized. The reference characteristics “wood” and “other” and possible characteristic classes belonging to these reference characteristics on the next lower third hierarchy level 03 are discarded.

Die Detektionseinheit 5 gleicht nun die zu den Merkmalsklassen „Class_Object_Volumen“ und „Class_Object_Haut“ auf der dritten Hierarchieebene 03 gehörenden Referenzmerkmale mit den Umfeldsensordaten ab. Dabei untersucht die Detektionseinheit 5 vorzugsweise nur diejenigen Umfeldsensordaten in denen die zuvor identifizierten Referenzmerkmale, also hier die Referenzmerkmale „Volumen“ und „Haut“, liegen. Dadurch werden Ressourcen gespart. Zudem kann hierdurch ein schnellerer Vergleich getroffen werden.The detection unit 5 is now the same for the feature classes "Class_Object_Volumen" and "Class_Object_Haut" on the third hierarchy level 03 associated reference features with the environment sensor data. The detection unit investigates 5 preferably only those surroundings sensor data in which the previously identified reference features, that is to say here the reference features “volume” and “skin”, are located. This saves resources. In addition, this enables a faster comparison to be made.

Dabei umfasst die Merkmalsklasse „Class_Object_Volumen“ die Referenzmerkmale „X ≤ 10cm, Y ≤ 10cm, Z ≤ 10cm“ und „X > 10cm; Y > 10cm, Z > 10cm“.The feature class "Class_Object_Volumen" includes the reference features "X ≤ 10cm, Y ≤ 10cm, Z ≤ 10cm" and "X> 10cm; Y> 10cm, Z> 10cm ".

Dabei wird das Referenzmerkmal „X≤10cm, Y≤10cm, Z≤10cm“ durch die Detektionseinheit 5, als in den Umfeldsensordaten vorliegend, erkannt, d. h., es liegt ein positiver Vergleich vor. Damit gilt das Referenzmerkmal „X ≤ 10cm, Y≤10cm, Z≤10cm“ somit als identifiziert.The reference characteristic "X≤10cm, Y≤10cm, Z≤10cm" is thereby determined by the detection unit 5 , recognized as being present in the surroundings sensor data, ie a positive comparison is present. The reference characteristic "X ≤ 10cm, Y≤10cm, Z≤10cm" is thus identified.

In diesem Fall liegt keine weitere Verknüpfung des Referenzmerkmals „X ≤ 10cm, Y≤ 10cm , Z ≤ 10cm“ mit einer Merkmalsklasse auf der nächst unteren vierten Hierarchieebene 04 vor.In this case, there is no further link between the reference characteristic “X ≤ 10cm, Y≤ 10cm, Z ≤ 10cm” with a characteristic class on the next lower fourth hierarchical level 04 in front.

In diesem Beispiel wird das Referenzmerkmal „X > 10cm; Y > 10cm, Z > 10cm“ nicht in den Umfeldsensordaten durch die Detektionseinheit 5 erkannt. Das Referenzmerkmal „Flächig“ sowie eine zu diesem Referenzmerkmal gehörende mögliche Merkmalsklasse auf der nächst unteren vierten Hierarchieebene 04 werden verworfen.In this example, the reference characteristic “X>10cm;Y> 10cm, Z> 10cm "not in the environment sensor data by the detection unit 5 recognized. The reference characteristic “flat” as well as a possible characteristic class belonging to this reference characteristic on the next lower fourth hierarchy level 04 are discarded.

Ferner umfasst die Merkmalsklasse „Class_Object_Haut“ auf der dritten Hierarchieebene 03 die Referenzmerkmale „Menschlich“ „Tierfell“ und „Leder“.The feature class also includes “Class_Object_Haut” on the third hierarchical level 03 the reference characteristics “human”, “animal fur” and “leather”.

Dabei wird das Referenzmerkmal „Leder“ als in den Umfeldsensordaten vorliegend erkannt, d. h., es liegt ein positiver Vergleich vor. Damit gilt das Referenzmerkmal „Leder“ als auch die mit dem Referenzmerkmal verbundene Merkmalsklasse „Class_ Object_Leder“ der nächst unteren vierten Hierarchieebene 04 als identifiziert. In diesem Beispiel wurde die Wahrscheinlichkeit zu den einzelnen Referenzmerkmalen hinzugefügt, mit denen die Detektionseinheit 5 das Referenzmerkmal in den Umfeldsensordaten erkannt hat. Das Referenzmerkmal „Leder“ wurde hier mit dem, für einen positiven Vergleich notwendigen geforderten Annahmeschwellenwert von 80 % erkannt.The reference characteristic “leather” is recognized as being present in the surroundings sensor data, ie there is a positive comparison. This means that the reference characteristic “Leather” as well as the characteristic class “Class_Object_Leder” associated with the reference characteristic of the next lower fourth hierarchy level apply 04 as identified. In this example, the probability has been added to the individual reference characteristics with which the detection unit 5 has recognized the reference feature in the environment sensor data. The reference characteristic “leather” was recognized here with the required acceptance threshold of 80%, which is necessary for a positive comparison.

Das Referenzmerkmal „Tierfell“ wurde lediglich mit einem Annahmeschwellenwert von 5% erkannt und liegt somit unter den für einen positiven Vergleich geforderten 80 %. Damit wird das Referenzmerkmal „Tierfell“ und eine mögliche zu dem Referenzmerkmal gehörende Merkmalsklasse auf der vierten Hierarchieebene 04 verworfen.The reference characteristic “animal fur” was only recognized with an acceptance threshold of 5% and is therefore below the 80% required for a positive comparison. The reference characteristic “animal fur” and a possible characteristic class belonging to the reference characteristic are thus on the fourth hierarchical level 04 discarded.

Das Referenzmerkmal „Menschlich“ wurde lediglich mit einem Annahmeschwellenwert von 10% erkannt und liegt somit unter den für einen positiven Vergleich geforderten 80 %. Damit wird das Referenzmerkmal „Menschlich“ und eine mögliche zu dem Referenzmerkmal gehörende Merkmalsklasse auf der nächst unteren Hierarchieebene 04 verworfen.The reference characteristic “human” was only recognized with an acceptance threshold of 10% and is therefore below the 80% required for a positive comparison. This means that the reference feature “human” and a possible feature class belonging to the reference feature on the next lower hierarchical level 04 discarded.

Die Detektionseinheit 5 gleicht nun die zu der Merkmalsklasse „Class_Object_Leder“ auf der vierten Hierarchieebene 04 gehörenden Referenzmerkmale mit den Umfeldsensordaten ab. Dabei umfasst die Merkmalsklasse „Class_Object_Leder“ die Referenzmerkmale „Glattleder“ und „Autoleder“. Dabei untersucht die Detektionseinheit 5 vorzugsweise nur diejenigen Umfeldsensordaten, in denen das zuvor identifizierte Referenzmerkmal, also hier das Referenzmerkmal „Leder“, liegt. Dadurch werden Ressourcen gespart. Zudem kann hierdurch ein schnellerer Vergleich getroffen werden.The detection unit 5 is now the same as the one for the characteristic class "Class_Object_Leder" on the fourth hierarchy level 04 associated reference features with the environment sensor data. The feature class “Class_Object_Leder” includes the reference features “smooth leather” and “car leather”. The detection unit investigates 5 preferably only those environment sensor data in which the previously identified reference feature, that is to say here the reference feature “leather”, is located. This saves resources. In addition, this enables a faster comparison to be made.

Dabei wird das Referenzmerkmal „Glattleder“ mit einem Wahrscheinlichkeitswert von 80 % als in den Umfeldsensordaten vorliegend erkannt, d. h., es liegt ein positiver Vergleich vor. Damit gilt das Referenzmerkmal „Glattleder“ als identifiziert. In diesem Fall liegt keine weitere Verknüpfung des Referenzmerkmals „Glattleder“ mit einer Merkmalsklasse auf der nächst unteren Hierarchieebene vor. Das Referenzmerkmal „Autoleder“ wurde lediglich mit einem Wahrscheinlichkeitswert von 15% erkannt und liegt somit unter den für einen positiven Vergleich geforderten 80 %. Damit wird das Referenzmerkmal „Autoleder“ und eine mögliche, zu diesem Referenzmerkmal gehörende Merkmalsklasse auf der nächst unteren Hierarchieebene verworfen.The reference characteristic “smooth leather” is recognized as being present in the environment sensor data with a probability value of 80%, i.e. i.e. there is a positive comparison. The reference characteristic “smooth leather” is therefore considered identified. In this case, there is no further link between the reference characteristic “smooth leather” and a characteristic class on the next lower hierarchical level. The reference characteristic “car leather” was only recognized with a probability value of 15% and is therefore below the 80% required for a positive comparison. This means that the reference characteristic “car leather” and a possible characteristic class belonging to this reference characteristic are discarded on the next lower hierarchical level.

Nach Durchlaufen des Kaskadenklassifikators 4 können die durch die Klassifikationsvorrichtung 3 als positiv identifizierten Referenzmerkmale, zusammengefasst werden. Den einzelnen Referenzmerkmalen können Gefahrenstufen zugeordnet werden; so kann beispielsweise dem Referenzmerkmal „Metall“ eine höhere Gefahrenstufe zugeordnet werden, als dies bei dem Referenzmerkmal „Stoff“ der Fall ist.After going through the cascade classifier 4th can that through the classification device 3 as positively identified reference characteristics. Danger levels can be assigned to the individual reference characteristics; for example, the reference characteristic “metal” can be assigned a higher hazard level than is the case with the reference characteristic “substance”.

Die Referenzmerkmale können hierzu in einer Gefahrenstufendatenbank mit den einzelnen Gefahrenstufen verknüpft sein.For this purpose, the reference features can be linked to the individual hazard levels in a hazard level database.

Anhand der positiv identifizierten Referenzmerkmale kann eine Aktion vorzugsweise in Form eines Aktionssignals, welche in einer Aktionsdatenbank hinterlegt ist, ausgegeben werden. Das Aktionssignal kann beispielsweise an das Fahrerassistenzsystem 1 übertragen werden und beispielsweise als Anzeige über ein Head-Up-Display 7 ausgegeben werden. Das Aktionssignal kann ferner in Abhängigkeit von der, dem Referenzmerkmal zugeordneten, Gefahrenstufe ausgewählt werden.On the basis of the positively identified reference features, an action can be output, preferably in the form of an action signal, which is stored in an action database. The action signal can be sent to the driver assistance system, for example 1 are transmitted and for example as a display on a head-up display 7th are issued. The action signal can also be selected as a function of the danger level assigned to the reference feature.

In diesem Beispiel wurden die Referenzmerkmale: „Glattleder (Leder, Haut, Material), X ≤ 10cm, Y ≤ 10cm, Z ≤ 10cm (Größe, Volumen)“ als positiv identifiziert und können beispielsweise auf einem Head-Up-Display 7 angezeigt werden oder durch das Fahrerassistenzsystem 1 weiterverarbeitet werden. Den hier identifizierten Referenzmerkmalen ist in diesem Beispiel keine Gefahrenstufe und keine Aktion zugeordnet.In this example, the reference characteristics: "Smooth leather (leather, skin, material), X ≤ 10cm, Y ≤ 10cm, Z ≤ 10cm (size, volume)" were identified as positive and can be shown on a head-up display, for example 7th are displayed or by the driver assistance system 1 are further processed. In this example, no danger level and no action are assigned to the reference features identified here.

Durch den erfindungsgemäßen Kaskadenklassifikator 4 ist eine geordnete Struktur von sogenannten Stufenklassifikationen möglich, wobei ein positiv klassifiziertes und identifiziertes Referenzmerkmal, sowie die mit dem identifizierten Referenzmerkmal verknüpfte Merkmalsklasse auf der nächst unteren Hierarchieebene von einem Stufenklassifikator an den nächsten weitergereicht wird. Ein negativ identifiziertes Referenzmerkmal sowie die mit dem negativ identifizierten Referenzmerkmal verknüpfte Merkmalsklasse wird sofort verworfen.With the cascade classifier according to the invention 4th An ordered structure of so-called level classifications is possible, with a positively classified and identified reference feature, as well as the feature class linked to the identified reference feature, on the next lower hierarchical level from one level classifier to the next. A negatively identified reference feature and the feature class linked to the negatively identified reference feature is immediately discarded.

Da die positiven Referenzmerkmale immer der nachfolgenden Hierarchieebene an die damit verbundene Merkmalsklasse übergeben werden, steigt die Genauigkeit der Referenzmerkmale in Abhängigkeit von Hierarchieebene zu Hierarchieebene an und somit auch die Genauigkeit hinsichtlich des zu detektierenden Objektes.Since the positive reference features are always transferred to the subsequent hierarchy level to the associated feature class, the accuracy of the reference features increases as a function of hierarchy level to hierarchy level and thus also the accuracy with regard to the object to be detected.

Ferner umfasst der Kaskadenklassifikator 4 noch eine Verfahrensdatenbank 6, in der mehrere Verfahren zur Bestimmung des Vergleiches zwischen den aufgenommenen Umfeldsensordaten und den Referenzmerkmal bereitgestellt werden.The cascade classifier also includes 4th another process database 6th , in which several methods for determining the comparison between the recorded environment sensor data and the reference feature are provided.

3 zeigt eine solche Verfahrensdatenbank 6 beispielshaft für 2. 3 shows such a process database 6th exemplary for 2 .

Hier sind die einzelnen Merkmalsklassen auf den unterschiedlichen Hierarchieebenen jeweils mit zumindest einem vorgegebenen Verfahren verknüpft.Here, the individual feature classes on the different hierarchical levels are each linked with at least one specified method.

Dabei wird der Merkmalsklasse „Class_Object_Basismerkmale“ auf der obersten Hierarchieebene 01 ein Abstandsklassifikator, zum Vergleich der in der Merkmalsklasse „Class_Object_Basismerkmale“ vorhandenen Referenzmerkmale auf Übereinstimmung in den aufgenommenen Umfeldsensordaten, zugeordnet.The feature class "Class_Object_Basismerkmale" is on the top hierarchy level 01 a distance classifier, assigned to compare the reference features present in the feature class “Class_Object_Basismerkmale” for correspondence in the recorded environment sensor data.

Bei dem Abstandsklassifikator in der „Class_Object_Basismerkmale“ werden die Referenzmerkmale mit dem Umfeldsensordaten verglichen, in dem der Abstand dieser Umfeldsensordaten zu dem Referenzmerkmal bestimmt wird.In the case of the distance classifier in the “Class_Object_Basismerkmale”, the reference features are compared with the environment sensor data, in which the distance between this environment sensor data and the reference feature is determined.

In der „Class_Objekt_Haut“ kann hingegen ein Künstliches Neuronales Netz zum Einsatz kommen, da die Erkennung von Haut aufgrund der Vielzahl von unterschiedlichen Hauttypen und Möglichkeiten hochkomplex ist.In the "Class_Object_Haut", however, an artificial neural network can be used, since the recognition of skin is highly complex due to the multitude of different skin types and possibilities.

Auch können Musteranalyseverfahren oder Maximum-Likelihood-Verfahren oder Kreuzvalidierung oder andere Verfahren genutzt werden.Pattern analysis methods or maximum likelihood methods or cross validation or other methods can also be used.

Die einzelnen Verfahren werden zum Vergleich der Referenzmerkmale mit den Umfeldsensordaten herangezogen. Die Ergebnisse dieses Vergleiches kann anschließend von einer Hierarchieebene auf die nächst untere Hierarchieebene übertragen werden und dort verwertet werden. Durch die Verknüpfung von verschiedenen Verfahren mit den einzelnen Merkmalsklassen kann eine schnellere und genauere Detektion des Objektes stattfinden. Dadurch kann eine Verbesserung des Ergebnisses erzielt werden. Ferner kann der verwendete Algorithmus auf die Komplexität der Aufgabe, d. h. hier das Erkennen der Referenzmerkmale in den Umfeldsensordaten abgestimmt werden. Dies führt zu einem schnelleren Verfahren.The individual methods are used to compare the reference features with the environment sensor data. The results of this comparison can then be transferred from one hierarchical level to the next lower hierarchical level and used there. By linking different methods with the individual feature classes, a faster and more accurate detection of the object can take place. This can improve the result. Furthermore, the algorithm used can be adapted to the complexity of the task, i. H. here the recognition of the reference features in the environment sensor data are coordinated. This leads to a faster process.

Alternativ oder zusätzlich können die einzelnen Verfahren in der Verfahrensdatenbank 6 auch mit den einzelnen Referenzmerkmalen verknüpft werden.Alternatively or additionally, the individual processes can be found in the process database 6th can also be linked to the individual reference features.

4 zeigt ein weiteres Ausführungsbeispiel einer Klassifikationsvorrichtung 3a mit einem ersten Kaskadenklassifikator 4 gemäß der Erfindung. 4th shows a further embodiment of a classification device 3a with a first cascade classifier 4th according to the invention.

Die hier dargestellte Klassifikationsvorrichtung 3a umfasst ebenfalls ein Sensorsystem 2, welches Umfeldsensordaten aufnimmt sowie einen Kaskadenklassifikator 4. The classification device shown here 3a also includes a sensor system 2 , which records environmental sensor data and a cascade classifier 4th .

Der Kaskadenklassifikator 4 weist ebenfalls hierarchisch aufeinander aufbauende Merkmalsklassen auf, welche hier ebenfalls mit Class bezeichnet werden.The cascade classifier 4th likewise has feature classes that build on one another hierarchically, which are also referred to here as class.

Jeder der Merkmalsklassen umfasst dabei vorgegebene Referenzmerkmale. Dabei sind Referenzmerkmale auch Regeln, die zur Erkennung eines Objektes führen können. Diese werden ebenfalls als Referenzmerkmale bezeichnet. Die Referenzmerkmale sind für jede der Merkmalsklassen unterschiedlich.
In der ersten Hierarchieebene 01 befinden sich erste Referenzmerkmale in einer Merkmalsklasse „Class_Object_Basismerkmale“. Diese ersten Referenzmerkmale umfassen wie in 2 eine grobe Unterteilung von möglichen Objekteigenschaften: diese sind hier beispielsweise Position, Größe, Gewicht, Volumen, Geschwindigkeit etc.Each of the feature classes includes predefined reference features. Reference features are also rules that can lead to the recognition of an object. These are also referred to as reference features. The reference features are different for each of the feature classes.
In the first hierarchy level 01 the first reference features are in a feature class "Class_Object_Basismerkmale". These first reference characteristics include, as in 2 a rough subdivision of possible object properties: these are, for example, position, size, weight, volume, speed, etc.

Eine weitere Merkmalsklasse in der ersten Hierarchieebene 01 ist in diesem Beispiel ebenfalls nicht vorgesehen.Another feature class in the first hierarchy level 01 is also not provided in this example.

Ferner umfasst die Klassifikationsvorrichtung 3a die Detektionseinheit 5, die die vom Sensorsystem 2 aufgenommenen Umfeldsensordaten mit den, in der Merkmalsklasse „Class_Object_Basismerkmale“ auf der ersten Hierarchieebene 01 angegebenen Referenzmerkmale vergleicht.The classification device further comprises 3a the detection unit 5 that the sensor system 2 recorded environment sensor data with the, in the characteristic class "Class_Object_Basismerkmale" on the first hierarchy level 01 compares specified reference characteristics.

Die ersten Referenzmerkmale sind dabei jeweils mit Merkmalsklassen der zweiten Hierarchieebene 02 verbunden. Die Merkmalsklassen der zweiten Hierarchieebene 02 umfassen dabei Unterreferenzmerkmale zu dem jeweiligen Referenzmerkmal: dabei ist ein Unterreferenzmerkmal eine Verfeinerung/ Detaillierung des jeweiligen Referenzmerkmals.The first reference features are each with feature classes of the second hierarchical level 02 connected. The feature classes of the second hierarchy level 02 include sub-reference features for the respective reference feature: a sub-reference feature is a refinement / detailing of the respective reference feature.

Bei einem positiven Vergleich wird das positiv verglichene Referenzmerkmal auf der jeweiligen Hierarchieebene sowie die, mit dem positiv verglichenen Referenzmerkmal verknüpfte Merkmalsklasse auf der der jeweiligen Hierarchieebene nachfolgenden unteren Hierarchieebene als identifiziert angenommen.In the case of a positive comparison, the positively compared reference feature on the respective hierarchy level and the feature class linked to the positively compared reference feature on the lower hierarchy level following the respective hierarchy level are assumed to be identified.

In diesem Beispiel wird angenommen, dass die Detektionseinheit 5 die Umfeldsensordaten mit dem Referenzmerkmal „Material“ und „Größe“ abgeglichen hat, und diesen Vergleich als positiv eingestuft hat. Damit gelten die Referenzmerkmale „Material“ und „Größe“ auf der ersten Hierarchieebene 01 sowie die zu den Referenzmerkmal „Material“ und „Größe“ zugehörigen Merkmalsklassen „Class_Object_Größe“ und „Class_Object-Material“ auf der zweiten Hierarchieebene 02 als identifiziert.In this example it is assumed that the detection unit 5 has compared the environment sensor data with the reference characteristics "material" and "size" and has classified this comparison as positive. The reference characteristics “material” and “size” thus apply on the first hierarchical level 01 as well as the characteristic classes “Class_Object_Size” and “Class_Object - Material” belonging to the reference characteristic “Material” and “Size” on the second hierarchical level 02 as identified.

Dabei bedeutet positiver Vergleich, dass bei einem vorgegebenen Annahmeschwellenwert, das Referenzmerkmal in den Umfeldsensordaten als erkannt vorliegt. Dieser Annahmeschwellenwert kann eine Wahrscheinlichkeit sein. Wird dieser bei 80% festgesetzt, so muss beispielsweise mit 80% Wahrscheinlichkeit das Referenzmerkmal in den Umfeldsensordaten als erkannt gelten, um einen positiven Vergleich zu erlangen.In this context, a positive comparison means that, given a predetermined acceptance threshold value, the reference feature is present as recognized in the environment sensor data. This acceptance threshold can be a probability. If this is set at 80%, then, for example, the reference feature in the environment sensor data must be recognized with 80% probability in order to achieve a positive comparison.

Das Referenzmerkmal „Größe“ wird auf der ersten Hierarchieebene 01 mit einer Merkmalsklasse auf der zweiten Hierarchieebene 02 verknüpft, deren Unterreferenzmerkmale eine Detaillierung der Eigenschaft „Größe“ sind, hier beispielsweise „Volumen“ und „Flächig“. Die Merkmalsklasse auf der zweiten Hierarchieebene 02 wird wie in 2 mit „Class_Object_Größe“ bezeichnet.The reference characteristic “size” is on the first hierarchical level 01 with a characteristic class on the second hierarchical level 02 linked, whose sub-reference characteristics are a detailing of the property “size”, here for example “volume” and “area”. The characteristic class on the second hierarchical level 02 will be like in 2 labeled "Class_Object_Size".

Das Referenzmerkmal „Material“ wird auf der ersten Hierarchieebene 01 mit einer Merkmalsklasse auf der zweiten Hierarchieebene 02 verknüpft, deren Unterreferenzmerkmale eine Detaillierung der Eigenschaft „Material“ sind, hier beispielsweise „Metall“, „Haut“ und „Stoff“. Die Merkmalsklasse auf der zweiten Hierarchieebene 02 wird in diesem Fall mit „Class_Object_Material“ bezeichnet. Ferner ist das Referenzmerkmal „Metall“ mit einer Gefahrenstufe „zweite Gefahrenstufe“ verknüpft, wobei die Gefahrenstufe in einer Gefahrenstufendatenbank hinterlegt ist.The reference characteristic “material” is on the first hierarchical level 01 with a characteristic class on the second hierarchical level 02 linked, whose sub-reference characteristics are a detailing of the property “material”, here for example “metal”, “skin” and “fabric”. The characteristic class on the second hierarchical level 02 is referred to in this case as "Class_Object_Material". Furthermore, the reference characteristic “metal” is linked to a hazard level “second hazard level”, the hazard level being stored in a hazard level database.

Die nicht identifizierten Referenzmerkmale sowie die zu diesen Referenzmerkmalen gehörenden Merkmalsklassen auf der nächst unteren Hierarchieebene werden verworfen.The unidentified reference features and the feature classes belonging to these reference features on the next lower hierarchical level are discarded.

Die Detektionseinheit 5 gleicht nun die zu den Merkmalsklassen „Class_Object_Größe“ und „Class_Object-Material“ auf der zweiten Hierarchieebene 02 gehörenden Referenzmerkmale mit den Umfeldsensordaten ab. Dabei umfasst die Merkmalsklasse „Class_Object_Größe“ die Referenzmerkmale „Volumen“ und „Flächig“.The detection unit 5 is now the same for the feature classes "Class_Object_Size" and "Class_Object - Material" on the second hierarchy level 02 associated reference features with the environment sensor data. The feature class "Class_Object_Size" includes the reference features "Volume" and "Area".

Dabei wird das Referenzmerkmal „Volumen“ als in den Umfeldsensordaten vorliegend erkannt, d. h., es liegt ein positiver Vergleich vor. Dabei untersucht die Detektionseinheit 5 vorzugsweise nur diejenigen Umfeldsensordaten, in denen die zuvor identifizierten Referenzmerkmale, also hier die Referenzmerkmale „Größe“ und „Material“, liegen. Dadurch werden Ressourcen gespart. Zudem kann hierdurch ein schnellerer Vergleich getroffen werden.The reference feature “volume” is recognized as being present in the surroundings sensor data, ie there is a positive comparison. The detection unit investigates 5 preferably only those environment sensor data in which the previously identified reference features, that is to say here the reference features “size” and “material”, are located. This saves resources. In addition, this enables a faster comparison to be made.

Das Referenzmerkmal „Flächig“ sowie die zu diesem Referenzmerkmal gehörende Merkmalsklasse auf der nächst unteren Hierarchieebene wird verworfen.The reference characteristic “flat” as well as the characteristic class belonging to this reference characteristic on the next lower hierarchy level is discarded.

Ferner umfasst die Merkmalsklasse „Class_Object_Material“ auf der zweiten Hierarchieebene 02 die Referenzmerkmale „Metall (zweite Gefahrenstufe)“, „Haut“, und „Stoff“.The feature class also includes “Class_Object_Material” on the second hierarchical level 02 the reference characteristics "metal (second hazard level)", "skin", and "substance".

Dabei wird das Referenzmerkmal „Metall“ als in den Umfeldsensordaten vorliegend erkannt, d. h., es liegt ein positiver Vergleich vor. Damit gilt das Referenzmerkmal „Metall (zweite Gefahrenstufe)“ als identifiziert.The reference feature “metal” is recognized as being present in the environment sensor data, i. i.e. there is a positive comparison. The reference characteristic “metal (second hazard level)” is thus identified.

Die nicht identifizierten Referenzmerkmal sowie die zu diesen Referenzmerkmalen gehörenden Merkmalsklassen auf der nächst unteren Hierarchieebene werden verworfen.The unidentified reference features and the feature classes belonging to these reference features on the next lower hierarchical level are discarded.

Das identifizierte Referenzmerkmal „Metall (zweite Gefahrenstufe)“ als auch das identifizierte Referenzmerkmal „Volumen“ weisen in diesem Beispiel keine weitere Verknüpfungen zu einer Merkmalsklasse auf der dritten Hierarchieebene auf.The identified reference characteristic “metal (second hazard level)” and the identified reference characteristic “volume” do not have any further links to a characteristic class on the third hierarchy level in this example.

Ferner weist die Klassifikationsvorrichtung 3a eine Objektdatenbank OD auf, in der einzelne vorgegebene Objekte durch Objektmerkmale definiert sind.Furthermore, the classification device 3a an object database OD in which the individual predetermined objects are defined by object features.

Nach Durchlaufen des Kaskadenklassifikators 4 können die durch die Klassifikationsvorrichtung 3a als positiv identifizierten Referenzmerkmale, zusammengefasst und mit, zu einem Objekt gehörenden Objektmerkmalen in der Objektdatenbank OD verglichen werden. Anschließend wird das Objekt mit dem meisten Übereinstimmungen mit den identifizierten Referenzmerkmalen ausgewählt.After going through the cascade classifier 4th can that through the classification device 3a as positively identified reference features, summarized and with object features belonging to an object in the object database OD be compared. Then the object with the most matches with the identified reference features is selected.

Dadurch werden die positiv identifizierten Referenzmerkmale auf ein Objekt abgebildet und das Objekt gilt, bei genügend hoher Übereinstimmung, als in den Umfeldsensordaten detektiert. Dem Objekt ist vorzugsweise durch die Objektdatenbank OD eine Gefahrenstufe zugewiesen, d.h. jedes Objekt ist mit einer Gefahrenstufe in der Objektdatenbank OD hinterlegt.As a result, the positively identified reference features are mapped onto an object and the object is deemed to have been detected in the surroundings sensor data if there is a sufficiently high degree of correspondence. The object is preferably through the object database OD A danger level is assigned, ie each object is assigned a danger level in the object database OD deposited.

Dabei kann die Objektdatenbank OD in eine erste Teilobjektdatenbank, in der häufig vorkommende Objekte gespeichert sind und in eine zweite Teilobjektdatenbank, in der selten vorkommende Objekte gespeichert sind, unterteilt sein. Die Klassifikationsvorrichtung 3a überprüft, welches Objekt bzw. welche Objektmerkmale der einzelnen Objekte in der Objektdatenbank OD die meisten Übereinstimmungen mit den identifizierten Referenzmerkmalen aufweisen. Dazu beginnt die Klassifikationsvorrichtung mit der Überprüfung der Objektmerkmale der Objekte in der ersten Teilobjektdatenbank. Erst wenn in der ersten Teilobjektdatenbank keine hinreichende Übereinstimmung der Referenzmerkmale mit den Objektmerkmalen vorliegt, wird die zweite Teilobjektdatenbank herangezogen. Dies führt zu einem schnelleren Verfahren.The object database OD be divided into a first partial object database in which frequently occurring objects are stored and into a second partial object database in which rarely occurring objects are stored. The classification device 3a checks which object or which object features of the individual objects in the object database OD show most similarities with the identified reference characteristics. For this purpose, the classification device begins to check the object features of the objects in the first partial object database. The second partial object database is only used if there is no sufficient correspondence between the reference features and the object features in the first partial object database. This leads to a faster process.

In diesem Beispiel weist die erste Teilobjektdatenbank beispielsweise ein „Rohr, dritte Gefahrenstufe“ als Objekt auf, welches durch die Objektmerkmale Metall (zweite Gefahrenstufe), länglich (dritte Gefahrenstufe), Hohlkörper, Länge größer Durchmesser, runder Querschnitt, gerade, gebogen ... definiert ist.In this example, the first partial object database has, for example, a "pipe, third danger level" as an object, which is characterized by the object features metal (second danger level), elongated (third danger level), hollow body, length larger in diameter, round cross-section, straight, curved ... is defined.

In diesem Beispiel weisen die identifizierten Referenzmerkmale mit den Objektmerkmalen eine hinreichende Übereinstimmung auf. Damit gilt das Objekt „Rohr, Gefahrenstufe 3“ als identifiziert.In this example, the identified reference features have sufficient correspondence with the object features. The object "Pipe, danger level 3" is thus identified.

Abhängig des durch die Klassifikationsvorrichtung 3a detektierten Objektes und der damit verbundenen Gefahrenstufe wird ein Aktionssignal erzeugt. Dazu weist die Klassifikationsvorrichtung 3a eine Aktionsdatenbank AD auf.Depending on the classification device 3a detected object and the associated danger level, an action signal is generated. To this end, the classification device 3a an action database AD on.

Auch kann lediglich eine Aktionsdatenbank AD ohne Gefahrenstufe vorhanden sein. In diesem Beispiel wird eine Warnung erzeugt und der Airbag kontrolliert. Die Warnung kann als Aktionssignal beispielsweise an das Fahrerassistenzsystem 1 übertragen und als Anzeige über ein Head-Up-Display 7 ausgegeben werden.Also only an action database AD be present without danger level. In this example a warning is generated and the airbag is checked. The warning can be sent as an action signal to the driver assistance system, for example 1 transmitted and as a display on a head-up display 7th are issued.

5 zeigt das erfindungsgemäße Verfahren mit einer Klassifikationsvorrichtung 3a von 4. 5 shows the method according to the invention with a classification device 3a from 4th .

In einem ersten Schritt S1 werden die Umfeldsensordaten von einem Außen- und/oder einem Innenumfeld eines Fahrzeugs durch das Sensorsystem 2 (4) aufgenommen. Die Umfeldsensordaten können beispielsweise als Sensorsignale vorliegen. Auch kann das Sensorsystem 2 (4) dazu ausgebildet sein, diese in anderer Form, beispielsweise in einem anderen Format, zur Verfügung zu stellen. Die Umfeldsensordaten werden anschließend der Klassifikationsvorrichtung 3a (4) zu Verfügung gestellt.In a first step S1 the environment sensor data from an external and / or internal environment of a vehicle by the sensor system 2 ( 4th ) recorded. The environment sensor data can be present as sensor signals, for example. The sensor system can also 2 ( 4th ) be designed to make them available in a different form, for example in a different format. The environment sensor data are then sent to the classification device 3a ( 4th ) made available.

In einem zweiten Schritt S2 werden die aufgenommenen Umfeldsensordaten mit den, durch eine identifizierte Merkmalsklasse vorgegebenen Referenzmerkmale durch eine Detektionseinheit 5 (4) verglichen, wobei die Detektionseinheit 5 ( 4), die zumindest eine Merkmalsklasse der ersten Hierarchieebene immer als identifiziert annimmt.In a second step S2 the recorded environment sensor data with the reference features specified by an identified feature class are provided by a detection unit 5 ( 4th ) compared, the detection unit 5 ( 4th ), which always accepts at least one characteristic class of the first hierarchical level as identified.

In einem dritten Schritt S3 wird bei einem positiven Vergleich das positiv verglichene Referenzmerkmal sowie die, mit dem positiv verglichenen Referenzmerkmal verknüpfte Merkmalsklasse als identifiziert angenommen und das nicht identifizierte Referenzmerkmal als auch die zu dem nicht identifizierten Referenzmerkmal verknüpfte Merkmalsklasse verworfen. Dies wird solange Wiederholt, bis alle Hierarchieebenen durchlaufen sind.In a third step S3 In the event of a positive comparison, the positively compared reference feature and the feature class linked to the positively compared reference feature are assumed to be identified and the unidentified reference feature and the feature class linked to the unidentified reference feature are discarded. This is repeated until all hierarchy levels have been passed through.

In einem vierten Schritt S4 werden alle als positiv identifizierten Referenzmerkmale, zusammengefasst und mit, zu einem Objekt gehörenden Objektmerkmalen in einer Objektdatenbank OD (4) verglichen. Anschließend wird das Objekt mit dem meisten Übereinstimmungen mit den identifizierten Referenzmerkmalen ausgewählt. Dadurch werden die positiv identifizierten Referenzmerkmale auf ein Objekt abgebildet und das Objekt gilt, bei genügend hoher Übereinstimmungen, als in den Umfeldsensordaten detektiert. Dem Objekt wird zudem durch die Objektdatenbank OD ( 4) eine Gefahrenstufe zugewiesen.In a fourth step S4 all reference features identified as positive are summarized and with object features belonging to an object in an object database OD ( 4th ) compared. Then the object with the most matches with the identified reference features is selected. As a result, the positively identified reference features are mapped onto an object and the object is considered to be detected in the surroundings sensor data if there is a sufficiently high level of agreement. The object is also through the object database OD ( 4th ) assigned a danger level.

In einem fünften Schritt S5 wird abhängig von dem detektierten Objekt und der damit verbundenen Gefahrenstufe ein Aktionssignal erzeugt. Dazu weist die Klassifikationsvorrichtung 3a (4) die Aktionsdatenbank AD (4) auf. Das Aktionssignal wird anschließend an das Fahrerassistenzsystem 1 (1) übermittelt.In a fifth step S5 an action signal is generated depending on the detected object and the associated danger level. To this end, the classification device 3a ( 4th ) the action database AD ( 4th ) on. The action signal is then sent to the driver assistance system 1 ( 1 ) transmitted.

In einem fünften Schritt S5 wird das Aktionssignal vom Fahrerassistenzsystem 1 ( 1) ausgegeben oder verwertet. Dies kann beispielsweise eine Warnanzeige auf dem Head-Up-Display 7 sein.In a fifth step S5 becomes the action signal from the driver assistance system 1 ( 1 ) issued or utilized. This can, for example, be a warning on the head-up display 7th his.

BezugszeichenlisteList of reference symbols

11
FahrerassistenzsystemDriver assistance system
22
SensorsystemSensor system
3,3a3.3a
KlassifikationsvorrichtungClassification device
44th
KaskadenklassifikatorCascade classifier
55
DetektionseinheitDetection unit
66th
VerfahrensdatenbankProcess database
77th
Head-Up-DisplayHead-Up Display
ADAD
AktionsdatenbankAction database
ODOD
ObjektdatenbankObject database
S1 ,,..,S5S1 ,, .., S5
VerfahrensschritteProcedural steps

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 112009000480 T5 [0004]DE 112009000480 T5 [0004]

Claims (15)

Klassifikationsvorrichtung (3, 3a) zur Objektdetektion eines Objektes in Umfeldsensordaten eines Fahrzeugs umfassend: ein Sensorsystem (2) zur Bereitstellung von Umfeldsensordaten von einem Umfeld eines Fahrzeugs, einen Kaskadenklassifikator (4) mit einer vorgegebenen Anzahl von hierarchisch aufeinander aufbauenden Hierarchieebenen, wobei in jeder Hierarchieebene zumindest eine Merkmalsklasse mit Referenzmerkmalen vorgesehen ist, wobei zumindest ein Referenzmerkmal einer jeweils höheren Hierarchieebene mit einer vorbestimmten Merkmalsklasse, welche auf einer, der höheren Hierarchieebene hierarchisch nachfolgenden unteren Hierarchieebene angeordnet ist, verknüpft ist, wobei die verknüpfte Merkmalsklasse auf der unteren Hierarchieebene als Referenzmerkmale die Unterreferenzmerkmale des Referenzmerkmals auf der höheren Hierarchieebene umfasst, eine Detektionseinheit (5), welche dazu ausgebildet ist, die zumindest eine Merkmalsklasse der ersten Hierarchieebene als identifiziert anzunehmen und welche ferner dazu ausgebildet ist, die Umfeldsensordaten mit den, durch eine identifizierte Merkmalsklasse vorgegebenen Referenzmerkmale zu vergleichen und bei einem positiven Vergleich, das jeweils positiv verglichene Referenzmerkmal sowie die, mit dem positiv verglichenen Referenzmerkmal verknüpfte Merkmalsklasse als identifiziert anzunehmen und jedes nicht identifizierte Referenzmerkmal als auch die zu dem nicht identifizierten Referenzmerkmal verknüpfte Merkmalsklasse zu verwerfen.Classification device (3, 3a) for object detection of an object in environment sensor data of a vehicle, comprising: a sensor system (2) for providing environment sensor data from the environment of a vehicle, a cascade classifier (4) with a predetermined number of hierarchical levels building on one another, with at least one feature class with reference features being provided in each hierarchy level, wherein at least one reference feature of a higher hierarchical level is linked to a predetermined feature class which is arranged on a lower hierarchical level that follows the higher hierarchical level, wherein the linked feature class on the lower hierarchical level comprises, as reference features, the sub-reference features of the reference feature on the higher hierarchical level, a detection unit (5) which is designed to accept the at least one feature class of the first hierarchical level as identified and which is also designed to compare the environment sensor data with the reference features specified by an identified feature class and, in the case of a positive comparison, the positive in each case compared reference feature and the feature class linked to the positively compared reference feature to be accepted as identified and discard each unidentified reference feature as well as the feature class linked to the unidentified reference feature. Klassifikationsvorrichtung (3, 3a) nach Anspruch 1, dadurch gekennzeichnet, dass die Detektionseinheit (5) dazu ausgelegt ist, den Vergleich der Umfeldsensordaten mit den, durch die identifizierte Merkmalsklasse, vorgegebenen Referenzmerkmale mit einem Verfahren aus der künstlichen Intelligenz durchzuführen.Classification device (3, 3a) according to Claim 1 , characterized in that the detection unit (5) is designed to carry out the comparison of the environment sensor data with the reference features specified by the identified feature class using a method from artificial intelligence. Klassifikationsvorrichtung (3, 3a) nach Anspruch 2, dadurch gekennzeichnet, dass das Verfahren ein Verfahren des Maschinellen Lernens, insbesondere ein künstliches neuronales Netz, ist.Classification device (3, 3a) according to Claim 2 , characterized in that the method is a machine learning method, in particular an artificial neural network. Klassifikationsvorrichtung (3, 3a) nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass eine Verfahrensdatenbank (6) vorgesehen ist, und die Detektionseinheit (5) dazu ausgelegt ist, das Verfahren in Abhängigkeit von den, durch die identifizierten Merkmalsklassen, vorgegebenen Referenzmerkmale und/oder in Abhängigkeit von den identifizierten Merkmalsklassen aus der Verfahrensdatenbank (6) auszuwählen.Classification device (3, 3a) according to Claim 2 or 3 , characterized in that a process database (6) is provided and the detection unit (5) is designed to process the process as a function of the reference features specified by the identified feature classes and / or as a function of the identified feature classes from the process database ( 6). Klassifikationsvorrichtung (3, 3a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Sensorsystem (2) zum Aufnehmen eines Innenraums eines Fahrzeugs ausgestaltet ist, so dass die Umfeldsensordaten Innenraumsensordaten sind.Classification device (3, 3a) according to one of the preceding claims, characterized in that the sensor system (2) is designed to record an interior of a vehicle, so that the environment sensor data are interior sensor data. Klassifikationsvorrichtung (3, 3a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Referenzmerkmale statische und/oder dynamische Eigenschaften und/oder Beschaffenheiten von Objekten umfassen.Classification device (3, 3a) according to one of the preceding claims, characterized in that the reference features include static and / or dynamic properties and / or properties of objects. Klassifikationsvorrichtung (3, 3a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Aktionsdatenbank (AD) vorgesehen ist, welche dazu ausgelegt ist, in Abhängigkeit von den identifizierten Referenzmerkmalen ein Aktionssignal auszugeben.Classification device (3, 3a) according to one of the preceding claims, characterized in that an action database (AD) is provided which is designed to output an action signal as a function of the identified reference features. Klassifikationsvorrichtung (3, 3a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Objektdatenbank (OD) mit Objekten vorgegeben ist und die Klassifikationsvorrichtung (3, 3a) dazu ausgebildet ist, mittels der identifizierten Referenzmerkmale ein Objekt in der Objektdatenbank (OD) als detektiertes Objekt zu bestimmen.Classification device (3, 3a) according to one of the preceding claims, characterized in that an object database (OD) with objects is specified and the classification device (3, 3a) is designed to use the identified reference features to identify an object in the object database (OD) as to determine the detected object. Klassifikationsvorrichtung (3, 3a) nach Anspruch 8, dadurch gekennzeichnet, dass eine Aktionsdatenbank (AD) vorgesehen ist, welche dazu ausgelegt ist, in Abhängigkeit von dem detektierten Objekt ein Aktionssignal auszugeben.Classification device (3, 3a) according to Claim 8 , characterized in that an action database (AD) is provided which is designed to output an action signal as a function of the detected object. Klassifikationsvorrichtung (3, 3a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Annahmeschwellenwert vorgesehen ist, und die Detektionseinheit (5) dazu ausgelegt ist, den Vergleich in Abhängigkeit von einem vorgegebenen Annahmeschwellenwert als positiv einzustufen.Classification device (3, 3a) according to one of the preceding claims, characterized in that an acceptance threshold value is provided, and the detection unit (5) is designed to classify the comparison as positive as a function of a predetermined acceptance threshold value. Klassifikationsvorrichtung (3, 3a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Annahmeschwellenwert die Wahrscheinlichkeit angibt, mit welcher das Referenzmerkmal in den Umfeldsensordaten als durch die Detektionseinheit (5) erkannt vorliegt.Classification device (3, 3a) according to one of the preceding claims, characterized in that the acceptance threshold value indicates the probability with which the reference feature is present in the surroundings sensor data as being recognized by the detection unit (5). Fahrerassistenzsystem (1) mit einer Klassifikationsvorrichtung (3, 3a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Head-Up-Display (7), eine Anzeigeeinheit und/oder eine akustische Informationseinheit vorgesehen ist.Driver assistance system (1) with a classification device (3, 3a) according to one of the preceding claims, characterized in that a head-up display (7), a display unit and / or an acoustic information unit is provided. Verfahren zur Objektdetektion eines Objektes in Umfeldsensordaten eines Fahrzeugs, gekennzeichnet durch die Schritte: - Bereitstellen von Umfeldsensordaten von einem Umfeld eines Fahrzeugs durch ein Sensorsystem (2), - Bereitstellen eines Kaskadenklassifikators mit einer vorgegebenen Anzahl von hierarchisch aufeinander aufbauenden Hierarchieebenen, wobei in jeder Hierarchieebene zumindest eine Merkmalsklasse mit Referenzmerkmalen, vorgesehen ist, wobei zumindest ein Referenzmerkmal einer jeweils höheren Hierarchieebene mit einer vorbestimmten Merkmalsklasse, welche auf einer, der höheren Hierarchieebene hierarchisch nachfolgenden unteren Hierarchieebene angeordnet ist, verknüpft ist, wobei die verknüpfte Merkmalsklasse auf der unteren Hierarchieebene als Referenzmerkmale die Unterreferenzmerkmale des Referenzmerkmals auf der höheren Hierarchieebene umfasst, - Annehmen der zumindest einen Merkmalsklasse der ersten Hierarchieebene als identifiziert durch eine Detektionseinheit (5), - Vergleichen der Umfeldsensordaten mit den, durch eine identifizierte Merkmalsklasse vorgegebenen Referenzmerkmalen durch die Detektionseinheit (5), - Annahme bei einem positiven Vergleich, das jeweils positiv verglichene Referenzmerkmal sowie der, mit dem positiv verglichenen Referenzmerkmal verknüpften Merkmalsklasse als identifiziert, - Verwerfen eines jeweils nicht identifizierten Referenzmerkmales als auch der, zu dem nicht identifizierten Referenzmerkmal verknüpften Merkmalsklasse.Method for object detection of an object in environment sensor data of a vehicle, characterized by the steps: Provision of environment sensor data from the environment of a vehicle by a sensor system (2), provision of a cascade classifier with a predetermined number of hierarchical levels of hierarchy, at least one feature class with reference features being provided in each hierarchy level, with at least one reference feature of a higher hierarchical level is linked to a predetermined feature class, which is arranged on a lower hierarchical level following the higher hierarchical level, the linked feature class on the lower hierarchical level comprising the sub-reference features of the reference feature on the higher hierarchical level as reference features, - acceptance of the at least one feature class of the first Hierarchical level as identified by a detection unit (5), - comparison of the environment sensor data with the reference features specified by an identified feature class by di e detection unit (5), - assumption in the event of a positive comparison, the respective positively compared reference feature and the feature class linked to the positively compared reference feature as identified, - discarding a respective non-identified reference feature and the feature class linked to the non-identified reference feature. Computerprogramm, umfassend Befehle, die bewirken, dass die Klassifikationsvorrichtung (3, 3a) nach einem der Ansprüche 1 bis 11 das Verfahren nach Anspruch 13 aufweist.Computer program, comprising instructions which cause the classification device (3, 3a) according to one of the Claims 1 to 11 the procedure after Claim 13 having. Computerlesbares Medium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.Computer-readable medium on which the computer program is based Claim 14 is stored.
DE102019207700.5A 2019-05-27 2019-05-27 Classification device for object detection in environment sensor data and methods Ceased DE102019207700A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019207700.5A DE102019207700A1 (en) 2019-05-27 2019-05-27 Classification device for object detection in environment sensor data and methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019207700.5A DE102019207700A1 (en) 2019-05-27 2019-05-27 Classification device for object detection in environment sensor data and methods

Publications (1)

Publication Number Publication Date
DE102019207700A1 true DE102019207700A1 (en) 2020-12-03

Family

ID=73264809

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019207700.5A Ceased DE102019207700A1 (en) 2019-05-27 2019-05-27 Classification device for object detection in environment sensor data and methods

Country Status (1)

Country Link
DE (1) DE102019207700A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112009000480T5 (en) * 2008-03-03 2011-04-07 VideoIQ, Inc., Bedford Dynamic object classification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112009000480T5 (en) * 2008-03-03 2011-04-07 VideoIQ, Inc., Bedford Dynamic object classification

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CERRI, R; Barros, R. C.; de Carvalho, A. CPLF. Hierarchical multi-label classification using local neural networks. In: Journal of Computer and System Sciences, 2014, 80. Jg., Nr. 1, S. 39-56. doi: 10.1016/j.jcss.2013.03.007 (URL: https://www.sciencedirect.com/science/article/pii/S0022000013000718/pdfft?md5=8b94e703e7e81077af4f6ad4b20c6c36&pid=1-s2.0-S0022000013000718-main.pdf) *
P. Weyers, A. Barth and A. Kummert: Driver State Monitoring with Hierarchical Classification. In: 2018 21st International Conference on Intelligent Transportation Systems (ITSC), Maui, HI, 2018, pp. 3239-3244. doi: 10.1109/ITSC.2018.8569467 (URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8569467&isnumber=8569013) *

Similar Documents

Publication Publication Date Title
EP2483836B1 (en) Method for traffic sign recognition
EP3526095B1 (en) Categorization of vehicles in the environment of a motor vehicle
DE102017217733A1 (en) Checking a neural network
DE102015201406A1 (en) CHARACTER DETECTION DEVICE AND METHOD FOR DETERMINING LEFT OR RIGHT TRAFFIC AND THE ROUTE UNIT INDEX
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
WO2018202552A1 (en) Method and device for classifying objects in the environment of a motor vehicle
DE10345948B4 (en) Method for evaluation and temporal stabilization of classification results
DE102017105764A1 (en) Configuration of a driver assistance system for a motor vehicle, with monitored machine learning
DE102019207700A1 (en) Classification device for object detection in environment sensor data and methods
DE102018007558A1 (en) Method for recording situations at bus stops for autonomous buses
DE102019202523A1 (en) Method and device for operating a control system
DE102018205539A1 (en) Detection of objects and situations in measurement data with improved suppression of non-representative correlations
DE102021005092A1 (en) Method and device for recognizing emotional states of occupants of a vehicle
DE102009009904A1 (en) Object i.e. road sign, identifying method, involves adding images and classifiers, which contain stored samples and sequences, as another set of samples, if sequences correspond to another set of sequences
DE102019218127A1 (en) Method and device for the optimal provision of AI systems
DE102009013326A1 (en) Vehicle controlling method, involves producing image of object, determining object data and surrounding data from image of object, and classifying object using object data and surrounding data
DE102015008539A1 (en) Method for merging a plurality of information sources for object detection and method for operating a driver assistance device
DE102019206233A1 (en) Method for providing training data for adaptable situation recognition algorithms and methods for automated situation recognition of operating situations of a vehicle for public passenger transport
DE102021001677A1 (en) Method for detecting damage to an object, control device for carrying out such a method, detection device with such a control device and motor vehicle with such a detection device
DE102013002375A1 (en) Method for calibrating camera of motor car in parking aid, involves detecting reference object in image using camera, and processing image, in order to recognize parameter stored in reference pattern of camera
DE102017002686A1 (en) Method for detecting a dangerous situation
DE102021002294A1 (en) Method for detecting damage to an object, control device for carrying out such a method, detection device with such a control device and motor vehicle with such a detection device
DE102019218590A1 (en) Method and device for object recognition
DE102007021578A1 (en) Road sign classifying method, involves determining object, assigning image elements for each image of object, and accomplishing classification with help of determined image data, with which individual probability is determined
DE102020208878A1 (en) Process for curve detection

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final