DE102022131850A1

DE102022131850A1 - Method for checking an object classification for a motor vehicle carried out by means of an artificial neural network

Info

Publication number: DE102022131850A1
Application number: DE102022131850.8A
Authority: DE
Inventors: Chen Ding
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2022-12-01
Filing date: 2022-12-01
Publication date: 2024-06-06

Abstract

Verfahren zum Überprüfen einer mittels eines künstlichen neuronalen Netzwerks (7) durchgeführten Objektklassifizierung (6) für ein Kraftfahrzeug (1), umfassend: Bereitstellen (S1) mehreren Sensorinformationen (11), die jeweils ein Objekt (13) in einer Umgebung einer die Sensorinformationen (11) bereitstellenden Sensoreinrichtung (2) beschreiben; für jede der bereitgestellten Sensorinformationen (11), Ermitteln (S2) einer Objektklasseninformation (16), die eine Objektklasse für das Objekt (13) beschreibt, durch Anwenden des künstlichen neuronalen Netzwerks (7) auf die Sensorinformation (11); Überprüfen (S3), ob zumindest zwei der mehreren ermittelten Objektklasseninformationen (16) unterschiedliche Objektklassen für das Objekt (13) beschreiben; falls dies der Fall ist, Ermitteln (S6) einer Anzahl an unterschiedlichen Objektklassen, die für das Objekt (13) ermittelt wurden; falls die ermittelte Anzahl (18) größer als oder gleich einem Anzahlgrenzwert (19) ist (S7), Bereitstellen (S8) einer Sonderfallinformation (20), die zumindest beschreibt, dass bei der Objektklassifizierung (6) ein Sonderfall eingetreten ist, da zumindest ein Wechsel der ermittelten Objektklasseninformation (16) festgestellt wurde.Method for checking an object classification (6) for a motor vehicle (1) carried out by means of an artificial neural network (7), comprising: providing (S1) a plurality of sensor information items (11), each describing an object (13) in an environment of a sensor device (2) providing the sensor information (11); for each of the sensor information items (11) provided, determining (S2) an object class information item (16) that describes an object class for the object (13) by applying the artificial neural network (7) to the sensor information (11); checking (S3) whether at least two of the plurality of determined object class information items (16) describe different object classes for the object (13); if this is the case, determining (S6) a number of different object classes that were determined for the object (13); if the determined number (18) is greater than or equal to a number limit value (19) (S7), providing (S8) special case information (20) which at least describes that a special case has occurred in the object classification (6) since at least one change in the determined object class information (16) was detected.

Description

Die Erfindung betrifft ein Verfahren zum Überprüfen einer mittels eines künstlichen neuronalen Netzwerks durchgeführten Objektklassifizierung für ein Kraftfahrzeug. Zudem betrifft die Erfindung ein Kraftfahrzeug, eine Steuervorrichtung für ein Kraftfahrzeug sowie ein Computerprogrammprodukt zum Durchführen eines derartigen Verfahrens.The invention relates to a method for checking an object classification for a motor vehicle carried out by means of an artificial neural network. The invention also relates to a motor vehicle, a control device for a motor vehicle and a computer program product for carrying out such a method.

Ein Kraftfahrzeug kann eine Sensoreinrichtung umfassen, die dazu ausgebildet ist, eine Sensorinformation zu erfassen, die eine Umgebung des Kraftfahrzeugs beschreibt. Die Sensoreinrichtung ist beispielsweise eine Kamera, ein Radargerät, ein Lidar-Gerät und/oder ein Ultraschallsensor. Das Kraftfahrzeug kann außerdem eine Funktion aufweisen, die eine Objektklassifizierung zumindest eines Objekts in der Umgebung des Kraftfahrzeugs durch Auswerten der von der Sensoreinrichtung erfassten und bereitgestellten Sensorinformation durchführen kann. Hierbei kann zum Beispiel zwischen verschiedenen Objektklassen für das Objekt unterschieden werden, sodass bestimmt werden kann, ob es sich bei dem Objekt zum Beispiel um einen Personenkraftwagen, einen Lastkraftwagen, einen Fußgänger, ein Fahrrad, ein Tier und/oder ein Infrastrukturelement, wie zum Beispiel eine Ampelanlage, ein Gebäude und/oder eine Kreuzung handelt. Die ermittelte Objektklasse für das Objekt in der Umgebung des Kraftfahrzeugs kann beispielsweise einer Fahrfunktion des Kraftfahrzeugs bereitgestellt werden, wie beispielsweise einem Fahrerassistenzsystem, beim Planen einer Trajektorie für das Kraftfahrzeug berücksichtigt werden und/oder auf einer Anzeigeeinrichtung im Kraftfahrzeug angezeigt werden.A motor vehicle can comprise a sensor device that is designed to detect sensor information that describes an environment of the motor vehicle. The sensor device is, for example, a camera, a radar device, a lidar device and/or an ultrasonic sensor. The motor vehicle can also have a function that can carry out an object classification of at least one object in the environment of the motor vehicle by evaluating the sensor information detected and provided by the sensor device. In this case, for example, a distinction can be made between different object classes for the object, so that it can be determined whether the object is, for example, a passenger car, a truck, a pedestrian, a bicycle, an animal and/or an infrastructure element, such as a traffic light system, a building and/or an intersection. The determined object class for the object in the environment of the motor vehicle can, for example, be provided to a driving function of the motor vehicle, such as a driver assistance system, taken into account when planning a trajectory for the motor vehicle and/or displayed on a display device in the motor vehicle.

Für die Objektklassifizierung wird typischerweise auf ein künstliches neuronales Netzwerk zurückgegriffen, insbesondere auf ein tiefes neuronales Netzwerk, dem die Sensorinformation bereitgestellt wird. Das künstliche neuronale Netzwerk wird dafür zuvor in einer Trainingsphase auf das Erkennen von Objekten mehrerer Objektklassen auf Basis von Sensorinformationen trainiert, sodass es zu einem späteren Zeitpunkt im Kraftfahrzeug zuverlässig die Objektklassifizierung durchführen kann.An artificial neural network is typically used for object classification, in particular a deep neural network to which the sensor information is provided. The artificial neural network is trained in a training phase to recognize objects from several object classes based on sensor information so that it can reliably carry out object classification in the motor vehicle at a later point in time.

Es gibt jedoch zahlreiche Sonderfälle, in denen die Objektklassifizierung mit dem künstlichen neuronalen Netzwerk nicht zuverlässig durchgeführt wird. Ein solcher Sonderfall tritt beispielsweise auf, wenn das künstliche neuronale Netzwerk auf ein Erkennen einer bestimmten Art von Objekt zuvor nicht trainiert wurde und daher beispielweise für ein einzelnes Objekt wechselnde Objektklassen ermittelt. Es ist sinnvoll, derartige Sonderfälle für ein bestehendes künstliches neuronales Netzwerk zu erfassen, sodass gegebenenfalls anhand der erfassten Sonderfälle das künstliche neuronale Netzwerk nachtrainiert oder überarbeitet werden kann. Es ist jedoch oftmals schwierig, einen Sonderfall als solchen zu erkennen. Es sollte daher ein Überprüfen der Objektklassifizierung mittels des künstlichen neuronalen Netzwerks erfolgen, um zum Beispiel gezielt nach dem Sonderfall suchen zu können.However, there are numerous special cases in which object classification is not carried out reliably using the artificial neural network. Such a special case occurs, for example, when the artificial neural network has not previously been trained to recognize a certain type of object and therefore, for example, determines changing object classes for a single object. It is useful to record such special cases for an existing artificial neural network so that the artificial neural network can be retrained or revised based on the recorded special cases. However, it is often difficult to recognize a special case as such. The object classification should therefore be checked using the artificial neural network in order, for example, to be able to search specifically for the special case.

Es ist die Aufgabe der Erfindung, eine Lösung bereitzustellen, mittels derer zuverlässig die mittels eines künstlichen neuronalen Netzwerks durchgeführte Objektklassifizierung für ein Kraftfahrzeug überprüft werden kann, insbesondere hinsichtlich eines Auftretens von Sonderfällen.It is the object of the invention to provide a solution by means of which the object classification for a motor vehicle carried out by means of an artificial neural network can be reliably checked, in particular with regard to the occurrence of special cases.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst.The problem is solved by the subject matter of the independent patent claims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Überprüfen einer mittels eines künstlichen neuronalen Netzwerks durchgeführten Objektklassifizierung für ein Kraftfahrzeug. Unter einer Objektklassifizierung wird hier verstanden, dass mittels des künstlichen neuronalen Netzwerks ein Objekt erkannt und eine dem erkannten Objekt zugeordnete Objektklasse ermittelt wird. Die ermittelte Objektklasse kann dann im Kraftfahrzeug bereitgestellt werden. Das künstliche neuronale Netzwerk ist beispielsweise ein tiefes oder mehrschichtiges künstliches neuronales Netzwerk, das als Deep Neural Network (DNN) bezeichnet werden kann. Das erfindungsgemäße Verfahren wird bevorzugt von einer Steuervorrichtung im Kraftfahrzeug, die beispielsweise eine zentrale Recheneinrichtung des Kraftfahrzeugs ist, durchgeführt. Es wird angenommen, dass ein bereits trainiertes künstliches neuronales Netzwerk, das auf die Objektklassifizierung von Objekten trainiert wurde, vorliegt. Das künstliche neuronale Netzwerk ist beispielsweise in einer Speichereinheit der Steuervorrichtung gespeichert.A first aspect of the invention relates to a method for checking an object classification for a motor vehicle carried out by means of an artificial neural network. Object classification is understood here to mean that an object is recognized by means of the artificial neural network and an object class associated with the recognized object is determined. The determined object class can then be made available in the motor vehicle. The artificial neural network is, for example, a deep or multi-layer artificial neural network, which can be referred to as a deep neural network (DNN). The method according to the invention is preferably carried out by a control device in the motor vehicle, which is, for example, a central computing device of the motor vehicle. It is assumed that an already trained artificial neural network that has been trained for the object classification of objects is present. The artificial neural network is stored, for example, in a memory unit of the control device.

Das Verfahren umfasst ein Bereitstellen von mehreren Sensorinformationen, die jeweils ein Objekt in einer Umgebung einer die Sensorinformation bereitstellenden Sensoreinrichtung beschreiben. Jede der Sensorinformationen ist einem Teilzeitraum innerhalb eines Gesamtzeitraums zugeordnet. Es wird also über den Gesamtzeitraum hinweg immer wieder die Sensorinformation mittels der Sensoreinrichtung erfasst, sodass insgesamt eine Vielzahl von Sensorinformationen bereitgestellt wird. Die Sensorinformationen werden bevorzugt für die beziehungsweise von der Steuervorrichtung bereitgestellt.The method includes providing multiple sensor information items, each of which describes an object in the environment of a sensor device providing the sensor information. Each of the sensor information items is assigned to a partial period within an overall period. The sensor information is therefore repeatedly recorded by the sensor device over the entire period, so that a large number of sensor information items are provided overall. The sensor information is preferably provided for or by the control device.

Die Sensoreinrichtung ist bevorzugt eine Umgebungserfassungseinrichtung des Kraftfahrzeugs. Die Sensoreinrichtung ist daher beispielsweise eine Frontkamera, eine Heckkamera und/oder eine Seitenkamera. Alternativ oder zusätzlich dazu kann die Sensoreinrichtung ein zum Beispiel in einer Stoßstange des Kraftfahrzeugs angeordnetes Ultraschallgerät, Lidar-Gerät und/oder Ultraschallsensor sein. Andere Anordnungen der Sensoreinrichtung sind möglich. Mittels der Sensoreinrichtung kann zumindest ein Teil der Umgebung des Kraftfahrzeugs erfasst werden, wobei der Teil der Umgebung des Kraftfahrzeugs die Umgebung der Sensoreinrichtung ist. Die Umgebung wird zum Beispiel von einem Erfassungsbereich der Sensoreinrichtung räumlich begrenzt. Das Verfahren kann für die Sensorinformationen von mehreren Sensoreinrichtungen einzeln oder gemeinsam durchgeführt werden. Die jeweilige Sensorinformation umfasst beispielsweise Sensordaten. Die jeweilige Sensorinformation beschreibt beispielsweise ein statisches und/oder bewegtes Abbild im Fall einer der Kameras als Sensoreinrichtung und/oder eine Punktwolke im Fall des Radargeräts, Lidar-Geräts und/oder des Ultraschallsensors.The sensor device is preferably an environment detection device of the motor vehicle. The sensor device is therefore, for example, a front camera, a rear camera and/or a side camera. Alternatively or additionally, the sensor device can be a Ultrasonic device, lidar device and/or ultrasonic sensor. Other arrangements of the sensor device are possible. At least part of the surroundings of the motor vehicle can be detected by means of the sensor device, wherein the part of the surroundings of the motor vehicle is the surroundings of the sensor device. The surroundings are spatially limited, for example, by a detection area of the sensor device. The method can be carried out for the sensor information from several sensor devices individually or jointly. The respective sensor information includes, for example, sensor data. The respective sensor information describes, for example, a static and/or moving image in the case of one of the cameras as a sensor device and/or a point cloud in the case of the radar device, lidar device and/or the ultrasonic sensor.

Für jede der bereitgestellten Sensorinformationen erfolgt ein Ermitteln einer Objektklasseninformation. Die Objektklasseninformation beschreibt eine Objektklasse für das Objekt. Die Objektklasseninformation wird durch Anwenden des künstlichen neuronalen Netzwerks auf die Sensorinformation ermittelt. Hierfür wird auf jede der bereitgestellten mehreren Sensorinformationen das künstliche neuronale Netzwerk angewendet, sodass für jede bereitgestellte Sensorinformation eine dieser Sensorinformation zugeordnete Objektklasseninformation ermittelt wird. Hierbei wird die jeweilige Sensorinformation zum Beispiel in das künstliche neuronale Netzwerk eingespeist. Es wird somit für jeden Zeitraum des Gesamtzeitraums eine Objektklasseninformation ermittelt. Als Objektklasse kann beispielsweise für ein vor dem Kraftfahrzeug fahrendes anderes Fahrzeug als Objekt die Objektklasse „Kraftfahrzeug“, insbesondere eine der Objektklassen „Personenkraftwagen“, „Lastkraftwagen“, „Bus“ und/oder „Motorrad“, ermittelt werden.Object class information is determined for each of the sensor information provided. The object class information describes an object class for the object. The object class information is determined by applying the artificial neural network to the sensor information. For this purpose, the artificial neural network is applied to each of the multiple sensor information provided, so that object class information associated with this sensor information is determined for each sensor information provided. The respective sensor information is fed into the artificial neural network, for example. Object class information is thus determined for each period of the overall period. For example, the object class “motor vehicle”, in particular one of the object classes “passenger car”, “truck”, “bus” and/or “motorcycle”, can be determined as the object class for another vehicle driving in front of the motor vehicle.

Das Verfahren umfasst ein Überprüfen, ob zumindest zwei der mehreren ermittelten Objektklasseninformationen unterschiedliche Objektklassen für das Objekt beschreiben. Es wird also überprüft, ob für ein bestimmtes Objekt die Objektklasse gewechselt hat, beispielsweise von einem der Teilzeiträume zum anschließenden Teilzeitraum. Es kann beispielsweise der Fall sein, dass ein vor dem Kraftfahrzeug fahrendes anderes Fahrzeug als Objekt zunächst als Lastkraftwagen identifiziert wird. Auf Basis der Sensorinformation, für einen späteren Teilzeitraum bereitgestellt wird, wird das Objekt jedoch anstelle als Lastkraftwagen als beispielsweise ein Pickup und somit als Personenkraftwagen erkannt. In diesem Fall wurden für ein und dasselbe Objekt mindestens zwei unterschiedliche Objektklassen festgestellt, sodass zumindest zwei der mehreren ermittelten Objektklasseninformation in diesem Beispiel unterschiedliche Objektklassen für das Objekt beschreiben.The method includes checking whether at least two of the multiple items of object class information determined describe different object classes for the object. It is therefore checked whether the object class has changed for a specific object, for example from one of the sub-time periods to the subsequent sub-time period. For example, it may be the case that another vehicle driving in front of the motor vehicle is initially identified as a truck. However, based on the sensor information provided for a later sub-time period, the object is recognized as a pickup truck, for example, and thus as a passenger car, instead of as a truck. In this case, at least two different object classes were determined for one and the same object, so that at least two of the multiple items of object class information determined in this example describe different object classes for the object.

Falls festgestellt wird, dass zumindest zwei der mehreren ermittelten Objektklasseninformationen unterschiedliche Objektklassen für das Objekt beschreiben, erfolgt ein Ermitteln einer Anzahl an unterschiedlichen Objektklassen, die für das Objekt ermittelt wurden. Im oben genannten Beispiel wurden beispielsweise zwei unterschiedliche Objektklassen für das Objekt ermittelt. Falls die ermittelte Anzahl größer als oder gleich einem Anzahlgrenzwert ist, erfolgt ein Bereitstellen einer Sonderfallinformation. Diese beschreibt zumindest, dass bei der Objektklassifizierung mittels des künstlichen neuronalen Netzwerks ein Sonderfall aufgetreten ist, da zumindest ein Wechsel der ermittelten Objektklasseinformation festgestellt wurde. Der Anzahlgrenzwert kann beispielsweise 2 betragen, sodass bereits bei einem einzelnen festgestellten Wechsel der Objektklasse gemäß der Objektklasseninformation für das Objekt die Sonderfallinformation bereitgestellt wird. Alternativ oder zusätzlich dazu ist es möglich, einen größeren Anzahlgrenzwert zu wählen, beispielsweise von 3, 4, 5 oder 10. Ein einmaliger Wechsel der ermittelten Objektklasse für das Objekt wird in diesen Beispielen toleriert und erst bei häufigerem Wechsel der Objektklasse wird angenommen, dass der Sonderfall eingetreten ist. Die Sonderfallinformation beschreibt also, dass das Auswerten und somit die Objektklassifizierung mittels des künstlichen neuronalen Netzwerks auffällig ist und nicht einem gewünschten Regelfall entspricht. Der Sonderfall kann als Corner Case bezeichnet werden.If it is determined that at least two of the several determined object class information items describe different object classes for the object, a number of different object classes that were determined for the object is determined. In the example above, for example, two different object classes were determined for the object. If the determined number is greater than or equal to a number limit, special case information is provided. This describes at least that a special case occurred during object classification using the artificial neural network, since at least one change in the determined object class information was determined. The number limit can be 2, for example, so that the special case information is provided even if a single change in the object class is detected according to the object class information for the object. Alternatively or in addition to this, it is possible to choose a larger number limit, for example 3, 4, 5 or 10. A one-time change in the determined object class for the object is tolerated in these examples, and it is only assumed that the special case has occurred if the object class changes more frequently. The special case information describes that the evaluation and thus the object classification using the artificial neural network is conspicuous and does not correspond to a desired standard case. The special case can be referred to as a corner case.

Es wird im Rahmen des Verfahrens angenommen, dass genau ein einziges Objekt für sich betrachtet wird, das heißt, genau für ein einziges Objekt über den Gesamtzeitraum hinweg immer wieder die Objektinformation ermittelt wird. Es werden also keine verschiedenen Objekte in der Umgebung hinsichtlich ihrer Objektklasse ausgewertet und miteinander verglichen. Hierdurch wird ermöglicht, dass ein Sonderfall beim Auswerten des künstlichen neuronalen Netzwerks, der auf eine Problematik bei der Objektklassifizierung mittels des künstlichen neuronalen Netzwerks hindeutet, eindeutig identifiziert und bereitgestellt werden kann. Es kann somit zuverlässig die mittels des künstlichen neuronalen Netzwerks durchgeführte Objektklassifizierung für das Kraftfahrzeug überprüft werden, insbesondere hinsichtlich des Auftretens von Sonderfällen.The method assumes that exactly one object is considered on its own, i.e. the object information is determined repeatedly for exactly one object over the entire period. This means that no different objects in the environment are evaluated and compared with each other in terms of their object class. This makes it possible for a special case when evaluating the artificial neural network, which indicates a problem with the object classification using the artificial neural network, to be clearly identified and made available. The object classification for the motor vehicle carried out using the artificial neural network can therefore be reliably checked, in particular with regard to the occurrence of special cases.

Ein Ausführungsbeispiel der Erfindung sieht vor, dass für jede der unterschiedlichen Objektklassen mindestens eine der Sensorinformationen ausgewählt wird, für die beim Anwenden des künstlichen neuronalen Netzwerks die Objektklasseninformation ermittelt wurde, die diese Objektklasse beschreibt. Die bereitgestellte Sonderfallinformation umfasst die ausgewählten Sensorinformationen. Es wird also für jeden Wechsel der ermittelten Objektklasse eine dazugehörige Sensorinformation ausgewählt und diese ebenfalls, zum Beispiel als Teilinformation der Sonderfallinformation, bereitgestellt. Es werden also gezielt die von der Sensoreinrichtung erfassten Daten, auf deren Basis das künstliche neuronale Netzwerk die jeweilige Objektklasseninformation ermittelt hat, ausgewählt und ebenfalls bereitgestellt. Dies erfolgt für jede unterschiedliche Objektklasseninformation. Falls eine bestimmte Objektklasseninformation für mehrere Teilzeiträume und somit mehrmals ermittelt wurde, reicht es jedoch, eine einzige Sensorinformation aus den Sensorinformationen für die mehreren Teilzeiträume auszuwählen. Dies ermöglicht beispielsweise auf Basis der bereitgestellten Sonderfallinformation ein Auswerten der Informationen, die zu den unterschiedlichen Objektklassifizierungen mittels des künstlichen neuronalen Netzwerks geführt haben.An embodiment of the invention provides that for each of the different object classes, at least one of the sensor information is selected for which the object class information describing this object class was determined when the artificial neural network was used. The special case information provided includes the selected sensor information. For each change in the determined object class, corresponding sensor information is selected and this is also made available, for example as partial information of the special case information. The data recorded by the sensor device on the basis of which the artificial neural network determined the respective object class information is therefore specifically selected and also made available. This is done for each different object class information. However, if a specific object class information was determined for several sub-periods and thus several times, it is sufficient to select a single sensor information from the sensor information for the several sub-periods. This enables, for example, the information that led to the different object classifications to be evaluated using the artificial neural network on the basis of the special case information provided.

Des Weiteren sieht es ein Ausführungsbeispiel vor, dass die ausgewählten Sensorinformationen jeweils zumindest ein Einzelabbild der Umgebung der Sensoreinrichtung beschreiben, das mittels der Sensoreinrichtung erfasst wurde. Es können also beispielsweise ein oder mehrere einzelne Sensorinformationsdatensätze beziehungsweise Frames, die mittels der Sensoreinrichtung erfasst wurden, bereitgestellt werden. Das Einzelabbild kann ein statisches oder dynamisches Abbild und/oder eine Punktwolke sein. Es werden also bevorzugt lediglich einzelne Abbilder und/der Punktwolken, die das Objekt beschreiben und auf deren Basis die Objektklassifizierung durchgeführt wurde, ausgewählt und bereitgestellt. Bevorzugt werden beispielsweise zwei bis drei Einzelabbilder zu dem oder um den Zeitpunkt herum, an dem die jeweilige Objektklasse, insbesondere der Objektklassenwechsel, beobachtet wurde, bereitgestellt werden. Dies reduziert die bereitgestellte Menge an Sensorinformationen, was besonders ressourcensparsam ist.Furthermore, one embodiment provides that the selected sensor information each describes at least one individual image of the environment of the sensor device that was recorded by the sensor device. For example, one or more individual sensor information data sets or frames that were recorded by the sensor device can be provided. The individual image can be a static or dynamic image and/or a point cloud. Preferably, therefore, only individual images and/or the point clouds that describe the object and on the basis of which the object classification was carried out are selected and provided. Preferably, for example, two to three individual images are provided at or around the time at which the respective object class, in particular the object class change, was observed. This reduces the amount of sensor information provided, which is particularly resource-efficient.

Ferner ist es in einem Ausführungsbeispiel vorgesehen, dass die bereitgestellte Sonderfallinformation die unterschiedlichen ermittelten Objektklassen beschreibt. Die Sonderfallinformation umfasst also nicht nur die Information, dass der Sonderfall aufgetreten ist, sondern kann zusätzlich beschreiben, welche mehrere Objektklassen für das Objekt ermittelt wurden. Hierdurch wird eine Auswertung der Sonderfallinformation weiter erleichtert, da sofort erfassbar ist, welche Objektklassen vom Sonderfall betroffen sind.Furthermore, in one embodiment, it is provided that the special case information provided describes the different object classes determined. The special case information therefore not only includes the information that the special case has occurred, but can also describe which multiple object classes were determined for the object. This further facilitates the evaluation of the special case information, since it is immediately possible to determine which object classes are affected by the special case.

Gemäß einem zusätzlichen Ausführungsbeispiel ist es vorgesehen, dass die Objektklasseninformation unter Berücksichtigung von zumindest einer von folgenden Informationen ermittelt wird und/oder die Sonderfallinformation für den Teilzeitraum des Bereitstellens der jeweiligen Sensorinformation zumindest eine der folgenden Informationen umfasst: eine Positionsinformation, eine Fahrinformation, eine Abstandsinformation und/oder eine Abstandsänderungsinformation. Die Positionsinformation beschreibt eine Position des Kraftfahrzeugs. Die Positionsinformation wird beispielsweise mittels einer Positionsbestimmungseinrichtung des Kraftfahrzeugs, die beispielsweise auf einem globalen Navigationssatellitensystem (Global Navigation Satellite System, GNSS) basiert, bereitgestellt. Die Fahrinformation beschreibt eine Geschwindigkeit, eine Fahrtrichtung und/oder eine Beschleunigung des Kraftfahrzeugs einerseits und/oder des Objekts in der Umgebung des Kraftfahrzeugs andererseits. Die Fahrinformation kann durch Auswerten der Sensorinformation ermittelt werden, falls die das Objekt betrifft. Falls sie das Kraftfahrzeug betrifft, kann sie beispielsweise mittels einer entsprechenden Sensoreinheit des Kraftfahrzeugs ermittelt werden, beispielsweise durch Auswerten einer Raddrehzahl, einem Lenkwinkel und/oder anderen Odometriedaten des Kraftfahrzeugs. Es kann insbesondere eine Relativgeschwindigkeit, Relativbeschleunigung und/oder Orientierung der Fahrtrichtungen für das Kraftfahrzeug und das Objekt zueinander als Information berücksichtigt werden. Die Abstandsinformation beschreibt einen Abstand zwischen dem Kraftfahrzeug und dem Objekt. Sie kann beispielsweise durch Auswerten der Sensorinformation ermittelt werden. Die Abstandsänderungsinformation beschreibt eine Änderung des Abstands während des Bereitstellens der mehreren Sensorinformationen. Die Abstandsänderungsinformation wird durch Auswerten der zu mehreren Zeitpunkten ermittelten Abstandsinformationen ermittelt, sodass beispielsweise festgestellt werden kann, ob sich das Kraftfahrzeug dem Objekt annähert oder sich von diesem entfernt.According to an additional embodiment, it is provided that the object class information is determined taking into account at least one of the following information and/or the special case information for the partial period of time in which the respective sensor information is provided comprises at least one of the following information: position information, driving information, distance information and/or distance change information. The position information describes a position of the motor vehicle. The position information is provided, for example, by means of a position determination device of the motor vehicle, which is based, for example, on a global navigation satellite system (GNSS). The driving information describes a speed, a direction of travel and/or an acceleration of the motor vehicle on the one hand and/or the object in the vicinity of the motor vehicle on the other hand. The driving information can be determined by evaluating the sensor information if it relates to the object. If it relates to the motor vehicle, it can be determined, for example, by means of a corresponding sensor unit of the motor vehicle, for example by evaluating a wheel speed, a steering angle and/or other odometry data of the motor vehicle. In particular, a relative speed, relative acceleration and/or orientation of the directions of travel for the motor vehicle and the object to one another can be taken into account as information. The distance information describes a distance between the motor vehicle and the object. It can be determined, for example, by evaluating the sensor information. The distance change information describes a change in the distance during the provision of the multiple sensor information items. The distance change information is determined by evaluating the distance information determined at multiple points in time, so that it can be determined, for example, whether the motor vehicle is approaching the object or moving away from it.

Beim Ermitteln der Objektklasseninformation kann beispielsweise überprüft werden, ob beispielsweise die für das Objekt bereitgestellte Fahrinformation für die bestimmte Objektklasse plausibel ist. Wird beispielsweise mittels des künstlichen neuronalen Netzwerks ein Fahrrad als Objektklasse des Objekts bestimmt, jedoch gleichzeitig festgestellt, dass gemäß der Fahrinformation für das Objekt, dass das Objekt eine Geschwindigkeit von beispielsweise 100 Kilometer pro Stunde aufweist, kann darauf geschlossen werden, dass das Objekt eher ein Motorrad sein kann als ein Fahrrad. Es kann also eine Überprüfung der Ergebnisse des künstlichen neuronalen Netzwerks bereits vor dem finalen Bereitstellen der Objektklasseninformation erfolgen, indem zumindest eine der genannten Informationen berücksichtigt wird.When determining the object class information, it can be checked, for example, whether the driving information provided for the object is plausible for the specific object class. For example, if a bicycle is determined as the object class of the object using the artificial neural network, but at the same time it is determined that according to the driving information for the object, the object has a speed of, for example, 100 kilometers per hour, it can be concluded that the object is more likely to be a motorcycle than a bicycle. The results of the artificial neural network can therefore be checked before the object class information is finally provided by taking at least one of the above-mentioned pieces of information into account.

Alternativ oder zusätzlich dazu kann die jeweilige Information der Sonderfallinformation zugefügt werden, das heißt von dieser umfasst werden, und somit gegebenenfalls für eine weitere Auswertung der Sonderfallinformation zur Verfügung stehen. Beispielsweise kann die Positionsinformation Informationen dazu enthalten, ob sich das Kraftfahrzeug auf einer Schnellstraße oder in einem innerstädtischen Gebiet befunden hat, als der Sonderfall aufgetreten ist, sodass überprüft werden kann, ob gegebenenfalls das Auftreten des Sonderfalls von der Umgebung des Kraftfahrzeugs abhängt oder nicht. Analog dazu kann ein Zusammenhang zwischen beispielsweise Abstand zum Objekt, Geschwindigkeit, Abstandsänderung und/oder Orientierung der Fahrtrichtungen und dem Auftreten des Sonderfalls analysiert werden. Es liegen also mit den genannten Informationen zusätzliche Details zu einer Situation vor, in der die Objektklassifizierung mittels des künstlichen neuronalen Netzwerks erfolgt ist und/oder in der der Sonderfall aufgetreten ist.Alternatively or in addition, the respective information may be assigned to the special case information be added, that is, be included by it, and thus be available, if necessary, for further evaluation of the special case information. For example, the position information can contain information on whether the motor vehicle was on a highway or in an inner-city area when the special case occurred, so that it can be checked whether or not the occurrence of the special case depends on the surroundings of the motor vehicle. Analogously, a connection between, for example, distance to the object, speed, change in distance and/or orientation of the directions of travel and the occurrence of the special case can be analyzed. The information mentioned therefore provides additional details about a situation in which the object classification was carried out using the artificial neural network and/or in which the special case occurred.

Ein zusätzliches Ausführungsbeispiel sieht vor, dass die Information beim Ermitteln der Objektklasseninformation für das Durchführen einer Plausibilitätsprüfung berücksichtigt wird. Bei der Plausibilitätsprüfung wird überprüft, ob die Objektklasse gemäß der jeweiligen ermittelten Objektklasseninformation plausibel oder unplausibel ist. Wenn diese unplausibel ist, erfolgt eine Korrektur der ermittelten Objektklasseninformation. Die korrigierte Objektklasseninformation wird beim Überprüfen, ob zumindest zwei der mehreren ermittelten Objektklasseninformationen unterschiedliche Objektklassen für das Objekt beschreiben, berücksichtigt. Die korrigierte Objektklasseninformation wird bevorzugt anstelle der zuvor ermittelten Objektklasseninformation berücksichtigt. In dem bereits oben genannten Beispiel kann also bei der offensichtlich fehlerhaften Objektklassifizierung des schnell fahrenden Objekts als Fahrrad so getan werden, als wäre nie ein Problem bei der Objektklassifizierung aufgetreten, da zunächst die Plausibilitätsprüfung durchführt und daraufhin die Objektklasse gemäß der Objektklasseninformation von „Fahrrad“ zu „Motorrad“ automatisch korrigiert wird. Falls in den davor und/oder danach angeordneten Teilzeiträumen ebenfalls jeweils die Objektklasse „Motorrad“ ermittelt wurde, wurde ein Wechsel der Objektklasseninformation unterbunden, sodass kein Sonderfall aufgetreten ist. Hierdurch wird eine zusätzliche Absicherung eingeführt für die Fälle, in denen beispielsweise das künstliche neuronale Netzwerk selbst und/oder ein zusätzlicher Algorithmus zum Durchführen der Plausibilitätsprüfung feststellen kann, dass die erfolgte Objektklassifizierung zu korrigieren ist und die nötige Korrektur durchführt.An additional embodiment provides that the information is taken into account when determining the object class information for carrying out a plausibility check. During the plausibility check, it is checked whether the object class is plausible or implausible according to the respective determined object class information. If this is implausible, the determined object class information is corrected. The corrected object class information is taken into account when checking whether at least two of the several determined object class information describe different object classes for the object. The corrected object class information is preferably taken into account instead of the previously determined object class information. In the example already mentioned above, if the object classification of the fast-moving object as a bicycle is obviously incorrect, it can be acted as if no problem had ever occurred with the object classification, since the plausibility check is carried out first and then the object class is automatically corrected from “bicycle” to “motorcycle” according to the object class information. If the object class “motorcycle” was also determined in the partial time periods arranged before and/or after, a change in the object class information was prevented, so that no special case occurred. This provides additional security for cases where, for example, the artificial neural network itself and/or an additional algorithm for performing the plausibility check can determine that the object classification needs to be corrected and makes the necessary correction.

Es kann alternativ dazu vorgesehen sein, dass die korrigierte Objektklasseninformation von der Sonderfallinformation umfasst wird, das heißt die Durchführung der Plausibilitätsprüfung sowie die hierdurch erfolgten Korrekturen der Objektklasseninformation immer als Sonderfall bereitgestellt werden.Alternatively, it may be provided that the corrected object class information is included in the special case information, i.e. the execution of the plausibility check and the resulting corrections to the object class information are always provided as a special case.

In einem weiteren Ausführungsbeispiel ist es vorgesehen, dass die bereitgestellte Sonderfallinformation einen Konfidenzwert der Objektklassifizierung umfasst, der vom künstlichen neuronalen Netzwerk für die jeweilige Objektklasseninformation bereitgestellt wird. Es wird also beispielsweise ein als Prozentangabe angegebener Wert berücksichtigt, der angibt, wie wahrscheinlich das künstliche neuronale Netzwerk die von ihm ermittelte Objektklasseninformation bewertet. Alternativ oder zusätzlich dazu kann der Konfidenzwert als Wert zwischen 0 und 100 oder 0 und 10 angegeben werden. Liegt beispielsweise der Konfidenzwert lediglich bei 50 Prozent oder darunter kann davon ausgegangen werden, dass das künstliche neuronale Netzwerk von der von ihm ermittelten Objektklasseninformation weniger überzeugt ist, als es beispielsweise bei einem Konfidenzwert von über 80 Prozent oder 90 Prozent der Fall wäre. Es kann daraufhin zum Beispiel ausgewertet werden, ob beispielsweise in einem gewissen Konfidenzwertebereich häufiger ein Sonderfall auftritt als beispielsweise bei einem im Vergleich dazu höheren Konfidenzwertebereich. Durch das Bereitstellen des Konfidenzwerts wird also eine weitere detaillierte Auswertung des Sonderfalls ermöglicht.In a further embodiment, it is provided that the special case information provided includes a confidence value of the object classification, which is provided by the artificial neural network for the respective object class information. For example, a value specified as a percentage is taken into account, which indicates how likely the artificial neural network is to evaluate the object class information it has determined. Alternatively or additionally, the confidence value can be specified as a value between 0 and 100 or 0 and 10. If, for example, the confidence value is only 50 percent or less, it can be assumed that the artificial neural network is less convinced of the object class information it has determined than would be the case, for example, with a confidence value of over 80 percent or 90 percent. It can then be evaluated, for example, whether, for example, a special case occurs more frequently in a certain confidence value range than, for example, in a comparatively higher confidence value range. Providing the confidence value therefore enables a further detailed evaluation of the special case.

In einem weiteren Ausführungsbeispiel ist es vorgesehen, dass für jede Objektklasse, die durch Anwenden des künstlichen neuronalen Netzwerks feststellbar ist, der jeweilige Konfidenzwert ermittelt und die Objektklasse mit dem höchsten ermittelten Konfidenzwert als gemäß der Objektklasseninformation ermittelte Objektklasse bestimmt wird. Es wird also nicht nur genau die Objektklasse ausgewählt, die den höchsten Konfidenzwert aufweist, sondern es kann beispielsweise für jede mögliche Objektklasse, auf die das künstliche neuronale Netzwerk trainiert wurde, angegeben werden, wie wahrscheinlich es ist, dass das Objekt genau dieser Objektklasse zugeordnet ist. Dadurch kann festgestellt werden, ob beispielsweise leichte Verschiebungen in den Konfidenzwerten für einzelne Objektklassen ausschlaggebend für den beobachteten Wechsel waren oder ob beispielsweise immer wieder gänzlich andere Objektklassen für das Objekt ermittelt wurden. Ist beispielsweise für einen ersten Teilzeitraum der Konfidenzwert für einen Lastkraftwagen als Objektklasse bei 51 Prozent und der Konfidenzwert für einen Personenkraftwagen als Objektklasse bei 49 Prozent und für einen zweiten Zeitraum der Konfidenzwert für den Personenkraftwagen als Objektklasse bei 52 Prozent und für den Lastkraftwagen bei 48 Prozent, kann dies darauf hindeuten, dass generell die Zuordnung zu Personenkraftwagen oder Lastkraftwagen als Objektklasse für das erfasste Objekt schwierig für das künstliche neuronale Netzwerk zu sein scheint. Falls jedoch für den ersten Teilzeitraum ein Konfidenzwert von 51 Prozent für den Lastkraftwagen als Objektklasse zusammen mit einem Konfidenzwert von nur 30 Prozent für den Personenkraftwagen als Objektklasse ermittelt wird, für den zweiten Teilzeitraum der Konfidenzwert für den Personenkraftwagen als Objektklasse jedoch deutlich ansteigt auf zum Beispiel 60 Prozent und der Konfidenzwert für den Lastkraftwagen als Objektklasse deutlich abfällt auf zum Beispiel 12 Prozent, scheint ein im Vergleich zum zuvor genannten Beispiel besonders auffallender Sonderfall vorzuliegen, bei dem das künstliche neuronale Netzwerk sehr unterschiedliche Objektklassen für die mehreren bereitgestellten Sensorinformationen ermittelt. Die beiden Beispiele können dann zu unterschiedlichen Maßnahmen hinsichtlich beispielsweise einer Überarbeitung des künstlichen neuronalen Netzwerks führen. Die Konfidenzwerte sollten daher im Detail bereitgestellt werden.In a further embodiment, it is provided that for each object class that can be determined by applying the artificial neural network, the respective confidence value is determined and the object class with the highest determined confidence value is determined as the object class determined according to the object class information. Thus, not only is the object class with the highest confidence value selected, but for each possible object class on which the artificial neural network was trained, it can be stated how likely it is that the object is assigned to exactly this object class. This makes it possible to determine whether, for example, slight shifts in the confidence values for individual object classes were decisive for the observed change or whether, for example, completely different object classes were repeatedly determined for the object. For example, if for a first sub-period the confidence value for a truck as an object class is 51 percent and the confidence value for a passenger car as an object class is 49 percent and for a second period the confidence value for the passenger car as an object class is 52 percent and for the truck is 48 percent, this may indicate that in general the assignment to passenger car or truck as an object class for the recorded object is difficult for the artificial neuro national network. However, if for the first sub-period a confidence value of 51 percent is determined for the truck as an object class together with a confidence value of only 30 percent for the passenger car as an object class, but for the second sub-period the confidence value for the passenger car as an object class increases significantly to, for example, 60 percent and the confidence value for the truck as an object class drops significantly to, for example, 12 percent, there appears to be a particularly striking special case in comparison to the previously mentioned example in which the artificial neural network determines very different object classes for the multiple sensor information provided. The two examples can then lead to different measures, for example regarding a revision of the artificial neural network. The confidence values should therefore be provided in detail.

In einem weiteren Ausführungsbeispiel ist es vorgesehen, dass dem Objekt eine Identifikationsinformation zugeordnet ist, die das Objekt in den mehreren bereitgestellten Sensorinformationen jeweils beschreibt. Die Identifikationsinformation kann eine Kombination aus Zahlen und/oder Buchstaben sein, die dem Objekt bei seinem ersten Erscheinen im Erfassungsbereich der Sensoreinrichtung zugeordnet wird. Das Objekt behält die ihm zugeordnete Identifikationsinformation bei, solange es sich im Erfassungsbereich der Sensoreinrichtung befindet und somit solange, bis es aus diesem verschwunden ist. Es wird hierbei angenommen, dass die Identifikationsinformation für ein und dasselbe Objekt im Gesamtzeitraum nicht wechselt. Befinden sich im Erfassungsbereich der Sensoreinrichtung mehrere Objekte, wird jedem Objekt eine eigene individuelle Identifikationsinformation zugeordnet, wobei die jeweiligen Identifikationsinformationen nicht übereinstimmen. Hierdurch wird es ermöglicht, die Auswertung des künstlichen neuronalen Netzwerks für genau ein Objekt über den gesamten Zeitraum zu beobachten und auszuwerten.In a further embodiment, it is provided that the object is assigned identification information that describes the object in each of the multiple sensor information items provided. The identification information can be a combination of numbers and/or letters that is assigned to the object when it first appears in the detection range of the sensor device. The object retains the identification information assigned to it as long as it is in the detection range of the sensor device and thus until it has disappeared from it. It is assumed here that the identification information for one and the same object does not change over the entire period. If there are several objects in the detection range of the sensor device, each object is assigned its own individual identification information, whereby the respective identification information does not match. This makes it possible to observe and evaluate the evaluation of the artificial neural network for exactly one object over the entire period.

Ferner ist es in einem Ausführungsbeispiel vorgesehen, dass die Objektklasseninformation zumindest zwischen motorisierten und nicht-motorisierten Verkehrsteilnehmern unterscheidet. Insbesondere kann eine Fahrtrichtung des Verkehrsteilnehmers berücksichtigt werden. Mit anderen Worten kann beispielsweise zwischen motorisierten Verkehrsteilnehmern, das heißt Personenkraftwagen, Lastkraftwagen, Bussen, Motorrädern und ähnlichem auf der einen Seite und typischen nicht-motorisierten Verkehrsteilnehmern wie Fußgängern, Fahrrädern und/oder Tieren auf der anderen Seite unterschieden werden. Nicht-motorisierte Verkehrsteilnehmer können ferner Infrastrukturelemente sein, wie beispielsweise eine Ampelanlage, eine Schranke und/oder ein Verkehrsschild. Es kann hierbei außerdem unterschieden werden, ob sich das Objekt auf das Kraftfahrzeug zubewegt, das heißt in entgegengesetzter Fahrtrichtung zu diesem fährt beziehungsweise sich bewegt oder ob es beispielsweise in der gleichen Fahrtrichtung beispielweise vor dem Kraftfahrzeug fährt beziehungsweise sich bewegt. Hierdurch können auf einfache Art und Weise für viele Fahrerassistenzsysteme oder andere Funktionen des Kraftfahrzeugs relevante Informationen als Objektklasseninformation bereitgestellt werden, insbesondere um zu ermitteln, ob das Objekt eine Kollisionsgefahr darstellt oder nicht.Furthermore, in one embodiment, it is provided that the object class information at least distinguishes between motorized and non-motorized road users. In particular, a direction of travel of the road user can be taken into account. In other words, a distinction can be made, for example, between motorized road users, i.e. passenger cars, trucks, buses, motorcycles and the like on the one hand and typical non-motorized road users such as pedestrians, bicycles and/or animals on the other hand. Non-motorized road users can also be infrastructure elements, such as a traffic light system, a barrier and/or a traffic sign. A distinction can also be made here as to whether the object is moving towards the motor vehicle, i.e. driving or moving in the opposite direction to it, or whether it is driving or moving in the same direction, for example in front of the motor vehicle. This makes it easy to provide information relevant to many driver assistance systems or other functions of the motor vehicle as object class information, in particular to determine whether the object represents a risk of collision or not.

Ferner sieht es ein Ausführungsbeispiel vor, dass die bereitgestellte Sonderfallinformation und/oder die ermittelten Objektklasseninformationen an eine externe Recheneinrichtung übermittelt wird. Es kann beispielsweise nachdem die Sonderfallinformation mittels der Steuervorrichtung des Kraftfahrzeugs bereitgestellt wurde diese über eine Kommunikationsverbindung an die externe Recheneinrichtung übermittelt werden. Hierfür weist das Kraftfahrzeug und/oder die Steuervorrichtung beispielsweise eine Kommunikationsschnittstelle auf. Die Kommunikationsverbindung kann zumindest teilweise kabellos oder kabelgebunden sein. Die Kommunikationsverbindung zwischen dem Kraftfahrzeug und der externen Recheneinrichtung kann als kabellose, insbesondere drahtlose, Verbindung, beispielsweise über ein drahtloses lokales Netzwerk (WLAN für Wireless Local Area Network), eine Bluetooth-Verbindung und/oder ein mobiles Datennetzwerk, beispielsweise basierend auf dem Mobilfunkstandard Long Term Evolution (LTE), Long Term Evolution Advanced (LTE-A), Fifth Generation (5G) oder Sixth Generation (6G), vorgesehen sein. Die externe Recheneinrichtung ist beispielsweise ein Server, ein Backend und/oder ein Cloudserver. Die externe Recheneinrichtung kann beispielsweise von einem Hersteller und/oder Betreiber des künstlichen neuronalen Netzwerks bereitgestellt sein.Furthermore, one embodiment provides that the special case information provided and/or the object class information determined is transmitted to an external computing device. For example, after the special case information has been provided by means of the control device of the motor vehicle, it can be transmitted to the external computing device via a communication connection. For this purpose, the motor vehicle and/or the control device has, for example, a communication interface. The communication connection can be at least partially wireless or wired. The communication connection between the motor vehicle and the external computing device can be provided as a wireless, in particular wireless, connection, for example via a wireless local area network (WLAN for Wireless Local Area Network), a Bluetooth connection and/or a mobile data network, for example based on the mobile radio standard Long Term Evolution (LTE), Long Term Evolution Advanced (LTE-A), Fifth Generation (5G) or Sixth Generation (6G). The external computing device is, for example, a server, a backend and/or a cloud server. The external computing device can, for example, be provided by a manufacturer and/or operator of the artificial neural network.

Es kann nicht nur die Sonderfallinformation, sondern auch oder alternativ die ermittelten Objektklasseninformationen, die mittels des künstlichen neuronalen Netzwerks erfasst wurden, bereitgestellt werden. Es kann also beispielsweise vorgesehen sein, dass das künstliche neuronale Netzwerk zwar im Kraftfahrzeug angewendet wird, alle Schritte ab der bereitgestellten Objektklasseninformation, wie beispielsweise das Überprüfen der Objektklasseninformation, können jedoch fahrzeugextern in der externen Recheneinrichtung erfolgen. Alternativ oder zusätzlich dazu ist es möglich, dass bereits die Sensorinformationen der externen Recheneinrichtung bereitgestellt werden, sodass diese mittels eines dort bereitgestellten künstlichen neuronalen Netzwerks die weitere Auswertung der Sensorinformationen durchführt. Bevorzugt findet jedoch die Auswertung der Sensorinformationen vollständig im Kraftfahrzeug statt und nur der festgestellte Sonderfall wird der externen Recheneinrichtung gemeldet.Not only the special case information can be provided, but also or alternatively the determined object class information that was recorded using the artificial neural network. For example, it can be provided that the artificial neural network is used in the motor vehicle, but all steps from the object class information provided, such as checking the object class information, can be carried out outside the vehicle in the external computing device. Alternatively or additionally, it is possible that the sensor information is already provided to the external computing device, so that it carries out the further evaluation of the sensor information using an artificial neural network provided there. Preferably, however, the The evaluation of the sensor information takes place entirely in the vehicle and only the detected special case is reported to the external computing device.

Gemäß einem weiteren Ausführungsbeispiel ist es vorgesehen, dass mittels der externen Recheneinrichtung eine Auswertung der bereitgestellten Sonderfallinformation und/oder Objektklasseninformationen durchgeführt wird. Insbesondere unter Berücksichtigung der Auswertung wird das künstliche neuronale Netzwerk überarbeitet. Hierfür kann es beispielsweise nachtrainiert werden. Die externe Recheneinrichtung führt also bevorzugt die Auswertung des Sonderfalls durch und kann daraufhin ein hinsichtlich des Sonderfalls korrigiertes künstliches neuronales Netzwerk ermitteln. Dieses wird daraufhin bevorzugt über die Kommunikationsverbindung wieder für das Kraftfahrzeug bereitgestellt, beispielsweise in Form eines Updates für das künstliche neuronale Netzwerk beziehungsweise die Steuervorrichtung des Kraftfahrzeugs.According to a further embodiment, it is provided that an evaluation of the special case information and/or object class information provided is carried out by means of the external computing device. The artificial neural network is revised, in particular taking the evaluation into account. For this purpose, it can be retrained, for example. The external computing device therefore preferably carries out the evaluation of the special case and can then determine an artificial neural network corrected with regard to the special case. This is then preferably made available again for the motor vehicle via the communication connection, for example in the form of an update for the artificial neural network or the control device of the motor vehicle.

Es kann alternativ oder zusätzlich dazu vorgesehen sein, dass jegliche Auswertung im Kraftfahrzeug selbst erfolgt und beispielsweise lediglich eine Meldung über den aufgetretenen Sonderfall an die externe Recheneinrichtung übermittelt und/oder mittels einer Ausgabeeinrichtung im Kraftfahrzeug ausgegeben wird. Die Ausgabeeinrichtung ist beispielsweise ein Bildschirm, insbesondere ein berührungssensitiver Bildschirm, und/oder ein Lautsprecher im Kraftfahrzeug.Alternatively or additionally, it can be provided that any evaluation takes place in the motor vehicle itself and, for example, only a message about the special case that has occurred is transmitted to the external computing device and/or output by means of an output device in the motor vehicle. The output device is, for example, a screen, in particular a touch-sensitive screen, and/or a loudspeaker in the motor vehicle.

Ein weiterer Aspekt der Erfindung betrifft eine Steuervorrichtung für ein Kraftfahrzeug. Die Steuervorrichtung ist dazu ausgebildet, das beschriebene Verfahren durchzuführen. Die Steuervorrichtung führt das beschriebene Verfahren, insbesondere ein Ausführungsbeispiel oder eine Kombination von Ausführungsbeispielen des beschriebenen Verfahrens, durch. Die Steuervorrichtung weist eine Prozessoreinrichtung auf. Die Prozessoreinrichtung kann zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der alternativ als Computerprogrammprodukt bezeichnet werden kann. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.A further aspect of the invention relates to a control device for a motor vehicle. The control device is designed to carry out the described method. The control device carries out the described method, in particular an embodiment or a combination of embodiments of the described method. The control device has a processor device. The processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). Furthermore, the processor device can have program code, which can alternatively be referred to as a computer program product. The program code can be stored in a data memory of the processor device.

Ein weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug, das dazu ausgebildet ist, das oben beschriebene Verfahren durchzuführen. Das Kraftfahrzeug ist beispielsweise ein Personenkraftwagen, ein Lastkraftwagen, ein Bus, ein Motorrad und/oder ein Moped. Das Kraftfahrzeug kann die beschriebene Steuervorrichtung aufweisen.A further aspect of the invention relates to a motor vehicle which is designed to carry out the method described above. The motor vehicle is, for example, a passenger car, a truck, a bus, a motorcycle and/or a moped. The motor vehicle can have the control device described.

Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt. Das Computerprogrammprodukt ist ein Computerprogramm. Das Computerprogrammprodukt umfasst Befehle, die bei der Ausführung des Programms durch einen Computer, wie beispielsweise durch die Steuervorrichtungen und/oder die externe Recheneinrichtung, diesen veranlassen, die entsprechenden Schritte des erfindungsgemäßen Verfahrens durchzuführen.A further aspect of the invention relates to a computer program product. The computer program product is a computer program. The computer program product comprises instructions which, when the program is executed by a computer, such as by the control devices and/or the external computing device, cause the computer to carry out the corresponding steps of the method according to the invention.

Die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen Ausführungsbeispiele, jeweils einzeln sowie in Kombination miteinander, gelten entsprechend, soweit anwendbar, für das erfindungsgemäße Kraftfahrzeug, die erfindungsgemäße Steuervorrichtung sowie das erfindungsgemäße Computerprogrammprodukt. Die Erfindung umfasst Kombinationen der beschriebenen Ausführungsbeispiele.The embodiments described in connection with the method according to the invention, each individually and in combination with one another, apply accordingly, where applicable, to the motor vehicle according to the invention, the control device according to the invention and the computer program product according to the invention. The invention includes combinations of the described embodiments.

Dabei zeigen:

1 eine schematische Darstellung eines Kraftfahrzeugs mit mehreren Sensoreinrichtungen;
2 in schematischer Darstellung einen Signalflussgraphen eines Verfahrens zum Überprüfen einer mittels eines künstlichen neuronalen Netzwerks durchgeführten Objektklassifizierung; und
3 in schematischer Darstellung mögliche Informationen, die von einer Sonderfallinformation umfasst sein können.

Showing:

1 a schematic representation of a motor vehicle with several sensor devices;
2 in schematic representation a signal flow graph of a method for checking an object classification carried out by means of an artificial neural network; and
3 A schematic representation of possible information that may be included in special case information.

1 zeigt ein Kraftfahrzeug 1, das mehrere Sensoreinrichtungen 2 aufweist. Diese sind hier beispielsweise Kameras 3. Als Kameras 3 sind hier exemplarisch eine Frontkamera, in Seitenspiegeln des Kraftfahrzeugs 1 angeordnete Seitenkameras und eine Heckkamera skizziert. Ferner sind mehrere in einer Stoßstange des Kraftfahrzeugs 1 angeordnete Radargeräte 4 als Sensoreinrichtungen 2 skizziert. Anstelle oder zusätzlich zu den Radargeräten 4 als Sensoreinrichtungen 2 kann zumindest ein Lidar-Gerät und/oder zumindest ein Ultraschallsensor vom Kraftfahrzeug 1 umfasst sein. 1 shows a motor vehicle 1 that has several sensor devices 2. These are, for example, cameras 3. As cameras 3, a front camera, side cameras arranged in the side mirrors of the motor vehicle 1 and a rear camera are sketched here as examples. Furthermore, several radar devices 4 arranged in a bumper of the motor vehicle 1 are sketched as sensor devices 2. Instead of or in addition to the radar devices 4 as sensor devices 2, at least one lidar device and/or at least one ultrasonic sensor can be included in the motor vehicle 1.

Die jeweilige Sensoreinrichtung 2 ist dazu ausgebildet, eine Umgebung des Kraftfahrzeugs 1 zu erfassen, wobei sie zumindest einen Teil der Umgebung erfasst, der in einem Erfassungsbereich der Sensoreinrichtung 2 liegt. Alternativ oder zusätzlich dazu kann die Sensoreinrichtung 2 einen Innenraum des Kraftfahrzeugs 1 als Umgebung erfassen (hier nicht skizziert).The respective sensor device 2 is designed to detect an environment of the motor vehicle 1, wherein it detects at least a part of the environment that lies in a detection range of the sensor device 2. Alternatively or additionally, the sensor device 2 can detect an interior of the motor vehicle 1 as the environment (not outlined here).

Das Kraftfahrzeug 1 weist eine Steuervorrichtung 5 auf. Mittels dieser kann eine Objektklassifizierung 6 bereitgestellt werden, die auf dem Anwenden eines künstlichen neuronalen Netzwerks 7 basiert. Die bei der Objektklassifizierung 6 ermittelten Ergebnisse können beispielsweise für eine Fahrfunktion des Kraftfahrzeugs 1 bereitgestellt werden, wie beispielsweise ein Fahrerassistenzsystem, das zum zumindest teilautomatischen, insbesondere vollautomatischen, Fahren des Kraftfahrzeugs 1 ausgebildet ist.The motor vehicle 1 has a control device 5. By means of this, an object classification 6 can be provided, which is based on the application of an artificial neural network 7 The results determined during object classification 6 can be provided, for example, for a driving function of the motor vehicle 1, such as a driver assistance system that is designed for at least partially automatic, in particular fully automatic, driving of the motor vehicle 1.

Das Kraftfahrzeug 1 kann eine Kommunikationsschnittstelle 8 aufweisen, über die eine Kommunikationsverbindung 9 zu einer externen Recheneinrichtung 10 aufgebaut und/oder aufrechterhalten werden kann. Über die Kommunikationsverbindung 9, die bevorzugt zumindest teilweise kabellos und/oder kabelgebunden ausgebildet ist, kann beispielsweise eine Information übertragen werden.The motor vehicle 1 can have a communication interface 8, via which a communication connection 9 to an external computing device 10 can be established and/or maintained. Information can be transmitted, for example, via the communication connection 9, which is preferably at least partially wireless and/or wired.

2 zeigt Schritte eines Verfahrens zum Überprüfen der mittels des künstlichen neuronalen Netzwerks 7 durchgeführten Objektklassifizierung 6 für das Kraftfahrzeug 1. In einem Verfahrensschritt S1 erfolgt ein Bereitstellen mehrerer Sensorinformationen 11, die jeweils ein Objekt 13 in der Umgebung der Sensoreinrichtung 2, die die mehreren Sensorinformationen 11 bereitstellt, beschreibt. Jede der mehreren Sensorinformationen 11 ist einem Teilzeitraum innerhalb eines Gesamtzeitraums zugeordnet. Der Gesamtzeitraum umfasst beispielsweise die gesamte Zeit, in der das Objekt 13 im Erfassungsbereich der Sensoreinrichtung 2 angeordnet ist. Der Gesamtzeitraum setzt sich aus den Teilzeiträumen zusammen, wobei für jeden der Teilzeiträume eine Sensorinformation 11 bereitgestellt wird. Es werden somit beispielweise kontinuierlich das Objekt 13 beschreibende Daten in Form der mehreren Sensorinformationen 11 von der Sensoreinrichtung 2 erfasst und zum Beispiel der Steuervorrichtung 5 des Kraftfahrzeugs 1 bereitgestellt. Das Objekt 13 ist hier rein exemplarisch eine Kutsche 14, die mit zwei Personen 15 als Insassen auf einer Straße 12 fährt. Die Kutsche 14 fährt vor dem Kraftfahrzeug 1 und somit in gleicher Fahrtrichtung wie das Kraftfahrzeug 1. Ein anderes Objekt 13 oder mehrere Objekte 13 sind möglich. 2 shows steps of a method for checking the object classification 6 for the motor vehicle 1 carried out by means of the artificial neural network 7. In a method step S1, a plurality of sensor information items 11 are provided, each of which describes an object 13 in the environment of the sensor device 2 that provides the plurality of sensor information items 11. Each of the plurality of sensor information items 11 is assigned to a partial time period within a total time period. The total time period includes, for example, the entire time in which the object 13 is arranged in the detection range of the sensor device 2. The total time period is made up of the partial time periods, with sensor information 11 being provided for each of the partial time periods. Thus, for example, data describing the object 13 in the form of the plurality of sensor information items 11 are continuously recorded by the sensor device 2 and provided, for example, to the control device 5 of the motor vehicle 1. The object 13 here is purely an example of a carriage 14 that is traveling on a road 12 with two people 15 as passengers. The carriage 14 travels in front of the motor vehicle 1 and thus in the same direction of travel as the motor vehicle 1. Another object 13 or several objects 13 are possible.

In einem Verfahrensschritt S2 wird für jede der bereitgestellten Sensorinformationen 11 eine Objektklasseninformation 16 ermittelt. Dies erfolgt durch Anwenden des künstlichen neuronalen Netzwerks 7 auf die jeweilige Sensorinformation 11. Die Objektklasseninformation 16 beschreibt eine Objektklasse für das Objekt 13. Hier wird als Objektklasse die Objektklasse „Kutsche“ erwartet. Besonders präzise wäre die Zuordnung zu der Objektklasse „Kutsche mit Personen“. Hier ist jedoch exemplarisch der Fall skizziert, dass auf Basis von fünf Sensorinformationen 11 fünf verschiedene Objektklasseninformationen 16 ermittelt wurden. Als Objektklasse wurde hier von oben nach unten ein Lastkraftwagen von hinten, einen Pickup von hinten, einen Lastkraftwagen von vorne, der somit auf das Kraftfahrzeug 1 zufahren würde, ein Personenkraftwagen von hinten mit einem Fußgänger sowie ein Lastkraftwagen von hinten mit einem Fußgänger ermittelt. Das künstliche neuronale Netzwerk 7 konnte also nicht die Kutsche 14 als Objekt 13 erkennen, sondern ordnete die Kutsche 14 verschiedenen anderen Objektklassen zu.In a method step S2, object class information 16 is determined for each of the sensor information 11 provided. This is done by applying the artificial neural network 7 to the respective sensor information 11. The object class information 16 describes an object class for the object 13. Here, the object class "carriage" is expected as the object class. The assignment to the object class "carriage with people" would be particularly precise. However, the case outlined here is an example of five different object class information 16 being determined on the basis of five sensor information 11. The object classes determined here from top to bottom were a truck from behind, a pickup truck from behind, a truck from the front, which would thus drive towards the motor vehicle 1, a passenger car from behind with a pedestrian, and a truck from behind with a pedestrian. The artificial neural network 7 was therefore unable to recognize the carriage 14 as object 13, but assigned the carriage 14 to various other object classes.

In einem Verfahrensschritt S3 erfolgt ein Überprüfen, ob zumindest zwei der mehreren ermittelten Objektklasseninformationen 16 unterschiedliche Objektklassen für das Objekt 13 beschreiben. Dies ist hier offensichtlich der Fall, da hier fünf verschiedene Objektklassen als Objektklasseninformationen 16 ermittelt wurden.In a method step S3, a check is carried out to determine whether at least two of the several determined object class information 16 describe different object classes for the object 13. This is obviously the case here, since five different object classes were determined as object class information 16.

Es kann zudem ein Verfahrensschritt S4 vorgesehen sein, in dessen Rahmen eine Plausibilitätsprüfung 17 durchgeführt wird. Diese sieht vor, dass überprüft wird, ob die Objektklasse gemäß der jeweiligen ermittelten Objektklasseninformation 16 plausibel oder unplausibel ist. Hierfür werden verschiedene Informationen berücksichtigt, die weiter unten gelistet werden. Falls festgestellt wird, dass die Objektklasseninformation 16 unplausibel ist, kann in einem Verfahrensschritt S5 eine Korrektur der ermittelten Objektklasseninformation 16 durchgeführt und eine korrigierte Objektklasseninformation 16' im Verfahrensschritt S3 berücksichtigt werden. Wird also beispielsweise festgestellt, dass das Objekt 13 ein Fahrrad ist, jedoch gleichzeitig festgestellt, dass sich dieses Fahrrad mit einer Geschwindigkeit von 100 Kilometer pro Stunde fortbewegt, kann dies als unplausibel eingeschätzt werden und somit die Objektklasseninformation 16 zur Objektklasse „Motorrad“ korrigiert und im Verfahrensschritt S3 berücksichtigt werden. Alternativ oder zusätzlich dazu kann die ursprünglich ermittelte Objektklasseninformation 16 im Verfahrensschritt S3 berücksichtigt werden.A method step S4 can also be provided, within the framework of which a plausibility check 17 is carried out. This provides for a check to be carried out to determine whether the object class is plausible or implausible according to the respective object class information 16 determined. Various pieces of information are taken into account for this purpose, which are listed below. If it is determined that the object class information 16 is implausible, a correction of the determined object class information 16 can be carried out in a method step S5 and corrected object class information 16' can be taken into account in method step S3. For example, if it is determined that the object 13 is a bicycle, but at the same time it is determined that this bicycle is moving at a speed of 100 kilometers per hour, this can be assessed as implausible and thus the object class information 16 can be corrected to the object class "motorcycle" and taken into account in method step S3. Alternatively or additionally, the originally determined object class information 16 can be taken into account in method step S3.

In einem Verfahrensschritt S6 erfolgt ein Ermitteln einer Anzahl 18 an unterschiedlichen Objektklassen, die für das Objekt 13 ermittelt wurden. Dieser Schritt wird nur dann durchgeführt, wenn zumindest zwei der mehreren ermittelten Objektklasseninformationen 16 unterschiedliche Objektklassen für das Objekt 13 beschreiben. Falls jedoch nur eine Objektklasse für das Objekt 13 festgestellt wird, kann der Verfahrensschritt S1 erneut erfolgen.In a method step S6, a number 18 of different object classes that were determined for the object 13 is determined. This step is only carried out if at least two of the several determined object class information 16 describe different object classes for the object 13. However, if only one object class is determined for the object 13, the method step S1 can be carried out again.

In einem Verfahrensschritt S7 wird überprüft, ob die ermittelte Anzahl 18 größer als oder gleich einem Anzahlgrenzwert 19 ist. Der Anzahlgrenzwert 19 beträgt beispielsweise zwei, das heißt, bei einem einzigen Wechsel der Objektklasseninformation 16 ist bereits der Anzahlgrenzwert 19 erreicht. Alternativ oder zusätzlich dazu kann der Anzahlgrenzwert 19 größer gewählt sein.In a method step S7, it is checked whether the determined number 18 is greater than or equal to a number limit value 19. The number limit value 19 is, for example, two, i.e., the number limit value 19 is already reached with a single change in the object class information 16. Alternatively or additionally, the number limit value 19 can be selected to be larger.

In einem Verfahrensschritt S8 erfolgt ein Bereitstellen einer Sonderfallinformation 20, falls die ermittelte Anzahl 18 größer als oder gleich dem Anzahlgrenzwert 19 ist. Die Sonderfallinformation 20 beschreibt zumindest, dass bei der Objektklassifizierung 6 mittels des künstlichen neuronalen Netzwerks 7 ein Sonderfall eingetreten ist, bei dem zumindest ein Wechsel der ermittelten Objektklasseninformation 16 festgestellt wurde. Daraufhin kann die bereitgestellte Sonderfallinformation 20 beispielsweise an die externe Recheneinrichtung 10 übermittelt werden. Mittels der externen Recheneinrichtung 10 und/oder mittels der Steuervorrichtung 5 kann eine Auswertung der bereitgestellten Sonderfallinformation 20 erfolgen und beispielsweise eine Überarbeitung des künstlichen neuronalen Netzwerks 7 erfolgen, sodass in einem Verfahrensschritt S9 ein überarbeitetes künstlichen neuronalen Netzwerks 7' ermittelt und beispielsweise im Kraftfahrzeug 1 bereitgestellt werden kann.In a method step S8, special case information 20 is provided if the determined number 18 is greater than or equal to the number limit value 19. The special case information 20 describes at least that a special case has occurred during object classification 6 using the artificial neural network 7, in which at least one change in the determined object class information 16 was detected. The special case information 20 provided can then be transmitted, for example, to the external computing device 10. The external computing device 10 and/or the control device 5 can be used to evaluate the special case information 20 provided and, for example, to revise the artificial neural network 7, so that in a method step S9 a revised artificial neural network 7' can be determined and, for example, made available in the motor vehicle 1.

Zumindest die Verfahrensschritte S1 bis S8 erfolgen bevorzugt mittels der Steuervorrichtung 5.At least the method steps S1 to S8 are preferably carried out by means of the control device 5.

In 3 sind mögliche Details genannt, die von der Sonderfallinformation 20 umfasst sein können. Es kann beispielsweise für jede der unterschiedlichen Objektklassen mindestens eine der Sensorinformationen 11 ausgewählt werden, für die beim Anwenden des künstlichen neuronalen Netzwerks 7 die Objektklasseninformation 16 ermittelt wurde, die diese Objektklasse beschreibt. Die bereitgestellte Sonderfallinformation 20 kann dann die ausgewählten Sensorinformationen 11 umfassen. Im oben genannten Beispiel würde also für jede der fünf unterschiedlichen erfassten Objektklassen im Verfahrensschritt S2 jeweils zumindest eine dazugehörige Sensorinformation 11 von den zahlreichen Sensorinformationen 11 ausgewählt werden. Die jeweilige ausgewählte Sensorinformation 11 kann zumindest ein Einzelabbild, bevorzugt mehrere Einzelabbilder, der Umgebung der Sensoreinrichtung 2 beschreiben, das mittels der Sensoreinrichtung 2 erfasst wurde. Das Einzelabbild kann als Frame bezeichnet werden. Das Einzelabbild ist zum Beispiel ein statisches und/oder bewegliches Abbild und/oder eine Punktwolke.In 3 possible details are mentioned that can be included in the special case information 20. For example, for each of the different object classes, at least one of the sensor information items 11 can be selected for which the object class information 16 that describes this object class was determined when the artificial neural network 7 was used. The special case information 20 provided can then include the selected sensor information 11. In the above example, for each of the five different detected object classes, at least one associated sensor information item 11 would be selected from the numerous sensor information items 11 in method step S2. The respective selected sensor information item 11 can describe at least one individual image, preferably several individual images, of the environment of the sensor device 2 that was detected by means of the sensor device 2. The individual image can be referred to as a frame. The individual image is, for example, a static and/or moving image and/or a point cloud.

Es können ferner oder alternativ eine Positionsinformation 21, die eine Position des Kraftfahrzeugs 1 beschreibt, eine Fahrinformation 22, die eine Geschwindigkeit, eine Fahrtrichtung und/oder eine Beschleunigung des Kraftfahrzeugs 1 einerseits oder des Objekts 13 andererseits beschreibt, eine Abstandsinformation 23, die einen Abstand zwischen dem Kraftfahrzeug 1 und dem Objekt 13 beschreibt, und/oder eine Abstandsänderungsinformation 24, die eine Änderung des Abstands während des Bereitstellens der mehreren Sensorinformationen 11 beschreibt, von der Sonderfallinformation 20 umfasst sein. Die Positionsinformation 21, die Fahrinformation 22, die Abstandsinformation 23 und/oder die Abstandsänderungsinformation 24 können beim Durchführen der Plausibilitätsprüfung 17 im Verfahrensschritt S4 berücksichtigt werden.Furthermore or alternatively, position information 21 that describes a position of the motor vehicle 1, driving information 22 that describes a speed, a direction of travel and/or an acceleration of the motor vehicle 1 on the one hand or of the object 13 on the other hand, distance information 23 that describes a distance between the motor vehicle 1 and the object 13, and/or distance change information 24 that describes a change in the distance during the provision of the multiple sensor information 11 can be included in the special case information 20. The position information 21, the driving information 22, the distance information 23 and/or the distance change information 24 can be taken into account when carrying out the plausibility check 17 in method step S4.

Die Sonderfallinformation 20 kann alternativ oder zusätzlich dazu einen Konfidenzwert 25 der Objektklassifizierung 6 umfassen, der vom künstlichen neuronalen Netzwerk 7 für die jeweilige Objektklasseninformation 16 bereitgestellt wird. Es kann vorgesehen sein, dass für jede Objektklasse, die mittels des künstlichen neuronalen Netzwerks 7 feststellbar ist, der Konfidenzwert 25 ermittelt und die Objektklasse mit dem höchsten ermittelten Konfidenzwert 25 als gemäß der Objektklasseninformation 16 ermittelte Objektklasse bestimmt wird. Falls jedoch andere Objektklassen mit geringerem Konfidenzwert 25 ebenfalls festgestellt werden, können diese und ihre Konfidenzwerte 25 ebenfalls von der Sonderfallinformation 20 umfasst sein.The special case information 20 can alternatively or additionally comprise a confidence value 25 of the object classification 6, which is provided by the artificial neural network 7 for the respective object class information 16. It can be provided that for each object class that can be determined by means of the artificial neural network 7, the confidence value 25 is determined and the object class with the highest determined confidence value 25 is determined as the object class determined according to the object class information 16. However, if other object classes with a lower confidence value 25 are also determined, these and their confidence values 25 can also be included in the special case information 20.

Es kann vorgesehen sein, dass das künstliche neuronale Netzwerk 7 als Objektklasseninformation 16 zumindest zwischen motorisierten Verkehrsteilnehmern 26 und nicht-motorisierten Verkehrsteilnehmern 27 unterscheidet und insbesondere eine Fahrtrichtung des Verkehrsteilnehmers 26, 27 berücksichtigt. Die Sonderfallinformation 20 kann außerdem oder alternativ die unterschiedlichen ermittelten Objektklassen beschreiben, das heißt, es können Informationen zu den ermittelten Objektklassen gemäß den unterschiedlichen Objektklasseninformationen 16 von der Sonderfallinformation 20 umfasst sein. Es kann daher zumindest von der Sonderfallinformation 20 umfasst sein, ob das Objekt 13 ein motorisierter Verkehrsteilnehmer 26 oder ein nicht-motorisierter Verkehrsteilnehmer 27 ist.It can be provided that the artificial neural network 7 as object class information 16 at least distinguishes between motorized road users 26 and non-motorized road users 27 and in particular takes into account a direction of travel of the road user 26, 27. The special case information 20 can also or alternatively describe the different object classes determined, i.e. information on the object classes determined according to the different object class information 16 can be included in the special case information 20. It can therefore at least be included in the special case information 20 whether the object 13 is a motorized road user 26 or a non-motorized road user 27.

Es kann vorgesehen sein, dass das Objekt 13 eine Identifikationsinformation zugeordnet wird, die das Objekt 13 in den mehreren bereitgestellten Sensorinformationen 11 jeweils beschreibt, das heißt diesem dort zugeordnet ist, damit sichergestellt werden kann, dass das Objekt 13 stets das gleiche Objekt 13 bleibt und nicht beispielsweise mit einem anderen Objekt 13 in der Umgebung des Kraftfahrzeugs 1 verwechselt wird.It can be provided that the object 13 is assigned identification information which describes the object 13 in each of the several sensor information items 11 provided, i.e. is assigned to it there, so that it can be ensured that the object 13 always remains the same object 13 and is not, for example, confused with another object 13 in the surroundings of the motor vehicle 1.

Es kann vorgesehen sein, dass die Sonderfallinformation 20 und/oder die ermittelte Objektklasseninformation 16 und/oder gegebenenfalls die Sensorinformation 11 selbst an die externe Recheneinrichtung 10 übermittelt werden, woraufhin diese die bereitgestellte Sonderfallinformation 20 und/oder Objektklasseninformationen 16 auswertet und gegebenenfalls das überarbeitete künstliche neuronale Netzwerk 7' erzeugt.It can be provided that the special case information 20 and/or the determined object class information 16 and/or, if applicable, the sensor information 11 itself are transmitted to the external computing device 10, whereupon the latter evaluates the provided special case information 20 and/or object class information 16 and, if applicable, generates the revised artificial neural network 7'.

Insgesamt zeigen die Beispiele einen neuen Mechanismus, um Sonderfälle der Objektdetektion zu sammeln. Die Sensoreinrichtungen 2 des Kraftfahrzeugs 1 erkennen Objekte 13 während der Fahrt und geben die Klassifizierung der Objekte 13 an andere Funktionen des Kraftfahrzeugs 1 weiter. Jedes erkannte Objekt 13 hat eine eindeutige ID (Identifikationsinformation), die sich während seiner Anwesenheit im Sichtfeld der Sensoreinrichtungen 2 nicht ändert.Overall, the examples show a new mechanism for collecting special cases of object detection. The sensor devices 2 of the motor vehicle 1 detect objects 13 while driving and pass on the classification of the objects 13 to other functions of the motor vehicle 1. Each detected object 13 has a unique ID (identification information) that does not change during its presence in the field of view of the sensor devices 2.

Das Kraftfahrzeug 1 verfügt über ein Verfahren zur Überwachung der Klassifizierung der Objekte 13. Wenn das Verfahren feststellt, dass sich die Klassifizierung für dasselbe Objekt 13 (d. h. mit derselben Objekt-ID) mehr als die vordefinierten Male geändert hat, markiert das Verfahren dieses Ereignis als Sonderfall. Für einen solchen Sonderfall zeichnet das Verfahren die Daten dieses Sonderfalls auf, einschließlich mehrerer Videobilder oder Punktwolkenbilder des Objekts 13 und der Klassifizierungsergebnisse (Objektklasseninformation 16). Für einen solchen Sonderfall überträgt das Verfahren die Daten über ein drahtloses Netzwerk an eine Cloud (externe Recheneinrichtung 10), wo der Hersteller oder der Neuronale-Netzwerk-Eigentümer die Daten für weitere Analysen und Verbesserungen des Trainings des künstlichen neuronalen Netzwerks 7 abruft.The motor vehicle 1 has a method for monitoring the classification of the objects 13. If the method detects that the classification for the same object 13 (i.e. with the same object ID) has changed more than the predefined times, the method marks this event as a special case. For such a special case, the method records the data of this special case, including several video images or point cloud images of the object 13 and the classification results (object class information 16). For such a special case, the method transmits the data via a wireless network to a cloud (external computing device 10), where the manufacturer or the neural network owner retrieves the data for further analysis and improvements of the training of the artificial neural network 7.

Claims

Method for checking an object classification (6) for a motor vehicle (1) carried out by means of an artificial neural network (7), comprising: - providing (S1) a plurality of sensor information items (11), each of which describes an object (13) in an environment of a sensor device (2) providing the sensor information (11), each of the sensor information items (11) being assigned to a partial period within a total period; - for each of the sensor information items (11) provided, determining (S2) an object class information item (16) that describes an object class for the object (13) by applying the artificial neural network (7) to the sensor information (11); - checking (S3) whether at least two of the plurality of object class information items (16) determined describe different object classes for the object (13); - if this is the case, determining (S6) a number of different object classes that were determined for the object (13); - if the determined number (18) is greater than or equal to a number limit value (19) (S7), providing (S8) special case information (20) which at least describes that a special case has occurred during the object classification (6) by means of the artificial neural network (7), since at least one change in the determined object class information (16) was detected.

Procedure according to Claim 1 , wherein for each of the different object classes at least one of the sensor information (11) is selected for which the object class information (16) describing this object class was determined when applying the artificial neural network (7), and the special case information (20) provided comprises the selected sensor information (11).

Procedure according to Claim 2 , wherein the selected sensor information (11) each describes at least one individual image of the environment of the sensor device (2) which was detected by means of the sensor device (2).

Method according to one of the preceding claims, wherein the special case information (20) provided describes the different determined object classes.

Method according to one of the preceding claims, wherein the object class information (16) is determined taking into account at least one of the following pieces of information and/or the special case information (20) for the partial period of time in which the respective sensor information (11) is provided comprises at least one of the following pieces of information: - position information (21) describing a position of the motor vehicle (1); - driving information (22) describing a speed, a direction of travel and/or an acceleration of the motor vehicle (1) and/or the object (13); - distance information (23) describing a distance between the motor vehicle (1) and the object (13); and/or - distance change information (24) describing a change in the distance during the provision of the plurality of sensor information (11).

Procedure according to Claim 5 , wherein the information is taken into account when determining the object class information (16) for carrying out a plausibility check (17), wherein the plausibility check (17) checks whether the object class is plausible or implausible according to the respective determined object class information (16), wherein if this is implausible, the determined object class information (16) is corrected and the corrected object class information (16') is taken into account when checking whether at least two of the plurality of determined object class information (16) describe different object classes for the object (13).

Method according to one of the preceding claims, wherein the special case information (20) provided comprises a confidence value (25) of the object classification (6) which is provided by the artificial neural network (7) for the respective object class information (16).

Procedure according to Claim 7 , wherein for each object class that can be determined by applying the artificial neural network (7), the respective confidence value (25) is determined and the object class with the highest determined confidence value (25) is determined as the object class determined according to the object class information (16).

Method according to one of the preceding claims, wherein the object (13) is assigned identification information which describes the object (13) in the plurality of sensor information items (11) provided.

Method according to one of the preceding claims, wherein the object class information (16) distinguishes at least between motorized road users (26) and non-motorized road users (27) and in particular takes into account a direction of travel of the road user (26, 27).

Method according to one of the preceding claims, wherein the provided special case information (20) and/or the determined object class information (16) is transmitted to an external computing device (10).

Procedure according to Claim 11 , wherein an evaluation of the provided special case information (20) and/or object class information (16) is carried out by means of the external computing device (10), wherein the artificial neural network (7) is revised (S9) in particular taking into account the evaluation.

Motor vehicle (1) which is designed to carry out a method according to one of the Claims 1 until 11 to carry out.

Control device (5) for a motor vehicle (1), wherein the control device (5) is designed to carry out a method according to one of the Claims 1 until 11 to carry out.

Computer program product comprising instructions which, when the program is executed by a computer, cause the computer to carry out the method according to one of the Claims 1 until 12 to carry out.