DE102017002089A1

DE102017002089A1 - Device for data processing in a driver assistance device of a vehicle

Info

Publication number: DE102017002089A1
Application number: DE102017002089.2A
Authority: DE
Inventors: Philipp Schindler; Carsten Brenk; Markus Glaser; Juergen Seekircher
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2017-03-04
Filing date: 2017-03-04
Publication date: 2017-11-30

Abstract

Die Erfindung betrifft eine Vorrichtung zur Datenverarbeitung in einer Fahrerassistenzvorrichtung (1) für ein Fahrzeug, bei dem – Daten (D) mittels einer fahrzeugeigenen Sensorik (2) erfassbar sind, – die erfassten Daten (D) mittels einer eine Mehrzahl von Steuergeräten (3.1 bis 3.n) umfassenden Steuergeräteanordnung (3) verarbeitbar sind, – die Steuergeräte (3.1 bis 3.n) mittels eines künstlichen neuronalen Netzwerks (4) miteinander verknüpft sind, wobei das künstliche neuronale Netzwerk (4) eine Baumstruktur mit einer Mehrzahl von Ebenen (E1 bis E4) ausbildet, und jede Ebene (E1 bis E4) eine Anzahl von Knoten (K) aufweist, in denen jeweils empfangene Daten (D) verarbeitbar sind. Erfindungsgemäß sind in mindestens ein Steuergerät (3.1) eine Mehrzahl von Knoten (K) des künstlichen neuronalen Netzwerks (4) implementiert.The invention relates to a device for data processing in a driver assistance device (1) for a vehicle, in which - data (D) can be detected by means of an onboard sensor system (2), - the acquired data (D) by means of one of a plurality of control devices (3.1 to 3. n) comprehensive control device arrangement (3) are processable, - the control devices (3.1 to 3.n) are linked together by means of an artificial neural network (4), wherein the artificial neural network (4) a tree structure with a plurality of levels ( E1 to E4), and each level (E1 to E4) has a number of nodes (K) in each of which received data (D) are processable. According to the invention, a plurality of nodes (K) of the artificial neural network (4) are implemented in at least one control device (3.1).

Description

Die Erfindung betrifft eine Vorrichtung zur Datenverarbeitung in einer Fahrerassistenzvorrichtung eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a device for data processing in a driver assistance device of a vehicle according to the preamble of claim 1.

Vorrichtungen zur Datenverarbeitung in einer Fahrerassistenzvorrichtung sind aus dem Stand der Technik bekannt. Beispielsweise ist aus DE 10 2008 057 199 A1 eine Steuergeräteanordnung für ein Kraftfahrzeug bekannt, in der ein künstliches neuronales Netz implementiert ist, wobei eine Vielzahl von Steuergeräten im Kraftfahrzeug vorgesehen ist, von denen jedes einen Knoten des künstlichen neuronalen Netzes bildet.Devices for data processing in a driver assistance device are known from the prior art. For example, it is off DE 10 2008 057 199 A1 a control device arrangement for a motor vehicle is known in which an artificial neural network is implemented, wherein a plurality of control devices is provided in the motor vehicle, each of which forms a node of the artificial neural network.

Der Erfindung liegt die Aufgabe zu Grunde, eine gegenüber dem Stand der Technik verbesserte Vorrichtung zur Datenverarbeitung in einer Fahrerassistenzvorrichtung eines Fahrzeugs anzugeben.The invention is based on the object of specifying an improved over the prior art device for data processing in a driver assistance device of a vehicle.

Die Aufgabe wird erfindungsgemäß mit den in Anspruch 1 angegebenen Merkmalen gelöst.The object is achieved with the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

Bei einer Vorrichtung zur Datenverarbeitung in einer Fahrerassistenzvorrichtung für ein Fahrzeug sind Daten mittels einer fahrzeugeigenen Sensorik erfassbar und mittels einer Mehrzahl von Steuergeräten verarbeitbar. Des Weiteren sind die Steuergeräte mittels eines künstlichen neuronalen Netzwerks miteinander verknüpft, wobei das künstliche neuronale Netzwerk eine Baumstruktur mit einer Mehrzahl von Ebenen ausbildet, und wobei jede Ebene eine Anzahl von Knoten aufweist, in denen jeweils empfangene Daten verarbeitbar sind.In a device for data processing in a driver assistance device for a vehicle, data can be detected by means of an in-vehicle sensor system and processed by means of a plurality of control devices. Furthermore, the controllers are linked together by means of an artificial neural network, wherein the artificial neural network forms a tree structure with a plurality of levels, and wherein each level has a number of nodes, in each of which received data can be processed.

Erfindungsgemäß ist in mindestens ein Steuergerät eine Mehrzahl von Knoten des neuronalen Netzwerks implementiert.According to the invention, at least one control unit implements a plurality of nodes of the neural network.

Mittels der Vorrichtung kann die Baumstruktur des neuronalen Netzwerks gegenüber dem Stand der Technik wesentlich flexibler und effizienter auf die Steuergeräte verteilt werden. Daraus resultiert, dass eine Gesamtrechenleistung auf mehrere Steuergeräte verteilt werden kann und diese gegenüber dem Stand der Technik weniger Dateneingänge aufweisen. Des Weiteren kann eine Anzahl der Steuergeräte sowie eine Anzahl von Querverbindungen innerhalb einer Ebene der Baumstruktur gegenüber dem Stand der Technik verringert werden. Somit können logisch zusammengehörige Knoten in einem Steuergerät zusammengefasst werden, um einen Kompromiss aus Verbindungszahl und Rechenleistung für jeden Knoten zu optimieren.By means of the device, the tree structure of the neural network compared to the prior art can be distributed much more flexible and efficient on the control units. As a result, a total computing power can be distributed to multiple controllers and these have less data inputs compared to the prior art. Furthermore, a number of the control devices as well as a number of cross connections within a level of the tree structure can be reduced compared with the prior art. Thus, logically related nodes in a controller can be aggregated to optimize a tradeoff of link count and computational power for each node.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigt:Showing:

1 ein Blockschaltbild eines Ausführungsbeispiels einer Fahrerassistenzvorrichtung und 1 a block diagram of an embodiment of a driver assistance device and

2 und 3 schematisch künstliche neuronale Netzwerke mit einer Mehrzahl von Ebenen und einer Mehrzahl von Knoten und jeweils einem Steuergerät. 2 and 3 schematically artificial neural networks having a plurality of levels and a plurality of nodes and a respective control unit.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

1 zeigt ein Blockschaltbild einer Fahrerassistenzvorrichtung 1 für ein nicht näher dargestelltes Fahrzeug, die eine fahrzeugeigene Sensorik 2 und eine Steuergeräteanordnung 3 umfasst. 1 shows a block diagram of a driver assistance device 1 for a vehicle not shown in detail, the on-board sensor 2 and a controller assembly 3 includes.

Die fahrzeugeigene Sensorik 2 erfasst Daten D einer Umgebung des Fahrzeugs und/oder fahrzeugeigener Parameter. Dazu umfasst die fahrzeugeigene Sensorik 2 beispielsweise eine Kamera, Radar- und/oder Lidarsensoren.The vehicle's own sensors 2 acquires data D of an environment of the vehicle and / or on-vehicle parameter. This includes the vehicle's own sensors 2 For example, a camera, radar and / or Lidarsensoren.

Die Steuergeräteanordnung 3 dient einer Verarbeitung der erfassten Daten D, in dessen Abhängigkeit eine Aktion mittels des Fahrerassistenzsystems 1 ausgelöst wird. Die Steuergeräteanordnung 3 umfasst in bekannter Weise eine Mehrzahl von elektronischen Steuergeräten 3.1 bis 3.n, die mittels eines künstlichen neuronalen Netzwerks 4 miteinander verknüpft werden, welches beispielhaft in den 2 und 3 dargestellt ist. Das künstliche neuronale Netzwerk 4 umfasst insbesondere eine Mehrzahl von Ebenen E1 bis E4. Dabei kann das künstliche neuronale Netzwerk 4 beispielsweise eine hierarchische Baumstruktur mit der Mehrzahl von Ebenen E1 bis E4 ausbilden, wobei jede Ebene E1 bis E4 eine Anzahl von Knoten K aufweist, in denen jeweils empfangene Daten D mittels festgelegter Algorithmen verarbeitet und plausibilisiert werden. Die erfassten Daten D werden somit hinsichtlich ihres Informationsgehalts mit zeitlich fortschreitender Verarbeitung verringert. Aufgrund der Verteilung des künstlichen neuronalen Netzwerkes 4 auf mehrere Steuergeräte 3.1 bis 3.n wird eine gesamte Verarbeitungslast optimiert.The controller arrangement 3 serves to process the acquired data D, as a function of which an action by means of the driver assistance system 1 is triggered. The controller arrangement 3 includes in a known manner a plurality of electronic control units 3.1 to 3.n using an artificial neural network 4 be linked together, which exemplifies in the 2 and 3 is shown. The artificial neural network 4 In particular, it comprises a plurality of planes E1 to E4. This can be the artificial neural network 4 For example, form a hierarchical tree structure with the plurality of levels E1 to E4, each level E1 to E4 has a number of nodes K, in each of which received data D are processed and plausibilized by means of fixed algorithms. The acquired data D is thus reduced in information content with processing progressing with time. Due to the distribution of the artificial neural network 4 on several controllers 3.1 to 3.n an entire processing load is optimized.

Die Steuergeräte 3.1 bis 3.n sind insbesondere mittels einer sogenannten Punkt-zu-Punkt-Verbindung, z. b. mittels eines Ethernet-Standards oder ein LVDS-(englisch für Low Voltage Differential Signaling)Standards, miteinander verbunden. Eine Punkt-zu-Punkt-Verbindung ermöglicht eine freie Kommunikation zwischen den Steuergeräten 3.1 bis 3.n sowie eine hohe Bandbreite bei einer gleichzeitig niedrigen Latenzzeit. Des Weiteren ist das künstliche neuronale Netzwerk 4 gegen äußere Eingriffe geschützt. Alternativ können die Steuergeräte 3.1 bis 3.n auch jeweils mittels einer Funkverbindung, z. B. mittels MIMO (englisch für: Multiple Input Multiple Output), miteinander verbunden werden. Hierbei wird eine drahtlose Kommunikation zwischen den Steuergeräten 3.1 bis 3.n mit hohen Datenraten und geringen Latenzzeiten erreicht. Denkbar ist auch, die Steuergeräte 3.1 bis 3.n oder einzelne davon mittels eines Datenbusses, z. B. eines CAN-Busses, miteinander zu verbinden.The controllers 3.1 to 3.n are in particular by means of a so-called point-to-point connection, for example by means of an Ethernet standard or a LVDS (English for Low Voltage Differential Signaling) standards, interconnected. A point-to-point connection allows for free communication between the controllers 3.1 to 3.n as well as a high bandwidth with a simultaneously low Latency. Furthermore, the artificial neural network 4 protected against external interference. Alternatively, the control units 3.1 to 3.n also in each case by means of a radio link, z. B. by means of MIMO (English: Multiple Input Multiple Output), interconnected. This is a wireless communication between the controllers 3.1 to 3.n achieved with high data rates and low latencies. It is also conceivable, the control units 3.1 to 3.n or some of them by means of a data bus, z. B. a CAN bus to connect with each other.

Gemäß einem erfindungsgemäßen Ausführungsbeispiel wird in mindestens ein Steuergerät 3.1 eine Mehrzahl von Knoten K des neuronalen Netzwerks 4 implementiert. Dies wird in den 2 und 3 näher beschrieben.According to an embodiment of the invention is in at least one control unit 3.1 a plurality of nodes K of the neural network 4 implemented. This will be in the 2 and 3 described in more detail.

Die 2 und 3 zeigen dazu schematisch künstliche neuronale Netzwerke 4 mit jeweils vier Ebenen E1 bis E4 und einer Mehrzahl von Knoten K, wobei die Daten D zeitlich ausgehend von der ersten Ebene E1 bis zur letzten Ebene E4 nacheinander verarbeitet werden. Die gezeigte Anzahl der Ebenen E1 bis E4 und Knoten K ist dabei nur beispielhaft und kann in Abhängigkeit der zu verarbeitenden Daten D variieren.The 2 and 3 show schematically artificial neural networks 4 with four levels E1 to E4 and a plurality of nodes K, wherein the data D are processed sequentially from the first level E1 to the last level E4. The number of levels E1 to E4 and node K shown here is only an example and may vary depending on the data D to be processed.

Gemäß 2 ist in eines der Steuergeräte 3.1 bis 3.n, hierbei in das Steuergerät 3.1, eine Mehrzahl von Knoten K, die sich auf verschiedenen Ebenen E2 bis E4 des künstlichen neuronalen Netzwerkes 4 befinden, implementiert. Gemäß 3 ist in das Steuergerät 3.1 eine Mehrzahl von Knoten K, die sich auf einer gemeinsamen Ebene E3 des künstlichen neuronalen Netzwerks 4 befinden, implementiert. Gemäß einem nicht dargestellten Ausführungsbeispiel sind in mehrere der Steuergeräte 3.1 bis 3.n oder in alle Steuergeräte 3.1 bis 3.n jeweils mehrere Knoten K implementiert. Dies ermöglicht die Verringerung einer Anzahl von Dateneingängen der Steuergeräte 3.1 bis 3.n sowie eine gezieltere Verarbeitung der Daten D, deren Informationsgehalt mit fortschreitender Verarbeitungsdauer verringert wird.According to 2 is in one of the controllers 3.1 to 3.n , here in the control unit 3.1 , a plurality of nodes K, located at different levels E2 to E4 of the artificial neural network 4 are implemented. According to 3 is in the control unit 3.1 a plurality of nodes K located on a common plane E3 of the artificial neural network 4 are implemented. According to an embodiment not shown in several of the control units 3.1 to 3.n or in all control units 3.1 to 3.n each implemented several nodes K. This allows the reduction of a number of data inputs of the controllers 3.1 to 3.n and a more targeted processing of the data D, whose information content is reduced as the processing time progresses.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: FahrerassistenzvorrichtungDriver assistance device
22: fahrzeugeigene Sensorikon-board sensor technology
33: SteuergeräteanordnungControl unit system
3.1 bis 3.n3.1 to 3.n: Steuergerätcontrol unit
44: künstliches neuronales Netzwerkartificial neural network
DD: Datendates
E1 bis E4E1 to E4: Ebenelevel
KK: Knotennode

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102008057199 A1 [0002]

Claims

Device for data processing in a driver assistance device ( 1 ) for a vehicle in which - data (D) by means of an in-vehicle sensor system ( 2 ) are detected, - the detected data (D) by means of a plurality of control devices ( 3.1 to 3.n ) comprehensive control device arrangement ( 3 ), - the control units ( 3.1 to 3.n ) by means of an artificial neural network ( 4 ), the artificial neural network ( 4 ) comprises a plurality of levels (E1 to E4), and each level (E1 to E4) comprises a number of nodes (K) in each of which received data (D) are processable, characterized in that in at least one control unit ( 3.1 ) a plurality of nodes (K) of the artificial neural network ( 4 ) are implemented.

Device according to claim 1, characterized in that the artificial neural network ( 4 ) forms a tree structure with the plurality of planes (E1 to E4).

Apparatus according to claim 1 or 2, characterized in that in the at least one control device ( 3.1 ) a plurality of nodes (K) located on a common plane (E3) are implemented.

Device according to one of the preceding claims, characterized in that in the at least one control device ( 3.1 ) a plurality of nodes (K) located at different levels (E2 to E4) are implemented.

Device according to one of the preceding claims, characterized in that the control devices ( 3.1 to 3.n ) are linked together by means of a point-to-point connection.

Device according to one of the preceding claims, characterized in that the control devices ( 3.1 to 3.n ) are linked together by means of a radio link.