DE102022106743A1 - Method and device for increasing the safety of a motor vehicle - Google Patents
Method and device for increasing the safety of a motor vehicle Download PDFInfo
- Publication number
- DE102022106743A1 DE102022106743A1 DE102022106743.2A DE102022106743A DE102022106743A1 DE 102022106743 A1 DE102022106743 A1 DE 102022106743A1 DE 102022106743 A DE102022106743 A DE 102022106743A DE 102022106743 A1 DE102022106743 A1 DE 102022106743A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- data
- security
- sensor
- synthetic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 31
- 230000006735 deficit Effects 0.000 claims abstract description 29
- 238000007794 visualization technique Methods 0.000 claims abstract description 11
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/12—Detection or prevention of fraud
- H04W12/121—Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/60—Context-dependent security
- H04W12/65—Environment-dependent, e.g. using captured environmental data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Environmental & Geological Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
Es wird eine Vorrichtung zur Erhöhung der Sicherheit eines Kraftfahrzeugs beschrieben. Die Vorrichtung ist eingerichtet, auf Basis von Fahrzeug-internen Daten von ein oder mehreren Steuergeräten und/oder Bus-Systemen des Fahrzeugs unter Verwendung einer Visualisierungs-Methode synthetische Bilddaten zu generieren, sowie Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs in Bezug auf das Umfeld des Fahrzeugs zu ermitteln. Die Vorrichtung ist ferner eingerichtet, die synthetischen Bilddaten und die Sensordaten gemeinsam anhand einer Maschinen-erlernten Auswerteeinheit auszuwerten, um eine mögliche Beeinträchtigung der Datensicherheit des Fahrzeugs zu erkennen, und zumindest eine Sicherheitsmaßnahme in Bezug auf die Fahrsicherheit des Fahrzeugs zu bewirken, wenn eine mögliche Beeinträchtigung der Datensicherheit des Fahrzeugs erkannt wird. A device for increasing the safety of a motor vehicle is described. The device is set up to generate synthetic image data using a visualization method based on vehicle-internal data from one or more control devices and/or bus systems of the vehicle, as well as sensor data from one or more environment sensors of the vehicle in relation to the environment of the vehicle. The device is further set up to evaluate the synthetic image data and the sensor data together using a machine-learned evaluation unit in order to detect a possible impairment of the data security of the vehicle, and to bring about at least one safety measure with regard to the driving safety of the vehicle if a possible impairment occurs the data security of the vehicle is recognized.
Description
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Berücksichtigung der Datensicherheit eines (vernetzten) Kraftfahrzeugs bei Betrieb des Kraftfahrzeugs, um die Fahrsicherheit des Fahrzeugs zu erhöhen.The invention relates to a method and a corresponding device for taking into account the data security of a (networked) motor vehicle during operation of the motor vehicle in order to increase the driving safety of the vehicle.
Ein Fahrzeug, insbesondere ein zumindest teilweise autonom fahrendes Fahrzeug, kann ausgebildet sein, über eine (drahtlose) Kommunikationsverbindung mit ein oder mehreren anderen Fahrzeugen und/oder mit ein oder mehreren Infrastruktureinheiten (etwa mit Ampeln) zu kommunizieren. Eine derartige Fahrzeug-zu-Fahrzeug und/oder Fahrzeug-zu-Infrastruktur-Kommunikation kann von dem Fahrzeug dazu verwendet werden, Information in Bezug auf das Umfeld des Fahrzeugs zu sammeln und bei dem (autonomen) Fahrbetrieb des Fahrzeugs zu berücksichtigen. So kann ein besonders sichererer (autonomer) Fahrbetrieb des Fahrzeugs ermöglicht werden.A vehicle, in particular an at least partially autonomous vehicle, can be designed to communicate via a (wireless) communication connection with one or more other vehicles and/or with one or more infrastructure units (such as traffic lights). Such vehicle-to-vehicle and/or vehicle-to-infrastructure communication can be used by the vehicle to collect information relating to the vehicle's surroundings and to take this into account in the (autonomous) driving operation of the vehicle. This enables particularly safer (autonomous) driving of the vehicle.
Die Datenkommunikation mit ein oder mehreren Fahrzeug-externen Einheiten (wie z.B. einem anderen Fahrzeug und/oder einer Infrastruktureinheit) kann zumindest theoretisch zu einer Beeinträchtigung der Datensicherheit des Fahrzeugs führen, da die Datenkommunikation von einer bösartigen Fahrzeug-externen Einheit dazu verwendet werden könnte, die Software und/oder die Kontroll-Daten des Fahrzeugs zu verändern, um das Verhalten des Fahrzeugs zu verändern. Dies kann (zumindest theoretisch) zu einer Beeinträchtigung der Fahrsicherheit des Fahrzeugs führen.Data communication with one or more devices external to the vehicle (such as another vehicle and/or an infrastructure unit) can, at least theoretically, lead to a compromise in the data security of the vehicle, since the data communication could be used by a malicious device external to the vehicle Modify software and/or the control data of the vehicle in order to change the behavior of the vehicle. This can (at least theoretically) lead to an impairment of the driving safety of the vehicle.
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, in effizienter und zuverlässiger Weise eine mögliche Beeinträchtigung der Datensicherheit eines Fahrzeugs zu erkennen, um die Fahrsicherheit des Fahrzeugs zu erhöhen.This document deals with the technical task of efficiently and reliably detecting a possible impairment of a vehicle's data security in order to increase the driving safety of the vehicle.
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.The task is solved by each of the independent claims. Advantageous embodiments are described, among other things, in the dependent claims. It should be noted that additional features of a patent claim dependent on an independent patent claim can form a separate invention independent of the combination of all the features of the independent patent claim, without the features of the independent patent claim or only in combination with a subset of the features of the independent patent claim can be made the subject of an independent claim, a division application or a subsequent application. This applies equally to technical teachings described in the description, which may constitute an invention independent of the features of the independent patent claims.
Gemäß einem Aspekt wird eine Vorrichtung zur Erhöhung der Sicherheit eines Kraftfahrzeugs beschrieben. Die Vorrichtung ist eingerichtet, auf Basis von Fahrzeug-internen Daten von ein oder mehreren Steuergeräten und/oder Bus-Systemen des Fahrzeugs unter Verwendung einer Visualisierungs-Methode synthetische Bilddaten zu generieren. Die Fahrzeug-internen Daten können umfassen: ein von einem Steuergerät des Fahrzeugs ausgeführtes Software-Programm; Kontroll-Daten zur Steuerung von ein oder mehreren Aktoren (insbesondere Längs- und/oder Querführungsaktoren) des Fahrzeugs; und/oder Daten, die auf einem Bus-System des Fahrzeugs übertragen werden. Die Visualisierungs-Methode kann eine Binary Visualization Methode umfassen (wie in dem Dokument beschrieben, auf welches weiter unten Bezug genommen wird).According to one aspect, a device for increasing the safety of a motor vehicle is described. The device is set up to generate synthetic image data using a visualization method based on vehicle-internal data from one or more control devices and/or bus systems of the vehicle. The vehicle-internal data may include: a software program executed by a control unit of the vehicle; Control data for controlling one or more actuators (in particular longitudinal and/or lateral control actuators) of the vehicle; and/or data that is transmitted on a bus system of the vehicle. The visualization method may include a Binary Visualization method (as described in the document referred to below).
Die Vorrichtung ist ferner eingerichtet, Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs in Bezug auf das Umfeld des Fahrzeugs zu ermitteln. Die ein oder mehreren Umfeldsensoren können umfassen: ein oder mehrere Kameras, die jeweils eingerichtet sind, Kameradaten in Bezug auf das Umfeld des Fahrzeugs als Sensordaten zu erfassen; ein oder mehrere Radarsensoren, die jeweils eingerichtet sind, eine Radar-Punktwolke in Bezug auf das Umfeld des Fahrzeugs als Sensordaten zu erfassen; und/oder ein oder mehrere Lidarsensoren, die jeweils eingerichtet sind, eine Lidar-Punktwolke in Bezug auf das Umfeld des Fahrzeugs als Sensordaten zu erfassen. Die ein oder mehreren Umfeldsensoren können an unterschiedlichen Position an dem Fahrzeug angeordnet sein.The device is also set up to determine sensor data from one or more surroundings sensors of the vehicle in relation to the surroundings of the vehicle. The one or more environmental sensors may include: one or more cameras, each configured to capture camera data relating to the vehicle's surroundings as sensor data; one or more radar sensors, each set up to capture a radar point cloud relating to the surroundings of the vehicle as sensor data; and/or one or more lidar sensors, each of which is set up to capture a lidar point cloud in relation to the surroundings of the vehicle as sensor data. The one or more environmental sensors can be arranged at different positions on the vehicle.
Die Sensordaten weisen typischerweise ein vordefiniertes Datenformat, insbesondere ein Tensor-förmiges Datenformat, auf. Die Vorrichtung kann eingerichtet sein, die Fahrzeug-internen Daten in synthetische Bilddaten zu überführen, die das vordefinierte Datenformat der Sensordaten aufweisen. So kann eine besonders effiziente gemeinsame Auswertung der synthetischen Bilddaten und der Sensordaten bewirkt werden.The sensor data typically has a predefined data format, in particular a tensor-shaped data format. The device can be set up to convert the vehicle-internal data into synthetic image data that has the predefined data format of the sensor data. In this way, a particularly efficient joint evaluation of the synthetic image data and the sensor data can be achieved.
Des Weiteren ist die Vorrichtung eingerichtet, die synthetischen Bilddaten und die Sensordaten gemeinsam anhand einer Maschinen-erlernten Auswerteeinheit auszuwerten, um eine mögliche Beeinträchtigung der Datensicherheit des Fahrzeugs zu erkennen. Dabei weist die Auswerteeinheit bevorzugt ein oder mehrere Vision Transformers auf (wie in dem Dokument beschrieben, auf welches weiter unten Bezug genommen wird).Furthermore, the device is set up to evaluate the synthetic image data and the sensor data together using a machine-learned evaluation unit in order to detect a possible impairment of the vehicle's data security. The evaluation unit preferably has one or more vision transformers (as described in the document to which reference is made below).
Die Auswerteeinheit kann eine erste Teileinheit umfassen, die eingerichtet ist, auf Basis der synthetischen Bilddaten und auf Basis der Sensordaten ein oder mehrere Objekte im Umfeld des Fahrzeugs und ein oder mehrere Datensicherheits-Merkmale zu ermitteln. Ein Objekt kann statisch sein (z.B. ein Reifen, eine Fahrbahnbegrenzung, eine Leitplanke, etc.). Alternativ kann ein Objekt dynamisch sein (z.B. ein anderes Fahrzeug, ein Fußgänger, etc.). Des Weiteren kann die Auswerteeinheit eine zweite Teileinheit umfassen, die eingerichtet ist, auf Basis der ein oder mehreren Objekte im Umfeld des Fahrzeugs und auf Basis der ein oder mehreren Datensicherheits-Merkmale eine mögliche Beeinträchtigung der Datensicherheit des Fahrzeugs zu erkennen. So kann eine besonders präzise und effiziente gemeinsame Auswertung der synthetischen Bilddaten und der Sensordaten ermöglicht werden.The evaluation unit can include a first subunit that is set up to determine one or more objects in the area surrounding the vehicle and one or more data security features based on the synthetic image data and based on the sensor data. An object can be static (e.g. a tire, a road barrier, a guardrail, etc.). Alternatively, an object can be dynamic (e.g. another vehicle, a pedestrian, etc.). Furthermore, the evaluation unit can comprise a second subunit which is set up to detect a possible impairment of the data security of the vehicle based on the one or more objects in the environment of the vehicle and on the basis of the one or more data security features. This enables a particularly precise and efficient joint evaluation of the synthetic image data and the sensor data.
Die Vorrichtung ist ferner eingerichtet, zumindest eine Sicherheitsmaßnahme in Bezug auf die Fahrsicherheit des Fahrzeugs zu bewirken, wenn eine mögliche Beeinträchtigung der Datensicherheit des Fahrzeugs erkannt wird. Die Sicherheitsmaßnahme kann umfassen: das automatisierte Überführen des Fahrzeugs in einen sicheren Zustand, und/oder die Ausgabe eines Warnhinweises an einen Fahrer des Fahrzeugs.The device is also set up to bring about at least one safety measure with regard to the driving safety of the vehicle if a possible impairment of the data security of the vehicle is detected. The safety measure may include: automatically transferring the vehicle to a safe state, and/or issuing a warning to a driver of the vehicle.
Es wird somit eine Vorrichtung beschrieben, die ausgebildet ist, in effizienter Weise Fahrzeug-interne Daten und Sensordaten (d.h. Umfelddaten) gemeinsame auszuwerten, um eine mögliche Beeinträchtigung der Datensicherheit des Fahrzeugs zu erkennen. So kann die Fahrsicherheit des Fahrzeugs in zuverlässiger Weise erhöht werden.A device is therefore described which is designed to efficiently evaluate vehicle-internal data and sensor data (i.e. environmental data) together in order to detect a possible impairment of the vehicle's data security. In this way, the driving safety of the vehicle can be reliably increased.
Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst. According to a further aspect, a (road) motor vehicle (in particular a passenger car or a truck or a bus or a motorcycle) is described which includes the device described in this document.
Gemäß einem weiteren Aspekt wird ein Verfahren zur Erhöhung der Sicherheit eines Kraftfahrzeugs beschrieben. Das Verfahren umfasst das Generieren von synthetischen Bilddaten auf Basis von Fahrzeug-internen Daten von ein oder mehreren Steuergeräten und/oder Bus-Systemen des Fahrzeugs unter Verwendung einer Visualisierungs-Methode. Das Verfahren umfasst ferner das Ermitteln von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs in Bezug auf das Umfeld des Fahrzeugs.According to a further aspect, a method for increasing the safety of a motor vehicle is described. The method includes generating synthetic image data based on vehicle-internal data from one or more control devices and/or bus systems of the vehicle using a visualization method. The method further includes determining sensor data from one or more surroundings sensors of the vehicle in relation to the surroundings of the vehicle.
Des Weiteren umfasst das Verfahren das gemeinsame Auswerten der synthetischen Bilddaten und der Sensordaten anhand einer Maschinen-erlernten Auswerteeinheit, um eine mögliche Beeinträchtigung der Datensicherheit des Fahrzeugs zu erkennen, sowie das Bewirken zumindest einer Sicherheitsmaßnahme in Bezug auf die Fahrsicherheit des Fahrzeugs, wenn eine mögliche Beeinträchtigung der Datensicherheit des Fahrzeugs erkannt wird.Furthermore, the method includes the joint evaluation of the synthetic image data and the sensor data using a machine-learned evaluation unit in order to detect a possible impairment of the data security of the vehicle, as well as the effecting of at least one safety measure with regard to the driving safety of the vehicle if there is a possible impairment the data security of the vehicle is recognized.
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a software (SW) program is described. The SW program can be set up to run on a processor (e.g. on a vehicle control unit) and thereby carry out the method described in this document.
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a storage medium is described. The storage medium may include a SW program configured to be executed on a processor and thereby carry out the method described in this document.
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. Ferner sind in Klammern aufgeführte Merkmale als optionale Merkmale zu verstehen.It should be noted that the methods, devices and systems described in this document can be used both alone and in combination with other methods, devices and systems described in this document. Furthermore, any aspects of the methods, devices and systems described in this document can be combined with one another in a variety of ways. In particular, the features of the claims can be combined with one another in a variety of ways. Furthermore, features listed in brackets are to be understood as optional features.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
-
1 beispielhafte Komponenten eines Fahrzeugs; -
2 eine beispielhafte Datenverarbeitung in einem Fahrzeug; und -
3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Berücksichtigung der Datensicherheit bei Betrieb eines Kraftfahrzeugs.
-
1 exemplary components of a vehicle; -
2 an example of data processing in a vehicle; and -
3 a flowchart of an exemplary method for taking data security into account when operating a motor vehicle.
Wie eingangs dargelegt, befasst sich das vorliegende Dokument damit, die Betriebs- und/oder Fahrsicherheit eines Fahrzeugs bei Vorliegen einer möglichen Beeinträchtigung der Datensicherheit des Fahrzeugs zu erhöhen. In diesem Zusammenhang zeigt
Das Fahrzeug 100 kann ferner eine Kommunikationseinheit (nicht dargestellt) umfassen, die es dem Fahrzeug 100 ermöglicht, mit einer Fahrzeug-externen Einheit (z.B. mit einem anderen Fahrzeug und/oder mit einer Infrastruktureinheit) zu kommunizieren (für eine Fahrzeug-zu-Fahrzeug- und/oder für eine Fahrzeug-zu-Infrastruktur-Kommunikation). Ein Datenaustausch mit einer Fahrzeug-externen Einheit kann zumindest theoretisch dazu führen, dass Daten, die über die ein oder mehrere Bus-Systeme 103 übertragen werden, und/oder SoftwareProgramme von ein oder mehrere Steuergeräten 101 von einer bösartigen Fahrzeug-externen Einheit verändert werden, was zu einer Beeinträchtigung der Sicherheit des Fahrzeugs 100 führen kann.The
Ferner kann die Datenverarbeitung 200 eine Datensicherheitseinheit 210 umfassen, die eingerichtet ist, Fahrzeug-interne Daten 215 von ein oder mehreren Steuergeräten 101, 213, 216 (z.B. von einem Motor-Steuergerät 213 und/oder von einem Steuergerät 216 zur Erfassung und/oder Beeinflussung der Fahrdynamik) auszuwerten. Die Fahrzeug-internen Daten 215 können durch eine Sammeleinheit 211 gesammelt werden. Ferner können anhand einer Visualisierungseinheit 212 auf Basis der Fahrzeug-internen Daten 215 synthetische Bilddaten 214 erzeugt werden. Die Visualisierungseinheit 212 kann eine Binary Visualization Methode verwenden, um auf Basis der Fahrzeug-internen Daten 215 Bilddaten 214 zu generieren. Eine beispielhafte Binary Visualization Methode wird in Irina Baptista et al., „A Novel Malware Detection System Based On Machine Learning and Binary Visualization“, arXiv:1904.00859v1 [cs.CR] 1 Apr 2019 beschrieben, wobei dieses Dokument durch Bezugnahme vollständig in dieses Dokument aufgenommen wird.Furthermore, the
Die synthetischen Bilddaten 214 können derart generiert werden, dass die synthetischen Bilddaten 214 die gleiche Datenstruktur aufweisen, wie die Umfelddaten 204, insbesondere wie ein Frame der Umfelddaten 204. Dies ermöglicht eine besonders effiziente und vorteilhafte, kombinierte und/oder gemeinsame Auswertung der Umfelddaten 204 und der synthetischen Bilddaten 214 in der Auswerteeinheit 221, 222. Ferner sind die synthetischen Bilddaten bzw. die Fahrzeug-internen Daten 215 bevorzugt zeitlich mit den Umfelddaten 214 synchronisiert.The
Die Auswerteeinheit 221, 222 kann ein oder mehreren im Vorfeld angelernte neuronale Netze (insbesondere Convolutional Neural Networks (CNNs)) aufweisen. In einem bevorzugten Beispiel weist die Auswerteeinheit 221, 222 ein oder mehrere Vision Transformers (ViT) auf. Vision Transformers werden z.B. in Alexey Dosovitskiy et al., „AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE", arXiv:2010.11929v2 [cs.CV] 3 Jun 2021, beschrieben, wobei dieses Dokument durch Bezugnahme vollständig in dieses Dokument aufgenommen wird.The
Die Umfelddaten 204 und die synthetischen Bilddaten 214 können gemeinsam von der Auswerteeinheit 221, 222 ausgewertet werden, um eine Beeinträchtigung der Datensicherheit des Fahrzeugs 100 zu detektieren. Zu diesem Zweck kann die Auswerteeinheit 221, 222 auf Basis von Trainingsdaten angelernt worden sein, wobei die Trainingsdaten eine Vielzahl von gelabelten Datensätzen umfassen. Ein gelaberter Datensatz kann dabei als Eingangsdaten der Auswerteeinheit 221, 222 eine bestimmte Kombination aus Umfelddaten 204 und synthetischen Bilddaten 214 aufweisen. Ferner kann der Datensatz als Label anzeigen, ob bei der bestimmten Kombination aus Umfelddaten 204 und synthetischen Bilddaten 214 eine Beeinträchtigung der Datensicherheit vorlag oder nicht. Ggf. kann zusätzlich der Typ der Beeinträchtigung der Datensicherheit angezeigt werden (aus einer Menge von unterschiedlichen Typen). So kann die Auswerteeinheit 221, 222 in zuverlässiger Weise angelernt werden, um eine Beeinträchtigung der Datensicherheit zu detektieren (und ggf. um den Typ der Beeinträchtigung der Datensicherheit zu detektieren).The
Die Auswerteeinheit 221, 222 kann ferner eingerichtet sein, auf Basis der Umfelddaten 204 Objekte im Umfeld des Fahrzeugs 100 zu detektieren.The
Ggf. kann die Auswerteinheit 221, 222 mehrstufig ausgebildet sein, in einer ersten Stufe bzw. Teileinheit 221 der Auswerteeinheit (z.B. in einem ersten Vision Transformer) können auf Basis der Umfelddaten 204 Objekte und/oder Hindernisse 205 im Umfeld des Fahrzeugs 100 erkannt werden. Ferner können durch die erste Stufe 221 der Auswerteeinheit auf Basis der synthetischen Bilddaten 214 ein oder mehrere Datensicherheits-Merkmale 224, 226 detektiert werden. Die Ausgangsdaten 225, 226 der der ersten Stufe 221 des Auswerteeinheit können in einer zweiten Stufe 222 der Auswerteeinheit (z.B. in einem zweiten Vision Transformer) verarbeitet werden, um eine (schwerwiegende) Beeinträchtigung 227 der Datensicherheit zu detektieren, die z.B. zu einem Unfall des Fahrzeugs 100 führen könnte.If necessary, the
Wenn eine Beeinträchtigung 227 der Datensicherheit detektiert wird, so können von einer autonomen Fahreinheit 223 des Fahrzeugs 100 ein oder mehreren Sicherheitsmaßnahmen bewirkt werden, z.B. um das Fahrzeug 100 in einen sicheren Zustand zu überführen. Beispielsweise kann bewirkt werden, dass das Fahrzeug 100 automatisch an den Fahrbahnrand gefahren und dort in den Stillstand versetzt wird. So kann die Fahrsicherheit des Fahrzeugs 100 bei Vorliegen einer möglichen Beeinträchtigung der Datensicherheit in zuverlässiger Weise erhöht werden.If an
Das Verfahren 300 umfasst ferner das gemeinsame Auswerten 303 der synthetischen Bilddaten 214 und der Sensordaten 204 anhand einer Maschinen-erlernten Auswerteeinheit 221, 222, um eine mögliche Beeinträchtigung 227 der Datensicherheit des Fahrzeugs 100 zu erkennen.The
Des Weiteren umfasst das Verfahren 300 das Bewirken 304 zumindest einer Sicherheitsmaßnahme in Bezug auf die Fahrsicherheit des Fahrzeugs 100, wenn eine mögliche Beeinträchtigung 227 der Datensicherheit des Fahrzeugs 100 erkannt wird.Furthermore, the
Durch die in diesem Dokument beschriebenen Aspekte kann die Fahrsicherheit eines Fahrzeugs 100, das für eine Datenkommunikation mit einer Fahrzeug-externen Einheit befähigt ist, und daher Datensicherheits-Beeinträchtigungen ausgesetzt sein könnte, in effizienter und zuverlässiger Weise erhöht werden.Through the aspects described in this document, the driving safety of a
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.The present invention is not limited to the exemplary embodiments shown. In particular, it should be noted that the description and the figures are only intended to illustrate the principle of the proposed methods, devices and systems by way of example.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022106743.2A DE102022106743A1 (en) | 2022-03-23 | 2022-03-23 | Method and device for increasing the safety of a motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022106743.2A DE102022106743A1 (en) | 2022-03-23 | 2022-03-23 | Method and device for increasing the safety of a motor vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102022106743A1 true DE102022106743A1 (en) | 2023-09-28 |
Family
ID=87930960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102022106743.2A Pending DE102022106743A1 (en) | 2022-03-23 | 2022-03-23 | Method and device for increasing the safety of a motor vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102022106743A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015139693A1 (en) | 2014-03-19 | 2015-09-24 | Conti Temic Microelectronic Gmbh | Method for storing image data of a camera in an accident data memory of a vehicle |
US20200130704A1 (en) | 2018-10-29 | 2020-04-30 | Here Global B.V. | Method and apparatus for comparing relevant information between sensor measurements |
DE102019127050A1 (en) | 2019-10-08 | 2021-04-08 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for self-diagnosis of an environment sensor |
-
2022
- 2022-03-23 DE DE102022106743.2A patent/DE102022106743A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015139693A1 (en) | 2014-03-19 | 2015-09-24 | Conti Temic Microelectronic Gmbh | Method for storing image data of a camera in an accident data memory of a vehicle |
US20200130704A1 (en) | 2018-10-29 | 2020-04-30 | Here Global B.V. | Method and apparatus for comparing relevant information between sensor measurements |
DE102019127050A1 (en) | 2019-10-08 | 2021-04-08 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for self-diagnosis of an environment sensor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2195796B1 (en) | Method for providing driving operation data | |
DE102017203838A1 (en) | Method and system for environment detection | |
EP3528230A1 (en) | Method for processing sensor data in a plurality of controllers, correspondingly adapted pre-processing unit and vehicle | |
DE102012202914A1 (en) | Diagnostic method and diagnostic device for a vehicle component of a vehicle | |
DE102018212733A1 (en) | Detection of deteriorating sensor performance | |
DE102006057741A1 (en) | Method for providing safety-relevant data especially in road traffic systems uses stationary data processing unit to determine moving behaviour of vehicles or other objects for data analysis to transmit evaluation of dangerous situation | |
WO2020125875A1 (en) | Monitoring of neural-network-based driving functions | |
DE102014106506A1 (en) | Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle | |
DE102017213390A1 (en) | Method and apparatus for operating an automated mobile system | |
DE112017007350T5 (en) | Information processing apparatus, information processing method, program and storage medium on which the program is stored | |
WO2019215017A1 (en) | Method, device and computer-readable storage medium containing instructions for monitoring and validating operating data in the actuator system of an autonomous motor vehicle | |
DE102018126830A1 (en) | Device and control unit for automating a change in state of a window pane of a vehicle | |
EP3827277B1 (en) | Method, system and electronic computing device for checking sensor devices of vehicles, in particular of motor vehicles | |
DE102018205011A1 (en) | Method and system for the controlled transfer of vehicles of a vehicle fleet to a safe state | |
EP4007891B1 (en) | Method and device for locating a vehicle in a surrounding area | |
DE102012213485A1 (en) | Method for checking driving recommendation information stored in driving recommendation memory for navigation system in e.g. lorry, involves providing environmental condition independent of driving recommendation message or event | |
EP3509924A1 (en) | Method and device for operating a first vehicle | |
DE102022106743A1 (en) | Method and device for increasing the safety of a motor vehicle | |
DE102019113963A1 (en) | Method and control unit for operating a driving function | |
DE102019000403A1 (en) | Method at least for issuing a warning of a danger point | |
DE102021206297A1 (en) | Method and system for operating an at least partially automated vehicle | |
DE102021201129A1 (en) | Device for infrastructure-supported assistance in a motor vehicle | |
DE102016004292A1 (en) | Method for operating a vehicle | |
WO2020104355A1 (en) | Method and device for storing data for a vehicle | |
DE102019210050B4 (en) | Method for increasing safety in traffic, motor vehicle and computer program product |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |