DE102020130646A1 - Method, system and computer program product for detecting a change in a wheel steering angle in a motor vehicle - Google Patents
Method, system and computer program product for detecting a change in a wheel steering angle in a motor vehicle Download PDFInfo
- Publication number
- DE102020130646A1 DE102020130646A1 DE102020130646.6A DE102020130646A DE102020130646A1 DE 102020130646 A1 DE102020130646 A1 DE 102020130646A1 DE 102020130646 A DE102020130646 A DE 102020130646A DE 102020130646 A1 DE102020130646 A1 DE 102020130646A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- motor vehicle
- data
- wheel
- steering angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000008859 change Effects 0.000 title claims abstract description 27
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000007405 data analysis Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 11
- 238000010191 image analysis Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 description 11
- 238000011176 pooling Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000001454 recorded image Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 244000132059 Carica parviflora Species 0.000 description 1
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4045—Intention, e.g. lane change or imminent movement
Abstract
Die Erfindung betrifft ein Verfahren zur Erkennung einer Änderung eines Radlenkwinkels zumindest eines Rades bei einem Kraftfahrzeug (10) mittels einer Datenanalyseeinrichtung (40), umfassend:- Aufnehmen (S10) von Bild- und Sensordaten (32) mittels einer Kamera- und Sensoreinrichtung (30) eines zweiten Kraftfahrzeugs (20), wobei die Bild- und Sensordaten (32) die Umgebung des Kraftfahrzeugs (20) mit zumindest dem ersten Kraftfahrzeug (10) repräsentieren;- Weitergeben (S20) der Bild- und Sensordaten (32) an die Datenanalyseeinrichtung (40), wobei die Datenanalyseeinrichtung (40) ein Erkennungssystem (400) zur Erkennung einer Änderung eines Radlenkwinkels zumindest eines Rades bei dem ersten Kraftfahrzeug (10) umfasst, welches Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und der maschinellen Bildanalyse verwendet;- Bearbeiten (S30) der Bild- und Sensordaten (32) in der Datenanalyseeinrichtung (40) mittels des Erkennungssystems (400), um mögliche Änderungen des Radlenkwinkels des Rades zu klassifizieren;- Zuordnen (S40) der klassifizierten Änderung des Radlenkwinkels zu zumindest einem Zustand (Sj) aus einer Menge von definierten Zuständen (S1, S2, ..., Sn);- Erzeugen (S50) von Ausgabedaten (450) aus dem ermittelten Zustand (Sj) zur weiteren Verwendung in einer automatisierten Fahrfunktion und/oder für eine Benutzerschnittstelle (70).The invention relates to a method for detecting a change in a wheel steering angle of at least one wheel in a motor vehicle (10) using a data analysis device (40), comprising: - recording (S10) image and sensor data (32) using a camera and sensor device (30 ) of a second motor vehicle (20), the image and sensor data (32) representing the surroundings of the motor vehicle (20) with at least the first motor vehicle (10);- forwarding (S20) the image and sensor data (32) to the data analysis device (40), wherein the data analysis device (40) comprises a detection system (400) for detecting a change in a wheel steering angle of at least one wheel in the first motor vehicle (10), which uses algorithms from the field of artificial intelligence (AI) and machine image analysis; - Processing (S30) of the image and sensor data (32) in the data analysis device (40) by means of the detection system (400) to possible changes in the Radlenkwink els of the wheel;- Assigning (S40) the classified change in the wheel steering angle to at least one state (Sj) from a set of defined states (S1, S2, ..., Sn);- Generating (S50) output data (450 ) from the determined state (Sj) for further use in an automated driving function and/or for a user interface (70).
Description
Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur Erkennung einer Änderung eines Radlenkwinkels zumindest eines Rades bei einem Kraftfahrzeug.The invention relates to a method, a system and a computer program product for detecting a change in a wheel steering angle of at least one wheel in a motor vehicle.
Wenn ein Kraftfahrzeug von einer Person gesteuert wird, dann beobachtet der Fahrer des Fahrzeugs sehr genau und intuitiv, ob irgendwelche mögliche Gefahrenquellen sich auf dem Fahrweg befinden. Insbesondere werden vorausfahrende Fahrzeuge genau beobachtet, um unterschiedliche Informationen zu gewinnen, wie beispielsweise die Geschwindigkeit des vorausfahrenden Fahrzeugs oder ob ein Überholmanöver geplant ist. Ein geübter menschlicher Fahrer übt diese Beobachtungen intuitiv während des Fahrens aus und ihm ist häufig gar bewusst, wie er die Informationen verarbeitet und einer möglichen Gefahrensituation zuordnet.When a motor vehicle is driven by a person, the driver of the vehicle observes very closely and intuitively whether there are any possible sources of danger on the route. In particular, vehicles ahead are closely observed to obtain various information, such as the speed of the vehicle ahead or whether an overtaking maneuver is planned. A trained human driver makes these observations intuitively while driving and is often even aware of how he processes the information and assigns it to a possible dangerous situation.
Bei teil-autonom und autonom fahrenden Fahrzeugen werden Kamerasysteme und Sensoren eingesetzt, um Informationen über die Umgebung des Fahrzeugs zu gewinnen. Die Entwicklung des hochautomatisierten Fahrens (HAF) geht daher einher mit einer Erhöhung der Anforderungen an Fahrzeugsensorsysteme zur Aufnahme von geeigneten Sensordaten wie insbesondere Bilddaten. Zudem müssen die aufgenommenen Sensordaten sorgfältig interpretiert werden, um daraus die richtigen Schlussfolgerungen hinsichtlich einer möglichen Gefahrensituation zu gewinnen.In semi-autonomous and autonomous vehicles, camera systems and sensors are used to obtain information about the vehicle's surroundings. The development of highly automated driving (HAD) is therefore accompanied by an increase in the requirements for vehicle sensor systems to record suitable sensor data such as image data in particular. In addition, the recorded sensor data must be carefully interpreted in order to draw the right conclusions regarding a possible dangerous situation.
Eine besondere Gefahrensituation ergibt sich durch parkende Fahrzeuge in einer Parklücke, an der ein fahrendes Fahrzeug vorbeifährt. Oft ist es für einen Fahrer nur schwer erkennbar, ob ein parkendes Fahrzeug die Parklücke verlassen will. Zwar dienen die Bremsleuchten häufig als Indikatoren dafür, ob ein Fahrzeug aus der Parkposition in den Fahrmodus wechseln will, aber diese können defekt sein oder sie werden aufgrund der Vielzahl an Informationssignalen von dem Fahrer eines ersten Fahrzeugs, der an dem parkenden zweiten Fahrzeug vorbeifährt, übersehen. Ein sicheres Indiz für ein eine Parklücke verlassendes Fahrzeug sind jedoch Änderungen des Lenkwinkels der Räder des Fahrzeugs, wenn der Fahrer des zweiten parkenden Fahrzeugs mit dem Fahrmanöver zum Verlassen der Parklücke begonnen hat. Dies gilt in ähnlicher Weise für ein Überholmanöver, bei dem auch eine Änderung der Radlenkwinkel der Räder auf ein geändertes Fahrverhalten hinweist.A particularly hazardous situation arises from parked vehicles in a parking space that a moving vehicle is driving past. It is often difficult for a driver to tell whether a parked vehicle wants to leave the parking space. Although the brake lights are often used as indicators for whether a vehicle wants to switch from the parking position to driving mode, they can be defective or they are overlooked due to the large number of information signals from the driver of a first vehicle driving past the parked second vehicle . A sure indication of a vehicle leaving a parking space, however, are changes in the steering angle of the wheels of the vehicle when the driver of the second parked vehicle has started the driving maneuver to leave the parking space. This applies in a similar way to an overtaking manoeuvre, in which a change in the wheel steering angle of the wheels also indicates a change in driving behavior.
Eine Aufgabe der vorliegenden Erfindung besteht daher darin, ein Verfahren, ein System und ein Computerprogrammprodukt zur Erkennung einer Änderung eines Radlenkwinkels bei zumindest einem Rad eines Kraftfahrzeugs zu schaffen, das sich durch eine hohe Zuverlässigkeit und effiziente Verwendung von Rechenkapazitäten auszeichnet.An object of the present invention is therefore to create a method, a system and a computer program product for detecting a change in a wheel steering angle on at least one wheel of a motor vehicle, which is characterized by high reliability and efficient use of computing capacities.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 9, und hinsichtlich eines Computerprogrammprodukt durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.This object is achieved according to the invention with regard to a method by the features of patent claim 1, with regard to a system by the features of patent claim 9, and with regard to a computer program product by the features of patent claim 15. The further claims relate to preferred embodiments of the invention.
Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zur Erkennung einer Änderung eines Radlenkwinkels zumindest eines Rades bei einem Kraftfahrzeug mittels einer Datenanalyseeinrichtung. Das Verfahren umfasst die folgenden Verfahrensschritte:
- - Aufnehmen von Bild- und Sensordaten mittels einer Kamera- und Sensoreinrichtung eines zweiten Kraftfahrzeugs, wobei die Bild- und Sensordaten die Umgebung des zweiten Kraftfahrzeugs mit zumindest dem ersten Kraftfahrzeug repräsentieren;
- - Weitergeben der Bild- und Sensordaten an die Datenanalyseeinrichtung, wobei die Datenanalyseeinrichtung ein Erkennungssystem zur Erkennung einer Änderung eines Radlenkwinkels zumindest eines Rades des ersten Kraftfahrzeugs umfasst, welches Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und der maschinellen Bildanalyse verwendet;
- - Bearbeiten der Bild- und Sensordaten in der Datenanalyseeinrichtung mittels des Erkennungssystems, um mögliche Änderungen des Radlenkwinkels des Rades zu klassifizieren.;
- - Zuordnen der klassifizierten Änderung des Radlenkwinkels zu zumindest einem Zustand Sj aus einer Menge von definierten Zuständen S1, S2, ..., Sn;
- - Erzeugen von Ausgabedaten aus dem ermittelten Zustand Sj zur weiteren Verwendung in einer automatisierten Fahrfunktion und/oder für eine Benutzerschnittstelle.
- - Recording of image and sensor data by means of a camera and sensor device of a second motor vehicle, the image and sensor data representing the surroundings of the second motor vehicle with at least the first motor vehicle;
- - Passing on the image and sensor data to the data analysis device, the data analysis device comprising a detection system for detecting a change in a wheel steering angle of at least one wheel of the first motor vehicle, which uses algorithms from the field of artificial intelligence (AI) and machine image analysis;
- - processing the image and sensor data in the data analysis device by means of the detection system in order to classify possible changes in the wheel steering angle of the wheel.;
- - Assigning the classified change in the wheel steering angle to at least one state S j from a set of defined states S 1 , S 2 , ..., S n ;
- - Generation of output data from the determined state S j for further use in an automated driving function and/or for a user interface.
In einer Weiterbildung der Erfindung ist vorgesehen, dass die Bearbeitung der Bild- und Sensordaten und die Erzeugung von Ausgabedaten in Echtzeit erfolgt.In a development of the invention, it is provided that the processing of the image and sensor data and the generation of output data take place in real time.
In einer Ausführungsform umfasst das Erkennungssystem ein Analysemodul und ein Klassifizierungsmodul.In one embodiment, the recognition system includes an analysis module and a classification module.
Vorteilhafterweise verwendet das Erkennungssystem Deep Learning mit einem neuronalen Netzwerk.Advantageously, the recognition system uses deep learning with a neural network.
Insbesondere ist das neuronale Netzwerk als gefaltetes neuronales Netzwerk (convolutional neural network) ausgebildet.In particular, the neural network is designed as a folded neural network (convolutional neural network).
In einer Weiterentwicklung ist vorgesehen, dass das Klassifizierungsmodul Merkmale M1, M2, ..., Mn der Radbewegungen und des Radlenkwinkels eines Fahrzeugs enthält, die in einer Trainingsphase des Klassifizierungsmoduls ermittelt oder vorab definiert wurden.A further development provides that the classification module contains features M 1 , M 2 , .
Vorteilhafterweise werden die Bild- und Sensordaten mittels einer Mobilfunkverbindung an die Datenanalyseeinrichtung übertragen, wobei insbesondere 5G-Funkmodule verwendet werden.The image and sensor data are advantageously transmitted to the data analysis device by means of a mobile radio connection, with 5G radio modules being used in particular.
In einer Ausführungsform ist vorgesehen, dass die Bild- und Sensoreinrichtung eine Action-Kamera umfasst.In one embodiment it is provided that the image and sensor device includes an action camera.
Gemäß einem zweiten Aspekt betrifft die Erfindung ein System zur Erkennung einer Änderung eines Radlenkwinkels zumindest eines Rades eines Kraftfahrzeugs. Das System umfasst eine Bild- und Sensoreinrichtung eines zweiten Kraftfahrzeugs zur Aufnahme von Bild- und Sensordaten und eine Datenanalyseeinrichtung. Die Bild- und Sensordaten repräsentieren die Umgebung des zweiten Kraftfahrzeugs mit zumindest dem ersten Kraftfahrzeug. Die Datenanalyseeinrichtung umfasst ein Erkennungssystem zur Erkennung einer Änderung eines Radlenkwinkels zumindest eines Rades bei dem ersten Kraftfahrzeug. Das Erkennungssystem verwendet Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und der maschinellen Bildanalyse. Die Datenanalyseeinrichtung ist ausgebildet, die Bild- und Sensordaten mittels des Erkennungssystems zu bearbeiten, mögliche Änderungen des Radlenkwinkels des Rades zu klassifizieren, der klassifizierten Änderung des Radlenkwinkels zumindest einen Zustand Sj aus einer Menge von definierten Zuständen S1, S2, ..., Sn zuzuordnen und Ausgabedaten aus dem ermittelten Zustand Sj zur weiteren Verwendung in einer automatisierten Fahrfunktion und/oder für eine Benutzerschnittstelle zu erzeugen.According to a second aspect, the invention relates to a system for detecting a change in a wheel steering angle of at least one wheel of a motor vehicle. The system includes an image and sensor device of a second motor vehicle for recording image and sensor data and a data analysis device. The image and sensor data represent the surroundings of the second motor vehicle with at least the first motor vehicle. The data analysis device includes a detection system for detecting a change in a wheel steering angle of at least one wheel in the first motor vehicle. The recognition system uses algorithms from the field of artificial intelligence (AI) and machine image analysis. The data analysis device is designed to process the image and sensor data using the recognition system, to classify possible changes in the wheel steering angle of the wheel, to assign at least one state S j from a set of defined states S 1 , S 2 , ... to the classified change in the wheel steering angle. , S n and generate output data from the determined state S j for further use in an automated driving function and/or for a user interface.
In einer Weiterbildung der Erfindung ist vorgesehen, dass die Bearbeitung der Bild- und Sensordaten und die Erzeugung von Ausgabedaten in Echtzeit erfolgt.In a development of the invention, it is provided that the processing of the image and sensor data and the generation of output data take place in real time.
In einer Ausführungsform umfasst das Erkennungssystem ein Analysemodul und ein Klassifizierungsmodul.In one embodiment, the recognition system includes an analysis module and a classification module.
Vorteilhafterweise verwendet das Erkennungssystem Deep Learning mit einem neuronalen Netzwerk, welches insbesondere als gefaltetes neuronales Netzwerk (convolutional neural network) ausgebildet ist.Advantageously, the recognition system uses deep learning with a neural network, which is designed in particular as a folded neural network (convolutional neural network).
Insbesondere enthält das Klassifizierungsmodul Merkmale M1, M2, ..., Mn der Radbewegungen und des Radlenkwinkels eines Fahrzeugs, die in einer Trainingsphase des Klassifizierungsmodules ermittelt oder vorab definiert wurden. In particular, the classification module contains features M 1 , M 2 , .
In einer Weiterentwicklung werden die Bild- und Sensordaten mittels einer Mobilfunkverbindung an die Datenanalyseeinrichtung übertragen, wobei insbesondere 5G-Funkmodule verwendet werden.In a further development, the image and sensor data are transmitted to the data analysis device by means of a mobile radio connection, with 5G radio modules being used in particular.
Insbesondere umfasst die Bild- und Sensoreinrichtung eine Action-Kamera.In particular, the image and sensor device includes an action camera.
Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogrammprodukt, umfassend einen ausführbaren Programmcode, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.According to a third aspect, the invention relates to a computer program product, comprising an executable program code which is configured in such a way that when it is executed it carries out the method according to the first aspect.
Nachfolgend wird die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert.The invention is explained in more detail below using an exemplary embodiment illustrated in the drawing.
Dabei zeigt:
-
1 eine schematische Darstellung eines erfindungsgemäßen Systems zur Erkennung einer Änderung eines Radlenkwinkels zumindest eines Rades bei einem Kraftfahrzeug; -
2 ein Ausführungsbeispiel eines Erkennungssystems gemäß der Erfindung; -
3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens; -
4 ein Computerprogrammprodukt gemäß einer Ausführungsform der des dritten Aspekts der Erfindung.
-
1 a schematic representation of a system according to the invention for detecting a change in a wheel steering angle of at least one wheel in a motor vehicle; -
2 an embodiment of a detection system according to the invention; -
3 a flowchart to explain the individual steps of a method according to the invention; -
4 a computer program product according to an embodiment of the third aspect of the invention.
Zusätzliche Merkmale, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.Additional features, aspects and advantages of the invention or embodiments thereof will become apparent from the detailed description coupled with the claims.
In
Die Kamera- und Sensoreinrichtung 30 erfasst Bild- und Sensordaten 32 in einem Aufnahmebereich. Die Kamera- und Sensoreinrichtung 30 umfasst insbesondere eine RGB-Kamera 35 im sichtbaren Bereich mit den Grundfarben Blau, Grün und Rot. Es kann aber auch noch zusätzlich eine UV-Kamera 37 im ultravioletten Bereich und/oder eine IR-Kamera 39 im infraroten Bereich vorgesehen sein. Die sich durch ihr Aufnahmespektrum unterscheidenden Kameras 35, 37, 39 können somit unterschiedliche Lichtverhältnisse in dem Aufnahmebereich abbilden.The camera and
Die Aufnahmefrequenz der Kamera der Kamera- und Sensoreinrichtung 30 ist für schnelle Geschwindigkeiten der Radbewegungen ausgelegt und kann Bilddaten 32 mit einer hohen Bildaufnahmefrequenz aufzunehmen. Des Weiteren kann die Kamera- und Sensoreinrichtung 30 für die Erfassung von akustischen Signalen mit einem Mikrofon ausgestattet sein. Hierdurch können Abrollgeräusche der Reifen oder Motorgeräusche aufgenommen werden.The recording frequency of the camera of the camera and
Zudem kann vorgesehen sein, dass die Kamera- und Sensoreinrichtung 30 automatisch den Bildaufnahmeprozess dann startet, wenn sich eine flächenmäßig signifikante Änderung im Aufnahmebereich der Kamera- und Sensoreinrichtung 30 ergibt, beispielsweise wenn ein Fahrzeug 10 im Aufnahmebereich der Kamera- und Sensoreinrichtung 30 erscheint. Hierdurch wird ein selektiver Datenerfassungsprozess ermöglicht und nur relevante Bild- und Sensordaten 32 werden von der Datenanalyseeinrichtung 40 verarbeitet. Hierdurch können Rechenkapazitäten effizienter genutzt werden.Provision can also be made for the camera and
Zudem ist vorteilhafterweise eine GPS-Verbindung vorgesehen, um den geographischen Standort zu ermitteln und diesen den aufgenommenen Bild- und Sensordaten 32 zuzuordnen.In addition, a GPS connection is advantageously provided in order to determine the geographic location and to assign this to the recorded image and
Insbesondere ist vorgesehen, als Kamera eine wetterfeste Action-Kamera zu verwenden, die insbesondere im Außenbereich des Fahrzeugs 20 angeordnet sein kann. Action-Kameras verfügen über weitwinkelige Fischaugen-Objektive, wodurch es möglich ist, einen sichtbaren Radius von ca. 180° zu erreichen. Action-Kameras können üblicherweise Videos in Full HD (1.920 x 1.080 Pixel) aufzeichnen, jedoch können auch Action-Kameras in Ultra HD bzw. 4K (mindestens 3.840 x 2.160 Pixel) eingesetzt werden, wodurch sich eine deutliche Qualitätssteigerung in der Bildqualität ergibt. Die Bildaufnahmefrequenz beträgt üblicherweise 60 Bilder pro Sekunde in 4K und bis zu 240 pro Sekunde in Full HD. Außerdem kann noch ein integrierter Bildstabilisator vorgesehen sein. Zudem sind Action-Kameras häufig mit einem integrierten Mikrofon ausgestattet. Um Hintergrundgeräusche gezielt auszublenden, können darüber hinaus Verfahren der differentiellen Signalverarbeitung verwendet werden.In particular, it is provided to use a weatherproof action camera as the camera, which can be arranged in particular in the exterior of the
Die von der Kamera- und Sensoreinrichtung 30 aufgenommenen Bild- und Sensordaten 32 werden vorzugsweise über eine drahtlose Mobilfunkverbindung an die Datenanalyseeinrichtung 40 weitergegeben.The image and
Die Datenanalyseeinrichtung 40 weist vorzugsweise einen Prozessor 41 auf, der die Bild- und Sensordaten 32 mittels eines Erkennungssystems 400 bearbeitet. Der Prozessor 41 oder ein weiterer Prozessor ist auch für die Steuerung der Kamera- und Bildaufnahmeeinrichtung 30 ausgebildet. Es ist aber auch denkbar, dass die Bild- und Sensordaten 32 zunächst in einer Speichereinheit 50 oder einem Softwaremodul 55 gespeichert und erst zu einem späteren Zeitpunkt von der Datenanalyseeinrichtung 40 verarbeitet werden. Die Datenanalyseeinrichtung 40 und der Prozessor 41 können im Fahrzeug 20 integriert sein oder als cloudbasierte Lösung ausgebildet sein, die über eine Mobilfunkverbindung mit dem Fahrzeug 20 verbunden ist.The
Zudem kann die Datenanalyseeinrichtung 40 auf ein oder mehrere weitere Datenbanken 60 zugreifen. In der Datenbank 60 können beispielsweise Klassifizierungsparameter zur Analyse der aufgenommenen Bild- und Sensordaten 32 oder weitere Bilder und/oder Kenngrößen gespeichert sein. Des Weiteren können Zielgrößen und Zielwerte in der Datenbank 60 abgelegt sein, die einen Sicherheitsstandard definieren. Des Weiteren kann eine Benutzerschnittstelle 70 zur Eingabe von weiteren Daten und zur Anzeige der von der Datenanalyseeinrichtung 40 erstellten Berechnungsergebnisse vorgesehen sein. Insbesondere ist die Benutzerschnittstelle 70 als Display mit einem Touchscreen ausgebildet.In addition, the
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung oder ein leistungsfähiger Computer verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Komponente, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Außerdem können hochparallele Recheneinheiten und leistungsfähige Grafikmodule vorgesehen sein.In the context of the invention, a “processor” can be understood to mean, for example, a machine or an electronic circuit or a powerful computer. A processor can in particular be a central processing unit (CPU), a microprocessor or a microcontroller, for example an application-specific integrated circuit or a digital signal processor, possibly in combination with a memory unit for storing program instructions, etc . A processor can also be understood to mean a virtualized processor, a virtual machine or a soft CPU. It can also be a programmable processor, for example, which is equipped with configuration steps for executing the method according to the invention or configured with configuration steps in this way is that the programmable processor implements the inventive features of the method, the component, the modules, or other aspects and/or partial aspects of the invention. In addition, highly parallel computing units and powerful graphics modules can be provided.
Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form von Arbeitsspeicher (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.In the context of the invention, a “memory unit” or “memory module” and the like can mean, for example, a volatile memory in the form of random-access memory (RAM) or a permanent memory such as a hard disk or a data carrier or z. B. be understood as a removable memory module. However, the storage module can also be a cloud-based storage solution.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist der Prozessor speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit der Prozessor Funktionen ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder realisieren.In connection with the invention, a “module” can be understood to mean, for example, a processor and/or a memory unit for storing program instructions. For example, the processor is specially set up to execute the program instructions in such a way that the processor executes functions in order to implement or realize the method according to the invention or a step of the method according to the invention.
Unter aufgenommenen Bild- und Sensordaten32 sind im Zusammenhang mit der Erfindung sowohl die Rohdaten als auch bereits aufbereitete Daten aus den Aufnahmeergebnissen der Bild- und Sensoreinrichtung 30 zu verstehen.In the context of the invention, recorded image and
Insbesondere kann die Bild- und Sensoreinrichtung 30 über Mobilfunkmodule des 5G-Standards verfügen. 5G ist der Mobilfunkstandard der fünften Generation und zeichnet sich im Vergleich zum 4G-Mobilfunkstandard durch höhere Datenraten bis zu 10 Gbit/sec, der Nutzung höherer Frequenzbereiche wie beispielsweise 2100, 2600 oder 3600 Megahertz, eine erhöhte Frequenzkapazität und damit einen erhöhten Datendurchsatz und eine Echtzeitdatenübertragung aus, da bis zu eine Million Geräte pro Quadratkilometer gleichzeitig ansprechbar sind. Die Latenzzeiten betragen wenige Millisekunden bis unter 1 ms, so dass Echtzeitübertragungen von Daten und von Berechnungsergebnissen möglich sind. Die von der Bild- und Sensoreinrichtung 30 ermittelten Bild- und Sensordaten 32 werden in Echtzeit an eine Cloud-Plattform gesendet, wo die entsprechende Analyse und Berechnung durchgeführt wird. Die Analyse- und Berechnungsergebnisse werden an das Fahrzeug 20 in Echtzeit zurückgesandt und können daher schnell in Handlungsanweisungen an den Fahrer oder in automatisierte Fahrfunktionen integriert werden. Diese Geschwindigkeit bei der Datenübermittlung ist erforderlich, wenn cloudbasierte Lösungen für die Verarbeitung der Bild- und Sensordaten 32 verwendet werden sollen. In particular, the image and
Cloudbasierte Lösungen bieten den Vorteil von hohen und damit schnellen Rechenleistungen.Cloud-based solutions offer the advantage of high and therefore fast computing power.
Wenn die Datenanalyseeinrichtung 40 in dem Fahrzeug integriert ist, wird für den Prozessor 41 vorteilhaftweise eine KI-Hardwarebeschleunigung wie das Coral Dev Board verwendet, um eine Bearbeitung in Echtzeit zu ermöglichen. Es handelt sich hierbei um einen Mikrocomputer mit einer Tensorverarbeitungseinheit (engl.: tensor processing unit (TPU)), wodurch eine vortrainierte Softwareapplikation bis zu 70 Bilder pro Sekunde auswerten werden.When the
Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Durch die Anordnung und die Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie Feedforward-Netzwerke, Rekurrente Netzwerke oder Convolutional Neural Networks. Die Netzwerke lassen sich durch unbeaufsichtigtes oder überwachtes Lernen trainierenA neural network consists of neurons that are arranged in several layers and connected to each other in different ways. A neuron is able to receive information from outside or from another neuron at its input, to evaluate the information in a certain way and to pass it on to another neuron in a changed form at the neuron output or to output it as the end result. Hidden neurons are located between the input neurons and output neurons. Depending on the network type, there can be several layers of hidden neurons. They ensure the forwarding and processing of the information. Finally, output neurons deliver a result and output it to the outside world. Different types of neural networks such as feedforward networks, recurrent networks or convolutional neural networks are created by the arrangement and linking of the neurons. The networks can be trained through unsupervised or supervised learning
Insbesondere weist das Erkennungssystem 400 ein Analysemodul 410 auf, das als ein gefaltetes neuronales Netzwerk (engl.: convolutional neural network, CNN) ausgebildet. Als Eingabedaten das Analysemoduls 410 werden die Bild- und Sensordaten 32 der Kamera- und Sensoreinrichtung 30 verwendet. Zusätzlich können noch Daten aus der Datenbank 60 verwendet werden. Die Datenformate der Eingabedaten sind vorzugsweise als Tensoren ausgebildet. Zudem können vorteilhafterweise unterschiedliche Bildformate verwendet werden.In particular, the
Das Convolutional Neural Network ist eine besondere Form eines künstlichen neuronalen Netzwerks. Es besitzt mehrere Faltungsschichten und ist für maschinelles Lernen und Anwendungen mit Künstlicher Intelligenz (KI) im Bereich der Bild- und Spracherkennung sehr gut geeignet. Die Funktionsweise eines Convolutional Neural Networks ist zu einem gewissen Teil biologischen Vorgängen nachempfunden und der Aufbau ist vergleichbar der Sehrinde des Gehirns. Das Training eines Convolutional Neural Networks findet gewöhnlich überwacht statt. Herkömmliche neuronale Netzwerke bestehen aus voll- oder teilvermaschten Neuronen in mehreren Ebenen. Diese Strukturen stoßen jedoch bei der Verarbeitung von Bildern an ihre Grenzen, da eine der Pixelanzahl entsprechende Zahl an Eingängen vorhanden sein müsste. Das Convolutional Neural Network setzt sich aus verschiedenen Schichten zusammen und ist vom Grundprinzip ein zum Teil lokal vermaschtes neuronales Feedforward-Netzwerk. Die einzelnen Schichten des CNN sind die Convolutional-Schicht, die Pooling-Schicht und die vollständig vermaschte Schicht. Die Pooling-Schicht folgt der Convolutional-Schicht und kann in dieser Kombination mehrfach hintereinander vorhanden sein. Da die Pooling-Schicht und die Convolutional-Schicht lokal vermaschte Teilnetze sind, bleibt die Anzahl an Verbindungen in diesen Schichten selbst bei großen Eingabemengen begrenzt und in einem beherrschbaren Rahmen. Den Abschluss bildet eine vollständig vermaschte Schicht. Die Convolutional-Schicht ist die eigentliche Faltungsebene und in der Lage, in den Eingabedaten einzelne Merkmale zu erkennen und zu extrahieren. Bei der Bildverarbeitung können dies Merkmale wie Linien, Kanten oder bestimmte Formen sein. Die Verarbeitung der Eingabedaten erfolgt in Form von Tensoren wie einer Matrix oder Vektoren. Die Pooling-Schicht, auch Subsampling-Schicht genannt, verdichtet und reduziert die Auflösung der erkannten Merkmale durch passende Filterfunktionen. Insbesondere wird hierfür eine Maxpool-Funktion angewendet, die für einen (üblicherweise) nicht überlappenden Teilbereich der Daten den maximalen Wert jeweils berechnet. Neben dem Maximal-Pooling kann aber auch ein Mittelwert-Pooling verwendet werden. Das Pooling verwirft überflüssige Informationen und reduziert die Datenmenge. Die Leistungsfähigkeit beim maschinellen Lernen wird dadurch nicht verringert. Durch das reduzierte Datenaufkommen erhöht sich die Berechnungsgeschwindigkeit.The convolutional neural network is a special form of an artificial neural network. It has multiple layers of convolution and is well suited for machine learning and artificial intelligence (AI) applications in the field of image and speech recognition. The functionality of a convolutional neural network is to a certain extent modeled on biological processes and the structure is comparable to the visual cortex of the brain. The training of a convolutional neural network usually takes place under supervision. Conventional neural networks consist of fully or partially meshed neurons in several levels. However, these structures reach their limits when processing images, since there would have to be a number of inputs corresponding to the number of pixels. The convolutional neural network is made up of different layers and is based on the basic principle of a partly locally meshed neural feedforward network. The individual layers of the CNN are the convolutional layer, the pooling layer and the fully meshed layer. The pooling layer follows the convolutional layer and can exist multiple times in this combination. Since the pooling layer and the convolutional layer are locally meshed subnets, the number of connections in these layers remains limited and manageable, even with large amounts of input. The final step is a fully meshed layer. The convolutional layer is the actual convolution layer and is able to recognize and extract individual features in the input data. In image processing, these can be features such as lines, edges or specific shapes. The input data is processed in the form of tensors such as a matrix or vectors. The pooling layer, also known as the subsampling layer, compresses and reduces the resolution of the recognized features using appropriate filter functions. In particular, a maxpool function is used for this, which calculates the maximum value for a (usually) non-overlapping sub-area of the data. In addition to maximum pooling, mean pooling can also be used. Pooling discards superfluous information and reduces the amount of data. This does not reduce machine learning performance. The reduced data volume increases the calculation speed.
Den Abschluss des Convolutional Neural Networks bildet die vollständig verknüpfte Schicht. Sie ist das Ergebnis der wiederholten Abfolge der Convolutional- und Pooling-Schichten. Alle Merkmale und Elemente der vorgelagerten Schichten sind mit jedem Ausgabemerkmal verknüpft. Die vollständig verbundenen Neuronen können in mehreren Ebenen angeordnet sein. Die Anzahl der Neuronen ist abhängig von den Eingabedaten, die das Convolutional Neural Network bearbeiten soll.At the end of the convolutional neural network is the fully connected layer. It is the result of the repeated sequencing of the convolutional and pooling layers. All features and elements of the upstream layers are linked to each output feature. The fully connected neurons can be arranged in multiple levels. The number of neurons depends on the input data that the convolutional neural network is supposed to process.
Das Convolutional Neural Network (CNN) bietet daher gegenüber herkömmlichen nicht gefalteten neuronalen Netzen zahlreiche Vorteile. Es eignet sich für maschinelles Lernen und Anwendungen der Künstlichen Intelligenz mit großen Mengen an Eingabedaten wie in der Bilderkennung. Das Netzwerk arbeitet zuverlässig und ist gegenüber Verzerrungen oder anderen optischen Veränderungen unempfindlich. Das CNN kann unter verschiedenen Lichtverhältnissen und in unterschiedlichen Perspektiven aufgenommene Bilder verarbeiten. Es erkennt dennoch die typischen Merkmale eines Bildes. Da das CNN in mehrere lokale, teilvermaschte Schichten aufgeteilt ist, hat es einen wesentlich geringeren Speicherplatzbedarf als vollvermaschte neuronale Netze. Die Faltungsschichten reduzieren die Speicheranforderungen drastisch. Ebenfalls stark verkürzt ist die Trainingszeit des Convolutional Neural Networks. Mit dem Einsatz moderner Grafikprozessoren lassen sich CNNs sehr effizient trainieren. Das CNN erkennt und extrahiert Merkmale der Eingangsbilder mithilfe von Filtern. Zunächst erkennt das CNN in den ersten Ebenen einfache Strukturen wie Linien, Farbmerkmale oder Kanten. In den weiteren Ebenen lernt das Convolutional Neural Network Kombinationen aus diesen Strukturen wie einfache Formen oder Kurven. Mit jeder Ebene lassen sich komplexere Strukturen identifizieren. Die Daten werden in den Ebenen immer wieder neu abgetastet und gefiltert.The convolutional neural network (CNN) therefore offers numerous advantages over conventional non-convoluted neural networks. It is suitable for machine learning and artificial intelligence applications with large amounts of input data, such as in image recognition. The network works reliably and is not sensitive to distortions or other optical changes. CNN can process images captured under different lighting conditions and from different perspectives. It still recognizes the typical features of an image. Since the CNN is divided into several local, partially meshed layers, it requires significantly less storage space than fully meshed neural networks. The convolutional layers drastically reduce storage requirements. The training time of the convolutional neural network is also greatly reduced. With the use of modern graphics processors, CNNs can be trained very efficiently. The CNN uses filters to detect and extract features from the input images. First of all, the CNN recognizes simple structures such as lines, color features or edges in the first levels. In the further levels, the convolutional neural network learns combinations of these structures such as simple shapes or curves. With each level, more complex structures can be identified. The data is repeatedly resampled and filtered in the layers.
In dem Analysemodul 410 werden die Bild- und Sensordaten 32 somit vorzugsweise mittels eines Convolutional Neural Network bearbeitet. Zudem ist ein Klassifizierungsmodul 430 vorgesehen, das Merkmale M1, M2, ..., Mn der Radbewegungen und des Radlenkwinkels eines Fahrzeugs enthält. Außerdem können diesen Merkmalen M1, M2, ..., Mn bestimmte Zustände S1, S2, ..., Sn des Fahrzeugs zugeordnet werden. So können bestimmte Werte der Radlenkwinkel der Räder des Fahrzeugs 10 darauf hinweisen, dass das Fahrzeug 10 mit dem Ausparken aus der Parklücke begonnen hat und bald die Parklücke verlassen wird. Auch kann aus der Geschwindigkeit der Radbewegungen darauf geschlossen werden, wie schnell das Fahrzeug 10 die Parklücke wahrscheinlich verlassen wird. Den Zuständen S1, S2, ..., Sn können wiederum Sicherheitsstufen zugeordnet werden. Diese Merkmale M1, M2, ..., Mn und/oder Zustände S1, S2, ..., Sn des Fahrzeugs wurden vorzugsweise in einer Trainingsphase von dem CNN ermittelt oder sie wurden vorab definiert und dem Klassifizierungsmodul übermittelt.The image and
Die derart bearbeiteten Bild- und Sensordaten 32 werden als Ausgabedaten 450 in eine automatisierte Fahrfunktion integriert und/oder an die Benutzerschnittstelle 70 übermittelt. Sie können dort als Handlungsempfehlungen oder Warnhinweise an den Fahrer der Fahrzeugs 20 ausgegeben werden. So kann beispielsweise ein Warnton oder ein optischer Hinweis über die Benutzerschnittstelle 70 ausgegeben werden. Bei einer automatisieren Fahrfunktion kann auch automatisch das Fahrtempo reduziert werden.The image and
Ein Verfahren zur Erkennung einer Änderung eines Radlenkwinkels zumindest eines Rades bei einem Kraftfahrzeug gemäß der vorliegenden Erfindung umfasst daher die folgenden Schritte:
- In einem Schritt S10 werden Bild-
und Sensordaten 32 von einer Kamera-und Sensoreinrichtung 30 eines zweiten Kraftfahrzeugs 20 aufgenommen, wobei die Bild-und Sensordaten 32 die Umgebung des Fahrzeugs 20 mit zumindest dem ersten Kraftfahrzeug 10 repräsentieren. - In einem Schritt S20 werden die Bild-
und Sensordaten 32 aneine Datenanalyseeinrichtung 40 weitergegeben,wobei die Datenanalyseeinrichtung 40ein Erkennungssystem 400 zur Erkennung einer Änderung eines Radlenkwinkels zumindest eines Rades bei dem ersten Kraftfahrzeug umfasst, welches Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und der maschinellen Bildanalyse verwendet. - In einem Schritt S30 werden die Bild-
und Sensordaten 32 inder Datenanalyseeinrichtung 30 mittels des Erkennungssystems 200 bearbeitet, um mögliche Änderungen des Radlenkwinkels des Rades zu klassifizieren. - In einem Schritt S40 wird der klassifizierten Änderung des Radlenkwinkels ein Zustand Sj aus einer Menge von definierten Zuständen S1, S2, ..., Sn zugeordnet.
- In einem Schritt S50 werden aus dem ermittelten Zustand Sj Ausgabedaten 280 zur weiteren Verwendung in einer automatisierten Fahrfunktion und/oder für eine Benutzerschnittstelle 70 erzeugt.
- In a step S10, image and
sensor data 32 are recorded by a camera andsensor device 30 of asecond motor vehicle 20, the image andsensor data 32 representing the surroundings ofvehicle 20 with at leastfirst motor vehicle 10. - In a step S20, the image and
sensor data 32 are forwarded to adata analysis device 40, thedata analysis device 40 including adetection system 400 for detecting a change in a wheel steering angle of at least one wheel in the first motor vehicle, which algorithms from the field of artificial intelligence (AI) and machine image analysis. - In a step S30, the image and
sensor data 32 are processed in thedata analysis device 30 using the recognition system 200 in order to classify possible changes in the wheel steering angle of the wheel. - In a step S40, a state S j from a set of defined states S 1 , S 2 , . . . , S n is assigned to the classified change in the wheel steering angle.
- In a step S50, output data 280 for further use in an automated driving function and/or for a
user interface 70 are generated from the ascertained state S j .
Durch ein Erkennungssystem 400, das Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und maschinellen Bildanalyse verwendet, können somit Bilder aus der Umgebung eines zweiten Fahrzeugs 20 hinsichtlich der Änderungen des Radlenkwinkels bei einem anderen ersten Fahrzeug 10 in Echtzeit analysiert werden. Mit der vorliegenden Erfindung ist die automatische Erfassung von Änderungen des Radlenkwinkels bei zumindest einem Rad des Fahrzeugs 10, insbesondere bei einem parkenden Fahrzeug 10, ermöglicht. Aus den klassifizierten Änderungen des Radlenkwinkels kann das Fahrverhalten des Fahrzeugs 10 abgeleitet werden. Das Ergebnis der Analyse wird beispielsweise als Warnsignal auf einer Benutzerschnittstelle 70 des zweiten Fahrzeugs 20 ausgegeben, falls die Änderung des Radlenkwinkels auf eine kritische Fahrsituation für das zweite Fahrzeug 20 hinweist. Durch die vorliegende Erfindung kann somit die Sicherheit beim Fahren weiter erhöht werden.A
BezugszeichenlisteReference List
- 1010
- erstes Kraftfahrzeugfirst motor vehicle
- 2020
- zweites Kraftfahrzeugsecond motor vehicle
- 3030
- Kamera- und SensoreinrichtungCamera and sensor setup
- 3232
- Bild- und SensordatenImage and sensor data
- 3535
- RGB-KameraRGB camera
- 3737
- UV-KameraUV camera
- 3939
- IR-KameraIR camera
- 4040
- Datenanalyseeinrichtungdata analysis facility
- 4141
- Prozessorprocessor
- 5050
- Speichereinheitstorage unit
- 5555
- Softwaremodulsoftware module
- 6060
- DatenbankDatabase
- 7070
- Benutzerschnittstelleuser interface
- 100100
- Systemsystem
- 400400
- Erkennungssystemdetection system
- 410410
- Analysemodulanalysis module
- 430430
- Klassifizierungsmodulclassification module
- 450450
- Ausgabedatenoutput data
- 500500
- Computerprogrammproduktcomputer program product
- 550550
- Programmcodeprogram code
Claims (15)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020130646.6A DE102020130646A1 (en) | 2020-11-19 | 2020-11-19 | Method, system and computer program product for detecting a change in a wheel steering angle in a motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020130646.6A DE102020130646A1 (en) | 2020-11-19 | 2020-11-19 | Method, system and computer program product for detecting a change in a wheel steering angle in a motor vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102020130646A1 true DE102020130646A1 (en) | 2022-05-19 |
Family
ID=81345814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102020130646.6A Pending DE102020130646A1 (en) | 2020-11-19 | 2020-11-19 | Method, system and computer program product for detecting a change in a wheel steering angle in a motor vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102020130646A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180134284A1 (en) | 2016-11-16 | 2018-05-17 | NextEv USA, Inc. | System for controlling a vehicle based on wheel angle tracking |
DE102017204347A1 (en) | 2017-03-15 | 2018-09-20 | Audi Ag | Method and system for determining a kinematic property of an object, method for controlling an assistance system of a motor vehicle and motor vehicle |
-
2020
- 2020-11-19 DE DE102020130646.6A patent/DE102020130646A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180134284A1 (en) | 2016-11-16 | 2018-05-17 | NextEv USA, Inc. | System for controlling a vehicle based on wheel angle tracking |
DE102017204347A1 (en) | 2017-03-15 | 2018-09-20 | Audi Ag | Method and system for determining a kinematic property of an object, method for controlling an assistance system of a motor vehicle and motor vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102018132525A1 (en) | Method and device for evaluating a vehicle driving surface | |
DE102018206208A1 (en) | Method, device, product and computer program for operating a technical system | |
DE102017107264A1 (en) | VISIBLE RAIN RECOGNITION USING DEEP LEARNING | |
EP3083361B1 (en) | Method and device for monitoring an external dimension of a vehicle | |
DE102009025545A1 (en) | Method and device for detecting brake light systems | |
DE102017130488A1 (en) | A method for classifying parking spaces in a surrounding area of a vehicle with a neural network | |
WO2018158020A1 (en) | Method and device for determining a trajectory in off-road scenarios | |
WO2019001649A1 (en) | Knowledge transfer between different deep learning architectures | |
WO2013152929A1 (en) | Learning method for automated recognition of traffic signs, method for determining an updated parameter set for the classification of a traffic sign and traffic sign recognition system | |
DE102021109360A1 (en) | SYSTEMS AND METHODS TO DETECT LANE MANEUVER INTENT | |
DE102021104243A1 (en) | Method, system and computer program product for automatically adapting at least one driver assistance function of a vehicle to a trailer operating state | |
DE102020130646A1 (en) | Method, system and computer program product for detecting a change in a wheel steering angle in a motor vehicle | |
DE102019129029A1 (en) | OBJECT DETECTION SYSTEM AND METHOD | |
DE102021200643B3 (en) | Method for environment recognition for semi-autonomous or autonomous driving functions of a motor vehicle using a neural network | |
DE102020130886A1 (en) | Method, system and computer program product for detecting movements of the vehicle body in a motor vehicle | |
DE102020130882A1 (en) | Method, system and computer program product for detecting skid marks on a roadway | |
DE102018208481A1 (en) | Estimate a course of a rail track | |
DE102018201909A1 (en) | Method and device for object recognition | |
DE102021119951A1 (en) | Method, system and computer program product for detecting the surroundings of a motor vehicle | |
EP4078237A1 (en) | Method and apparatus for recognising removal of a sensor data domain from a reference data domain | |
DE102021131054A1 (en) | Method, system and computer program product for evaluating a driving situation for the predictive control of an automated driving function | |
DE102021107523A1 (en) | METHOD OF OPERATING A PARKING ASSISTANCE SYSTEM, COMPUTER PROGRAM PRODUCT, PARKING ASSISTANCE SYSTEM AND VEHICLE | |
DE102017127170A1 (en) | Method for vehicle detection for a motor vehicle with a driving assistance system | |
EP4053593A1 (en) | Processing of sensor data in a means of transport | |
DE102020203817A1 (en) | Method and system for providing at least one compressed and specialized neural network for a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication |