DE102020205825A1 - System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen - Google Patents

System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen Download PDF

Info

Publication number
DE102020205825A1
DE102020205825A1 DE102020205825.3A DE102020205825A DE102020205825A1 DE 102020205825 A1 DE102020205825 A1 DE 102020205825A1 DE 102020205825 A DE102020205825 A DE 102020205825A DE 102020205825 A1 DE102020205825 A1 DE 102020205825A1
Authority
DE
Germany
Prior art keywords
environment data
control system
machine learning
category
assigned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020205825.3A
Other languages
English (en)
Inventor
Georg Schneider
Boris Pradarutti
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102020205825.3A priority Critical patent/DE102020205825A1/de
Publication of DE102020205825A1 publication Critical patent/DE102020205825A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Steuerungssystem (10) ist zum Einsatz in einem Kraftfahrzeug (12) eingerichtet und be-stimmt, bereitgestellten Umfelddaten mittels eines Maschinellen-Lern-Klassifizierers mindes-tens einer Verkehrskategorie zuzuordnen, wobei jede der mindestens einen Verkehrskategorie eine von mehreren Kategorien potentieller Fahrsituationen ist, und wobei das Maschinelle-Lern-System durch vorher bekannte Umfelddaten mit jeweils bereits zugeordneten Ver-kehrskategorien trainiert worden ist. Das Steuerungssystem ist dazu eingerichtet und be-stimmt, wenn die mindestens eine Verkehrskategorie den bereitgestellten Umfelddaten falsch zugeordnet wurde, ein Korrektursignal zu empfangen, welches korrigierend angibt, welcher mindestens einen Verkehrskategorie die bereitgestellten Umfelddaten zuzuordnen sind, wobei das Korrektursignal vorzugsweise von einer Nutzereingabe stammt. Das Steuerungssystem ist dazu eingerichtet und bestimmt, den Maschinellen-Lern-Klassifizierer auf die bereitgestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie zu trainieren. Das Steue-rungssystem ist dazu eingerichtet und bestimmt, das Kraftfahrzeug (12) entsprechend zu der korrigierten mindestens einen Verkehrskategorie zu steuern und/oder eine Anzeige zu steuern, etwas entsprechend der zugeordneten und/oder der korrigierten mindestens einen Ver-kehrskategorie anzuzeigen.

Description

  • Hintergrund der Erfindung
  • Hier werden ein Steuerungssystem und ein Steuerungsverfahren beschrieben, welche Daten einer Umfeldsensorik, auf deren Grundlage ein Kraftfahrzeug gesteuert werden soll, kritisch hinterfragt und so eine falsche Erkennung der Objekte und/oder Situationen im Umfeld des Kraftfahrzeugs verhindern.
  • Stand der Technik
  • In heutigen Kraftfahrzeugen bieten Fahrerassistenzsysteme (ADAS - advanced driver as-sistance systems) eine Vielzahl von Überwachungs- und Hinweisfunktionen, um das Führen der Kraftfahrzeuge sicherer zu machen. Hierbei wird das Umfeld des Kraftfahrzeugs basierend auf aus einem oder aus mehreren an dem Kraftfahrzeug befindlichen Umfeldsensor/en ge-wonnenen Umfelddaten im Hinblick auf den Fahrtverlauf des Kraftfahrzeugs überwacht.
  • Bekannte Fahrerassistenzsysteme ermitteln beispielsweise, ob sich das Kraftfahrzeug inner-halb einer Fahrspur befindet und ob der Fahrer ungewollt zu einer Seite der Fahrspur abdriftet oder im Begriff ist, diese zu verlassen. Diese Fahrerassistenzsysteme generieren aus den gewonnenen Umfelddaten ein „Abbild“ der Straße und insbesondere der Fahrspur. Dabei werden Objekte erkannt und während des Fahrens verfolgt, wie zum Beispiel eine Bordstein-kante, Fahrspurbegrenzungslinien, Fahrspurmarkierungen, Richtungspfeile, etc. Auch beweg-liche Objekte wie andere Kraftfahrzeuge werden erkannt und während des Fahrens verfolgt (Tracking).
  • In durch Personen geführten Kraftfahrzeugen bieten die Fahrerassistenzsysteme meist eine Hinweisfunktion, um den Fahrer vor einer kritischen Situation oder einem entsprechenden Manöver zu warnen oder um den Fahrer ein geeignetes Manöver für das Kraftfahrzeug vorzu-schlagen. Gleichermaßen können die Fahrerassistenzsysteme auch in autonom gesteuerten Kraftfahrzeugen eingesetzt werden, um der autonomen Steuerung die entsprechenden Um-felddaten bereitzustellen.
  • Zugrundeliegendes Problem
  • Die Daten der Umfeldsensoren können in vielerlei Hinsicht täuschen. So kann beispielsweise ein Straßenschild von einem Baum verdeckt sein oder mutwillig entfernt oder unkenntlich gemacht worden sein. Eine Straße kann ungewollte Fahrbahnmarkierungen (oder Malereien, die als offizielle Fahrbahnmarkierungen erkannt werden können) aufweisen, wie z.B. Kreide-malereien. Auch kann eine Kamera von IR/UV Licht geblendet werden oder einen anderen Defekt zeigen. Solche Täuschungen sind besonders schwerwiegend, wenn sie von einem Menschen nicht erkannt werden.
  • Beispielhaft zeigt 2a ein Stopp-Schild (28) ohne Täuschung. Die graue Tönung des Schildes soll die rote Farbe des Stopp-Schildes repräsentieren. Das Stopp-Schild aus 2a wird von Menschen und ADAS als Stopp-Schild erkannt. Anders ist dies bei dem beispielhaf-ten Stopp-Schild, das in 2b gezeigt ist. Dieses Stopp-Schild (28) ist mit ein paar Aufkle-bern (30) beklebt. Ein Mensch erkennt dieses beklebte Schild ohne Probleme als Stopp-Schild. Währenddessen wird ein ADAS getäuscht und erkennt eine Geschwindigkeitsbegrenzung. Ähnlich verhält es sich in der Situation der 2c und 2d. Während 2c Fahrbahnbe-grenzungen ohne Täuschung zeigen, ist in 2d eine täuschende Markierung (36) erkenn-bar. Dies kann beispielsweise ausgelaufene Farbe, Kreidemarkierungen oder Ähnliches sein. Während ein Mensch die täuschende Markierung (36) als Täuschung erkennt und sein Fahr-verhalten nicht danach richtet, ist es möglich, dass das ADAS-System auf die Täuschung hereinfällt und nach links lenkt, wie in 2d gezeigt.
  • Ein herkömmliches ADAS-System, welches auf eine solche Täuschung hereinfällt, zeigt dem Fahrer falsche Daten an und/oder steuert das Kraftfahrzeug entsprechend der Täuschung. Dies kann schnell zu einem Unfall führen.
  • Daher besteht die Aufgabe, ein sichereres Steuerungssystem und ein sichereres Steuerungs-verfahren für ein Kraftfahrzeug bereitzustellen, welches nicht von Täuschungen in den Daten fehlgeleitet wird.
  • Vorgeschlagene Lösung
  • Diese Aufgabe wird gelöst durch ein Steuerungssystem mit den Merkmalen des Anspruchs 1 sowie ein Steuerungsverfahren mit den Merkmalen des Anspruchs 17.
  • Bevorzugte Ausführungsformen werden aus den Unteransprüchen 2 bis 16 sowie der nach-stehenden Beschreibung ersichtlich.
  • Ein Aspekt betrifft ein Steuerungssystem, das zum Einsatz in einem Kraftfahrzeug eingerichtet und bestimmt ist, basierend auf aus mindestens einem, dem Kraftfahrzeug zugeordneten Umfeldsensor/en und/oder Signalempfänger/n gewonnenen Umfelddaten Fahrspuren, Fahr-bahnbegrenzungen, Fahrbahnmarkierungen, weitere Kraftfahrzeuge, Verkehrsschilder, Licht-zeichen(anlagen) und/oder andere Objekte in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug zu erkennen, wobei der mindestens eine Umfeldsensor und/oder Signalempfänger/n dazu eingerichtet ist, dem Steuerungssystem die den Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug wiedergebenden Umfelddaten bereitzustellen. Das Steuerungssystem ist wenigstens dazu eingerichtet und bestimmt, zumindest eine erste Information bezüglich einer aktuellen Fahrsituation des Kraftfahrzeugs basierend auf einen ersten Teil der bereitgestellten Umfelddaten (auch verkürzt: Umfelddaten) zu ermitteln. Das Steue-rungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt, zumindest eine zweite Information bezüglich der aktuellen Fahrsituation des Kraftfahrzeugs und/oder der zumindest einen ersten Information basierend auf einen zweiten Teil der bereitgestellten Umfelddaten zu ermitteln. Das Steuerungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt, durch die zumindest eine zweite Information zu erkennen, ob es plausibel ist, dass die zumin-dest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht. Das Steue-rungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt, wenn erkannt wurde, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen Fahrsi-tuation entspricht, das Kraftfahrzeug nicht entsprechend zu der zumindest einen ersten Infor-mation zu steuern.
  • Ein solches Steuerungssystem weist ein geringeres Risiko auf, dass es ein Kraftfahrzeug gemäß einer Täuschung falsch steuert.
  • Der erste Teil der Umfelddaten und der zweite Teil der Umfelddaten können identisch, teilweise gleich oder verschieden sein. Es ist möglich, dass die verschiedenen Teile der Umfelddaten die Daten von verschiedenen (jeweils einen oder mehreren) der Umfeldsensoren und/oder Signalempfängern sind. Dies ist vorteilhaft, weil so die Plausibilität auf Grundlage verschiedener Umfeldsensoren und/oder Signalempfängern geprüft wird. Ferner ist es möglich, dass es mehrere zweite Informationen gibt. In diesem Fall kann die Plausibilität auf Grundlage der mehreren zweiten Informationen bestimmt werden. In diesem Fall ist es, beispielsweise, mög-lich, dass einige der mehreren zweiten Informationen für die Plausibilität sprechen und andere der mehreren zweiten Informationen gegen die Plausibilität sprechen. In einem solchen Fall kann geprüft werden, ob mehr der mehreren zweiten Informationen für oder gegen die Plausi-bilität sprechen, und demnach entschieden werden, dass es entsprechend plausibel ist oder nicht, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht (Plausibilität vorliegt). Es kann auch ein Schwellwert vorherbestimmt sein, welcher angibt, mindestens wieviel Prozent der mehreren zweiten Informationen für die Plausibilität sprechen müssen, damit entschieden wird, dass Plausibilität vorliegt.
  • Durch eine Information, wie die zumindest eine erste und wie die zumindest eine zweite Information, kann das Steuerungssystem eine aktuelle Fahrsituation zumindest teilweise wieder-spiegeln und auf Grundlage der Information (eventuell in notwendiger Kombination mit weiteren Informationen) kann das Steuerungssystem das Kraftfahrzeug steuern und/oder dem Nutzer (welcher der Fahrer sein kann) etwas anzeigen, was dem Nutzer über die Fahrsituation informiert. Die aktuelle Fahrsituation kann eine Verkehrssituation, die Situation anderer Kraftfahrzeuge und/oder die Straßenlage (inklusive Verkehrszeichen wie Schilder, Lichtzeichen(anlagen), Fahrbahnmarkierungen) umfassen. Das Steuerungssystem kann aus jedem Teil der Umfelddaten eine oder mehrere Informationen ermitteln. Eine Information kann zum Beispiel ein erkanntes Straßenschild (wie ein Stopp-Schild), der Verlauf einer Fahrbahnmarkierung, das Bestehen einer neuen Fahrbahnmarkierung oder das Bremsen eines vorrausfahren-den Kraftfahrzeugs sein.
  • Bei dem Steuerungssystem kann die zumindest eine zweite Information das gleiche Objekt der Fahrspuren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weiteren Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder anderen Objekte in dem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug betreffen wie die zumindest eine erste Information.
  • Dies ist vorteilhaft, weil verschiedene Umfeldsensoren und/oder Signalempfängern das gleiche Objekt betrachten. Dies kann beispielsweise die durch ein Mikrofon aufgenommene Sirene und das durch eine Kamera aufgenommene Blaulicht eines Polizeifahrzeugs sein (dies sind zwei Datensätze von dem gleichen Objekt). Dies kann beispielsweise auch ein Stopp-Schild sein, welches von verschieden ausgerichteten und/oder verschieden funktionierenden Kameras aufgenommen wurde. Eine verschiedene Ausrichtung einer Kamera kann beispielsweise ein mit Baumblättern überwachsenes Stopp-Schild besser erkennen. Somit kann eine Betrachtung des gleichen Objekts mit verschiedenen Umfeldsensoren das Risiko auf ein Hereinfallen auf Täuschungen weiter verringern.
  • Das Steuerungssystem kann ferner durch zumindest einer der folgenden Alternativen erkennen, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht: dadurch dass (Alternative 1:) zumindest eine der zumindest einen zweiten Information angibt, dass die bereitgestellten Umfelddaten eine Täuschung um-fassen; und/oder dadurch dass (Alternative 2:) zumindest eine der zumindest einen zweiten Information die tatsächliche aktuelle Fahrsituation korrigierend angibt; und/oder dadurch dass (Alternative 3:) zumindest eine der zumindest einen zweiten Information der zumindest einen ersten Information entgegensteht.
  • Die zumindest eine Information in Alternative 1, die angibt, dass die bereitgestellten Umfelddaten eine Täuschung umfassen, kann beispielsweise von einer Nutzereingabe stammen. Auch kann dies von einer „Misuse-Straßenkarte“ kommen. Die Misuse-Straßenkarte (auch Misuse-Karte) ist eine Straßenkarte, die für Regionen/Straßen angibt, dass eine Täuschung vorliegt und bevorzugt auch angibt, was die Täuschung ist und/oder wie die tatsächliche Fahrsituation ist. Die Misuse-Karte kann auch oder alternativ für Regionen/Straßen angeben, wie hoch eine Wahrscheinlichkeit ist, dass eine Täuschung vorliegt. Auch kann eine Historie einer jeden Täuschung in der Misuse-Karte abgespeichert sein und/oder eine empfohlene Gegenmaßnahme. Die Misuse-Karte kann von einem Kraftfahrzeug individuell verwaltet werden oder von einer Autorität (wie Polizei) zentral verwaltet werden, welche die Misuse-Karte und/oder die Informationen daraus dem Steuerungssystem bereitstellt, beispielsweise durch eine Internet-verbindung. Informationen/Daten von der Misuse-Karte (wie von anderen Quellen) können auch zeitlich vor dem Bereitstellen des ersten Teils der bereitgestellten Umfelddaten empfan-gen werden. Das Steuerungssystem kann die Informationen/Daten der Misuse-Karte dann abspeichern bis das Kraftfahrzeug die entsprechende Region verlassen hat. Die Information, dass eine Täuschung umfasst wird und/oder dass ein bestimmtes Objekt täuscht, ist vorteil-haft, weil meist Sicherheit besteht, dass eine Täuschung vorliegt. Die Plausibilität muss also nicht abgewogen werden. Die Information, dass eine Täuschung besteht, kann auch mit weite-ren (zweiten) Informationen kombiniert werden. Diese weiteren Informationen können Informa-tionen umfassen, auf deren Grundlage das Kraftfahrzeug gesteuert wird und/oder dem Nutzer etwas angezeigt wird. Besagt eine zweite Information, dass die erste Information (wahrscheinlich) eine Täuschung ist, also nicht richtig ist, so kann das Steuerungssystem das Kraftfahr-zeug explizit nicht entsprechend der ersten Information steuern und/oder dem Nutzer etwas entsprechend anzeigen.
  • Das Wort „korrigierend“ in der Alternative 2 besagt, dass die zumindest eine der zumindest einen zweiten Information mit sehr hoher Wahrscheinlichkeit, eher mit Sicherheit, die aktuelle Fahrsituation tatsächlich wiederspiegelt. Es ist möglich, dass bei einer korrigierenden Angabe auch explizit angegeben wird, dass die erste Information falsch ist. Die Angabe kann aber auch korrigierend sein, ohne auf die erste Information einzugehen oder zu wissen, was die erste Information angibt. Die Alternative 2 hat den Vorteil, dass das Steuerungssystem gleich weiß, was richtig ist. Es ist möglich, wenn die korrigierende Angabe nicht explizit sagt, dass die erste Information falsch ist, und wenn die korrigierende Angabe der ersten Information nicht entgegensteht, dass das Steuerungssystem das Kraftfahrzeug entsprechend zu der ersten Information steuert und/oder dem Nutzer etwas entsprechend der ersten Information anzeigt (ohne Verneinung). Eine korrigierende Angabe kann bevorzugt von einer Misuse-Karte, einer offiziellen Meldung (z.B. von der Polizei), oder einer Nutzereingabe stammen.
  • Ein Entgegenstehen (bzw. Widerspruch), wie in Alternative 3 beschrieben, kann beispielsweise vorliegen, wenn eine Sirene vernommen wird, aber kein Blaulicht gesehen wird. Dies kann beispielsweise von einer falschen Sirene oder einer Sirene, die nicht in der Nähe des eigenen Kraftfahrzeugs ist, stammen. Es ist also nicht plausibel, dass das Einsatzfahrzeug in der Nähe ist und/oder tatsächlich existiert. In beiden Fällen ist es nicht wünschenswert, dass das eigene Kraftfahrzeug an den Rand fährt und/oder abbremst. Ein weiteres Beispiel von entgegenstehenden Informationen ist eine vermeintliche temporäre Fahrbahnmarkierung (in gelb oder rot) ohne weitere Anzeichen einer Baustelle. In diesem Fall könnte die vermeintliche Fahrbahnmarkierung eine Täuschung sein, z.B. durch ausgelaufene Farbe.
  • Der zweiten Teil der bereitgestellten Umfelddaten kann aus einer Straßenkarte, die Fahrsitua-tionen und/oder eine lokale Wahrscheinlichkeit für eine Täuschung angibt, einer „infrastructure to vehicle communication“, einer „vehicle to vehicle communication“, einer Eingabe eines Nutzers, dem mindestens einem zugeordneten Umfeldsensor/en, dem mindestens einen zugeordneten Signalempfänger/n und/oder einem Maschinellen-Lern-Klassifizierer stammen.
  • Die Straßenkarte, die Fahrsituationen angibt, kann beispielsweise Geschwindigkeitsbegrenzungen, Straßenführung, und/oder weitere Informationen umfassen. Dies kann auch eine hochauflösenden live-Straßenkarte sein, also eine Straßenkarte, die aktuelle Informationen zu der Fahrsituation örtlich sehr präzise angibt. Die Straßenkarte, die eine lokale Wahrscheinlichkeit für eine Täuschung angibt, kann die Misuse-Karte sein. Die infrastructure to vehicle com-munication (12V) kann beispielsweise durch ein Signal übermittelt werden (Mobilfunk, WLan, Bluetooth, etc.), welches von einem Straßenschild (bzw. einem daran befestigten Signalsen-der) ausgeht und welches die Information des Straßenschildes in digitaler Form wiederspie-gelt. Die vehicle to vehicle communication (V2V) kann ein Signal von einem sich in der Nähe befindlichen weiteren Kraftfahrzeug sein, welches beispielsweise ein Warnsignal bezüglich einer Täuschung oder ein Signal mit Informationen über das eigene Fahrverhalten versendet. Die Eingabe des Nutzers kann über eine Nutzeroberfläche im Kraftfahrzeug oder ein mit dem Steuerungssystem gekoppelten App auf einem Smartphone oder Tablet sein. Der Nutzer kann korrigierende Angaben über die Fahrsituation angeben.
  • Das Steuerungssystem kann ferner eingerichtet und bestimmt sein, wenn erkannt wurde, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht, das Kraftfahrzeug entsprechend zu der zumindest einen zweiten Information zu steuern; und/oder eine Anzeige zu steuern, eine Warnung anzuzeigen; und/oder eine Täuschungsmeldung zur Polizei, Feuerwehr und/oder anderen Kraftfahrzeugen zu versenden, wobei die Täuschungsmeldung möglicherweise Ortsinformationen und/oder Bildaufnahmen umfasst; und/oder die Straßenkarte, die die lokale Wahrscheinlichkeit für eine Täuschung angibt, (Misuse-Karte) zu aktualisieren.
  • Das Steuerungssystem steuert das Kraftfahrzeug bevorzugt nur dann entsprechend zu der zumindest einen zweiten Information, wenn mehrere zweite Informationen übereinstimmen und/oder wenn eine der zumindest einen zweiten Information mit sehr hoher Wahrscheinlich-keit, eher mit Sicherheit, die tatsächliche aktuelle Fahrsituation wiederspiegelt. Dabei wird die erste Information ignoriert. Die Anzeige mit der Warnung kann anzeigen, dass eine Täuschung erkannt wurde (also eine geringe bis keine Plausibilität vorliegt) und/oder dass eine andere Information (von der zumindest einen zweiten Information) bezüglich der Fahrsituation für plausibel gehalten wird. Die Anzeige, dass eine Täuschung erkannt wurde kann kombiniert werden mit der Aufforderung an den Nutzer eine korrigierende Eingabe zu machen. Auch kann die Anzeige, dass eine Täuschung erkannt wurde, mit einer Meldung kombiniert werden, dass die Anzeige momentan falsche Informationen anzeigen kann, da Täuschungen vorliegen. Die Täuschungsmeldung an die Polizei kann auch an den Streckenbetreiber versendet werden. Dies kann beispielsweise per V21 (also dem Senden der Meldung an einen Empfänger nahe der Straße von dem Kraftfahrzeug aus) passieren. Die Täuschungsmeldung kann auch direkt V2V an andere Kraftfahrzeuge in der Nähe versandt werden. Die Täuschungsmeldung kann Bild-, Video-, und/oder Tonaufnahmen der Täuschung mit Kontextinformationen, wie Orts- und Zeitdaten, dem Zustand des Autos, den Zustand der Umfeldsensoren und/oder Signalempfänger, und/oder Umweltbedingungen, umfassen. Die versendeten Täuschungsmeldungen können auch zusätzlich im Kraftfahrzeug abgespeichert werden. Die Täuschungsmeldungen können zusätzlich oder alternativ zur Aktualisierung der Misuse-Karte genutzt werden. Das Steuerungssystem kann ferner eingerichtet und bestimmt sein, wenn erkannt wurde, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahr-situation entspricht, die Bremse vorzuaktivieren bzw. die Bremsstärke anzupassen, das Kraft-fahrzeug abzubremsen oder ganz zum Stehen zu bringen, oder ein Ausweichmanöver ausführen zu lassen. Es ist auch möglich, dass das Steuerungssystem, wenn erkannt wurde, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht, die bereitgestellten Umfelddaten erneut auswertet und/oder neue bereit-gestellte Umfelddaten anfordert.
  • Das Steuerungssystem kann ferner eingerichtet und bestimmt sein, wenn erkannt wird, ob es plausibel ist, dass die zumindest einer erste Information der tatsächlichen aktuellen Fahrsituation entspricht, die zumindest eine erste Information und die zumindest eine zweite Information gegenseitig aufzuwiegen, wobei Informationen von Teilen der Umfelddaten, die von einem vorherbestimmten Umfeldsensor und/oder Signalempfänger der bereitgestellten mindestens einen Umfeldsensor/en und/oder Signalempfänger stammen, mit einer höheren Gewichtung berücksichtigt werden als Informationen von Teilen der Umfelddaten, die von anderen Umfeld-sensor/en und/oder Signalempfänger/n stammen; und/oder wobei Informationen von Teilen der Umfelddaten, die von einer vorherbestimmten Quelle stammen mit einer höheren Gewich-tung berücksichtigt werden als Informationen von Teilen der Umfelddaten, die von anderen Quellen stammen.
  • In dieser Weise kann ein fehlerhafter oder defekter Umfeldsensor und/oder Signalempfänger als Täuschungsquelle als fehlerhaft bzw. defekt berücksichtigt werden. Ist, beispielsweise, eine Kamera sehr anfällig, geblendet zu werden, und deshalb anfällig, fehlerhafte Daten auszugeben, so werden Umfelddaten von dieser Kamera bei der Bewertung der Plausibilität weniger stark berücksichtigt. Diese Fehleranfälligkeit kann sowohl generell bekannt sein, wie auch für die eine spezielle Kamera bekannt sein. Ferner beispielsweise können Umfelddaten von ver-trauenswürdigen Quellen, wie der Polizei, mit einer hohen Gewichtung berücksichtigt werden. Auch ist es möglich bestimmte Typen von Umfelddaten, wie visuelle Daten, generell mit einer höheren Gewichtung zu berücksichtigen als einen anderen Typen von Umfelddaten, wie Ge-räusche. In dieser Weise können Umfelddaten von fehleranfälligen Umfeldsensoren und/oder Signalempfängern und von nicht vertrauenswürdigen Quellen einfacher überstimmt werden, wenn die Plausibilität erkannt wird.
  • Das Steuerungssystem kann ferner eingerichtet und bestimmt sein, die Gewichtungen für zumindest einen bestimmten Umfeldsensor/en und/oder Signalempfänger und/oder Quelle/n zu verändern, wenn eine der zumindest einen ersten oder zweiten Information angibt, dass der/die zumindest eine bestimmte Umfeldsensor/en und/oder Signalempfänger und/oder Quel-le/n mehr oder weniger glaubwürdig ist.
  • Dies ist besonders vorteilhaft, wenn einer der Umfeldsensoren oder Signalempfänger beschädigt ist oder wenn eine Quelle nicht mehr so zuverlässig ist wie zuvor. Letzteres kann beispielsweise sein, wenn die Polizei weniger Aufwand für ihre Benachrichtigungen betreibt. Auch kann es sein, dass viele Bäume in der Nähe von Straßenschildern erkannt wurden. Dann würden die Bilder der Straßenschilder mit einer geringeren Gewichtung berücksichtigt werden. Auch würden erkannte Informationen aus der direkten Umgebung mit einer geringeren Gewichtung berücksichtigt werden, wenn die Misuse-Karte angibt, dass in der Umgebung viele Täuschungen vorkommen bzw. dass die Wahrscheinlichkeit für Täuschungen hoch ist.
  • Ferner ist es möglich, dass sich der erste Teil der Umfelddaten und der zweite Teil der Umfelddaten zumindest teilweise überschneiden.
  • Dies kann beispielsweise vorteilhaft sein, wenn ein Teil eines Schildes (oder anderen Objekts) überdeckt ist, beispielsweise mit Baumblättern. In diesem Fall ist es möglich, dass der erste Teil der Umfelddaten den überdeckten Teil des Schilds umfasst, während der zweite Teil der Umfelddaten den freien Teil des Schilds umfasst. Dann würde die erste Information wahrscheinlich die tatsächliche Fahrsituation nicht wiederspiegeln (falsch sein) und die zweite Information würde die tatsächliche Fahrsituation wiederspiegeln (richtig sein).
  • Es ist möglich, dass die verschiedenen Teile der Umfelddaten von verschiedenen Ermittelungssystemen (wie Klassifikatoren) analysiert werden. Dies kann zu verschiedenen Ergebnis-sen führen. Es ist auch möglich, dass der erste und zweite Teil der Umfelddaten identisch sind oder sich gegenseitig ausschließen. Die Teile der Umfelddaten müssen nicht unbedingt, können aber, alle Umfelddaten umfassen. Steuerungssystem nach einem der vorhergehenden Ansprüche, wobei der erste Teil der Um-felddaten und der zweite Teil der Umfelddaten aus Verschiedenen der bereitgestellten mindestens einem Umfeldsensor/en und/oder Signalempfänger/n stammen.
  • Dies ist besonders vorteilhaft, wenn das gleiche Objekt betrachtet wird, wie bereits weiter oben angesprochen. Wenn die verschiedenen Teil der Umfelddaten aus verschiedenen Umfeld-sensoren oder Signalempfängern zu dem gleichen Ergebnis kommen, ist es sehr wahrscheinlich, dass die erste Information die tatsächliche Fahrsituation plausibel wiedergibt.
  • Ein weiterer Aspekt betrifft ein Kraftfahrzeug, das ein vorherstehend beschriebenes Steuerungssystem umfasst.
  • Ein weiterer Aspekt betrifft ein Steuerungsverfahren, das in einem Kraftfahrzeug basierend auf aus mindestens einem, dem Kraftfahrzeug zugeordneten Umfeldsensor/en und/oder Signal-empfänger/n gewonnenen Umfelddaten Fahrspuren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weitere Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder Objekte in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug erkennt, wobei das Steuerungsverfahren insbesondere mittels eines der vorherstehenden Steuerungssysteme ausgeführt wird. Das Steuerungsverfahren wenigstens die folgenden Schritte umfasst:
    • - Ermitteln zumindest einer ersten Information bezüglich einer aktuellen Fahrsituation des Kraftfahrzeugs basierend auf einen ersten Teil der bereitgestellten Umfelddaten;
    • - Ermitteln zumindest einer zweiten Information bezüglich der aktuellen Fahrsituation des Kraftfahrzeugs und/oder der zumindest einen ersten Information basierend auf einen zweiten Teil der bereitgestellten Umfelddaten;
    • - Erkennen durch die zumindest eine zweite Information, ob es plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht;
    • - wenn erkannt wurde, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen Fahrsituation entspricht, nicht Steuern des Kraftfahrzeugs entsprechend zu der zumindest einen ersten Information.
  • Gegenüber herkömmlichen Fahrerassistenzsystemen verbessert die hier vorgestellte Lösung die Wahrscheinlichkeit, dass die Fahrsituation richtig eingeschätzt wird. Dies Verringert das Risiko von Unfällen.
  • Ein weiterer Aspekt betrifft ein Steuerungssystem, das zum Einsatz in einem Kraftfahrzeug eingerichtet und bestimmt ist, basierend auf aus mindestens einem, dem Kraftfahrzeug zugeordneten Umfeldsensor/en und/oder Signalempfänger/n gewonnenen Umfelddaten Fahrspu-ren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weitere Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder andere Objekte in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug zu erkennen, wobei der mindestens eine Umfeldsensor und/oder Signalempfänger dazu eingerichtet ist, dem Steuerungssystem die den Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug wiedergebenden Umfelddaten bereitzustellen. Das Steuerungssystem ist wenigstens dazu eingerichtet und bestimmt, die bereitgestellten Umfelddaten mittels eines Maschinellen-Lern-Klassifizierers (auch ML-Klassifizierer) mindes-tens einer Verkehrskategorie zuzuordnen, wobei jede der mindestens einen Verkehrskategorie eine von mehreren Kategorien potentieller Fahrsituationen ist, und wobei das Maschinelle-Lern-System durch vorher bekannte Umfelddaten mit jeweils bereits zugeordneten Verkehrskategorien trainiert worden ist. Das Steuerungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt, wenn die mindestens eine Verkehrskategorie den bereitgestellten Umfelddaten falsch zugeordnet wurde, ein Korrektursignal zu empfangen, welches korrigie-rend angibt, welcher mindestens einen Verkehrskategorie die bereitgestellten Umfelddaten richtigerweise zuzuordnen sind, wobei das Korrektursignal vorzugsweise von einer Nutzereingabe stammt. Das Steuerungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt, den Maschinellen-Lern-Klassifizierer auf die bereitgestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie zu trainieren. Das Steuerungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt das Kraftfahrzeug entsprechend zu der korrigierten mindestens einen Verkehrskategorie zu steuern und/oder eine Anzeige zu steuern, etwas entsprechend der zugeordneten und/oder der korrigierten mindestens einen Verkehrskategorie anzuzeigen.
  • Ein solches Steuerungssystem erkennt ein falsch erkannten Objekt das nächste Mal richtig. Auch wird das Steuerungssystem auf ähnliche Täuschungen bei dem nächsten Erkennen mit höherer Wahrscheinlichkeit nicht mehr getäuscht, sondern ordnet die bereitgestellten Umfeld-daten richtig zu.
  • Der Maschinelle-Lern-Klassifizierer (oder durch maschinelles Lernen trainierter Klassifizie-rungsalgorithmus) ist vorzugsweise ein Klassifizierer, der anfangs durch Daten eines Lern-raums mittels maschinellen Lern Algorithmus trainiert wurde oder von einem solchem System kopiert wurde. Die Daten des Lernraumes geben Objekte im Straßenverkehr wieder mit einer/mehreren Bezeichnung/en des abgebildeten Objekts. So können beispielsweise ein Bild eines Stopp-Schildes als „Stopp-Schild“, eine Tonaufnahme einer Sirene als „Martinshorn“ oder „Sirene“, die Daten eines LIDAR von einem Fußgänger als „Fußgänger“, und ein 12V Signal eines Geschwindigkeitsbegrenzungs-Schildes als „Geschwindigkeitsbegrenzung“ be-zeichnet werden. Diese Bezeichnungen entsprechen einer Verkehrskategorie (oder mehreren Verkehrskategorien bei mehreren Bezeichnungen).
  • Die Zuordnung zu mindestens einer Verkehrskategorie kann dem Steuerungssystem Informationen bezüglich der aktuellen Fahrsituation geben mittels deren das Kraftfahrzeug gesteuert werden kann und/oder eine Anzeige gemacht werden kann (Siehe auch vorherigen Aspekt: Zuordnen einer Verkehrskategorie kann mit Erkennen einer ersten Information verglichen werden).
  • Das Korrektursignal kann die zumindest eine zweite Information aus den zuvorgenannten Aspekten sein. Es ist auch möglich, dass das Korrektursignal zusätzlich zu der zumindest einen zweiten Information (und der zuvor beschriebenen Plausibilitätsprüfung) kommt oder statt der zumindest einen zweiten Information kommt. Wird weder ein Korrektursignal empfangen noch eine zumindest eine zweite Information für eine Plausibilitätsprüfung genutzt, so wird vorzugsweise die zugeordnete mindestens eine Verkehrskategorie (bzw. die zumindest eine erste Information) zur Steuerung und/oder Meldungsanzeige genutzt. Das Korrektursignal nutzt vor Allem dem Maschinellen-Lern-Klassifizierer, um aus seinen Fehlern zu lernen.
  • Das Steuerungssystem kann entsprechend der korrigierten mindestens einen Fahrsituation das Kraftfahrzeug steuern. Das Steuerungssystem kann auch/stattdessen eine Anzeige für den Nutzer (/Fahrer) steuern die zugeordnete und/oder die korrigierende mindestens eine Fahrsituation anzuzeigen. Das Anzeigen der zugeordneten falschen Fahrsituation kann vor oder nach dem Empfangen des Korrektursignals passieren. Eine Anzeige vor dem Empfang des Korrektursignals kann besonders vorteilhaft sein, wenn der Nutzer (/Fahrer) eine das Korrektursignal erzeugende Eingabe macht. Diese Eingabe kann beispielsweise besagen, dass die mindestens eine zugeordnete Verkehrskategorie falsch den Umfelddaten zugeordnet wurde und welche mindestens eine Verkehrskategorie den Umfelddaten (und der Fahrsituation) entspricht.
  • Das Steuerungssystem kann ferner wenigstens dazu eingerichtet und bestimmt sein, die bereitgestellten Umfelddaten der mindestens einen Verkehrskategorie zuzuordnen, indem das Steuerungssystem eingerichtet und bestimmt ist, eine Übereinstimmungswahrscheinlichkeit zwischen den bereitgestellten Umfelddaten und jeder der mehreren Kategorien potentieller Fahrsituationen zu erzeugen, und mindestens eine Kategorie potentieller Fahrsituationen, welche die höchste/n Übereinstimmungswahrscheinlichkeit/en aufweist, als die mindestens eine Verkehrskategorie zuordnet.
  • Die Übereinstimmungswahrscheinlichkeiten werden dabei jeweils von dem Maschinellen-Lern-Klassifizierer erzeugt. Es kann eine Übereinstimmungswahrscheinlichkeit für jede der mehre-ren Kategorien potentieller Fahrsituationen erzeugt werden. Die Kategorien, welche die höchstens Übereinstimmungswahrscheinlichkeiten aufweisen, werden den bereitgestellten Umfelddaten zugeordnet. Es ist möglich, dass nur eine Kategorie, welche die höchste Übereinstimmungswahrscheinlichkeit aufweist, zugeordnet wird. Auch ist es möglich, dass alle Kategorien zugeordnet werden, die ein Übereinstimmungswahrscheinlichkeit über einem vorherbestimmten Schwellwert aufweisen. Diese letzte Möglichkeit ist vorteilhaft, wenn der Nutzer (/Fahrer) von diesen Kategorien auswählen kann.
  • Die mehreren Kategorien potentieller Fahrsituationen können zumindest folgende Kategorien für die Fahrsituationen umfassen: Geschwindigkeitsbegrenzungen, Stopp-Schilder, Vorfahrts-schilder, Lichtzeichen(anlagen), Warnschilder und/oder Fahrspurbegrenzungen.
  • Ferner können die mehreren Kategorien potentieller Fahrsituationen bzw. die Verkehrskategorien auch die Zeichen der Anlagen der (deutschen) Straßenverkehrs-Ordnung, Manöver anderer Kraftfahrzeuge und weiterer Verkehrsteilnehmer (Abbiegen, Überholen, Abbremsen, etc.), und/oder besondere Gefahrensituationen umfassen. Die mehreren Kategorien potentieller Fahrsituationen bzw. die Verkehrskategorien sind insbesondere so zu wählen, dass sie die wesentlichen Merkmale der Fahrsituation so wiedergibt, dass das Steuerungssystem das eigene Kraftfahrzeug sicher und gut steuern kann und/oder dass das Steuerungssystem dem Nutzer wichtige Aspekte zum Fahren mitteilen kann.
  • Die mehreren Kategorien potentieller Fahrsituationen können ferner eine Hintergrundkategorie umfassen, die repräsentiert, dass die bereitgestellten Umfelddaten keine Informationen betreffen, die wesentlich zum Steuern des Kraftfahrzeugs sind.
  • Die Hintergrundkategorie ist für Umfelddaten, die verworfen werden sollen ohne auf die Steuerung des Kraftfahrzeugs (direkt oder durch den Fahrer) Einfluss zu nehmen. Wird beispiels-weise ein Bild von einem Baum neben der Straße von dem Maschinellen-Lern-Klassifizierer ausgewertet, soll dieses Bild der Hintergrundkategorie zugeordnet werden und das Steuerungssystem soll keine weiteren Reaktionen (außer vielleicht dem Verwerfen) auf das Bild ausführen. Es ist auch möglich, dass es mehrere Hintergrundkategorien gibt. Dies kann dem Maschinellen-Lern-Klassifizierer das Zuordnet von grundverschiedenen Objekten, die nicht für die Fahrsituation wesentlich sind, erleichtern. Beispielsweise sind grüne Bäume und Büsche neben der Straße grundverschieden zu grauen Häusern. Trotzdem sollen all diese Objekte als Hintergrundkategorie behandelt und verworfen werden. Ferner ist es möglich, dass das Steuerungssystem bestimmte Hintergrundkategorien nicht einfach verwirft. Beispielsweise kann ein erkannter Baum, der nahe eines Straßenschildes positioniert ist, als mögliche Täuschungs-quelle erkannt werden, weil der Baum das Straßenschild (teilweise) verdecken kann. In diesem Sinne kann es auch vorteilhaft sein, verschiedene Hintergrundkategorien zu haben. Es ist auch möglich, dass Umfelddaten, die für jede Kategorie möglicher Fahrsituationen eine sehr geringe Übereinstimmungswahrscheinlichkeit aufweist (möglicherweise unter einem vorherbestimmten Mindestschwellwert), automatisch der/einer Hintergrundkategorie zugeordnet werden. Dies kann ein falsches zuordnen der Umfelddaten zu einer Verkehrskategorie (mit möglichen Aus-wirkungen auf das Steuern des Kraftfahrzeugs) verhindern.
  • Der Maschinelle-Lern-Klassifizierer kann dazu eingerichtet und bestimmt sein, auf die bereit-gestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie mittels Back-propagation trainiert zu werden. Backpropagation wird auch „Backpropagation of Error“ oder im Deutschen „Fehlerrückführung“ oder „Rückpropagierung“ genannt. Es ist möglich die Ro-bustheit (also die (negative) Anfälligkeit auf Täuschungen) als Optimierungsgröße zu verwenden.
  • Eine von dem Korrektursignal umfasste korrigierende Angabe, welcher mindestens einen Verkehrskategorie den bereitgestellten Umfelddaten zuzuordnen sind, kann von einem Nutzer eingebbar sein, von einer Datenbank bereitgestellt werden und/oder von einem anderen System eingespeist sein.
  • Das Korrektursignal kann von ähnlichen Quellen wie die zumindest eine zweite Information kommen. Besonders Quellen mit hoher Vertrauenswürdigkeit führen dazu, dass das Steuerungssystem gut auf weitere Täuschungen vorbereitet wird. Der Nutzer (/Fahrer) kann über eine Schnittstelle im Kraftfahrzeug oder per App über sein Handy korrigierende Angaben machen, die als Korrektursignal genutzt werden. Auch kann eine Polizeidatenbank, eine Datenbank des Streckenbetreibers oder eine andere Datenbank das Korrektursignal bereitstellen. Dies ist beispielsweise möglich, wenn die Täuschung bereits bekannt ist oder bereits bekannt ist, dass an einer Stelle/ in einer Region häufig eine bestimmte Täuschung auftritt oder Täuschungen generell auftreten. Auch kann eine Datenbank die Fahrsituationen (oder bestimmte Aspekte der Fahrsituationen) für jeweilige Orte/Regionen angeben (z.B.: auf einer Karte). Dies kann ohne Rücksicht auf Bestehen und/oder Risiko einer Täuschung sein. Das Steuerungs-system kann dann die mindestens eine zugeordnete Verkehrskategorie über diese Datenbank verifizieren. Dies ist auch vorteilhaft, weil der Maschinelle-Lern-Klassifizierer stets weiter lernt, ohne dass ein Nutzer aktiv etwas machen muss. Ferner ist es auch möglich, dass das Korrektursignal von einem anderen System eingespeist wird. Dies kann beispielsweise über 12V passieren. Würde ein mit Aufklebern beklebtes Schild, wie in 2b gezeigt, zusätzliche 12V Signal bereitstellen, könnte das Steuerungssystem aus dem täuschenden Schild einfach lernen.
  • Dem Steuerungssystem können bewusst erzeugte Umfelddaten bereitgestellt werden, die der Maschinelle-Lern-Klassifizierer zumindest einer falschen Verkehrskategorie zuordnet, wobei die bewusst erzeugten Umfelddaten mittels Kenntnissen über den Maschinellen-Lern-Klassifizierer erzeugt wurden, die durch Reverse Engineering des Maschinellen-Lern-Klassifizierers gewonnen wurden, und wobei dem Steuerungssystem das Korrektursignal bereitgestellt wird, damit eine Zuordnung von Umfelddaten zu den Verkehrskategorien durch den Maschinellen-Lern-Klassifizierer verbessert wird.
  • In dieser Weise wird der Maschinelle-Lern-Klassifizierer speziell auf Täuschungen trainiert. Durch das Revers Engineering (im Deutschen auch Nachkonstruktion) werden speziell Um-felddaten erzeugt, von welchen der Maschinelle-Lern-Klassifizierer getäuscht wird. Wie diese Umfelddaten genau ausschauen ist, unter Anderem, von der Architektur des Maschinellen-Lern-Klassifizierers abhängig. Das in 2b gezeigt Stopp-Schild ist einer aus Revers Engineering erstellten Täuschung nachgebildet. Daran wird ersichtlich wie unscheinbar Täuschungen für den Menschen scheinen können. Durch das der Täuschung zugeordnete Korrektursignal wird das Steuerungssystem für zukünftige Situationen solider aufgebaut. Es minimiert das Risiko, dass das Steuerungssystem zukünftig auf ähnliche Täuschungen reinfällt. Das Konfrontieren des Steuerungssystems mit den bewusst erzeugten Umfelddaten, die täuschen, kann noch während der Entwicklung des Maschinellen-Lern-Klassifizierers passieren (sozusa-gen im Labor) und/oder bei Testfahren und/oder nach Verkauf/Auslieferung des Produktes und/oder durch ein Update und/oder zu einem anderen Zeitpunkt.
  • Das Steuerungssystem kann ferner eingerichtet und bestimmt ist, verschiedenen Teilen der bereitgestellten Umfelddaten, die jeweils verschiedenen erkannten Objekten der Fahrspuren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weiteren Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder anderen Objekten in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug entsprechen, jeweils verschiedene mindestens eine Verkehrskategorien zuzuordnen.
  • Es ist möglich, dass die Umfelddaten (ein Satz an Umfelddaten) mehrere erkennbare/zuordenbare Objekte umfasst. So kann beispielsweise ein Bild mehrere Schilder zeigen oder die Umfelddaten umfassen ein Bild von einem Schild und eine Mikrofonaufnahme von einer Sirene. In solchen Fällen kann das Steuerungssystem jedes Objekt einzeln erkennen. In den gerade vorgebrachten Beispielen wären die einzelnen Objekte die jeweiligen der mehreren Schilder bzw. das Schild und die Sirene. Das Steuerungssystem kann die Umfelddaten vor dem Zuordnen der Kategorien in kleinere Teile unterteilen, wobei jedes kleinere Teil jeweils ein Objekt aufweist. Auch ist es möglich, dass das Steuerungssystem die Umfelddaten während des Zuordnens unterteilt oder dass das Unterteilen und das Zuordnen iterativ abläuft. Es ist auch möglich, dass beim Zuordnen einem Teil der Umfelddaten mehrere Verkehrskategorien zugeordnet werden, wobei jede zugeordnete Verkehrskategorie einem auf dem Teil der Umfelddaten umfassten Objekt entspricht.
  • Das Steuerungssystem kann ferner dazu eingerichtet und bestimmt ist, wenn das Korrektur-signal empfangen wird, die bereitgestellten Umfelddaten auch einer Täuschungskategorie zuzuordnen, wobei die Täuschungskategorie nicht eine der mehreren Verkehrskategorien potentieller Fahrsituationen ist, sondern einer Wahrscheinlichkeit entspricht, dass der Maschinelle-Lern-Klassifizierer Umfelddaten falsch zuordnet; während der Maschinelle-Lern-Klassifizierer auf die bereitgestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie trainiert wird, den Maschinellen-Lern-Klassifizierer auch auf die bereitgestellten Umfelddaten und die Täuschungskategorie zu trainieren; und bei dem Zuordnen weiterer bereitgestellter Umfelddaten mittels des Maschinellen-Lern-Klassifizierers, neben dem Zuordnen der mindestens einen Verkehrskategorie auch zu ermitteln, ob die weiteren bereitgestellten Umfelddaten der Täuschungskategorie zuzuordnen sind.
  • Dies kann vorteilhaft sein, da Täuschungen erkannt werden können (durch die Zuordnung der Täuschungskategorie) bevor ein Korrektursignal von außen empfangen wird. Die Täuschungs-kategorie wird zusätzlich zu der mindesten einen Verkehrskategorie zugeordnet. Das heißt, dass mindestens eine Verkehrskategorie und die Täuschungskategorie zugeordnet werden oder mindestens eine Verkehrskategorie ohne die Täuschungskategorie zugeordnet wird. Ob die Täuschungskategorie den bereitgestellten Umfelddaten zugeordnet wird kann davon ab-hängen, ob der Maschinelle-Lern-Klassifizierer eine Übereinstimmungswahrscheinlichkeit der Täuschungskategorie zu den bereitgestellten Umfelddaten ermittelt, die höher als ein vorher-bestimmter Täuschungskategorie-Schwellwert ist.
  • Es ist auch möglich, dass das Steuerungssystem zum Zuordnen der Verkehrskategorie Verkehrsmerkmale nutzt. Um dies zu tun, kann das Steuerungssystem Verkehrsmerkmale in den bereitgestellten Umfelddaten erkennen. Solche Verkehrsmerkmale könne beispielsweise Farbe, Form, Bewegung, Schattierungen und/oder anderes sein. Die Verkehrsmerkmale können einprogrammiert (von einem Menschen) und/oder durch den Maschinellen Lernprozess automatisch erstellt worden sein. Eine Verkehrskategorie, zu welcher die meisten erkannten Verkehrsmerkmale passen, kann dann zugeordnet werden. So kann beispielsweise ein Objekt, welches die Verkehrsmerkmale: unbewegt, überwiegend rot, und achteckig aufweist, der Verkehrskategorie Stopp-Schild zugeordnet werden. Sollten mehrere Verkehrsmerkmale (beispielsweise mehr als ein Schwellwert) zu der Täuschungskategorie passen, so kann diese zugeordnet werden. Die Zuordnung des Täuschungskategorie anhand der Verkehrsmerkmale kann auch von der zugeordneten Verkehrskategorie abhängen. So kann beispielsweise ein Stopp-Schild, welches die Verkehrsmerkmale bewegt und Schattenlinien auf dem Schild auf-weisen, der Täuschungskategorie zugewiesen werden. Dies würde beispielsweise eintreten, wenn ein als Stopp-Schild bemalten Tuch aufgehangen wurde.
  • Das Steuerungssystem kann ferner dazu eingerichtet und bestimmt ist, wenn die weiteren bereitgestellten Umfelddaten der Störungskategorie zugeordnet wurde, das Korrektursignal anzufordern.
  • Dies kann dem gezielten Nach-lernen des Maschinellen-Lern-Klassifizierers dienen, weil bei bereitgestellten Umfelddaten, die der Täuschungskategorie zugeordnet wurden, also mit hoher Wahrscheinlichkeit eine Täuschung umfassen, ein Korrektursignal angefordert wird und somit der Maschinelle-Lern-Klassifizierer mit der Information aus dem Korrektursignal weiter trainiert werden kann. Das Korrektursignal kann von dem Nutzer/Fahrer, einer Karte, einem Server, V2V und/oder anderen Quellen angefordert werden.
  • Das Steuerungssystem kann ferner ein von dem Maschinellen-Lern-Klassifizierer unabhängi-ges Prüfsystem umfasst, wobei das Prüfsystem eingerichtet und bestimmt ist, zumindest einen Ausschnitt der bereitgestellten Umfelddaten mit der mindestens einen Verkehrskategorie zu vergleichen, welche von dem Maschinellen-Lern-Klassifizierer zugeordnet wurde, und daraus ermittelt, ob der Maschinelle-Lern-Klassifizierer richtig zugeordnet hat, wobei ein Ausschnitt der bereitgestellten Umfelddaten einem Teil des erkannten Objekts entspricht.
  • Das Prüfsystem überprüft das Ergebnis des Maschinellen-Lern-Klassifizierers und erhöht dadurch die Zuverlässigkeit des Steuerungssystems. Das Prüfsystem ist vorzugsweise unab-hängig von dem Maschinellen-Lern-Klassifizierer. Das Prüfsystem kann die zumindest eine Verkehrskategorie direkt mit dem Ausschnitt der bereitgestellten Umfelddaten vergleichen und daraus sein Resultat ziehen. Es ist auch möglich, dass das Prüfsystem eine eigene Zuordnung des Ausschnitts der bereitgestellten Umfelddaten zu zumindest einen der mehreren Kategorien potentieller Fahrsituation vornimmt und dass das Prüfsystem dies dann mit den zugeordneten Verkehrskategorien des Maschinellen-Lern-Klassifizierers vergleicht, um ein Resultat zu zie-hen. Diese letztgenannte Möglichkeit kann als Ermitteln der zumindest einen zweiten Informa-tion gesehen werden.
  • Das Prüfsystem kann ein zweiter Maschinellen-Lern-Klassifizierer sein, dem ein anderer Algo-rithmus als dem Maschinellen-Lern-Klassifizierer zugrunde liegt, oder ein Algorithmus ist, der nicht durch maschinelles Lernen trainiert wurde.
  • Dadurch, dass das Prüfsystem anders aufgebaut ist als der Maschinelle-Lern-Klassifizierer, werden die strukturellen Defizite des Maschinellen-Lern-Klassifizierers ausgeglichen. Bei-spielsweise wird eine Täuschung, die nur bei der Architektur/Algorithmus des Maschinellen-Lern-Klassifizierers täuscht, bei dem Prüfsystem richtig erkannt. Somit erkennt das Steue-rungssystem Täuschungen besser. Auch können gezielte Täuschungen, die durch Reverse Engineering erstellt wurden, schwerer durchgeführt werden.
  • Das Prüfsystem kann ferner eingerichtet und bestimmt sein, auf Grundlage nur eines Anteils der bereitgestellten Umfelddaten die Prüfung auszuführen.
  • Wenn das Prüfsystem nur auf Grundlage eines Anteils der bereitgestellten Umfelddaten prüft, kann es die Fahrsituation anders einschätzen. Dies kann zu einer erhöhten Täuschungserken-nung führen. Es kann vorkommen, dass der Anteil der bereitgestellten Umfelddaten die Stö-rung gerade nicht umfasst. Wie, zum Beispiel, bei einem teilweise überklebten Schild. Der Anteil der bereitgestellten Umfelddaten umfasst eventuell nur ein nicht überklebtes Teil des Schildes. Auch kann es vorteilhaft sein, wenn das Prüfsystem nur ein Anteil des Objekts sieht (und/oder hört, etc.). Wird dem Prüfsystem, zum Beispiel, nur ein Bild von einem halben Stopp-Schild bereitgestellt, so kann es sein, dass es mehr auf die Farbe und weniger auf die äußere Form schaut. Deshalb kann es vorteilhaft sein, dass das Steuerungssystem den Anteil der bereitgestellten Umfelddaten so auswählt, dass das zu erkennende Objekt nur teilweise wiedergegeben ist.
  • Das Steuerungssystem kann ferner eingerichtet und bestimmt sein, das Korrektursignal anzu-fordern, wenn das Prüfsystem die mindestens eine Verkehrskategorie, welche von dem Ma-schinellen-Lern-Klassifizierer zugeordnet wurde, als falsch zugeordnet erkennt.
  • Dies macht das Steuerungssystem sicherer, da es für zukünftige Umfelddaten besser trainiert werden kann, durch das Korrektursignal.
  • Die Umfelddaten können bildbasierte Daten sein.
  • Ferner ist es möglich, dass die Umfelddaten ausschließlich eine oder mehrere der folgenden umfasst: bildbasierte Daten, Audio-Daten (von einem Mikrofon), LIDAR-Daten, Daten von einem Server und/oder einer abgespeicherten Karte.
  • Ein weiterer Aspekt betrifft ein Kraftfahrzeug, das ein vorherstehend beschriebenes Steuerungssystem umfasst.
  • Ein weiterer Aspekt betrifft ein Steuerungsverfahren, das in einem Kraftfahrzeug basierend auf aus mindestens einem, dem Kraftfahrzeug zugeordneten Umfeldsensor/en gewonnenen Umfelddaten Fahrspuren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weitere Kraftfahrzeu-ge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder Objekte in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug erkennt, wobei das Steuerungsverfahren insbesondere mittels eines der vorherstehenden Steuerungssysteme ausgeführt wird. Das Steuerungs-verfahren wenigstens die folgenden Schritte umfasst:
    • - Zuordnen der bereitgestellten Umfelddaten mittels eines Maschinellen-Lern-Klassifizierers zu mindestens einer Verkehrskategorie, wobei jede der mindestens einen Ver-kehrskategorie eine von mehreren Kategorien potentieller Fahrsituationen ist, und wobei das Maschinelle-Lern-System durch vorher bekannte Umfelddaten mit jeweils bereits zugeordneten Verkehrskategorien trainiert worden ist;
    • - wenn die mindestens eine Verkehrskategorie den bereitgestellten Umfelddaten falsch zugeordnet wurde, Empfangen eines Korrektursignal, welches korrigierend angibt, welcher mindestens einen Verkehrskategorie die bereitgestellten Umfelddaten zuzuordnen sind;
    • - Trainieren des Maschinelle-Lern-Klassifizierers auf die bereitgestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie; und
    • - Steuern des Kraftfahrzeugs entsprechend zu der korrigierten mindestens einen Ver-kehrskategorie und/oder Steuern einer Anzeige, eine Information entsprechend der zugeordneten und/oder der korrigierten mindestens einen Verkehrskategorie anzuzeigen.
  • Es ist für den Fachmann ersichtlich, dass die zuvor beschriebenen Aspekte und Merkmale beliebig in einem Steuerungssystem und/oder einem Steuerungsverfahren kombiniert werden können. Zwar wurden einige der voranstehend beschriebenen Merkmale in Bezug auf ein Steuerungssystem beschrieben, jedoch versteht sich, dass diese Merkmale auch auf ein Steuerungsverfahren zutreffen können. Genauso können die voranstehend in Bezug auf ein Steuerungsverfahren beschriebenen Merkmale in entsprechender Weise auf ein Steuerungssystem zutreffen.
  • Figurenliste
  • Weitere Ziele, Merkmale, Vorteile und Anwendungsmöglichkeiten ergeben sich aus der nach-folgenden Beschreibung von nicht einschränkend zu verstehenden Ausführungsbeispielen mit Bezug auf die zugehörigen Zeichnungen. Dabei zeigen alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination den hier offenbarten Gegen-stand. Die Abmessungen und Proportionen der in den Figuren gezeigten Komponenten sind hierbei nicht maßstäblich. Gleiche oder gleichwirkende Komponenten sind mit denselben Bezugszeichen versehen.
    • 1 zeigt schematisch ein Kraftfahrzeug gemäß einem Ausführungsbeispiel, das ein Steuerungssystem und mindestens einen Umfeldsensor aufweist.
    • 2a zeigt schematisch ein Stopp-Schild.
    • 2b zeigt schematisch ein Stopp-Schild mit Aufklebern, welches einen Maschinelle-Lern-Klassifizierer täuschen können.
    • 2c zeigt schematisch eine Straße mit Fahrbahnmarkierungen und ein Kraftfahr-zeug während zwei Zeitpunkten, welches sich in Richtung des Pfeiles bewegt.
    • 2d zeigt schematisch die Straße aus 2c mit einer täuschenden Markierung.
    • 3 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung.
    • 4 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung.
    • 5 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung.
    • 6 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung.
    • 7 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung.
  • Detaillierte Beschreibung der Zeichnungen
  • Im Rahmen der folgenden Offenbarung werden Aspekte vorrangig mit Bezug auf das Steuerungssystem beschrieben. Diese Aspekte sind jedoch selbstverständlich auch im Rahmen des offenbarten Steuerungsverfahrens gültig, das beispielsweise von einer zentralen Steuervor-richtung (ECU) eines Kraftfahrzeugs ausgeführt werden kann. Dies kann unter Vornahme geeigneter Schreib- und Lesezugriffe auf einen dem Kraftfahrzeug zugeordneten Speicher erfolgen. Das Steuerungsverfahren kann innerhalb des Kraftfahrzeugs sowohl in Hardware als auch Software als auch einer Kombination aus Hardware und Software implementiert werden. Dazu zählen auch digitale Signalprozessoren, anwendungsspezifische integrierte Schaltkreise, Field Programmable Gate Arrays sowie weitere geeignete Schalt- und Arithmetikkomponenten.
  • 1 zeigt schematisch ein eigenes Kraftfahrzeug 12, das ein Steuerungssystem 10 um-fasst. Das Steuerungssystem 10 ist mit mindestens einem an dem eigenen Kraftfahrzeug 12 befindlichen Umfeldsensor 14, 16, 18 und Signalempfänger 19 gekoppelt, um von dem mindestens einen Sensor 14, 16, 18 und/oder Signalempfänger 19 Umfelddaten zu erhalten. Das Steuerungssystem 10 kann eine elektronische Steuerung ECU (Electronic Control Unit; in der Figur nicht dargestellt) umfassen. Beispielsweise kann das vorliegende Steuerungssystem 10 mithilfe der ECU und/oder weiterer elektronischer Steuerungssysteme zumindest dazu einge-richtet und bestimmt sein, Fahrsituationen zu erkennen, zu verifizieren und/oder nach Täuschungen zu überprüfen. Dazu empfängt die ECU beispielsweise Signale von den Umfeld-sensoren 14, 16, 18 und/oder Signalempfänger 19, verarbeitet diese Signale und die zugehö-rigen Umfelddaten und erzeugt entsprechende Steuerungs- und/oder Ausgabesignale.
  • In der 1 sind drei Umfeldsensoren 14, 16, 18 und ein Signalempfänger 19 dargestellt, die entsprechenden Signale an das Steuerungssystem 10 oder die elektronische Steuerung ECU senden. Insbesondere ist an dem eigenen Kraftfahrzeug 12 mindestens ein in Fahrtrichtung des eigenen Kraftfahrzeugs 12 nach vorne gerichteter Umfeldsensor 14 angeordnet, der einen Bereich 22 vor dem eigenen Kraftfahrzeug 12 erfasst. Dieser mindestens eine Umfeldsensor 14 kann beispielsweise im Bereich einer vorderen Stoßstange, einer vorderen Lampe und/oder eines vorderen Kühlergrills des eigenen Kraftfahrzeugs 12 angeordnet sein. Dadurch erfasst der Umfeldsensor 14 einen Bereich 22 direkt vor dem eigenen Kraftfahrzeug 12.
  • Mindestens ein zusätzlicher oder alternativer, ebenfalls in Fahrtrichtung des eigenen Kraftfahr-zeugs 12 nach vorne gerichteter Umfeldsensor 16 ist im Bereich einer Frontscheibe des eige-nen Kraftfahrzeugs 12 dargestellt. Beispielsweise kann dieser Umfeldsensor 16 zwischen einem inneren Rückspiegel des eigenen Kraftfahrzeugs 12 und dessen Frontscheibe angeord-net sein. Ein solcher Umfeldsensor 16 erfasst einen Bereich 24 vor dem eigenen Kraftfahrzeug 12, wobei je nach Gestalt des eigenen Kraftfahrzeugs 12 ein Bereich 24 direkt vor dem Kraft-fahrzeug 12 aufgrund des vorderen Abschnitts (bzw. dessen Geometrie) des eigenen Kraft-fahrzeugs 12 nicht erfasst werden kann.
  • Ferner kann mindestens ein Umfeldsensor 18 seitlich am und/oder am Heck des eigenen Kraftfahrzeugs 12 angeordnet sein. Dieser optionale Umfeldsensor 18 erfasst einen Bereich 26, der seitlich und/oder in Fahrtrichtung des eigenen Kraftfahrzeugs 12 hinter dem eigenen Kraftfahrzeug 12 liegt. Beispielsweise können die Daten oder Signale dieses mindestens einen Umfeldsensors 18 zur Verifizierung von durch die anderen Umfeldsensoren 14, 16 erfassten Informationen und/oder zur Bestimmung einer Krümmung einer durch das eigenen Kraftfahr-zeug 12 befahrenen Fahrspur verwendet werden.
  • Der mindestens eine Umfeldsensor 14, 16, 18 kann beliebig implementiert sein und eine Frontkamera, eine Heckkamera, eine Seitenkamera, einen Radar-Sensor, einen Lidar-Sensor, einen Ultraschall-Sensor und/oder einen Inertialsensor umfassen. Beispielsweise kann der Umfeldsensor 14 in Form einer Frontkamera, eines Radar-, Lidar-, oder Ultraschall-Sensors verwirklicht sein. Für den höher gelegenen Umfeldsensor 16 eignet sich insbesondere eine Frontkamera, während der im Heck des eigenen Kraftfahrzeugs 12 angeordnete Umfeldsensor 18 in Form einer Heckkamera, eines Radar-, Lidar-, oder Ultraschall-Sensors implementiert sein kann.
  • Ferner kann ein Signalempfänger 19 im Kraftfahrzeug angeordnet sein. Auch ist es möglich, dass der eine Signalempfänger 19 mehrere Signalempfänger ist. Der Signalempfänger 19 kann Daten über WLAN, Mobilfunk, Bluetooth, Radio und/oder andere Übertragungsarten empfangen und/oder senden. Der Signalempfänger 19 kann auch ein bereits bestehender Signalempfänger sein, wie zum Beispiel das Radioempfangssystem und/oder das System zum Verbinden mit dem Mobilfunkt (inklusive G5, G4/LTE, etc.).
  • Die elektronische Steuerung ECU verarbeitet die aus dem/den an dem eigenen Kraftfahrzeug 12 befindlichen Umfeldsensor/en 14, 16, 18 und/oder Signalempfänger 19 gewonnenen Um-felddaten, um Informationen bezüglich der aktuellen Fahrsituation zu ermitteln.
  • So werden von der elektronischen Steuerung die aus dem/den an dem eigenen Kraftfahrzeug 12 befindlichen Umfeldsensor/en 14, 16, 18 und/oder Signalempfänger 19, gewonnenen Um-felddaten verarbeitet, um die aktuelle Fahrsituation zu erfassen.
  • Dazu stellen die Umfeldsensoren 14, 16, 18 und/oder der Signalempfänger 19 der elektroni-schen Steuerung ECU die den Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug wiedergebenden Umfelddaten bereit. Hierfür ist das Steuerungssystem 10 über mindestens einen Datenkanal oder Bus (in 1 gestrichelt dargestellt) mit dem mindestens einen Umfeldsensor 14, 16, 18 und/oder dem Signalempfänger 19 verbunden. Der Datenkanal oder Bus kann mittels Kabel oder kabellos realisiert sein.
  • Alternativ oder zusätzlich kann das Steuerungssystem 10 oder dessen elektronische Steuerung ECU auch Daten von einem oder mehreren anderen Assistenzsystemen 20 oder einer anderen Steuerung 20 des eigenen Kraftfahrzeugs 12 erhalten, die die befahrenen Fahrspuren des eigenen Kraftfahrzeugs 12, eines weiteren Kraftfahrzeugs und weiterer Kraftfahrzeuge mit deren seitlichen Fahrspurbegrenzungen angeben, oder sich daraus ableiten lassen. Somit können bereits durch andere Systeme ermittelte Daten und Informationen durch das Steuerungssystem 10 verwendet werden.
  • Das Fahrassistenzsystem 20 oder die elektronische Steuerung 20 können weiter dazu einge-richtet und bestimmt sein, das Kraftfahrzeug (teil)autonom zu steuern. Das Steuerungssystem 10 ist in diesem Fall dazu eingerichtet und bestimmt, Daten an das Fahrassistenzsystem 20 oder die elektronische Steuerung 20 zum autonomen Fahren auszugeben. Die Daten können ebenfalls über einen Datenkanal oder Bus kabelgebunden oder kabellos übertragen werden.
  • 2a zeigt schematisch ein Stopp-Schild 28. Die graue Schattierung soll die rote Farbe eines Stopp-Schildes darstellen. 2b zeigt schematisch das Stopp-Schild 28 mit Aufklebern 30. Die Aufkleber 30 können ein herkömmliches ADAS täuschen. So kann ein herkömmliches ADAS das Stopp-Schild 28 wie abgebildet in 2b als Geschwindigkeitsbegrenzung einordnen und schlimmstenfalls das Kraftfahrzeug ohne anzuhalten weiterfahren lassen. Dies kann schnell zu einem Unfall führen. Ein erfindungsgemäßes Steuerungssystem und Steuerungsverfahren ist besser auf solche Täuschungen vorbereitet und/oder kann die Täuschung als solche erkennen und entsprechend reagieren. Ein erfindungsgemäßes Steuerungssystem und Steuerungsverfahren erkennt somit, dass es sich um ein Stopp-Schild handelt und/oder dass es sich um eine Täuschung handelt.
  • 2c zeigt schematisch eine Straße mit Fahrbahnmarkierungen 32 und ein Kraftfahrzeug 12 während zwei Zeitpunkten, welches sich in Richtung des Pfeiles 34 bewegt. Ein ADAS folgt den Fahrbahnmarkierungen 32. 2d zeigt schematisch die Straße aus 2c mit einer täuschenden Straßenmarkierung 36. Ein herkömmliches ADAS erkennt die täuschende Straßenmarkierung als Fahrbahnmarkierung und steuert das Kraftfahrzeug deshalb entlang der falschen Straßenmarkierung. Dies kann schnell zu einem Unfall führen. Ein erfindungsgemäßes Steuerungssystem und Steuerungsverfahren erkennt hingegen, dass es der täuschenden Straßenmarkierung 36 nicht folgen soll.
  • 3 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung. Schritt S1 zeigt das Bereitstellen der Umfelddaten durch den mindestens einen Umfeldsensor 14, 16, 18 und/oder Signalempfänger 19. Aus den bereitgestellten Umfelddaten werden zwei Teile der bereitgestellten Umfelddaten gemacht. Diese Teile können sich überschneiden, gleich sein, sich gegenseitig ausschließen (also verschieden sein). Es ist möglich, aber nicht generell notwendig, dass die zwei Teile zusammen alle bereitgestellten Umfelddaten umfassen. Aus dem ersten Teil der bereitgestellten Umfelddaten wird in Schritt S2 zumindest eine erste Information ermittelt. Dieses Ermitteln kann beispielsweise durch den Maschinellen-Lern-Klassifizierer, einer Schwellwertüberprüfung (beispielsweise bei Daten eines Farbsensors, der die Fahrbahnmarkierungen erkennt) und/oder einem/mehreren anderen Ermittelungssystem(en) erfolgen. Aus dem zweiten Teil der bereitgestellten Umfelddaten wird in Schritt S3 zumindest eine zweite Information ermittelt. Das Ermitteln der zumindest einen zweiten Infor-mation kann durch das/die gleiche(n) Ermittlungssystem(e) oder durch ein/mehrere andere(s) Ermittlungssystem(e) (es können auch teils gleiche und teils verschiedene Ermittlungssysteme sein) geschehen, wie das Ermitteln der zumindest einen ersten Information. In Schritt S4 wird die Plausibilität der zumindest einen ersten Information überprüft mittels der zumindest einen zweiten Information. Dies kann beispielsweise durch einen Vergleich der zumindest einen ersten Information mit der zumindest einen zweiten Information geschehen. Weisen alle Informationen auf die gleiche Fahrsituation (beispielsweise: Stopp-Schild), so wird die zumindest eine erste Information als plausibel erachtet (Schritt S5).
  • Fallen die Informationen auseinander (beispielsweise: Geschwindigkeitsbegrenzung als erste Information und Stopp-Schild als zweite Information), so kann die zumindest eine erste Information als nicht plausibel erachtet werden (Schritt S7).
  • Es kann auch sein, dass die Informationen nichts miteinander zu tun haben. So kann beispielsweise ein Stopp-Schild durch ein Bild erkannt werden und gleichzeitig eine Sirene durch ein Mikrofon. In diesem Fall kann das Steuerungssystem den fehlenden Bezug erkennen und keine Aussage über die Plausibilität machen. Es ist möglich, dass das Steuerungssystem in einem Fall des fehlenden Bezugs neue Umfelddaten angefordert.
  • Es ist auch möglich, dass sich die Informationen nicht direkt widersprechen, aber keinen plau-siblen Gesamteindruck bilden. Beispielsweise kann dies der Fall sein, wenn als ersten Teil der bereitgestellten Umfelddaten orangene Straßenmarkierungen als Fahrbahnmarkierungen erkannt werden und ferner keine Daten/Informationen bezüglich einer Baustelle (beispielsweise durch Verkehrsschilder, 12V Nachrichten, etc.) vorhanden sind. In einem solchen Fall ist es möglich, dass das Steuerungssystem die Fahrbahnmarkierungen als nicht plausibel erachtet und/oder weitere Informationen anfordert.
  • Wird die zumindest eine erste Information als plausibel erachtet (S5), so steuert das Steuerungssystem das Kraftfahrzeug gemäß der zumindest einen ersten Information (Schritt S6). Es ist auch möglich, dass das Steuerungssystem das Kraftfahrzeug auch gemäß der zumindest einen zweiten Information steuert.
  • Wird die zumindest eine erste Information als nicht plausibel erachtet (S7), so steuert das Steuerungssystem das Kraftfahrzeug nicht gemäß der zumindest einen ersten Information (Schritt S8).
  • 4 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung. Schritt S11 repräsentiert den ursprünglichen Trainingsraum. Dies sind beispielhafte Umfelddaten, die bereits mit zugeordneten Kategorien dem Maschinellen-Lern-Klassifizierer anfangs bereitgestellt wurden, um daraus zu lernen. Dieses anfängliche (oder erste) Lernen passiert meist noch in der Produktion und ist in Schritt S12 wiedergegeben. Nach Schritt S12 ist der Maschinelle-Lern-Klassifizierer bereit, um eingesetzt zu werden. Der später erklärte Schritt S18 trainiert den Maschinellen-Lern-Klassifizierer weiter, um seltener getäuscht zu werden.
  • Schritt S13 zeigt die von den mindestens einem Umfeldsensor und/oder Signalempfänger bereitgestellten Umfelddaten. Diese werden ganz, teilweise, in Teilen (beispielsweise als erster und zweiter Teil der Umfelddaten) oder in anderer Art an den Maschinellen-Lern-Klassifizierer gegeben. Der Maschinelle-Lern-Klassifizierer ermittelt in Schritt S14 Übereinstimmungswahr-scheinlichkeiten zu jeder Verkehrskategorie und dem ihm bereitgestellten Teil der Umfeldda-ten. In Schritt S15 wird die Verkehrskategorie mit der höchsten Übereinstimmungswahrscheinlichkeit dem bereitgestellten Teil der Umfelddaten/ den Umfelddaten zugeordnet (Dies kommt dem Ermitteln der ersten Information gleich).
  • Folgt auf das Zuordnen in Schritt S15 kein Korrektursignal (Schritt S16), dann kann das Steue-rungssystem das Kraftfahrzeug entsprechend der zugeordneten Kategorie steuern oder eine entsprechende Anzeige veranlassen (wie in Schritt S8 in 3; dies ist in 4 bis 7 nicht explizit gezeigt, aber trotzdem möglich). Danach können weitere bereitgestellte Umfeld-daten verarbeitet werden. Dies ist durch den von Schritt S16 ausgehenden Pfeil gezeigt. Dies kann auch vorgesehen sein, wenn das Korrektursignal die Zuordnung bestätigt.
  • Folgt auf das Zuordnen in Schritt S15 ein Korrektursignal mit korrigierender Zuordnung oder bestätigt das Korrektursignal die Zuordnung (sofern nicht in Schritt S16 bereits abgedeckt), so kann der Maschinelle-Lern-Klassifizierer dadurch in Schritt S18 weiter trainiert werden (auch als Nach-Lernen bezeichnet). Die Umfelddaten mit der korrigierten Zuordnung (bzw. bestätig-ten Zuordnung, wenn das Korrektursignal die Zuordnung bestätigt) werden, beispielsweise durch Backpropagation, dem Maschinellen-Lern-Klassifizierer nach-gelernt. Danach können weitere bereitgestellte Umfelddaten verarbeitet werden, wie durch den Pfeil von S18 zu S13 gezeigt (der Zyklus beginnt erneut).
  • 5 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung. Schritte S21, S22, S23, S24 und S26 der 5 sind analog zu den Schritten S11, S12, S13, S14 und S16 der 4. Deshalb soll Auf die Schritte S21 bis S24 und S26 hier nicht gesondert eingegangen werden, sondern auf 4 verwiesen werden. In Schritt S25 gibt es zwei größere Unterschiede zu Schritt S15 der 4.
  • Erstens ist es möglich, dass mehrere Verkehrskategorien den bereitgestellten Umfelddaten zugeordnet werden. Dabei werden die Verkehrskategorien, welche die höchste Übereinstim-mungswahrscheinlichkeit aufweisen, zugeordnet. Es kann beispielsweise eine vorherbestimm-te Anzahl an Verkehrskategorien zugeordnet werden (beispielsweise die drei Verkehrskategorien mit den drei höchsten Übereinstimmungswahrscheinlichkeiten) oder es können beispiels-weise alle Verkehrskategorien zugewiesen werden, die eine Übereineinstimmungswahrscheinlichkeit über einem vorherbestimmten Schwellwert aufweisen. Auch ist es möglich, dass die Anzahl an zuzuordnenden Verkehrskategorien angepasst wird an eine Anzahl, die aussagt, wie viele erkennbare Objekte erwartet werden. So können beispielsweise bei einem Schild-pfahl zwei Straßenschilder angebracht sein. Es wird dann erwartet, dass 2 Objekte erkannt werden.
  • Zweitens kann eine Täuschungskategorie zugeordnet werden (oder nicht zugeordnet werden). Wird die Täuschungskategorie zugeordnet, so erwartet der Maschinelle-Lern-Klassifizierer, dass die bereitgestellten Umfelddaten eine Täuschung umfassen. Die Zuordnung der Täuschungskategorie wurde davor durch maschinelles Lernen trainiert, beispielsweise durch Daten im ursprünglichen Trainingsraum und/oder beispielsweise durch korrigierende Zuordnung durch das Korrektursignal. Ob die Täuschungskategorie zugeordnet wird, hängt davon ab, ob eine Übereinstimmungswahrscheinlichkeit der Täuschungskategorie zu den bereitgestellten Umfelddaten über einem Täuschungskategorie-Schwellwert liegt. Wird die Täuschungskategorie zugeordnet kann beispielsweise ein Korrektursignal angefordert werden und/oder weitere Daten (zweiter Teil der Umfelddaten; mindestens eine zweite Information) verarbeitet werden. Dies stellt dann klar, ob eine Täuschung vorliegt und welche Fahrsituation tatsächlich vorliegt.
  • Schritt S27 zeigt die Situation, wenn ein Korrektursignal empfangen wird. Wird eine korrigierende Zuordnung gegeben dann werden die bereitgestellten Umfelddaten (bzw. der entsprechende Teil der bereitgestellten Umfelddaten) auch der Täuschungskategorie zugewiesen. Bestätigt das Korrektursignal die zugeordnete Kategorie hingegen, so wird die Täuschungskategorie nicht zugewiesen. Diese korrigierende Zuordnung mit der Zuweisung der Täuschungs-kategorie bzw. die Bestätigung ohne Zuweisung der Täuschungskategorie wird in Schritt S28 nach-gelernt, damit der Maschinelle-Lern-Klassifizierer bei weiteren bereitgestellten Umfelddaten sowohl die Verkehrskategorie wie auch die Täuschungskategorie besser zuordnen kann. 6 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindungen. Schritte S31, S32, S33, S34 und S35 der 6 sind analog zu den Schritten S11, S12, S13, S14 und S15 der 4. Deshalb soll Auf die Schritte S31 bis S35 hier nicht gesondert eingegangen werden, sondern auf 4 verwiesen werden. In Schritt S36 wird ein Teil der Umfelddaten (beispielsweise der zweite Teil der bereitgestellten Umfelddaten) mit der einen/ den mehreren zugeordneten Verkehrskategorien (kann zumindest eine erste Information sein) durch ein Prüfsystem verglichen. Der Teil der Umfelddaten wird, wie der gebogene Pfeil anzeigt, direkt von den bereitgestellten Umfelddaten abgeleitet. Es ist auch möglich, dass zusätzlich auch die Zuordnung (oder nicht Zuordnung) der Täuschungskategorie in gleicher Weise verglichen wird. Dieser Vergleich kann auch als Plausibilitätsprüfung gesehen werden. Dieser Vergleich kann die Zuordnung der Verkehrskategorie(n) bestätigen oder als falsch einordnen. Wird die Zuordnung bestätigt, so verfährt das Steuerungssystem via Schritt S37 wieder zu Schritt S33, um weitere Umfelddaten zu verarbeiten. Wird die Zuordnung als falsch eingeordnet, so verfährt das Steuerungssystem via Schritt S38 zu Schritt S39.
  • In Schritt S39 wird ein Korrektursignal angefordert. Beispielsweise kann ein Nutzer eine korrigierende Eingabe machen, welche die korrigiert zugeordneten Verkehrskategorie (mit zugewiesener Täuschungskategorie, wenn es diese gibt) dem Maschinellen-Lern-Klassifizierer nach-lernt (Schritt S40). Alternativ wäre es auch möglich, dass Schritt S39 ausgelassen wird und der Maschinelle-Lern-Klassifizierer mit Informationen aus dem Prüfsystem nach-lernt. Es sind generell alle zuvor beschriebenen Möglichkeiten mit der zumindest einen ersten Information und der zumindest einen zweiten Information zu verfahren möglich.
  • 7 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindungen. Schritte S41, S42 und S44 der 7 sind analog zu den Schritten S11, S12 und S13 der 4. Deshalb soll Auf die Schritte S41, S42 und S44 hier nicht gesondert eingegangen werden, sondern auf 4 verwiesen werden. Schritt S45 zeigt das Zuordnen der Kategorien (Verkehrskategorien und möglicherweise Täuschungskategorie) an. Hierfür soll auf Schritte S14, S15, S24, S25, S34 und S35 der entsprechenden Figuren verwiesen werden.
  • In Schritt S46 wird überprüft, ob die Kategorien richtig zugeordnet wurden. Dies kann beispielsweise durch das Prüfsystem, die Täuschungskategorie und/oder die zumindest eine zweite Information geschehen. Das Bereitstellen der dafür nötigen Daten wird durch Schritt S47 mit dem durchgezogenen Pfeil dargestellt.
  • Hat die Überprüfung in Schritt S46 ergeben, dass die Zuordnung richtig ist, so verfährt das Steuerungssystem via Schritt S48b und kann weitere bereitgestellte Umfelddaten verarbeiten. Hat die Überprüfung hingegen ergeben, dass die Zuordnung falsch ist, so verfährt das Steue-rungssystem weiter gemäß Schritt S48a. In dieser Ausführungsform wird beispielhaft das Korrektursignal angefordert. Die nötigen Daten können beispielsweise von dem Kasten des Schrittes S47 mit dem gestrichelten Pfeil kommen. Das Korrektursignal (Schritt S50) wird in Schritt S49 erstellt. Auf Grundlage des Korrektursignals (und der bereitgestellten Umfelddaten) wird der Maschinelle-Lern-Klassifizierer trainiert (nach-lernen), wie in Schritt S43 gezeigt. Danach können weitere bereitgestellte Umfelddaten verarbeitet werden.
  • Nun folgen vier weitere Ausführungsformen, die sehr konkret sind. Deshalb sollen sie als Beispiele gesehen und bezeichnet werden.
  • In einem ersten Beispiel hat ein Anwohner ein Tuch mit einer aufgemalten Geschwindigkeits-begrenzung für 30 Km/h aufgehängt. In einem Kraftfahrzeug mit einem herkömmlichen ADAS nimmt eine Kamera ein Bild von dem Tuch samt Bemalung auf und es wird eine Geschwindig-keitsbegrenzung von 30 Km/h erkannt. Das herkömmlich ADAS bremst das Kraftfahrzeug auf 30 Km/h runter und gibt eine Warnung heraus, dass das Kraftfahrzeug zu schnell fährt. Durch das nicht adäquate Abbremsen kann es schnell zu einem Auffahrunfall kommen.
  • Ist das Kraftfahrzeug in der Situation des ersten Beispiels hingegen mit einem Steuerungssystem gemäß einem Aspekt der Erfindung ausgestattet so erfährt das Steuerungssystem, von einer Misuse-Karte, dass an der Stelle, wo das Tuch hängt, schon häufiger Täuschungen stattgefunden haben. Ferner ist in einer hochauflösenden, live (ständig aktualisierte) Straßen-karte die Geschwindigkeitsbegrenzung nicht umfasst. Auch gibt es entsprechende 12V Nach-richten, die auf eine Geschwindigkeitsbegrenzung von 50 Km/h (nicht 30 Km/h) hinweisen. Gleichzeitig oder alternativ erkennt das Steuerungssystem, dass die Geschwindigkeitsbegrenzung auf einem Tuch aufgemalt ist. Auf dieser Grundlage erkennt das Steuerungssystem die Geschwindigkeitsbegrenzung (von 30 Km/h) als Täuschung. Das Steuerungssystem sendet direkt V21 und V2V Nachrichten mit einer Warnung aus, erstellt Fotos und/oder Videos von der Szene und sendet diese automatisch an die Polizei. Die Daten und Bilder werden in der Cloud ausgewertet und zum weiteren Training des Maschinellen-Lern-Klassifizierers verwandt, um Täuschungen künftig besser erkennen zu können. Gleichzeitig wird der Fahrer entsprechend informiert und die Täuschung wird in der Misuse-Karte aufgenommen. Optional wird dem Fahrer ein Rückmeldungsfenster geöffnet, in dem er die Täuschung bestätigen oder ablehnen kann.
  • In einem zweiten Beispiel hat jemand falsche Spurmarkierungen auf die Straße gemalt, um den Verkehr zu stören. Die falschen Spurmarkierungen sind für Menschen schwer erkennbar, aber für die Kamera sehr gut zu sehen. Ein herkömmlichen ADAS verarbeitet Bilder der falschen Spurmarkierungen und wird von diesen getäuscht. Das herkömmliche ADAS steuert ein Kraftfahrzeug von der richtigen Spur weg.
  • Ist das Kraftfahrzeug hingegen mit einem Steuerungssystem gemäß einem Aspekt der Erfindung ausgestattet, kann ein abkommen von der richtigen Spur vermieden werden. Das Steuerungssystem erkennt die Täuschung anhand einer, mehrerer oder einer Kombination der folgenden Punkte: nicht vorhandene Baustellen-Schilder bzw. Schilder, die eine geänderte Streckenführung anzeigen; Ausbleiben eine 12V Nachricht, welche eine Baustelle anzeigt; Informationen über die Streckenführung in der hochauflösenden live-Straßenkarte; Erkennen der Täuschungskategorie bei Bildern von der falschen Spurmarkierung (die Täuschungskategorie kann beispielsweise erkannt werden durch Verkehrsmerkmale wie der Linienfarbe, Liniendicke, Lumineszenz, Kantenschärfe und/oder Verlauf). Das Kraftfahrzeug mit dem erfindungsgemäßen Steuerungssystem bleibt durch das Erkennen der Täuschung auf der richtigen Spur, dokumentiert die Täuschung mit Bildern und Videos und sendet dies der Polizei, informiert andere Verkehrsteilnehmen mittels V2V und V2I. Ferner können die Daten genutzt wer-den, um den Maschinellen-Lern-Klassifizierer zu trainieren, damit dieser künftig Täuschungen besser erkennt. Auch wird die Täuschung in die Misuse-Karte aufgenommen. Optional wird dem Fahrer ein Rückmeldungsfenster geöffnet, in dem er die Täuschung bestätigen oder ablehnen kann.
  • In einem dritten Beispiel tut ein Fußgänger so, als würde er auf die Straße springen, bremst aber im letzten Moment ab. Ein Kraftfahrzeug mit einem herkömmlichen ADAS nimmt eine Sequenz von Bildern des Fußgängers auf. Es wird getäuscht indem es ermittelt, dass der Fußgänger auf die Straße springen möchte. Das Kraftfahrzeug bremst deshalb scharf und verursacht eventuell einen Auffahrunfall.
  • Ein erfindungsgemäßes Steuerungssystem hingegen fängt an abzubremsen. Sobald der Fuß-gänger abbremst, erkennt das Steuerungssystem die Täuschung und beendet das Abbremsen. Ferner werden Bilder und Video der Situation an die Polizei gesendet, andere Verkehrs-teilnehmer werden via V2V und V21 informiert. Auch werden die Bilder und Videos ausgewer-tet, um den Maschinellen-Lern-Klassifizierer zu trainieren. Auch wird die Täuschung in die Misuse-Karte aufgenommen. Optional wird dem Fahrer ein Rückmeldungsfenster geöffnet, in dem er die Täuschung bestätigen oder ablehnen kann.
  • In einem vierten Beispiel hat ein Anwohner einen 12V Sender installiert, der eine Geschwindig-keitsbegrenzung von 30 Km/h angibt. Ein Kraftfahrzeug mit einem herkömmlichen ADAS folgt der Angabe und bremst automatisch auf 30 Km/h ab. Ein Kraftfahrzeug mit einem erfindungs-gemäßen Steuerungssystem bekommt Informationen von der Misuse-Karte, welche angibt, dass in dem Bereich (des 12V Senders) bereits vorher Täuschungen vorkamen. Ferner berücksichtigt das erfindungsgemäße Steuerungssystem, dass weder die hochauflösende live-Straßenkarte noch die Kamerabilder Informationen/Daten bezüglich der Geschwindigkeitsbegrenzung ausweisen. Eventuell liegen sogar Auffälligkeiten im Datentransfer (Anomalie Detektion) vor. Durch diese Daten/Informationen erkennt das erfindungsgemäße Steuerungssystem die Täuschung, dokumentiert diese mit Bildern, Video und dem 12V Signal, sendet dies an die Polizei, und informiert andere Verkehrsteilnehmer. Auch werden die Daten ausgewertet, um den Maschinellen-Lern-Klassifizierer zu trainieren. Auch wird die Täuschung in die Misuse-Karte aufgenommen. Optional wird dem Fahrer ein Rückmeldungsfenster geöffnet, in dem er die Täuschung bestätigen oder ablehnen kann.
  • Es versteht sich, dass die zuvor erläuterten beispielhaften Ausführungsformen nicht abschließend sind und den hier offenbarten Gegenstand nicht beschränken. Insbesondere ist für den Fachmann ersichtlich, dass er die Merkmale der verschiedenen Ausführungsformen miteinander kombinieren kann und/oder verschiedene Merkmale der Ausführungsformen weglassen kann, ohne dabei von dem hier offenbarten Gegenstand abzuweichen.

Claims (11)

  1. Steuerungssystem (10), das zum Einsatz in einem Kraftfahrzeug (12) eingerichtet und bestimmt ist, basierend auf aus mindestens einem, dem Kraftfahrzeug (12) zugeordneten Umfeldsensor/en (14, 16, 18) und/oder Signalempfänger/n (19) gewonnenen Umfelddaten Fahrspuren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weitere Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder andere Objekte in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug (12) zu erkennen, wobei der mindestens eine Umfeldsensor (14, 16, 18) und/oder Signalempfänger (19) dazu eingerichtet ist, dem Steuerungs-system (10) die den Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug (12) wiedergebenden Umfelddaten bereitzustellen, und wobei das Steuerungssystem (10) wenigstens dazu eingerichtet und bestimmt ist, - die bereitgestellten Umfelddaten mittels eines Maschinellen-Lern-Klassifizierers min-destens einer Verkehrskategorie zuzuordnen, wobei jede der mindestens einen Verkehrskate-gorie eine von mehreren Kategorien potentieller Fahrsituationen ist, und wobei das Maschinel-le-Lern-System durch vorher bekannte Umfelddaten mit jeweils bereits zugeordneten Ver-kehrskategorien trainiert worden ist; - wenn die mindestens eine Verkehrskategorie den bereitgestellten Umfelddaten falsch zugeordnet wurde, ein Korrektursignal zu empfangen, welches korrigierend angibt, welcher mindestens einen Verkehrskategorie die bereitgestellten Umfelddaten richtigerweise zuzuord-nen sind, wobei das Korrektursignal vorzugsweise von einer Nutzereingabe stammt; - den Maschinellen-Lern-Klassifizierer auf die bereitgestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie zu trainieren; und - das Kraftfahrzeug (12) entsprechend zu der korrigierten mindestens einen Verkehrskategorie zu steuern und/oder eine Anzeige zu steuern, etwas entsprechend der zugeordneten Verkehrskategorie und/oder der korrigierten mindestens einen Verkehrskategorie anzuzeigen.
  2. Steuerungssystem (10) nach Anspruch 1, welches ferner wenigstens dazu eingerichtet und bestimmt ist, - die bereitgestellten Umfelddaten der mindestens einen Verkehrskategorie zuzuordnen, indem das Steuerungssystem (10) eingerichtet und bestimmt ist, - eine Übereinstimmungswahrscheinlichkeit zwischen den bereitgestellten Umfelddaten und jeder der mehreren Kategorien potentieller Fahrsituationen zu erzeugen, und - mindestens eine Kategorie potentieller Fahrsituationen, welche die höchste/n Übereinstimmungswahrscheinlichkeit/en aufweist, als die mindestens eine Verkehrskatego-rie zuordnet.
  3. Steuerungssystem (10) nach einem der vorhergehenden Ansprüche, wobei die mehreren Kategorien potentieller Fahrsituationen zumindest Kategorien für die Fahrsituationen Geschwindigkeitsbegrenzungen, Stopp-Schilder, Vorfahrtsschilder, Lichtzeichen(anlagen), Warn-schilder und/oder Fahrspurbegrenzungen umfassen.
  4. Steuerungssystem (10) nach Anspruch 3, wobei die mehreren Kategorien potentieller Fahrsituationen ferner eine Hintergrundkategorie umfassen, die repräsentiert, dass die bereitgestellten Umfelddaten keine Informationen betreffen, die wesentlich zum Steuern des Kraft-fahrzeugs sind.
  5. Steuerungssystem (10) nach einem der vorhergehenden Ansprüche, wobei eine von dem Korrektursignal umfasste korrigierende Angabe, mit welcher mindestens eine Verkehrska-tegorie den bereitgestellten Umfelddaten zuzuordnen ist, von einem Nutzer eingebbar ist, von einer Datenbank bereitgestellt wird und/oder von einem anderen System eingespeist ist.
  6. Steuerungssystem (10) nach einem der vorhergehenden Ansprüche, welchem bewusst erzeugte Umfelddaten bereitgestellt werden, die der Maschinelle-Lern-Klassifizierer zumindest einer falschen Verkehrskategorie zuordnet, wobei die bewusst erzeugten Umfelddaten mittels Kenntnissen über den Maschinellen-Lern-Klassifizierer erzeugt wurden, die durch Reverse Engineering des Maschinellen-Lern-Klassifizierers gewonnen wurden, und wobei dem Steuerungssystem das Korrektursignal bereitgestellt wird, damit eine Zuordnung von Umfelddaten zu den Verkehrskategorien durch den Maschinellen-Lern-Klassifizierer verbessert wird.
  7. Steuerungssystem (10) nach einem der vorhergehenden Ansprüche, welches ferner dazu eingerichtet und bestimmt ist, - wenn das Korrektursignal empfangen wird, die bereitgestellten Umfelddaten auch einer Täuschungskategorie zuzuordnen, wobei die Täuschungskategorie nicht eine der mehreren Verkehrskategorien potentieller Fahrsituationen ist, sondern einer Wahrscheinlichkeit entspricht, dass der Maschinelle-Lern-Klassifizierer Umfelddaten falsch zuordnet; - während der Maschinelle-Lern-Klassifizierer auf die bereitgestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie trainiert wird, den Maschinellen-Lern-Klassifizierer auch auf die bereitgestellten Umfelddaten und die Täuschungskategorie zu trainieren; und - bei dem Zuordnen weiterer bereitgestellter Umfelddaten mittels des Maschinellen-Lern-Klassifizierers, neben dem Zuordnen der mindestens einen Verkehrskategorie auch zu ermitteln, ob die weiteren bereitgestellten Umfelddaten der Täuschungskategorie zuzuordnen sind, wobei das Steuerungssystem (10) insbesondere ferner dazu eingerichtet und bestimmt ist, das Korrektursignal anzufordern, wenn die weiteren bereitgestellten Umfelddaten der Störungskategorie zugeordnet wurde.
  8. Steuerungssystem (10) nach einem der vorhergehenden Ansprüche, welches ferner ein von dem Maschinellen-Lern-Klassifizierer unabhängiges Prüfsystem umfasst, wobei das Prüfsystem eingerichtet und bestimmt ist, zumindest einen Ausschnitt der bereitgestellten Umfelddaten mit der mindestens einen Verkehrskategorie zu vergleichen, welche von dem Maschinellen-Lern-Klassifizierer zugeordnet wurde, und daraus ermittelt, ob der Maschinelle-Lern-Klassifizierer richtig zugeordnet hat, wobei ein Ausschnitt der bereitgestellten Umfelddaten einem Teil des erkannten Objekts entspricht.
  9. Steuerungssystem (10) nach Anspruch 8, wobei das Prüfsystem ein zweiter Maschinel-Ien-Lern-Klassifizierer ist, dem ein anderer Algorithmus als dem Maschinellen-Lern-Klassifizierer zugrunde liegt, oder ein Algorithmus ist, der nicht durch maschinelles Lernen trainiert wurde, und/oder wobei das Prüfsystem eingerichtet und bestimmt ist, auf Grundlage nur eines Anteils der bereitgestellten Umfelddaten die Prüfung auszuführen.
  10. Steuerungssystem (10) nach Anspruch 8 oder 9, welches eingerichtet und bestimmt ist, das Korrektursignal anzufordern, wenn das Prüfsystem die mindestens eine Verkehrskategorie, welche von dem Maschinellen-Lern-Klassifizierer zugeordnet wurde, als falsch zugeordnet erkennt.
  11. Steuerungsverfahren, das in einem Kraftfahrzeug (12) basierend auf aus mindestens einem, dem Kraftfahrzeug (12) zugeordneten Umfeldsensor/en (14, 16, 18) und/oder Signal-empfänger/n (19) gewonnenen Umfelddaten Fahrspuren, Fahrbahnbegrenzungen, Fahrbahn-markierungen, weitere Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder Objekte in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug (12) erkennt, wobei das Steuerungsverfahren insbesondere mittels eines Steuerungssystems (10) nach einem der vorhergehenden Ansprüche ausgeführt wird, und wobei das Steuerungsverfahren wenigstens die folgenden Schritte umfasst: - Zuordnen der bereitgestellten Umfelddaten mittels eines Maschinellen-Lern-Klassifizierers zu mindestens einer Verkehrskategorie, wobei jede der mindestens einen Verkehrskategorie eine von mehreren Kategorien potentieller Fahrsituationen ist, und wobei das Maschinelle-Lern-System durch vorher bekannte Umfelddaten mit jeweils bereits zugeordne-ten Verkehrskategorien trainiert worden ist; - wenn die mindestens eine Verkehrskategorie den bereitgestellten Umfelddaten falsch zugeordnet wurde, Empfangen eines Korrektursignal, welches korrigierend angibt, welcher mindestens einen Verkehrskategorie die bereitgestellten Umfelddaten zuzuordnen sind; - Trainieren des Maschinelle-Lern-Klassifizierers auf die bereitgestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie; und - Steuern des Kraftfahrzeugs (12) entsprechend zu der korrigierten mindestens einen Verkehrskategorie und/oder Steuern einer Anzeige, eine Information entsprechend der zugeordneten und/oder der korrigierten mindestens einen Verkehrskategorie anzuzeigen.
DE102020205825.3A 2020-05-08 2020-05-08 System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen Pending DE102020205825A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020205825.3A DE102020205825A1 (de) 2020-05-08 2020-05-08 System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020205825.3A DE102020205825A1 (de) 2020-05-08 2020-05-08 System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen

Publications (1)

Publication Number Publication Date
DE102020205825A1 true DE102020205825A1 (de) 2021-11-11

Family

ID=78231822

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020205825.3A Pending DE102020205825A1 (de) 2020-05-08 2020-05-08 System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen

Country Status (1)

Country Link
DE (1) DE102020205825A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020209446A1 (de) 2020-07-27 2022-01-27 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Computerprogramm zum maschinellen Lernen einer Robustheit eines akustischen Klassifikators, akustisches Klassifikationssystem für automatisiert betreibbare Fahrsysteme und automatisiert betreibbares Fahrsystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012206037A1 (de) 2012-04-13 2013-10-17 Robert Bosch Gmbh Lernverfahren zur automatisierten Erkennung von Verkehrszeichen, Verfahren zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen und Verkehrszeichenerkennungssystem
DE102014214505A1 (de) 2014-07-24 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
DE102017215552A1 (de) 2017-09-05 2019-03-07 Robert Bosch Gmbh Plausibilisierung der Objekterkennung für Fahrassistenzsysteme
DE102018208117A1 (de) 2018-05-23 2019-11-28 Robert Bosch Gmbh Verfahren zum Auslösen eines Ampelklassifizierungsalgorithmus zur Klassifizierung einer Ampelanlage für ein Fahrzeug und Verfahren zum Klassifizieren einer Ampelanlage für ein Fahrzeug
DE102019108722A1 (de) 2019-04-03 2020-10-08 Bayerische Motoren Werke Aktiengesellschaft Videoverarbeitung für maschinelles Lernen
DE112019000631T5 (de) 2018-04-16 2020-10-29 International Business Machines Corporation Verwenden von gradienten, um backdoors in neuronalen netzen zu erkennen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012206037A1 (de) 2012-04-13 2013-10-17 Robert Bosch Gmbh Lernverfahren zur automatisierten Erkennung von Verkehrszeichen, Verfahren zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen und Verkehrszeichenerkennungssystem
DE102014214505A1 (de) 2014-07-24 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
DE102017215552A1 (de) 2017-09-05 2019-03-07 Robert Bosch Gmbh Plausibilisierung der Objekterkennung für Fahrassistenzsysteme
DE112019000631T5 (de) 2018-04-16 2020-10-29 International Business Machines Corporation Verwenden von gradienten, um backdoors in neuronalen netzen zu erkennen
DE102018208117A1 (de) 2018-05-23 2019-11-28 Robert Bosch Gmbh Verfahren zum Auslösen eines Ampelklassifizierungsalgorithmus zur Klassifizierung einer Ampelanlage für ein Fahrzeug und Verfahren zum Klassifizieren einer Ampelanlage für ein Fahrzeug
DE102019108722A1 (de) 2019-04-03 2020-10-08 Bayerische Motoren Werke Aktiengesellschaft Videoverarbeitung für maschinelles Lernen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020209446A1 (de) 2020-07-27 2022-01-27 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Computerprogramm zum maschinellen Lernen einer Robustheit eines akustischen Klassifikators, akustisches Klassifikationssystem für automatisiert betreibbare Fahrsysteme und automatisiert betreibbares Fahrsystem

Similar Documents

Publication Publication Date Title
DE102017203838B4 (de) Verfahren und System zur Umfelderfassung
DE112012006226B4 (de) Fahrassistenzvorrichtung
WO2019063628A1 (de) System zur erzeugung und/oder aktualisierung eines digitalen modells einer digitalen karte
WO2016055159A2 (de) Verfahren zum betrieb eines automatisiert geführten, fahrerlosen kraftfahrzeugs und überwachungssystem
DE102005054972A1 (de) Verfahren zur Totwinkelüberwachung bei Fahrzeugen
DE102012023361A1 (de) Verfahren und Vorrichtung zum Absichern eines Spurwechsels und Fahrzeug
WO2015000882A1 (de) Assistenzsystem und assistenzverfahren zur unterstützung bei der steuerung eines kraftfahrzeugs
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102016212688A1 (de) Verfahren und Vorrichtung zur Ermittlung des Umfelds eines Fahrzeugs
DE102017223431B4 (de) Verfahren zum Assistieren eines Fahrers eines Kraftfahrzeugs bei einem Überholvorgang; Kraftfahrzeug; sowie System
DE102011084084A1 (de) Anzeigeverfahren und Anzeigesystem für ein Fahrzeug
DE102015221183A1 (de) Verfahren und Vorrichtung zur Zuordnung von Verkehrsteilnehmern und Kommunikations-Identifikatoren
DE102018113314A1 (de) Fahrassistenzsystem
DE102018128634A1 (de) Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
DE102017201196A1 (de) Verfahren zum Betreiben eines Fahrzeugkonvois
DE102018213562A1 (de) Verfahren zum Betreiben einer Ausgabeeinrichtung eines Kraftfahrzeugs, Steuereinrichtung, Kraftfahrzeug
DE102016002232B4 (de) Verfahren zum Betrieb eines Kraftfahrzeugs
DE102016215468A1 (de) Verfahren und Parkplatzverwaltungsserver zum Warnen einer sich innerhalb eines Parkplatzes befindenden Person
DE102016114693A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102020205825A1 (de) System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen
DE102020205831A1 (de) System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen
DE102019001092A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems, sowie elektronische Recheneinrichtung, Computerprogrammprodukt und Datenträger
DE102021104290B3 (de) Verfahren zum zumindest teilautomatisierten Parken eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102018000770A1 (de) Verfahren zum Nachfolgen eines Einsatzfahrzeugs
DE102017114190A1 (de) Verfahren und System zum automatischen Bereitstellen einer Parklücke für ein Kraftfahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified