DE102022120219A1

DE102022120219A1 - Korrektur einer bewegung eines optischen fahrzeugsensors

Info

Publication number: DE102022120219A1
Application number: DE102022120219.4A
Authority: DE
Inventors: David Michael Herman; Venkatesh Krishnan; Catherine Marie Amodeo; Maher Ghneim
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-08-19
Filing date: 2022-08-10
Publication date: 2023-02-23
Also published as: US20230054134A1; CN115931030A; US11659261B2

Abstract

Ein Computer beinhaltet einen Prozessor und einen Speicher, auf dem Anweisungen gespeichert sind, die durch den Prozessor ausführbar sind, um optische Daten von einem optischen Sensor eines Fahrzeugs zu empfangen, die optischen Daten unter Verwendung eines Einstellungsmodells einzustellen, einen ersten Wert aus den optischen Daten über eine Dauer zu messen, einen zweiten Wert aus den optischen Daten über die Dauer auf Grundlage des ersten Wertes zu prognostizieren, den zweiten Wert aus den optischen Daten über die Dauer zu messen und das Einstellungsmodell unter Verwendung des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes zu modifizieren. Der erste Wert und der zweite Wert variieren zeitlich und sind aus den optischen Daten pro Zeitschritt aggregiert.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft einen optischen Sensor in Fahrzeugen.
ALLGEMEINER STAND DER TECHNIK
Autonome oder teilautonome Fahrzeuge beinhalten typischerweise optische Sensoren. Die optischen Sensoren erfassen die Außenwelt, z. B. Objekte und/oder Eigenschaften der Umgebung des Fahrzeugs, wie etwa andere Fahrzeuge, Fahrbahnmarkierungen, Verkehrsampeln und/oder -schilder, Fußgänger usw. Zum Beispiel können die optischen Sensoren Radarsensoren, Abtastlaserentfernungsmesser, Light-Detection-and-Ranging-(LIDAR-)Vorrichtungen und Bildverarbeitungssensoren, wie etwa Kameras, beinhalten. Für autonome oder teilautonome Fahrzeuge kann ein Computer dazu programmiert sein, das Fahrzeug auf Grundlage von Eingaben, die von den optischen Sensoren empfangen Daten beinhalten können, vollständig oder in geringerem Maße unabhängig von dem Eingreifen eines menschlichen Fahrzeugführers zu betreiben.
KURZDARSTELLUNG
Optische Sensoren an einem Fahrzeug generieren optische Daten, die ein Computer des Fahrzeugs zum Betreiben des Fahrzeugs verwenden kann. Damit die optischen Daten durch den Computer verwendbar sind, müssen die optischen Sensoren möglicherweise enge Toleranzen für die Bewegung bezogen auf eine Karosserie des Fahrzeugs aufweisen, z. B. dafür, wie stark der optische Sensor im Vergleich zu der Karosserie oder zu anderen Sensoren, die an der Karosserie montiert sind, sich drehen, sich neigen, springen usw. kann. Eine Möglichkeit, die enge Toleranz anzugehen, besteht darin, eine Montagestruktur für die optischen Sensoren zu verwenden, die eine hohe Steifigkeit aufweist. Das Begrenzen der Sensorbewegung kann mit Materialien mit höherer Steifigkeit, z. B. Kohlefaserverbundstoffen, mit dickeren Komponenten oder mit zusätzlichen Komponenten zur Verstärkung erreicht werden, von denen jedes die Komplexität und/oder das Gewicht erhöhen kann. Außerdem kann eine höhere Steifigkeit Erschütterungen erhöhen, die von der Karosserie auf den optischen Sensor übertragen werden.
Diese Offenbarung stellt eine Möglichkeit bereit, die Toleranzen für den optischen Sensor zusätzlich zu oder anstelle der Erhöhung der Steifigkeit anzugehen. Ein Computer, der die optischen Daten empfängt, kann die optischen Daten unter Verwendung eines Einstellungsmodells einstellen, das die Bewegung des optischen Sensors bezogen auf das Fahrzeug auf Grundlage der Bewegung des Fahrzeugs prognostiziert. Zum Beispiel kann das Einstellungsmodell ein physikbasiertes Modell der Verbindung zwischen dem optischen Sensor und der Karosserie des Fahrzeugs sein. Die Einstellung kann mechanische Anregungen an der Karosserie des Fahrzeugs durch das Fahren über eine Straßenoberfläche und Korrelationen mit Änderungen der Sensorausgabe beinhalten, die einen dynamischen Fehlausrichtungszustand angeben würden.
Darüber hinaus beschreibt diese Offenbarung, wie eine Bewegung des optischen Sensors bezogen auf die Karosserie korrigiert werden kann, die sich aus einer Änderung der Verbindung zwischen dem optischen Sensor und der Karosserie ergibt. Zum Beispiel kann ein Aufprall auf dem Fahrzeug einen Verbinder für den optischen Sensor lockern, kann ein Verschleiß im Zeitverlauf einen Bewegungsbereich des optischen Sensors bezogen auf die Karosserie erweitern usw. Der Computer kann einen zweiten Wert aus den optischen Daten auf Grundlage eines ersten Wertes aus den optischen Daten prognostizieren und außerdem den zweiten Wert messen. Ein Vergleich des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes kann für eine konkrete Art und ein konkretes Ausmaß der Änderung des optischen Sensors charakteristisch sein. Der Vergleich kann somit verwendet werden, um das Einstellungsmodell zu modifizieren. Da sowohl der erste Wert als auch der zweite Wert aus den optischen Daten gemessen werden, sind keine zusätzlichen Sensoren zum Modifizieren des Einstellungsmodells erforderlich.
Ein Computer beinhaltet einen Prozessor und einen Speicher, auf dem Anweisungen gespeichert sind, die durch den Prozessor ausführbar sind, um optische Daten von einem optischen Sensor eines Fahrzeugs zu empfangen, die optischen Daten unter Verwendung eines Einstellungsmodells einzustellen, einen ersten Wert aus den optischen Daten über eine Dauer zu messen, einen zweiten Wert aus den optischen Daten über die Dauer auf Grundlage des ersten Wertes zu prognostizieren, den zweiten Wert aus den optischen Daten über die Dauer zu messen und das Einstellungsmodell unter Verwendung des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes zu modifizieren. Der erste Wert variiert zeitlich und ist aus den optischen Daten pro Zeitschritt aggregiert. Der zweite Wert variiert zeitlich und ist aus den optischen Daten pro Zeitschritt aggregiert.
Die Anweisungen können ferner Anweisungen zum Empfangen von Bewegungsdaten von einem Bewegungssensor des Fahrzeugs über die Dauer beinhalten und das Einstellen der optischen Daten unter Verwendung des Einstellungsmodells kann auf den Bewegungsdaten basieren. Das Einstellen der optischen Daten unter Verwendung des Einstellungsmodells kann Korrigieren von mindestens einem von einer Verzerrung oder einer Ausrichtung beinhalten.
Der Bewegungssensor kann einen Beschleunigungsmesser beinhalten.
Das Modifizieren des Einstellungsmodells kann auf den Bewegungsdaten basieren. Die Anweisungen können ferner Anweisungen zum Bestimmen einer Art von Ereignis, das sich auf den optischen Sensor auswirkt, auf Grundlage der Bewegungsdaten, des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes beinhalten und das Modifizieren des Einstellungsmodells kann auf der Art von Ereignis basieren. Die Art des Ereignisses kann auf einer Korrelation zwischen den Bewegungsdaten und einer mathematischen Funktion des gemessenen zweiten Wertes basieren. Die mathematische Funktion kann eine Differenz aus dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert sein.
Das Einstellungsmodell kann ein Modell einer Bewegung des optischen Sensors bezogen auf das Fahrzeug sein, die sich auf einer Bewegung des Fahrzeugs ergibt.
Der zweite Werte kann eine größere Empfindlichkeit gegenüber einer Bewegung des Fahrzeugs aufweisen als der erste Wert.
Das Modifizieren des Einstellungsmodells kann unter Verwendung einer Differenz aus dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert durchgeführt werden.
Die Anweisungen können ferner Anweisungen zum Durchführen einer Autokorrelation an einer mathematischen Funktion des gemessenen zweiten Wertes und Unterlassen des Modifizierens des Einstellungsmodells als Reaktion darauf, dass die Autokorrelation unter einem Schwellenwert liegt, beinhalten. Die mathematische Funktion kann eine Differenz aus dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert sein.
Die Anweisungen können ferner Anweisungen zum Ausgeben einer Benachrichtigung, das Fahrzeug zu warten, bei Bestimmen, dass das modifizierte Einstellungsmodell die optischen Daten nicht genauer einstellt als das unmodifizierte Einstellungsmodell, beinhalten.
Die Anweisungen können ferner Anweisungen zum Ausgeben einer Benachrichtigung, das Fahrzeug zu warten, bei Identifizieren eines Änderungspunktes für eine mathematische Funktion des gemessenen zweiten Wertes beinhalten.
Die mathematische Funktion kann eine Differenz aus dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert sein.
Die Anweisungen können ferner Anweisungen zum Filtern einer Vielzahl von Bedingungen aus den optischen Daten vor dem Messen des ersten Wertes beinhalten.
Der optische Sensor kann eines von einer Kamera, einem Radar oder einem LIDAR sein.
Der optische Sensor kann eine erste Kamera eines Paars von Stereokameras sein, das die erste Kamera und eine zweite Kamera beinhaltet, und der erste Wert und der zweite Wert können mathematische Funktionen einer Disparitätskarte von Bilddaten von den Stereokameras sein.
Ein Fahrzeug beinhaltet eine Karosserie, einen optischen Sensor, der fest an der Karosserie montiert ist, und einen Computer, der kommunikativ an den optischen Sensor gekoppelt ist. Der Computer ist dazu programmiert, optische Daten von dem optischen Sensor zu empfangen, die optischen Daten unter Verwendung eines Einstellungsmodells einzustellen, einen ersten Wert aus den optischen Daten über eine Dauer zu messen, einen zweiten Wert aus den optischen Daten über die Dauer auf Grundlage des ersten Wertes zu prognostizieren, den zweiten Wert aus den optischen Daten über die Dauer zu messen und das Einstellungsmodell unter Verwendung des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes zu modifizieren. Der erste Wert variiert zeitlich und ist aus den optischen Daten pro Zeitschritt aggregiert. Der zweite Wert variiert zeitlich und ist aus den optischen Daten pro Zeitschritt aggregiert.
Figurenliste

1 ist eine perspektivische Ansicht eines beispielhaften Fahrzeugs mit optischen Sensoren.
2 ist ein beispielhaftes Einzelbild und eine Disparitätskarte von den optischen Sensoren.
3 ist ein Blockdiagramm des Fahrzeugs.
4 ist ein Diagramm eines beispielhaften Einstellungsmodells einer Bewegung der optischen Sensoren bezogen auf das Fahrzeug.
5 ist eine Vielzahl von beispielhaften Autokorrelationen von optischen Daten von den optischen Sensoren.
6 ist ein beispielhaftes Prozessablaufdiagramm eines beispielhaften Prozesses zum Einstellen der optischen Daten.

DETAILLIERTE BESCHREIBUNG
Unter Bezugnahme auf die Figuren, in denen gleiche Zahlen in den gesamten mehreren Ansichten gleiche Teile angeben, beinhaltet ein Computer 102 einen Prozessor und einen Speicher, auf dem Anweisungen gespeichert sind, die durch den Prozessor ausführbar sind, um optische Daten von einem optischen Sensor 104 eines Fahrzeugs 100 zu empfangen, die optischen Daten unter Verwendung eines Einstellungsmodells 106 einzustellen, einen ersten Wert aus den optischen Daten über eine Dauer zu messen, einen zweiten Wert aus den optischen Daten über die Dauer auf Grundlage des ersten Wertes zu prognostizieren, den zweiten Wert aus den optischen Daten über die Dauer zu messen und das Einstellungsmodell 106 unter Verwendung des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes zu modifizieren. Der erste Wert und der zweite Wert variieren zeitlich und sind aus den optischen Daten pro Zeitschritt aggregiert.
Unter Bezugnahme auf 1 kann das Fahrzeug 100 eine beliebige geeignete Art von Bodenfahrzeug sein, z. B. ein Personenkraftwagen oder ein Nutzfahrzeug, wie etwa eine Limousine, ein Coupe, ein Truck, ein Geländewagen, ein Crossover, ein Van, ein Minivan, ein Jeepney, ein Taxi, ein Bus usw.
Das Fahrzeug 100 kann ein autonomes Fahrzeug sein. Der Computer 102 kann dazu programmiert sein, das Fahrzeug 100 vollständig oder in geringerem Maße unabhängig von dem Eingreifen eines menschlichen Fahrzeugführers zu betreiben. Der Computer 102 kann dazu programmiert sein, einen Antrieb 108, ein Bremssystem 110, ein Lenksystem 112 und/oder andere Fahrzeugsysteme mindestens teilweise auf Grundlage der optischen Daten von den optischen Sensoren 104 zu betreiben. Für die Zwecke dieser Offenbarung ist unter einem autonomen Betrieb zu verstehen, dass der Computer 102 den Antrieb 108, das Bremssystem 110 und das Lenksystem 112 ohne Eingabe von einem menschlichen Fahrzeugführer steuert; ist unter einem teilautonomen Betrieb zu verstehen, dass der Computer 102 eines oder zwei von dem Antrieb 108, dem Bremssystem 110 und dem Lenksystem 112 steuert und ein menschlicher Fahrzeugführer den Rest steuert; und ist unter einem nicht autonomen Betrieb zu verstehen, dass ein menschlicher Fahrzeugführer den Antrieb 108, das Bremssystem 110 und das Lenksystem 112 steuert.
Das Fahrzeug 100 beinhaltet eine Karosserie 114. Das Fahrzeug 100 kann eine selbsttragende Bauweise aufweisen, bei der ein Rahmen und die Karosserie 114 des Fahrzeugs 100 eine einzige Komponente sind. Das Fahrzeug 100 kann alternativ dazu eine Rahmenbauweise aufweisen, bei welcher der Rahmen die Karosserie 114 trägt, bei der es sich um eine von dem Rahmen getrennte Komponente handelt. Der Rahmen und die Karosserie 114 können aus einem beliebigen geeigneten Material gebildet sein, zum Beispiel Stahl, Aluminium usw.
Das Fahrzeug 100 beinhaltet mindestens einen optischen Sensor 104, z. B. eine Vielzahl von optischen Sensoren 104. Die optischen Sensoren 104 generieren optische Daten aus dem Empfangen elektromagnetischer Strahlung, z. B. Funkwellen, Infrarotstrahlung, sichtbarem Licht usw. Die optischen Sensoren 104 können eine beliebige geeignete Art zum Erfassen von Objekten sein, die von dem Fahrzeug 100 beabstandet sind, z. B. Radarsensoren, abtastende Laserentfernungsmesser, Light-Detection-and-Ranging-(LIDAR-) Vorrichtungen und/oder Bildverarbeitungssensoren, wie etwa Kameras. Zum Beispiel können die optischen Sensoren 104 Kameras beinhalten, wie etwa ladungsgekoppelte Vorrichtungen (chargecoupled devices - CCD), komplementäre Metall-Oxid-Halbleiter (complementary metal oxide catalysts - CMOS) usw. Als ein weiteres Beispiel können die optischen Sensoren 104 ein Paar von Stereokameras beinhalten, das eine erste Kamera und eine zweite Kamera beinhaltet. Als ein weiteres Beispiel können die optischen Sensoren 104 ein LID AR beinhaltet, das Entfernungen zu Objekten durch Emittieren von Laserimpulsen bei einer konkreten Wellenlänge und Messen der Laufzeit, die der Impuls benötigt, um zu dem Objekt und zurück zu gelangen, erfasst. Als ein weiteres Beispiel können die optischen Sensoren 104 ein Radar beinhalten, das eine direkte Ausbreitung, d. h. Messen von Zeitverzögerungen zwischen der Übertragung und dem Empfang von Funkwellen, und/oder ein indirekte Ausbreitung, d. h. ein frequenzmoduliertes Dauerstrich-(Frequency Modulated Continous Wave - FMCW-)Verfahren, d. h. Messen von Änderungen der Frequenz zwischen übertragenen und empfangenen Funkwellen, verwenden kann. Ein Radar kann Entfernungen zu Objekten sowie eine Radialgeschwindigkeit, d. h. die Komponente der Geschwindigkeit in Richtung des Radars oder von diesem weg, zurückgeben. Die optischen Sensoren 104 könnten auch Kameras für unterschiedliche Wellenlängen elektromagnetischer Strahlung, Kameras, die eine Polarisation erfassen, Laufzeitkameras, ereignisbasierte Kameras, Lichtfeldkameras usw. beinhalten.
Die optischen Sensoren 104 sind fest an der Karosserie 114 des Fahrzeugs 100 montiert. Zum Beispiel kann das Fahrzeug 100 ein Gehäuse 116 beinhalten, das an einem Dach 118 oder einer anderen Karosserieplatte der Karosserie 114 des Fahrzeugs 100 montiert ist und die optischen Sensoren 104 trägt. Das Gehäuse 116 kann derartig geformt sein, dass es an dem Dach 118 anbringbar ist; z. B. kann es eine Form aufweisen, die mit einem Profil des Daches 118 übereinstimmt. Das Gehäuse 116 kann an dem Dach 118 angebracht sein, was den optischen Sensoren 104, die innerhalb des Gehäuses 116 montiert sind, ein ungehindertes Sichtfeld eines Bereichs um das Fahrzeug 100 bereitstellen kann. Alternativ oder zusätzlich können die optischen Sensoren 104 an der Windschutzscheibe, der vorderen Verkleidung, der Eckverkleidung, der hinteren Verkleidung, der hinteren Ladeklappe usw. montiert sein. Das Gehäuse 116 kann z. B. aus Kunststoff oder Metall gebildet sein.
Unter Bezugnahme auf 2 können die optischen Daten z. B. Bilddaten von einer Kamera, eine aus Bilddaten von einem Paar von Stereokameras generierte Disparitätskarte 130, eine Punktwolke von einem LIDAR usw. sein. Zum Beispiel zeigt 2 ein Einzelbild 128 von Bilddaten von einer Kamera in dem oberen Feld und eine entsprechende Disparitätskarte 130 in dem unteren Feld, die aus zwei Einzelbildern 128 generiert ist, die das Einzelbild 128 in dem oberen Feld beinhalten. Die Bilddaten können eine Abfolge der Einzelbilder 128 der Sichtfelder der jeweiligen optischen Sensoren 104 oder Abschnitte der Einzelbilder 128 sein, wie etwa ein Teilsatz von Zeilen, wie er durch einen Rolling-Shutter-Effekt erzeugt wird. Jedes Einzelbild 128 ist eine zweidimensionale Pixelmatrix. Jedes Pixel weist eine Helligkeit oder Farbe auf, die als ein oder mehrere numerische Werte dargestellt wird, z. B. ein skalarer einheitsloser Wert der photometrischen Lichtintensität zwischen 0 (schwarz) und 1 (weiß) oder Werte für jedes von Rot, Grün und Blau, z. B. jeweils auf einer 8-bit-Skala (0 bis 255) oder einer 12- oder 16-bit-Skala. Die Pixel können eine Mischung von Darstellungen sein, z. B. ein sich wiederholendes Muster von skalaren Intensitätswerten für drei Pixel und ein viertes Pixel mit drei numerischen Farbwerten oder ein anderes Muster. Die Position in einem Einzelbild 128 oder einer Disparitätskarte 130, z. B. die Position in dem Sichtfeld des optischen Sensors 104 zu dem Zeitpunkt der Aufnahme des Einzelbildes 128, kann in Pixelabmessungen oder Koordinaten vorgegeben sein, z. B. ein geordnetes Paar von Pixelabständen, wie etwa eine Anzahl an Pixeln von einer oberen Kante und eine Anzahl an Pixeln von einer linken Kante des Einzelbildes 128.
Unter Bezugnahme auf 3 ist der Computer 102 eine mikroprozessorbasierte Rechenvorrichtung, z. B. eine generische Rechenvorrichtung, die einen Prozessor und einen Speicher beinhaltet, eine elektronische Steuerung oder dergleichen, ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (application-specific integrated circuit - ASIC), eine Kombination des Vorstehenden usw. Typischerweise wird in der elektronischen Entwurfsautomatisierung eine Hardwarebeschreibungssprache, wie etwa VHDL (Very High Speed Integrated Circuit Hardware Description Language - HardwareBeschreibungssprache für integrierte Schaltungen mit sehr hoher Geschwindigkeit) verwendet, um digitale und Mischsignal-Systeme, wie etwa FPGA und ASIC, zu beschreiben. Zum Beispiel wird eine ASIC auf Grundlage einer vor der Herstellung bereitgestellten VHDL-Programmierung hergestellt, wohingegen logische Komponenten innerhalb eines FPGA auf Grundlage der VHDL-Programmierung konfiguriert sein können, z. B. auf einem Speicher gespeichert, der elektrisch mit der FPGA-Schaltung verbunden ist. Der Computer 102 kann somit einen Prozessor, einen Speicher usw. beinhalten. Der Speicher des Computers 102 kann Medien zum Speichern von Anweisungen, die durch den Prozessor ausführbar sind, sowie zum elektronischen Speichern von Daten und/oder Datenbanken beinhalten und/oder der Computer 102 kann Strukturen wie etwa die vorstehenden beinhalten, durch die Programmierung bereitgestellt wird. Der Computer 102 kann aus mehreren aneinander gekoppelten Computern bestehen.
Der Computer 102 kann Daten über ein Kommunikationsnetzwerk 120 übertragen und empfangen, wie etwa einen Controller-Area-Network-(CAN-)Bus, Ethernet, WiFi, ein Local Interconnect Network (LIN), einen On-Board-Diagnoseanschluss (OBD-II) und/oder über ein beliebiges anderes drahtgebundenes oder drahtloses Kommunikationsnetzwerk. Der Computer 102 kann über das Kommunikationsnetzwerk 120 kommunikativ an die optischen Sensoren 104, Bewegungssensoren 122, den Antrieb 108, das Bremssystem 110, das Lenksystem 112, eine Benutzerschnittstelle 124 und andere Komponenten gekoppelt sein.
Das Fahrzeug 100 beinhaltet die Bewegungssensoren 122. Die Bewegungssensoren 122 stellen Bewegungsdaten bereit, d. h. Daten, die eine Bewegung des Fahrzeugs 100 angeben. Zum Beispiel können die Bewegungssensoren 122 den Standort und/oder die Ausrichtung des Fahrzeugs 100, eine Linear- und Rotationsgeschwindigkeit des Fahrzeugs 100, eine Beschleunigung des Fahrzeugs 100 usw. erfassen. Zum Beispiel können die Bewegungssensoren 122 Folgendes beinhalten: Sensoren eines globalen Positionsbestimmungssystems (GPS); Beschleunigungsmesser, wie etwa piezoelektrische oder mikroelektromechanische Systeme (MEMS); Gyroskope, wie etwa Drehratensensoren, Ringlaser- oder faseroptische Gyroskope; Trägheitsmesseinheiten (inertial measurement units - IMU); und Magnetometer. Als ein weiteres Beispiel können die Bewegungssensoren 122 Daten über einen Betrieb von Systemen des Fahrzeugs 100 bereitstellen, welche die Bewegung steuern, d. h. den Antrieb 108, das Bremssystem 110 und/oder das Lenksystem 112, z. B. eine Raddrehzahl, eine Radausrichtung, einen Lenkwinkel, eine Bremskraft usw.
Der Antrieb 108 des Fahrzeugs 100 erzeugt Energie und wandelt die Energie in Bewegung des Fahrzeugs 100 um. Bei dem Antrieb 108 kann es sich um Folgendes handeln: ein herkömmliches Teilsystem des Fahrzeugantriebs, zum Beispiel einen herkömmlichen Antriebsstrang, der eine Brennkraftmaschine beinhaltet, die an ein Getriebe gekoppelt ist, das eine Rotationsbewegung auf Räder überträgt, einen elektrischen Antriebsstrang, der Batterien, einen Elektromotor und ein Getriebe, das Rotationsbewegung auf die Räder überträgt, beinhaltet; einen Hybridantriebsstrang, der Elemente des herkömmlichen Antriebsstrangs und des elektrischen Antriebsstrangs beinhaltet; oder eine beliebige andere Antriebsart. Der Antrieb 108 kann eine elektronische Steuereinheit (electronic control unit - ECU) oder dergleichen beinhalten, die mit dem Computer 102 und/oder einem menschlichen Fahrzeugführer in Kommunikation steht und Eingaben von diesen/diesem empfängt. Der menschliche Fahrzeugführer kann den Antrieb 108 z. B. über ein Gaspedal und/oder einen Gangschalthebel steuern.
Das Bremssystem 110 ist typischerweise ein herkömmliches Teilsystem zum Bremsen eines Fahrzeugs 100, das der Bewegung des Fahrzeugs entgegenwirkt, um dadurch das Fahrzeug 100 abzubremsen und/oder anzuhalten. Das Bremssystem 110 kann Folgendes beinhalten: Reibungsbremsen, wie etwa Scheibenbremsen, Trommelbremsen, Bandbremsen usw.; Nutzbremsen; eine beliebige andere geeignete Art von Bremsen; oder eine Kombination. Das Bremssystem 110 kann eine elektronische Steuereinheit (ECU) oder dergleichen beinhalten, die mit dem Computer 102 und/oder einem menschlichen Fahrzeugführer in Kommunikation steht und Eingaben von diesem/diesen empfängt. Der menschliche Fahrzeugführer kann das Bremssystem 110 z. B. über ein Bremspedal steuern.
Das Lenksystem 112 ist typischerweise ein herkömmliches Teilsystem zum Lenken eines Fahrzeugs und steuert das Einlenken der Räder. Bei dem Lenksystem 112 kann es sich um ein Zahnstangensystem mit elektrischer Servolenkung, ein Steer-by-Wire-System, wie sie beide bekannt sind, oder ein beliebiges anderes geeignetes System handeln. Das Lenksystem 112 kann eine elektronische Steuereinheit (ECU) oder dergleichen beinhalten, die mit dem Computer 102 und/oder einem menschlichen Fahrzeugführer in Kommunikation steht und Eingaben von diesen/diesem empfängt. Der menschliche Fahrzeugführer kann das Lenksystem 112 z. B. über ein Lenkrad steuern.
Die Benutzerschnittstelle 124 stellt einem Insassen des Fahrzeugs 100 Informationen dar und empfängt Informationen von ihm. Die Benutzerschnittstelle 124 kann sich z. B. an einem Armaturenbrett in einer Fahrgastkabine des Fahrzeugs 100 oder an einer beliebigen Stelle befinden, an der sie ohne Weiteres von dem Insassen gesehen werden kann. Die Benutzerschnittstelle 124 kann Zifferblätter, Digitalanzeigen, Bildschirme, Lautsprecher und so weiter zum Bereitstellen von Informationen für den Insassen beinhalten, z. B. Elemente einer Mensch-Maschine-Schnittstelle (human-machine interface - HMI), wie sie bekannt sind. Die Benutzerschnittstelle 124 kann Schaltflächen, Knöpfe, Tastenfelder, ein Mikrofon und so weiter zum Empfangen von Informationen von dem Insassen beinhalten.
Unter Bezugnahme auf 4 empfängt der Computer 102 die optischen Daten von den optischen Sensoren 104 und stellt dann die optischen Daten unter Verwendung des Einstellungsmodells 106 ein. Für die Zwecke dieser Offenbarung ist ein „Einstellungsmodell“ eine Transformation von optischen Daten in unterschiedliche optische Daten auf Grundlage anderer Daten. Das Einstellungsmodell 106 kann eine Verzerrung und/oder Fehlausrichtung der optischen Sensoren 104 korrigieren. Das Einstellen der optischen Daten unter Verwendung des Einstellungsmodells 106 kann auf den Bewegungsdaten von den Bewegungssensoren 122 basieren. Zum Beispiel kann das Einstellungsmodell 106 ein Modell einer Bewegung des optischen Sensors 104 bezogen auf das Fahrzeug 100 sein, die sich aus einer Bewegung des Fahrzeugs 100 ergibt. Zum Beispiel kann das Einstellungsmodell 106 ein physikbasiertes Modell sein, wie etwa auf Grundlage einer Finite-Elemente-Analyse und/oder auf Grundlage einer Annäherung unter Verwendung idealer Elemente der Anbringung der optischen Sensoren 104 an der Karosserie 114 unter Verwendung des Gehäuses 116, z. B. vier idealer Pfeiler 126, die den optischen Sensor 104 mit der Karosserie 114, z. B. dem Dach 118 des Fahrzeugs 100, verbinden. Das Einstellungsmodell 106, z. B. die Finite-Elemente-Analyse, kann eine Geometrie der Anbringung der optischen Sensoren 104, Randbedingungen und/oder die Bewegungsdaten verwenden. Zum Beispiel kann das Einstellungsmodell 106 eine Bewegung der optischen Sensoren 104 in einem oder mehreren Freiheitsgraden, z. B. sechs Freiheitsgraden oder drei Rotationsfreiheitsgraden, nachverfolgen. Die Verwendung von drei Rotationsfreiheitsgraden ohne lineare Freiheitsgrade kann weniger rechenintensiv sein als die Verwendung von sechs Freiheitsgraden, während die relevanten Effekte weiterhin erfasst werden. Darüber hinaus können diskrete Zeitschritte des Einstellungsmodells 106 ferner auf den entsprechenden Zeitrahmen der optischen Daten von den optischen Sensoren 104 interpoliert oder extrapoliert werden, z. B. Zeitschritte für den Global-Shutter-Effekt, die Rolling-Shutter-Bild-zu-Bild-Belichtungszeit, Aktualisierungszeiten für ereignisbasierte Kameras, Zeitrahmen für die Strahlsteuerung für ein LIDAR usw.
Vor dem Messen des ersten Wertes kann der Computer 102 eine Vielzahl von Bedingungen aus den optischen Daten filtern. Das Filtern kann vor, nach oder gleichzeitig mit dem Einstellungsmodell 106 angewendet werden. Die Bedingungen können bekannte Verzerrungen oder Fehlausrichtungen sein, die auf dem Speicher des Computers 102 gespeichert sind und die z. B. durch Vorgänge des Fahrzeugs 100 verursacht werden, wie etwa Aktivieren eines Gebläses in dem Gehäuse 116 usw. Der Computer 102 kann Daten empfangen, die angeben, dass die Bedingung erfüllt ist, z. B., dass das Gebläse aktiviert ist, und die optischen Daten durch Anwenden einer Transformation, die auf dem Speicher des Computers 102 gespeichert ist, auf die optischen Daten filtern.
Unter erneuter Bezugnahme auf 2 misst der Computer 102 den ersten Wert über die Dauer. Der erste Wert variiert zeitlich, d. h. weist bei jedem Zeitschritt der optischen Daten einen möglicherweise unterschiedlichen Wert auf, z. B. in jedem Einzelbild 128 oder in jedem Teilsatz von Zeilen des Einzelbildes 128, der mit einem Rolling-Shutter-Effekt erzeugt wird, oder jeder Disparitätskarte 130. Der erste Wert wird aggregiert, d. h. durch Sammeln aus einem Abschnitt der optischen Daten und Anwenden einer mathematischen Funktion generiert, um eine reduzierte Datenmenge, wie etwa einen Skalarwert, auszugeben. Die Verwendung eines aus den optischen Daten aggregierten Skalarwertes kann eine schnelle Verarbeitung durch den Computer 102 ermöglichen. Die Aggregation erfolgt pro Zeitschritt, d. h., jede Instanz des ersten Wertes wird in einem einzigen Zeitschritt erzeugt, in dem die optischen Daten generiert werden. Zum Beispiel kann der erste Wert ein statistischer Wert aus einer Disparitätskarte 130 sein, wie etwa eine Menge von Nicht-Zahl-(not-a-number - NAN-)Pixeln in der Disparitätskarte 130, eine Menge von Merkmalspunkten in der Disparitätskarte 130 usw. NAN-Pixel 132 in einer Disparitätskarte 130 treten auf, wenn den Pixeln in einem Einzelbild 128 entsprechende Pixel in dem anderen Einzelbild 128 fehlen. 2 zeigt ein Einzelbild 128 von dem optischen Sensor 104, der eine Kamera in einem Stereopaar von Kameras ist, oben und eine entsprechende Disparitätskarte 130 von dem Stereopaar von Kameras unten, wobei die schwarzen Regionen der Disparitätskarte 130 NAN-Pixel 132 darstellen. Der erste Wert kann über einen Teilsatz der optischen Daten gemessen werden, z. B. von einem mittleren Abschnitt des Einzelbildes 128 oder der Disparitätskarte 130, mit z. B. 10 Prozent einer Breite des Einzelbildes 128 oder der Disparitätskarte 130 von der linken und rechten Kante entfernt und 10 Prozent einer Höhe des Einzelbildes 128 oder der Disparitätskarte 130 von der oberen und unteren Kante des Einzelbildes 128 oder der Disparitätskarte 130 entfernt. Die Dauer, über die der erste Wert gemessen wird, kann so gewählt werden, dass eine repräsentative Probe für den ersten Wert bereitgestellt wird.
Der Computer 102 misst außerdem den zweiten Wert über die Dauer. Der zweite Wert variiert ebenfalls zeitlich und ist aus den optischen Daten pro Zeitschritt aggregiert. Der zweite Wert kann ebenfalls eine mathematische Funktion der optischen Daten sein, z. B. der Disparitätskarte 130, die z. B. einen Skalarwert ausgibt. Der zweite Wert kann eine andere aggregierte Größe als die optischen Daten sein. Der zweite Wert kann eine größere Empfindlichkeit gegenüber einer Bewegung des Fahrzeugs 100 aufweisen als der erste Wert, d. h., eine gegebene Bewegung des Fahrzeugs 100 generiert eine größere prozentuale Änderung des zweiten Wertes als des ersten Wertes. Zum Beispiel kann der zweite Wert eine Menge von NAN-Pixeln in der Nähe der Kanten des Einzelbildes 128 oder der Disparitätskarte 130 sein, z. B. mit 10 Prozent einer Höhe von der oberen oder unteren Kante oder innerhalb von 10 Prozent einer Breite von der linken oder rechten Kanten des Einzelbildes 128 oder der Disparitätskarte 130.
Der Computer 102 kann den zweiten Wert auf Grundlage des ersten Wertes über die Dauer prognostizieren. Zum Beispiel kann der Computer 102 eine statistische Korrelation zwischen dem ersten Wert und dem zweiten Wert, die mit Testdaten gemessen werden, ein Programm des maschinellen Lernens, wie etwa ein neuronales Netz, das anhand von Testdaten trainiert wird, usw. verwenden. Als ein weiteres Beispiel kann der Computer 102 ein physikbasiertes Modell einer Beziehung zwischen dem ersten Wert und dem zweiten Wert verwenden. Dieses Modell kann von dem vorstehenden Einstellungsmodell 106 abgeleitet werden oder damit in Beziehung stehen.
Der prognostizierte zweite Wert kann mit dem gemessenen zweiten Wert verglichen werden. Die Beziehung zwischen dem prognostizierten zweiten Wert und dem gemessenen zweiten Wert kann für eine Art eines Sensorereignisses charakteristisch sein, wie nachstehend beschrieben. Die Beziehung zwischen dem prognostizierten zweiten Wert und dem gemessenen zweiten Wert kann temporäre und/oder dauerhafte Änderungen an dem Einstellungsmodell 106 erfassen, z. B. durch Bestimmen, dass sich die Grundlage oder Annahmen, die dem Einstellungsmodell 106 und dem prognostizierten zweiten Wert zugrunde liegt/liegen, geändert hat/haben. Diese Bestimmung kann durch den Unterschied der Empfindlichkeit gegenüber einer Bewegung des Fahrzeugs 100 des ersten Wertes und des zweiten Wertes unterstützt werden.
Zum Beispiel kann der Computer 102 eine mathematische Funktion des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes berechnen, z. B. eine Beziehung zwischen dem prognostizierten zweiten Wert und dem gemessenen zweiten Wert, z. B. eine Differenz aus dem prognostizierten zweiten Wert und dem gemessenen zweiten Wert, d. h.,fit) = x₂* (t) - x₂(t), wobei x₂ der gemessene zweite Wert ist, x₂* der prognostizierte zweite Wert ist und t die Zeit ist. Die mathematische Funktion kann stattdessen eine andere Funktion der Beziehung zwischen dem prognostizierten zweiten Wert und dem gemessenen zweiten Wert sein, z. B. ein Verhältnis usw.
Unter Bezugnahme auf 5 kann der Computer 102 einen statistischen Test auf Autokorrelation an der mathematischen Funktion des gemessenen zweiten Wertes und des prognostizierten zweiten Wertes durchführen, z. B. an der Differenz zwischen dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert. Eine Autokorrelation ist eine Korrelation eines zeitlich variierenden Wertes mit einer verzögerten Kopie desselben zeitlich variierenden Wertes. 5 zeigt eine Vielzahl von Autokorrelationsverläufen 134. Die horizontalen Achsen sind Werte für die Verzögerung zwischen der mathematischen Funktion und der verzögerten Kopie der mathematischen Funktion, die in Zeiteinheiten gemessen wird, und die vertikalen Achsen sind der Korrelationskoeffizient bei jedem Wert für die Verzögerung. Die Autokorrelationsverläufe 134 können für die Art eines Sensorereignisses charakteristisch sein. Die Autokorrelation kann eine Größe, einen Modus, eine Frequenz usw. aufweisen. Der Computer 102 kann einen Zeitrahmen auswählen, über den die Autokorrelation durchgeführt werden soll, basierend auf Erfassen von Merkmalen der Bewegungsdaten, z. B. einer mechanischen Erregung über einem Schwellenwert, und basierend auf bekannten Dämpfungseigenschaften des Fahrzeugs 100, die bestimmen, wie lange sich die mechanische Erregung auf das Fahrzeug 100 auswirkt.
Der Computer 102 kann eine oder mehrere Korrelationen über die Dauer der mathematischen Funktion mit den Bewegungsdaten durchführen. Zum Beispiel kann der Computer 102 Korrelationen der mathematischen Funktion mit einer Längsbeschleunigung des Fahrzeugs 100, mit einer vertikalen Bewegung des Fahrzeugs 100, einem Rollen des Fahrzeugs 100 usw. durchführen. Die Korrelationen sind Tests einer statistischen Beziehung zwischen der mathematischen Funktion und den Bewegungsdaten, z. B. eine lineare Beziehung, die mit dem Korrelationskoeffizienten nach Pearson gemessen wird, eine Kreuzkorrelation unter Verwendung einer Fourier-Analyse usw.
Der Computer 102 kann eine Änderungspunkterfassung über die Dauer an der mathematischen Funktion des gemessenen zweiten Wertes und des prognostizierten zweiten Wertes durchführen. Eine Änderungspunkterfassung ist die Identifizierung einer Änderung in der Wahrscheinlichkeitsverteilung einer Zeitreihe. Der Computer 102 kann eine beliebige geeignete Technik zur Online-Änderungspunkterfassung verwenden, z. B. einen sequentiellen Analyseansatz, eine Bayessche Änderungserfassung, Streaming-Algorithmen usw. Die Änderungspunkterfassung kann angeben, ob ein Ereignis aufgetreten ist, das sich auf die optischen Sensoren 104 auswirkt.
Ein Ereignis, das sich auf die optischen Sensoren 104 auswirkt, ist ein Ereignis, das bewirkt, dass sich die optischen Daten vorübergehend oder dauerhaft von dem unterscheiden, was die optischen Daten wären, wenn das Einstellungsmodell 106 genau wäre, und eine Art eines Ereignisses ist eine qualitative Kategorisierung des Ereignisses. Ein Ereignis kann durch einen Änderungspunkt markiert sein oder nicht. Beispiele für Ereignisse, welche sich auf die optischen Sensoren 104 auswirken, beinhalten eine partielle Blockierung eines Sichtfeldes eines der optischen Sensoren 104, eine Fehlkalibrierung eines der optischen Sensoren 104, eine Verformung einer Komponente, die einen der optischen Sensoren 104 mit der Karosserie 114 verbindet, eine Lockerung eines der optischen Sensoren 104 bezogen auf die Karosserie 114 usw. Die Auswirkungen derartiger Ereignisse können unter Verwendung der vorstehend beschriebenen Analyse erfasst werden und diese Auswirkungen können abgeschwächt oder es kann auf diese reagiert werden, wie nachstehend beschrieben.
Der Computer 102 kann die Art des Ereignisses, das sich auf die optischen Sensoren 104 auswirkt, auf Grundlage der Bewegungsdaten, des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes bestimmen. Zum Beispiel kann die Art des Ereignisses auf der Korrelation zwischen den Bewegungsdaten und der mathematischen Funktion des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes basieren und alternativ oder zusätzlich kann die Art des Ereignisses auf einer Autokorrelation und den Bewegungsdaten basieren, wie etwa der Stärke, des Modus und/oder der Frequenz der Autokorrelation. Der Computer 102 kann die Art des Ereignisses unter Verwendung eines Algorithmus des maschinellen Lernens bestimmen. Der Algorithmus des maschinellen Lernens kann eine beliebige geeignete Art zum Klassifizieren der erfassten Änderungen sein, z. B. in eine Art auf einer bekannten Liste von Arten, z. B. Bayessche Klassifikatoren, Nächster-Nachbar-Klassifikatoren, lineare oder polynomische Klassifikatoren, künstliche neuronale Netze usw. Die Autokorrelation und/oder die Korrelationen können/kann Eingaben in den Algorithmus des maschinellen Lernens sein. Der Algorithmus des maschinellen Lernens kann anhand von abgeglichenen Probenbewegungsdaten und optischen Daten mit bekannten Arten von Änderungen trainiert werden. Die Probendaten können mit den vorstehend beschriebenen Korrelationen und Autokorrelation vorverarbeitet werden.
Der Computer 102 kann das Einstellungsmodell 106 auf Grundlage der Bewegungsdaten, des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes modifizieren. Zum Beispiel kann der Computer 102 das Einstellungsmodell 106 unter Verwendung der Art des Ereignisses, der Differenz zwischen dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert, der Autokorrelation, der Korrelationen usw. modifizieren. Das Modifizieren des Einstellungsmodells 106 kann z. B. durch Ändern von Gewichtungen von Elementen eines physikbasierten Modells durchgeführt werden, wie etwa Reduzieren einer Steifigkeit eines idealen Trägers 126 auf Grundlage einer erhöhten Lockerheit des optischen Sensors 104.
6 ist ein Prozessablaufdiagramm, das einen beispielhaften Prozess 600 zum Einstellen der optischen Daten veranschaulicht. Der Speicher des Computers 102 speichert ausführbare Anweisungen zum Durchführen der Schritte des Prozesses 600 und/oder eine Programmierung kann in Strukturen, wie vorstehend erwähnt, umgesetzt sein. Als allgemeine Übersicht über den Prozess 600 empfängt der Computer 102 die optischen Daten und die Bewegungsdaten, stellt die optischen Daten unter Verwendung des Einstellungsmodells 106 ein, misst den ersten Wert, prognostiziert den zweiten Wert, misst den zweiten Wert, bestimmt die Differenz zwischen dem prognostizierten zweiten Wert und dem gemessenen zweiten Wert, führt die Autokorrelation durch und führt die Korrelationen mit den Bewegungsdaten durch. Als Reaktion darauf, dass die Autokorrelation über einem Schwellenwert liegt, bestimmt der Computer 102 die Art des Ereignisses und modifiziert das Einstellungsmodell 106. Wenn das modifizierte Einstellungsmodell 106 die optischen Daten nicht genauer einstellt als das unmodifizierte Einstellungsmodell 106 gibt der Computer 102 eine Benachrichtigung, das Fahrzeug 100 zu warten, aus. Als Reaktion darauf, dass die Autokorrelation unter dem Schwellenwert liegt, gibt der Computer 102, eine Benachrichtigung aus, das Fahrzeug 100 zu warten, wenn der Computer 102 einen Änderungspunkt identifiziert. Der Prozess 600 kann fortgesetzt werden, solange das Fahrzeug 100 eingeschaltet ist.
Der Prozess 600 beginnt bei einem Block 605, bei dem der Computer 102 die optischen Daten für die Dauer von den optischen Sensoren 104 empfängt.
Als Nächstes empfängt der Computer 102 bei einem Block 610 die Bewegungsdaten für die Dauer von den Bewegungssensoren 122.
Als Nächstes stellt der Computer 102 bei einem Block 615 die optischen Daten unter Verwendung des Einstellungsmodells 106 ein und filtert die Vielzahl von Bedingungen aus den optischen Daten, wie vorstehend beschrieben.
Als Nächstes misst der Computer 102 bei einem Block 620 den ersten Wert über die Dauer, wie vorstehend beschrieben.
Als Nächstes prognostiziert der Computer 102 bei einem Block 625 den zweiten Wert über die Dauer auf Grundlage des ersten Wertes, wie vorstehend beschrieben.
Als Nächstes misst der Computer 102 bei einem Block 630 den zweiten Wert über die Dauer, wie vorstehend beschrieben.
Als Nächstes bestimmt der Computer 102 bei einem Block 635 die mathematische Funktion des gemessenen zweiten Wertes und des prognostizierten zweiten Wertes, z. B. die Differenz aus dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert, wie vorstehend beschrieben.
Als Nächstes führt der Computer 102 bei einem Block 640 die Autokorrelation an der mathematischen Funktion durch, wie vorstehend beschrieben.
Als Nächstes bestimmt der Computer 102 bei einem Block 645 die Korrelationen der mathematischen Funktion mit den Bewegungsdaten, wie vorstehend beschrieben.
Als Nächstes bestimmt der Computer 102 bei einem Entscheidungsblock 650, ob die Autokorrelation über einem Schwellenwert liegt. Zum Beispiel kann der Schwellenwert sein, ob die Autokorrelation statistisch signifikant ist. Als Reaktion darauf, dass die Autokorrelation über dem Schwellenwert liegt, z. B. statistisch signifikant ist, geht der Prozess 600 zu einem Block 655 über. Als Reaktion darauf, dass die Autokorrelation unter dem Schwellenwert liegt, z. B. nicht statistisch signifikant ist, geht der Prozess 600 zu einem Entscheidungsblock 675 über und unterlässt der Computer 102 dadurch das Modifizieren des Einstellungsmodells 106.
Bei dem Block 655 bestimmt der Computer 102 die Art des Ereignisses, das sich auf die optischen Sensoren 104 auswirkt, auf Grundlage der Bewegungsdaten, des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes, wie vorstehen beschrieben.
Als Nächstes modifiziert der Computer 102 bei einem Block 660 das Einstellungsmodell 106, wie vorstehend beschrieben.
Als Nächstes bestimmt der Computer 102 bei einem Entscheidungsblock 665, ob das modifizierte Einstellungsmodell 106, d. h. das Einstellungsmodell 106 wie bei dem Block 660 modifiziert, die optischen Daten genauer einstellt als das unmodifizierte Einstellungsmodell 106, d. h. das Einstellungsmodell 106, bevor es bei dem Block 660 modifiziert wird. Der Computer 102 kann die optischen Daten verwenden, die über die Dauer bei dem Block 605 gesammelt werden, oder kann neue optische Daten verwenden, die nach der Dauer gesammelt werden. Der Computer 102 kann die Genauigkeit des modifizierten und des unmodifizierten Einstellungsmodells 106 vergleichen, indem er z. B. bestimmt, welches von dem modifizierten Einstellungsmodell 106 und dem unmodifizierten Einstellungsmodell 106 eine kleinere Differenz zwischen dem prognostizierten zweiten Wert und dem gemessenen zweiten Wert generiert. Bei Bestimmen, dass das modifizierte Einstellungsmodell 106 die optischen Daten genauer einstellt, kehrt der Prozess 600 zu dem Block 605 zurück, um das Überwachen der optischen Daten fortzusetzen. Bei Bestimmen, dass das modifizierte Einstellungsmodell 106 die optischen Daten nicht genauer einstellt, geht der Prozess 600 zu einem Block 670 über.
Bei dem Block 670 weist der Computer 102 eine oder mehrere Komponenten des Fahrzeugs 100 an, Minderungsmaßnahmen durchzuführen. Zum Beispiel kann der Computer 102 eine Benachrichtigung ausgeben, das Fahrzeug 100 zu warten, z. B. durch Betätigen der Benutzerschnittstelle 124. Als ein weiteres Beispiel kann der Computer 102 das Fahrzeug 100 anweisen, autonom zu einem Servicedepot zu navigieren, z. B. durch Betätigen des Antriebs 108, des Bremssystems 110 und des Lenksystems 112 gemäß bekannten Algorithmen zum für den autonomen Betrieb. Als ein weiteres Beispiel kann der Computer 102 das Fahrzeug 100 betätigen, um ein Minimalrisikomanöver durchzuführen, um das Fahrzeug 100 in einen Minimalrisikozustand zu versetzen. Für die Zwecke dieser Offenbarung ist ein „Minimalrisikomanöver“ ein Manöver, welches das Fahrzeug 100 in einen Minimalrisikozustand versetzt und hat „Minimalrisikozustand“ die Bedeutung, die von der National Highway Traffic Safety Administration (NHTSA) und der Society of Automotive Engineers (SAE) festgelegt wurde: „Minimalrisikozustand‟ bedeutet ein Betriebszustand mit geringem Risiko, auf den ein automatisiertes Fahrsystem automatisch zurückgreift, wenn ein System ausfällt oder wenn der menschliche Fahrzeugführer nicht angemessen auf eine Anforderung reagiert, die dynamische Fahraufgabe zu übernehmen." (U.S. Dept. of Transportation & NHTSA, Automated Driving Systems 2.0: A Vision for Safety, 26 (unter Bezugnahme auf SAE International J3016, International Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles 100 (J3016: Sept2016)).) Zum Beispiel kann das Minimalrisikomanöver eine Übergabe an den menschlichen Fahrzeugführer oder das autonome Fahren des Fahrzeugs 100 bis zum Stillstand an einem Straßenrand auslösen, d. h. das Anhalten des Fahrzeugs 100 außerhalb aktiver Fahrspuren. Der Computer 102 kann das Minimalrisikomanöver durch Verwenden bekannter Algorithmen für den autonomen Betrieb durchführen. Nach dem Block 670 endet der Prozess 600.
Als Reaktion darauf, dass die Autokorrelation unter dem Schwellenwert liegt, d. h. nicht statistisch signifikant ist, geht der Prozess 600 bei dem Entscheidungsblock 650 zu dem Entscheidungsblock 675 über. Bei dem Entscheidungsblock 675 versucht der Computer 102, einen Änderungspunkt für die mathematische Funktion zu identifizieren, wie vorstehend beschrieben. Wenn ein Änderungspunkt nicht identifiziert wird, kehrt der Prozess 600 zu dem Block 605 zurück, um das Überwachen der optischen Daten fortzusetzen. Bei Identifizieren eines Änderungspunktes geht der Prozess 600 zu dem Block 670 über.
Im Allgemeinen können die beschriebenen Rechensysteme und/oder -vorrichtungen ein beliebiges aus einer Reihe von Computerbetriebssystemen einsetzen, einschließlich unter anderem Versionen und/oder Varianten der Anwendung Ford Sync®, der Middleware AppLink/Smart Device Link, des Betriebssystems Microsoft Automotive®, des Betriebssystems Microsoft Windows®, des Betriebssystems Unix (z. B. des Betriebssystems Solaris®, vertrieben durch die Oracle Corporation in Redwood Shores, Kalifornien), des Betriebssystems AIX UNIX, vertrieben durch International Business Machines in Armonk, New York, des Betriebssystems Linux, der Betriebssysteme Mac OSX und iOS, vertrieben durch die Apple Inc. in Cupertino, Kalifornien, des BlackBerry OS, vertrieben durch die Blackberry, Ltd. in Waterloo, Kanada, und des Betriebssystems Android, entwickelt durch die Google, Inc. und die Open Handset Alliance, oder der QNX® CAR Platform for Infotainment, angeboten durch QNX Software Systems. Beispiele für Rechenvorrichtungen beinhalten ohne Einschränkung einen fahrzeuginternen Fahrzeugcomputer, einen Computerarbeitsplatz, einen Server, einen Desktop-, Notebook-, Laptop- oder Handheld-Computer oder ein anderes Rechensystem und/oder eine andere Rechenvorrichtung.
Rechenvorrichtungen beinhalten im Allgemeinen computerausführbare Anweisungen, wobei die Anweisungen durch eine oder mehrere Rechenvorrichtungen ausführbar sind, wie etwa durch die vorstehend aufgeführten. Computerausführbare Anweisungen können von Computerprogrammen kompiliert oder ausgelegt werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -technologien erstellt wurden, welche ohne Einschränkung entweder für sich oder in Kombination Java™, C, C++, Matlab, Simulink, Stateflow, Visual Basic, Java Script, Python, Perl, HTML usw. beinhalten. Einige dieser Anwendungen können auf einer virtuellen Maschine kompiliert und ausgeführt werden, wie etwa der Java Virtual Machine, der Dalvik Virtual Machine oder dergleichen. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der in dieser Schrift beschriebenen Prozesse. Derartige Anweisungen und andere Daten können unter Verwendung einer Vielfalt von computerlesbaren Medien gespeichert und übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert sind.
Ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) beinhaltet ein beliebiges nicht transitorisches (z. B. physisches) Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, zu denen unter anderem nicht flüchtige Medien und flüchtige Medien gehören. Die Anweisungen können durch ein oder mehrere Übertragungsmedien übermittelt werden, die Glasfasern, Drähte, drahtlose Kommunikation beinhalten, einschließlich der Innenkomponenten, die einen an einen Prozessor eines Computers gekoppelten Systembus umfassen. Übliche Formen computerlesbarer Medien beinhalten zum Beispiel RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das ein Computer auslesen kann.
Datenbanken, Datendepots oder andere Datenspeicher, die in dieser Schrift beschrieben sind, können verschiedene Arten von Mechanismen zum Speichern von, Zugreifen auf und Abrufen von verschiedenen Arten von Daten beinhalten, einschließlich einer hierarchischen Datenbank, eines Datensatzes in einem Dateisystem, einer Anwendungsdatenbank in einem proprietären Format, eines relationalen Datenbankverwaltungssystems (relational database management system - RDBMS), einer nicht relationalen Datenbank (NoSQL), einer Graphdatenbank (graph database - GDB) usw. Jeder derartige Datenspeicher ist im Allgemeinen innerhalb einer Rechenvorrichtung eingeschlossen, die ein Computerbetriebssystem, wie etwa eines der vorstehend aufgeführten, verwendet, und es wird auf eine oder mehrere von einer Vielfalt von Weisen über ein Netzwerk darauf zugegriffen. Auf ein Dateisystem kann von einem Computerbetriebssystem zugegriffen werden und es kann Dateien beinhalten, die in verschiedenen Formaten gespeichert sind. Ein RDBMS setzt im Allgemeinen die Structured Query Language (SQL) zusätzlich zu einer Sprache zum Erzeugen, Speichern, Editieren und Ausführen gespeicherter Prozeduren ein, wie etwa die vorangehend erwähnte PL/SQL-Sprache.
In einigen Beispielen können Systemelemente als computerlesbare Anweisungen (z. B. Software) auf einer oder mehreren Rechenvorrichtungen (z. B. Servern, Personal Computern usw.) umgesetzt sein, die auf diesen zugeordneten computerlesbaren Medien (z. B. Platten, Speichern usw.) gespeichert sind. Ein Computerprogrammprodukt kann derartige auf computerlesbaren Medien gespeicherte Anweisungen zum Ausführen der in dieser Schrift beschriebenen Funktionen umfassen.
In den Zeichnungen geben gleiche Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente verändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer gewissen Reihenfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge abweicht. Es versteht sich ferner, dass gewisse Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder gewisse in dieser Schrift beschriebene Schritte weggelassen werden könnten.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern in dieser Schrift nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass eines oder mehrere der angegebenen Elemente genannt werden, sofern ein Patentanspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält. Die Adjektive „erste(r/s)" und „zweite(r/s)" werden in der gesamten Schrift als Identifikatoren verwendet und sollen keine Bedeutung, Reihenfolge oder Anzahl symbolisieren. Die Verwendung von „als Reaktion auf und „bei Bestimmen“ gibt eine kausale Beziehung an, nicht lediglich eine zeitliche Beziehung.
Die Offenbarung wurde auf veranschaulichende Weise beschrieben und es versteht sich, dass die Terminologie, die verwendet wurde, beschreibenden und nicht einschränkenden Charakters sein soll. In Anbetracht der vorstehenden Lehren sind viele Modifikationen und Variationen der vorliegenden Offenbarung möglich und die Offenbarung kann anders als konkret beschrieben umgesetzt werden.
Gemäß der vorliegenden Erfindung ist ein Computer bereitgestellt, der einen Prozessor und einen Speicher aufweist, auf dem Anweisungen gespeichert sind, die durch den Prozessor zu Folgendem ausführbar sind: Empfangen von optischen Daten von einem optischen Sensor eines Fahrzeugs; Einstellen der optischen Daten unter Verwendung eines Einstellungsmodells; Messen eines ersten Wertes aus den optischen Daten über eine Dauer, wobei der erste Wert zeitlich variiert und aus den optischen Daten pro Zeitschritt aggregiert ist; Prognostizieren eines zweiten Wertes aus den optischen Daten über die Dauer auf Grundlage des ersten Wertes, wobei der zweite Wert zeitlich variiert und aus den optischen pro Zeitschritt aggregiert ist; Messen des zweiten Wertes aus den optischen Daten über die Dauer; und Modifizieren des Einstellungsmodells unter Verwendung des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Empfangen von Bewegungsdaten von einem Bewegungssensor des Fahrzeugs über die Dauer; und basiert das Einstellen der optischen Daten unter Verwendung des Einstellungsmodells auf den Bewegungsdaten.
Gemäß einer Ausführungsform beinhaltet das Einstellen der optischen Daten unter Verwendung des Einstellungsmodells Korrigieren von mindestens einem von einer Verzerrung oder einer Ausrichtung.
Gemäß einer Ausführungsform beinhaltet der Bewegungssensor einen Beschleunigungsmesser.
Gemäß einer Ausführungsform basiert das Modifizieren des Einstellungsmodells auf den Bewegungsdaten.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen einer Art eines Ereignisses, das sich auf den optischen Sensor auswirkt, auf Grundlage der Bewegungsdaten, des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes; und basiert das Modifizieren des Einstellungsmodells auf der Art des Ereignisses.
Gemäß einer Ausführungsform basiert die Art des Ereignisses auf einer Korrelation zwischen den Bewegungsdaten und einer mathematischen Funktion des gemessenen zweiten Wertes.
Gemäß einer Ausführungsform ist die mathematische Funktion eine Differenz aus dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert.
Gemäß einer Ausführungsform ist das Einstellungsmodell ein Modell einer Bewegung des optischen Sensors bezogen auf das Fahrzeug, die sich aus einer Bewegung des Fahrzeugs ergibt.
Gemäß einer Ausführungsform weist der zweite Werte eine größere Empfindlichkeit gegenüber einer Bewegung des Fahrzeugs auf als der erste Wert.
Gemäß einer Ausführungsform wird das Modifizieren des Einstellungsmodells unter Verwendung einer Differenz aus dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert durchgeführt.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Durchführen einer Autokorrelation an einer mathematischen Funktion des gemessenen zweiten Wertes und Unterlassen des Modifizierens des Einstellungsmodells als Reaktion darauf, dass die Autokorrelation unter einem Schwellenwert liegt.
Gemäß einer Ausführungsform ist die mathematische Funktion eine Differenz aus dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Ausgeben einer Benachrichtigung, das Fahrzeug zu warten, bei Bestimmen, dass das modifizierte Einstellungsmodell die optischen Daten nicht genauer einstellt als das unmodifizierte Einstellungsmodell.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Ausgeben einer Benachrichtigung, das Fahrzeug zu warten, bei Identifizieren eines Änderungspunktes für eine mathematische Funktion des gemessenen zweiten Wertes.
Gemäß einer Ausführungsform ist die mathematische Funktion eine Differenz aus dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Filtern einer Vielzahl von Bedingungen aus den optischen Daten vor dem Messen des ersten Wertes.
Gemäß einer Ausführungsform ist der optische Sensor eines von einer Kamera, einem Radar oder einem LIDAR.
Gemäß einer Ausführungsform ist der optische Sensor eine erste Kamera eines Paars von Stereokameras, das die erste Kamera und eine zweite Kamera beinhaltet, und sind der erste Wert und der zweite Wert mathematische Funktionen einer Disparitätskarte von Bilddaten von den Stereokameras.
Gemäß der vorliegenden Erfindung ist ein Fahrzeug bereitgestellt, das Folgendes aufweist: eine Karosserie; einen optischen Sensor, der fest an der Karosserie montiert ist; und einen Computer, der kommunikativ an den optischen Sensor gekoppelt ist; wobei der Computer zu Folgendem programmiert ist: Empfangen von optischen Daten von einem optischen Sensor eines Fahrzeugs; Einstellen der optischen Daten unter Verwendung eines Einstellungsmodells; Messen eines ersten Wertes aus den optischen Daten über eine Dauer, wobei der erste Wert zeitlich variiert und aus den optischen Daten pro Zeitschritt aggregiert ist; Prognostizieren eines zweiten Wertes aus den optischen Daten über die Dauer auf Grundlage des ersten Wertes, wobei der zweite Wert zeitlich variiert und aus den optischen Daten pro Zeitschritt aggregiert ist; Messen des zweiten Wertes aus den optischen Daten über die Dauer; und Modifizieren des Einstellungsmodells unter Verwendung des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes.

Claims

Verfahren: Empfangen von optischen Daten von einem optischen Sensor eines Fahrzeugs; Einstellen der optischen Daten unter Verwendung eines Einstellungsmodells; Messen eines ersten Wertes aus den optischen Daten über eine Dauer, wobei der erste Wert zeitlich variiert und aus den optischen Daten pro Zeitschritt aggregiert ist; Prognostizieren eines zweiten Wertes aus den optischen Daten über die Dauer auf Grundlage des ersten Wertes, wobei der zweite Wert zeitlich variiert und aus den optischen Daten pro Zeitschritt aggregiert ist; Messen des zweiten Wertes aus den optischen Daten über die Dauer; und Modifizieren des Einstellungsmodells unter Verwendung des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes.
Verfahren nach Anspruch 1, ferner umfassend Empfangen von Bewegungsdaten von einem Bewegungssensor des Fahrzeugs über die Dauer, wobei das Einstellen der optischen Daten unter Verwendung des Einstellungsmodells auf den Bewegungsdaten basiert.
Verfahren nach Anspruch 2, wobei das Modifizieren des Einstellungsmodells auf den Bewegungsdaten basiert.
Verfahren nach Anspruch 3, ferner umfassend Bestimmen einer Art eines Ereignisses, das sich auf den optischen Sensor auswirkt, auf Grundlage der Bewegungsdaten, des prognostizierten zweiten Wertes und des gemessenen zweiten Wertes, wobei das Modifizieren des Einstellungsmodells auf der Art des Ereignisses basiert.
Verfahren nach Anspruch 4, wobei die Art des Ereignisses auf einer Korrelation zwischen den Bewegungsdaten und einer mathematischen Funktion des gemessenen zweiten Wertes basiert.
Verfahren nach Anspruch 1, wobei das Einstellungsmodell ein Modell einer Bewegung des optischen Sensors bezogen auf das Fahrzeug ist, die sich aus einer Bewegung des Fahrzeugs ergibt.
Verfahren nach Anspruch 1, wobei der zweite Werte eine größere Empfindlichkeit gegenüber einer Bewegung des Fahrzeugs aufweist als der erste Wert.
Verfahren nach Anspruch 1, wobei das Modifizieren des Einstellungsmodells unter Verwendung einer Differenz aus dem gemessenen zweiten Wert und dem prognostizierten zweiten Wert durchgeführt wird.
Verfahren nach Anspruch 1, ferner umfassend Durchführen einer Autokorrelation an einer mathematischen Funktion des gemessenen zweiten Wertes und Unterlassen des Modifizierens des Einstellungsmodells als Reaktion darauf, dass die Autokorrelation unter einem Schwellenwert liegt.
Verfahren nach Anspruch 1, ferner umfassend Ausgeben einer Benachrichtigung, das Fahrzeug zu warten, bei Bestimmen, dass das modifizierte Einstellungsmodell die optischen Daten nicht genauer einstellt als das unmodifizierte Einstellungsmodell.
Verfahren nach Anspruch 1, ferner umfassend Ausgeben einer Benachrichtigung, das Fahrzeug zu warten, bei Identifizieren eines Änderungspunktes für eine mathematische Funktion des gemessenen zweiten Wertes.
Verfahren nach Anspruch 1, wobei der optische Sensor eines von einer Kamera, einem Radar oder einem LIDAR ist.
Verfahren nach Anspruch 1, wobei der optische Sensor eine erste Kamera eines Paars von Stereokameras ist, das die erste Kamera und eine zweiten Kamera beinhaltet, und der erste Wert und der zweite Wert mathematische Funktionen einer Disparitätskarte von Bilddaten von den Stereokameras sind.
Computer, der einen Prozessor und einen Speicher umfasst, auf dem Anweisungen gespeichert sind, die durch den Prozessor ausführbar sind, um das Verfahren nach einem der Ansprüche 1-13 durchzuführen.
Fahrzeug, umfassend: eine Karosserie; einen optischen Sensor, der fest an der Karosserie montiert ist; und den Computer nach Anspruch 14, der kommunikativ an den optischen Sensor gekoppelt ist.