DE102019121521A1

DE102019121521A1 - Videostabilisierung

Info

Publication number: DE102019121521A1
Application number: DE102019121521.8A
Authority: DE
Inventors: Enrique Corona; Stephen Giardinelli; Bruno Sielly Jales Costa; Mostafa Parchami; Gintaras Vincent Puskorius
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2018-08-09
Filing date: 2019-08-09
Publication date: 2020-02-13
Also published as: CN110830711A; US10616486B2; US20200053286A1

Abstract

Diese Offenbarung stellt Videostabilisierung bereit. Ein Rechensystem kann einen stabilisierten Bildstrom empfangen, wobei der stabilisierte Bildstrom driftkorrigiert ist, basierend auf dem Bestimmen, dass ein Eingabebildstrom stabil ist, und dann Anwenden einer Driftkorrektur zum Beibehalten eines stabilisierten Sichtfeldes, wobei das Sichtfeld in Bezug auf die reale Welt stabilisiert ist. Das Rechensystem kann ein Fahrzeug basierend auf dem Bestimmen mindestens eines sich bewegenden Objektes in dem stabilisierten Bildstrom betreiben.

Description

GEBIET DER TECHNIK
Die Offenbarung betrifft im Allgemeinen Fahrzeugsensoren und insbesondere die Bild- und Videostabilisierung für Fahrzeugsensoren.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Informationen bezüglich der Umgebung des Fahrzeugs zu erlangen und das Fahrzeug basierend auf den Informationen zu betreiben. Der sichere und komfortable Betrieb des Fahrzeugs kann vom Erlangen genauer und rechtzeitiger Informationen bezüglich der Umgebung des Fahrzeugs abhängen. Fahrzeugsensoren können Daten hinsichtlich zu fahrenden Routen und Objekten bereitstellen, denen in der Umgebung des Fahrzeugs auszuweichen ist. Der sichere und effiziente Betrieb des Fahrzeugs kann vom Erlangen genauer und rechtzeitiger Informationen bezüglich Routen und Objekten in einer Umgebung des Fahrzeugs abhängig sein, während das Fahrzeug auf einer Fahrbahn betrieben wird.
KURZDARSTELLUNG
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Mit einem halb- oder vollautonomen Modus ist ein Betriebsmodus gemeint, bei dem ein Fahrzeug durch eine Rechenvorrichtung als Teil eines Fahrzeuginformationssystems gesteuert werden kann, das Sensoren und Steuerungen aufweist. Das Fahrzeug kann besetzt oder unbesetzt sein, jedoch kann das Fahrzeug in beiden Fällen ohne die Unterstützung eines Insassen gesteuert werden. Im Rahmen dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, bei dem Antrieb (z. B. über einen Antriebsstrang, der eine Brennkraftmaschine und/oder einen Elektromotor beinhaltet), Bremsung und Lenkung eines Fahrzeugs jeweils durch einen oder mehrere Fahrzeugcomputer gesteuert werden; in einem halbautonomen Modus steuert der bzw. steuern die Fahrzeugcomputer eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs. Bei einem nichtautonomen Fahrzeug wird nichts davon durch einen Computer gesteuert.
Eine Rechenvorrichtung in einem Fahrzeug kann dazu programmiert sein, Daten bezüglich der äußeren Umgebung eines Fahrzeugs zu erlangen und die Daten zu verwenden, um ein Bewegungsbahnen zu bestimmen, die zu verwenden sind, um ein Fahrzeug in einem autonomen oder halbautonomen Modus zu betreiben, wobei zum Beispiel die Rechenvorrichtung Informationen an Steuerungen bereitstellen kann, um das Fahrzeug auf einer Fahrbahn im Verkehr, an dem andere Fahrzeuge beteiligt sind, zu betreiben. Basierend auf Sensordaten kann eine Rechenvorrichtung sich bewegende Objekte, einschließlich Fahrzeugen und Fußgängern in der Nähe eines Fahrzeugs, bestimmen und ein Fahrzeug basieren auf den sich bewegenden Objekten betreiben. Zum Beispiel kann eine Rechenvorrichtung sich bewegende Objekte in der Nähe eines Fahrzeugs erkennen und identifizieren und basierend auf dem Erkennen und dem Identifizieren von sich bewegenden Objekten zu einer Vielzahl von Zeiträumen eine Bahngeschwindigkeit, einschließlich Geschwindigkeit und Richtung, für die sich bewegenden Objekte bestimmen. Somit profitiert die Rechenvorrichtung von einer verbesserten Genauigkeit beim Analysieren von Sensordaten, z. B. Bilddaten, und beim Identifizieren und Bestimmen von Bewegungsbahnen sich bewegender Objekte.
In dieser Schrift wird ein Verfahren offenbart, einschließlich Empfangen eines Videodatenstroms beinhaltet, wobei der Videodatenstrom driftkorrigiert ist, basierend auf dem Bestimmen, dass ein Eingabevideodatenstrom stabil ist, und dann Anwenden einer Driftkorrektur zum Beibehalten eines stabilisierten Sichtfeldes, wobei das Sichtfeld in Bezug auf Koordinaten der realen Welt stabilisiert ist, und Betreiben eines Fahrzeugs basierend auf dem Bestimmen mindestens eines sich bewegenden Objektes in einem stabilisierten Bildstrom. Wann der Eingabevideodatenstrom stabil ist, kann basierend auf dem Bestimmen einer Exzentrizität ε_k zu einem Zeitpunkt k und dem Vergleichen der Exzentrizität ε_k mit einem empirisch bestimmten Schwellenwert bestimmt werden, wobei die Exzentrizität ε_k eine Rate misst, mit der sich Datenpunkte, die einer Pixelposition x_k des Eingabebildstroms zugeordnet sind, als eine Funktion des Zeitpunkts k ändern. Die Exzentrizität ε_k kann auf rekursiver Verarbeitung des Videodatenstroms basierend auf einer empirisch bestimmten Konstante α, einem Datenpunkt des Eingabevideodatenstroms zum Zeitpunkt k x_k, einem Mittelwert von x_k zum Zeitpunkt k µ_k und einer Varianz von x_k zum Zeitpunkt k $σ_{k}^{2}$
basieren. Das sich bewegende Objekt kann in dem stabilisierten Videodatenstrom basierend auf dem Bestimmen der Exzentrizität ε_k und dem Vergleichen der Exzentrizität ε_k mit einer zu α proportionalen Konstante bestimmt werden. Die Exzentrizität ε_k kann basierend auf rekursivem Aktualisieren des Mittelwerts µ_k basierend auf einem vorherigen Mittelwert µ_k-1 und gewichteten Videodatenstrom-Datenpunkten αx_k, die älteren Videodatenstrom-Datenpunkten x_k sich verringernde Gewichtungen zuweisen, bestimmt werden.
Die Exzentrizität ε_k kann basierend auf rekursiver Aktualisierung der Varianz $σ_{k}^{2}$
für Videodatenstrom-Datenpunkte basierend auf der Konstante α, dem Eingabevideodatenstrom-Datenpunkt x_k und dem Mittelwert µ_k bestimmt werden. Das Betreiben des Fahrzeugs basierend auf dem Bestimmen mindestens eines sich bewegenden Objekts in dem Videodatenstrom kann das Bestimmen einer 3D-Position des sich bewegenden Objekts in Bezug auf das Fahrzeug beinhalten.
Der Videodatenstrom kann durch eine stationäre Videokamera erlangt werden und das Bestimmen der 3D-Position des sich bewegenden Objektes in Bezug auf das Fahrzeug beinhaltet das Bestimmen einer Position und einer Richtung der stationären Videokamera in Bezug auf das Fahrzeug. Das Bestimmen einer Position und einer Richtung der stationären Videokamera in Bezug auf das Fahrzeug kann das Bestimmen einer 3D-Stellung der stationären Videokamera beinhalten. Mindestens ein sich bewegendes Objekt kann in einem stabilisierten Bildstrom basierend auf dem Lokalisieren des sich bewegenden Objektes in einer kognitiven Karte bestimmt werden. Die kognitive Karte kann basierend auf der Position des Fahrzeugs, Kartendaten, Fahrzeugsensordaten und den sich bewegenden Objekten bestimmt werden. Das Fahrzeug kann basierend auf einem Pfadpolynom basierend auf der kognitiven Karte betrieben werden. Der Videodatenstrom kann durch eine in dem Fahrzeug beinhaltete Videokamera erlangt werden. Das Fahrzeug kann durch Steuern von Lenken, Bremsen und Antriebsstrang des Fahrzeugs betrieben werden.
Ferner wird ein computerlesbares Medium offenbart, auf dem Programmanweisungen zum Ausführen einiger oder sämtlicher der vorstehenden Verfahrensschritte gespeichert sind. Ferner wird ein Computer offenbart, der zum Ausführen einiger oder sämtlicher der vorstehenden Verfahrensschritte programmiert ist, einschließlich einer Computervorrichtung, die dazu programmiert ist, einen Videodatenstrom zu empfangen, wobei der Videodatenstrom driftkorrigiert ist, basierend auf dem Bestimmen, dass ein Eingabevideodatenstrom stabil ist, und dann Anwenden einer Driftkorrektur zum Beibehalten eines stabilisierten Sichtfeldes, wobei das Sichtfeld in Bezug auf Koordinaten der realen Welt stabilisiert ist, und ein Fahrzeug basierend auf dem Bestimmen mindestens eines sich bewegenden Objektes in einem stabilisierten Bildstrom zu betreiben. Wann der Eingabevideodatenstrom stabil ist, kann basierend auf dem Bestimmen einer Exzentrizität ε_k zu einem Zeitpunkt k und dem Vergleichen der Exzentrizität ε_k mit einem empirisch bestimmten Schwellenwert bestimmt werden, wobei die Exzentrizität ε_k eine Rate misst, mit der sich Datenpunkte, die einer Pixelposition x_k des Eingabebildstroms zugeordnet sind, als eine Funktion des Zeitpunkts k ändern. Die Exzentrizität ε_k kann auf rekursiver Verarbeitung des Videodatenstroms basierend auf einer empirisch bestimmten Konstante α, einem Datenpunkt des Eingabevideodatenstroms zum Zeitpunkt k x_k, einem Mittelwert von x_k zum Zeitpunkt k µ_k und einer Varianz von x_k zum Zeitpunkt k $σ_{k}^{2}$
basieren. Das sich bewegende Objekt kann in dem stabilisierten Videodatenstrom basierend auf dem Bestimmen der Exzentrizität ε_k und dem Vergleichen der Exzentrizität ε_k mit einer zu α proportionalen Konstante bestimmt werden. Die Exzentrizität ε_k kann basierend auf rekursivem Aktualisieren des Mittelwerts µ_k basierend auf einem vorherigen Mittelwert µ_k-1 und gewichteten Videodatenstrom-Datenpunkten αx_k, die älteren Videodatenstrom-Datenpunkten x_k sich verringernde Gewichtungen zuweisen, bestimmt werden.
Die Computervorrichtung kann ferner dazu programmiert sein, die Exzentrizität ε_k basierend auf rekursivem Aktualisieren der Varianz $σ_{k}^{2}$
für Videodatenstrom-Datenpunkte basierend auf der Konstante α, dem Eingabevideodatenstrom-Datenpunkt x_k und dem Mittelwert µ_k zu bestimmen. Das Betreiben des Fahrzeugs basierend auf dem Bestimmen mindestens eines sich bewegenden Objekts in dem Videodatenstrom kann das Bestimmen einer 3D-Position des sich bewegenden Objekts in Bezug auf das Fahrzeug beinhalten. Der Videodatenstrom kann durch eine stationäre Videokamera erlangt werden und das Bestimmen der 3D-Position des sich bewegenden Objektes in Bezug auf das Fahrzeug beinhaltet das Bestimmen einer Position und einer Richtung der stationären Videokamera in Bezug auf das Fahrzeug. Das Bestimmen einer Position und einer Richtung der stationären Videokamera in Bezug auf das Fahrzeug kann das Bestimmen einer 3D-Stellung der stationären Videokamera beinhalten. Mindestens ein sich bewegendes Objekt kann in einem stabilisierten Bildstrom basierend auf dem Lokalisieren des sich bewegenden Objektes in einer kognitiven Karte bestimmt werden. Die kognitive Karte kann basierend auf der Position des Fahrzeugs, Kartendaten, Fahrzeugsensordaten und den sich bewegenden Objekten bestimmt werden. Das Fahrzeug kann basierend auf einem Pfadpolynom basierend auf der kognitiven Karte betrieben werden. Der Videodatenstrom kann durch eine in dem Fahrzeug beinhaltete Videokamera erlangt werden. Das Fahrzeug kann durch Steuern von Lenken, Bremsen und Antriebsstrang des Fahrzeugs betrieben werden.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Verkehrsinfrastruktursystems.
2 ist ein Diagramm einer beispielhaften stationären Videokamera.
3 ist ein Diagramm einer beispielhaften kognitiven Karte einschließlich sich bewegender Objekte, die durch eine stationäre Videokamera erlangt wurde.
4 ist ein Diagramm von vier beispielhaften Videobildern und einem zusammengesetzten Videobild.
5 ist ein Diagramm von zwei beispielhaften Graphen der Vibration einer stationären Videokamera.
6 ist ein Diagramm eines beispielhaften Graphen der Vibration einer stationären Videokamera.
7 ist ein Diagramm von zwei beispielhaften Graphen der Vibration einer stationären Videokamera.
8 ist ein Diagramm von drei beispielhaften Graphen einer normierten Exzentrizität und der Vibration einer stationären Videokamera.
9 ist ein Diagramm eines beispielhaften Graphen der Vibration einer stationären Videokamera.
10 ist ein Diagramm eines beispielhaften Prozesses zum Stabilisieren der Ausgabe einer stationären Videokamera.
11 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Betreiben eines Fahrzeugs basierend auf einer stabilisierten Ausgabe der stationären Videokamera.

DETAILLIERTE BESCHREIBUNG
1 ist eine Darstellung eines Verkehrsinfrastruktursystems 100, das ein Fahrzeug 110 beinhaltet, welches in einem autonomen („autonom“ bedeutet in dieser Offenbarung alleinstehend „vollständig autonom“) und einem von einem Insassen gesteuerten (auch als nichtautonom bezeichneten) Modus betrieben werden kann. Das Fahrzeug 110 beinhaltet zudem eine oder mehrere Rechenvorrichtungen 115 zum Durchführen von Berechnungen zum Steuern des Fahrzeug 110 während des autonomen Betriebs. Die Rechenvorrichtungen 115 können Informationen hinsichtlich des Betriebs des Fahrzeugs von Sensoren 116 empfangen.
Der Rechenvorrichtung 115 kann das Fahrzeug 110 in einem autonomen Modus, einem halbautonomen Modus oder einem nichtautonomen Modus betreiben. Zum Zwecke dieser Offenbarung ist ein autonomer Modus als einer definiert, in dem jedes von Antrieb, Bremsung und Lenkung des Fahrzeugs 110 durch die Rechenvorrichtung gesteuert wird; in einem halbautonomen Modus steuert die Rechenvorrichtung 115 eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs 110; in einem nicht autonomen Modus steuert ein menschlicher Bediener den Antrieb, die Bremsung und die Lenkung des Fahrzeugs.
Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie diese bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Arten von computerlesbaren Medien und hat Anweisungen gespeichert, die durch den Prozessor ausführbar sind, um verschiedene Operationen durchzuführen, zu denen die in dieser Schrift offenbarten gehören. Zum Beispiel kann die Rechenvorrichtung 115 Programmierung beinhalten, um eines oder mehrere von Bremsung, Antrieb (z. B. Steuerung der Beschleunigung in dem Fahrzeug 110 durch Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, Hybridmotor usw.), Lenkung, Klimasteuerung, Innen- und/oder Außenleuchten usw. des Fahrzeugs zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Fahrzeugführer derartige Operationen steuern soll.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung beinhalten, z.B. Steuerungen oder dergleichen, die zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten in dem Fahrzeug 110 enthalten sind, z.B. eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113, eine Lenksteuerung 114 usw., oder z. B. über einen Fahrzeugkommunikationsbus, wie nachfolgend beschrieben, kommunikativ an diese gekoppelt sein. Die Rechenvorrichtung 115 ist im Allgemeinen zur Kommunikation über ein Fahrzeugkommunikationsnetzwerk ausgelegt, das z. B. einen Bus in dem Fahrzeug 110, wie etwa ein Controller Area Network (CAN) oder dergleichen, beinhaltet; das Netzwerk des Fahrzeugs 110 kann zusätzlich oder alternativ dazu drahtgebundene oder drahtlose Kommunikationsmechanismen beinhalten, wie sie bekannt sind, z. B. Ethernet oder andere Kommunikationsprotokolle.
Über das Fahrzeugnetzwerk kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug senden und/oder Nachrichten von den verschiedenen Vorrichtungen, z. B. Steuerungen, Aktoren, Sensoren usw., einschließlich der Sensoren 116, empfangen. Alternativ oder zusätzlich dazu kann in Fällen, in denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetzwerk zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen oder Erfassungselemente, wie etwa die Sensoren 116, Daten an die Rechenvorrichtung 115 über das Fahrzeugkommunikationsnetzwerk bereitstellen.
Außerdem kann die Rechenvorrichtung 115 zur Kommunikation durch eine Fahrzeug-Infrastruktur-Schnittstelle (F-I-Schnittstelle) 111 mit einem Remote-Servercomputer 120, z. B. einem Cloud-Server, über ein Netzwerk 130 konfiguriert sein, die, wie nachstehend beschrieben, Hardware, Firmware und Software beinhaltet, die es der Rechenvorrichtung 115 ermöglichen, mit einem Remote-Servercomputer 120 über ein Netzwerk 130, wie etwa drahtlose Internet- (Wi-Fi-) oder Mobilfunknetzwerke, zu kommunizieren. Die F-I-Schnittstelle 111 kann demnach Prozessoren, Speicher, Sendeempfänger usw. beinhalten, die dazu konfiguriert sind, verschiedene drahtgebundene und/oder drahtlose Netzwerktechniken, z. B. Mobilfunk, BLUETOOTH® und drahtgebundene und/oder drahtlose Paketnetzwerke, zu nutzen. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 über die F-I-Schnittstelle 111 unter Verwendung von Fahrzeug-Fahrzeug-Netzwerken (F-F-Netzwerken) z. B. gemäß dedizierter Nahbereichskommunikation (Dedicated Short Range Communications - DSRC) und/oder dergleichen konfiguriert sein, die z. B. ad hoc zwischen Fahrzeugen 110 in der Nähe gebildet werden oder über infrastrukturbasierte Netzwerke gebildet werden. Die Rechenvorrichtung 115 beinhaltet zudem nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Informationen protokollieren, indem sie die Informationen zum späteren Abrufen und Übertragen über das Fahrzeugkommunikationsnetzwerk und eine Fahrzeug-Infrastruktur-Schnittstelle (F-I-Schnittstelle) 111 an einen Servercomputer 120 oder eine mobile Benutzervorrichtung 160 in nichtflüchtigem Speicher speichert.
Wie bereits erwähnt, ist in Anweisungen, die in dem Speicher gespeichert sind und durch den Prozessor der Rechenvorrichtung 115 ausgeführt werden können, im Allgemeinen Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsung, Lenkung, Antrieb usw., ohne Eingreifen eines menschlichen Fahrzeugführers enthalten. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. den Sensordaten von den Sensoren 116, dem Servercomputer 120 usw., kann die Rechenvorrichtung 115 ohne einen Fahrer zum Betreiben des Fahrzeugs 110 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Operationen des Fahrzeugs 110 steuern. Beispielsweise kann die Rechenvorrichtung 115 Programmierung zum Regulieren des Betriebsverhaltens des Fahrzeugs 110 (d. h. physischer Manifestationen des Betriebs des Fahrzeugs 110), wie etwa Geschwindigkeit, Beschleunigung, Bremsung, Lenkung usw., sowie des taktischen Verhaltens (d. h. Steuerung des Betriebsverhaltens typischerweise auf eine Weise, mit der eine sichere und effiziente Zurücklegung einer Route erreicht werden soll), wie etwa einem Abstand zwischen Fahrzeugen und/oder einer Zeitdauer zwischen Fahrzeugen, Fahrstreifenwechsel, eines Mindestabstands zwischen Fahrzeugen, eines minimalen Linksabbiegewegs, einer Zeit bis zur Ankunft an einem bestimmten Standort und eine minimale Zeit bis zur Ankunft an einer Kreuzung (ohne Ampel) zum Überqueren der Kreuzung, beinhalten.
Im vorliegenden Zusammenhang beinhaltet der Ausdruck Steuerungen Rechenvorrichtungen, die typischerweise zum Steuern eines bestimmten Fahrzeugteilsystems programmiert sind. Beispiele beinhalten eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Bei einer Steuerung kann es sich um eine elektronische Steuereinheit (electronic control unit - ECU), wie sie bekannt ist, handeln, die potenziell eine zusätzliche Programmierung, wie in dieser Schrift beschrieben, beinhaltet. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und Anweisungen von dieser empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Zum Beispiel kann die Bremssteuerung 113 Anweisungen zum Betreiben der Bremsen des Fahrzeugs 110 von der Rechenvorrichtung 115 empfangen.
Die eine oder mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECUs) oder dergleichen beinhalten, zu denen als nicht einschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114 gehören. Jede der Steuerungen 112, 113, 114 kann entsprechende Prozessoren und Speicher und einen oder mehrere Aktoren beinhalten. Die Steuerungen 112, 113, 114 können mit einem Kommunikationsbus des Fahrzeugs 110 programmiert und verbunden sein, wie etwa einem Controller-Area-Network(CAN)-Bus oder Local-Interconnect-Network(LIN)-Bus, um Anweisungen von dem Computer 115 zu empfangen und Aktoren basierend auf den Anweisungen zu steuern.
Die Sensoren 116 können eine Vielfalt an Vorrichtungen beinhalten, die bekanntlich Daten über den Fahrzeugkommunikationsbus bereitstellen. Zum Beispiel kann ein Radar, das an einem vorderen Stoßfänger (nicht gezeigt) des Fahrzeugs 110 befestigt ist, einen Abstand des Fahrzeugs 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen oder kann ein Sensor des globalen Positionsbestimmungssystems (GPS), der in dem Fahrzeug 110 angeordnet ist, geographische Koordinaten des Fahrzeugs 110 bereitstellen. Der/die durch das Radar und/oder die anderen Sensoren 116 bereitgestellte(n) Abstand/Abstände und/oder die durch den GPS-Sensor bereitgestellten geografischen Koordinaten können durch die Rechenvorrichtung 115 verwendet werden, um das Fahrzeug 110 autonom oder halb autonom zu betreiben.
Das Fahrzeug 110 ist im Allgemeinen ein landbasiertes Fahrzeug 110, das zu einem autonomen und/oder halbautonomen Betrieb in der Lage ist und drei oder mehr Räder aufweist, z. B. ein Personenkraftwagen, ein Leicht-LKW usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die F-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114. Die Sensoren 116 können Daten bezüglich des Fahrzeugs 110 und der Umgebung, in der das Fahrzeug 110 betrieben wird, sammeln. Beispielsweise können zu den Sensoren 116 u.a. Höhenmesser, Kameras, LIDAR, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hall-Effekt-Sensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren, wie etwa Schalter, usw. gehören. Die Sensoren 116 können dazu verwendet werden, die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben wird; z. B. können die Sensoren 116 Phänomene, wie etwa Wetterbedingungen (Niederschlag, äußere Umgebungstemperatur usw.), die Neigung einer Straße, die Position einer Straße (z. B. anhand von Straßenrändern, Fahrstreifenmarkierungen usw.) oder Positionen von Zielobjekten, wie z.B. benachbarten Fahrzeugen 110, erfassen. Die Sensoren 116 können ferner verwendet werden, um Daten, einschließlich dynamischer Daten des Fahrzeugs 110, die sich auf den Betrieb des Fahrzeugs 110 beziehen, wie etwa Geschwindigkeit, Gierrate, Lenkwinkel, Motordrehzahl, Bremsdruck, Öldruck, den auf die Steuerungen 112, 113, 114 im Fahrzeug 110 angewandten Leistungspegel, Konnektivität zwischen Komponenten und genaue und rechtzeitige Durchführung der Komponenten des Fahrzeugs 110, zu sammeln.
2 ist ein Diagramm eines beispielhaften Farbbildes 200 einer Verkehrsszene, die zur Einhaltung von 37 C.F.R. §1.84(a)(1) in schwarz-weiß dargestellt sind. Dieses beispielhafte Farbbild 200 beinhaltet eine Fahrbahn 202 und Verkehrsobjekte 204. Die Verkehrsobjekte können Fahrzeuge, Fußgänger, Fahrräder, Tiere oder Schutt usw. beinhalten. Das Farbbild 200 beinhaltet zudem eine stationäre Videokamera 206, die an einem Pfosten 208 oder einer beliebigen anderen Struktur, einschließlich Ampeln oder Gebäuden, montiert sein kann. Die stationäre Videokamera 206 weist eine Linse 210 mit einem Sichtfeld 214, das durch gepunktete Linien dargestellt ist, und eine optische Achse 212 auf, die durch eine gestrichelte Linie dargestellt ist. Das Sichtfeld 214 kann durch eine Vergrößerungslinse 210 in Kombination mit einer optischen Achse 212, die als eine Richtung im 3D-Raum definiert ist, welche sich an einer 3D-Positon eines optischen Zentrums der Linse 210 befindet, dargestellt sein. Die optische Achse 212 kann das Zentrum im 3D-Raum des Sichtfeldes 214 darstellen.
Das Sichtfeld 214 bestimmt den Abschnitt des 3D-Raums, der in einem Bild, d. h. einem digitalen Bild, durch die stationäre Videokamera 206 aufgenommen wird, und dadurch als Farbvideobild durch die stationäre Videokamera 206 erlangt wird. Die 3D-Position und -Stellung der stationären Videokamera 206 kann empirisch bestimmt werden, wobei die 3D-Position durch x-, y-, z-Koordinaten in Bezug auf Breitengrad, Längengrad und Höhenlage definiert ist und die Stellung durch ρ-, ϕ-, θ-Drehwinkel in Bezug auf durch Längengrad, Breitengrad und Höhenlage definierte Achsen definiert ist. Basierend auf der Bestimmung der 3D-Position und -Stellung der stationären Videokamera 206 kann das Sichtfeld 214 bestimmt werden.
Da das Sichtfeld 214 der stationären Videokamera 206 sich nicht ändert, können beispielsweise 3D-Abstände in der realen Welt von der stationären Videokamera 206 zu Hintergrundpositionen in der realen Welt bestimmt werden, in dem die 3D-Position von Objekten in der realen Welt physikalisch gemessen werden, wie etwa Fahrbahnen, die in einem Farbvideobild dargestellt sind, das durch die stationäre Videokamera 206 erlangt wurde. Andere Techniken zum Bestimmen von 3D-Positionen von Objekten in der realen Welt beinhalten Fotogrammetrie, bei der eine a-priori-Information hinsichtlich der Größe eines Objektes dazu verwendet werden kann, die 3D-Position des Objektes in der realen Welt in Bezug auf die stationäre Videokamera zu bestimmen. Sobald die 3D-Positionen von Objekten in der realen Welt innerhalb des Sichtfeldes der stationären Videokamera 206 bestimmt sind, können die 3D-Positionen beispielsweise Pixelkoordinaten (i, j) in einem Farbvideobild zugewiesen werden. Die 3D-Positionsinformationen können in einer Rechenvorrichtung gespeichert werden, die in einem Verkehrsinfrastruktursystem 100 beinhaltet ist.
Die stationäre Videokamera 206 kann Teil des Verkehrsinfrastruktursystems 100 sein. Ein „Verkehrsinfrastruktursystem“ beinhaltet im vorliegenden Zusammenhang in dieser Schrift ein Netzwerk von Rechenvorrichtungen und Sensoren, die Daten hinsichtlich des Fahrzeugverkehrs in Gebieten erlangen, die Fahrbahnen und Abschnitte von Fahrbahnen beinhalten, und mit Fahrzeugen, die zu dem Fahrzeugverkehr gehören, kommunizieren. Ein Verkehrsinfrastruktursystem 100 kann Kommunikationsnetzwerke und Rechenvorrichtungen beinhalten, die beispielsweise den Fahrzeugverkehr in Gebieten, wie etwa Städten, Wohngebieten, Bezirken oder auf Autobahnen, überwachen und regeln. Ein Verkehrsinfrastruktursystem 100 kann Sensoren, wie etwa die stationäre Videokamera 206, beinhalten, um Videodaten vom Verkehr aufzuzeichnen und die Videodaten zu verarbeiten und sie beispielsweise an Rechenvorrichtungen übertragen, die in Kommunikation mit vielen stationären Videokameras 206 stehen, welche die Videodaten vom Verkehr zum Bestimmen von Verkehrsmustern und -raten verwenden können. Das Verkehrsinfrastruktursystem 100 kann zudem eine drahtlose Kommunikationsausrüstung beinhalten, die dem Verkehrsinfrastruktursystem 100 erlaubt, Ad-hoc-Netzwerke mit einem Fahrzeug 110 basierend auf der Position in einem durch das Verkehrsinfrastruktursystem definierten geografischen Gebiet zu bilden. Ein Verkehrsinfrastruktursystem 100 kann beispielsweise eine Vielzahl von Sende- und Empfangsstationen beinhalten und kann die Ad-hoc-Netzwerke auf dieselbe Art und Weise verwalten, wie Mobilfunktelefonnetzwerke Mobiltelefonkommunikationen verwalten. Zum Beispiel kann ein Verkehrsinfrastruktursystem 100 Kommunikationen von einem Server 120 mit einem Fahrzeug 110 unter Verwendung der F-I-Schnittstelle 111 immer dann, wenn sich das Fahrzeug 110 innerhalb der Reichweite des Verkehrsinfrastruktursystems 100 befand, beinhalten, z. B. Kommunikationselemente, die in dem Netzwerk 130 beinhaltet sind, wobei „innerhalb der Reichweite“ als das Gebiet definiert ist, in dem das Fahrzeug 110 ein verwendbares Signal von einem Sendeempfänger des Verkehrsinfrastruktursystems 100 empfangen kann. Derartige Kommunikationen können gemäß dem Protokoll für dedizierte Nahbereichskommunikation und/oder dergleichen erfolgen.
Die stationäre Videokamera 206 kann einen Farbvideodatenstrom erlangen, der Farbvideobilder von Verkehrsszenen in einem Sichtfeld 214 beinhaltet. Zum Beispiel kann ein Farbvideodatenstrom verarbeitet werden, um Vorder- und Hintergrundobjekte und -regionen in einem Farbvideodatenstrom zu bestimmen und als ein Bild auszugeben, das als Vordergrund identifizierte Regionen und als Hintergrund identifizierte Regionen beinhaltet, wobei es sich bei einer Hintergrundregion um einen Abschnitt des Bildes handelt, der Pixelpositionen beinhaltet, bei denen sich die Pixelwerte von Farbvideobild zu Farbvideobild, die in dem Videodatenstrom beinhaltet sind, nicht ändern. Vordergrundregionen beinhalten Pixelpositionen, bei denen sich die Pixelwerte von Farbvideobild zu Farbvideobild in dem Videodatenstrom ändern.
Das Bestimmen von Vorder- und Hintergrundobjekten in einem Farbvideobild 300 kann durch ein Verkehrsinfrastruktursystem 100 für eine Vielfalt an Aufgaben verwendet werden, einschließlich beispielsweise Verkehrsflussanalyse, Verfolgung von Fußgängern und Betrieb des Fahrzeugs 110. Vorder- und Hintergrundobjekte in einem Farbvideobild 300 können bestimmt werden, indem ein erstes Farbvideobild 300 an einer Rechenvorrichtung 115 erlangt und gespeichert wird. Ein zweites Farbvideobild 300 kann erlangt werden und das erste Farbvideobild 300 kann von dem zweiten Farbvideobild 300 subtrahiert werden. Das Subtraktionsergebnis enthält Nullen an Pixelpositionen, an denen sich die Daten zwischen dem ersten und dem zweiten Farbvideobild 300 nicht geändert haben, und Nicht-null-Werte an Pixelpostionen, die sich geändert haben. Die Nicht-null-Werte werden durch die Bewegung von Vordergrundobjekten in dem zweiten Farbvideobild 300 verursacht, was zu Nicht-null-Werten führt. Sich nicht bewegende oder Hintergrundobjekte werden aus dem Ergebnisbild heraussubtrahiert, wodurch nur die Vordergrundobjekte zurückbleiben, die durch verbundene Regionen von Nicht-null-Pixeln gebildet werden.
Eine einfache Hintergrundsubtraktion kann Vordergrundpixel von Hintergrundpixeln trennen; aber sich ändernde Lichtstärken und andere Änderung beim Erscheinungsbild des Hintergrunds können es erfordern, ein neues Hintergrundbild zu erlangen. Zu wissen, wann ein neues Hintergrundbild zu erlangen ist, kann schwierig sein, wenn die Szene beispielsweise sich bewegende Fahrzeuge beinhaltet. Andere Techniken für den Vordergrund/Hintergrund können sich auf Schwellenwerte oder andere empirisch bestimmte Parameter stützen, die eine Einstellung zum Nachverfolgen von sich ändernden Bedingungen erfordern. Die in dieser Schrift erörterten Techniken berechnen eine Exzentrizität ε der Pixel eines Stroms von Farbvideobildern und bestimmen dadurch Vorder- und Hintergrundpixel in einem Ergebnisbild, das aus dem Strom von Farbvideobildern abgeleitet ist, ohne dass eine Einstellung zum Nachverfolgen von sich ändernden Bedingungen erforderlich ist. Ein Strom von Farbvideobildern kann als eine Vielzahl von Farbvideobildern definiert sein, die durch eine Farbvideokamera in aufeinanderfolgenden Zeitintervallen erlangt werden.
Die Berechnung der Exzentrizität ε basierend auf einem Eingabestrom von Farbvideobildern kann durch eine Rechenvorrichtung effizienter durchgeführt werden als durch andere vorstehend beschriebene Techniken zum Bestimmen des Bildvorder/-hintergrunds. Zum Beispiel kann die Berechnung der Exzentrizität ε basierend auf einem Eingabestrom von Farbvideobildern mit einer Rate von Hunderten von Farbvideobildern pro Sekunde an ohne Weiteres verfügbare Rechenvorrichtungen durchgeführt werden. Vorteilhafterweise ist die Berechnung der Exzentrizität ε frei von komplexen benutzerdefinierten Parametern und frei von Vorvermutungen zu den Daten und deren Verteilung.
Bei der Exzentrizität ε handelt es sich um eine Metrik, d. h. einen wie nachstehend erläuterten Wert, der/die angibt, wie sehr sich ein Pixel von vergangenen Abtastungen der gleichen Pixelposition unterscheidet. Hinsichtlich eines Satzes von Abtastungen der gleichen Pixelposition als ein Vektor von Variablen in n Dimensionen nimmt der Wert der Exzentrizität ε zu, während diese Variablen von ihrem „normalen“ Verhalten abweichen. Für die Vordergrunderkennung werden alle „anormalen“ oder „irregulären“ Pixel basierend auf den Intensitäten der Pixel als Vordergrund gekennzeichnet. Die Exzentrizität ε zum Zeitpunkt k kann durch die folgende Gleichung gegeben sein: $ε_{k} = α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}}$
wobei α eine dimensionslose Benutzereingabekonstante ist (für gewöhnlich ein kleiner Wert, z. B. 0,005), der eine Lernrate für das Hintergrundmodel darstellt, wobei die Lernrate angibt, welcher Abschnitt der Exzentrizität ε_k auf dem aktuellen Pixel x_k basiert, und somit wie schnell sich die Exzentrizität ε_k beispielsweise an Änderungen in dem Eingabevideodatenstrom anpassen kann, und wobei das aktuelle Pixel x_k ein Vektor ist, der die Intensitäten einer Videodatenstromabtastung zum Zeitpunkt k beinhaltet. Bei den Variablen µ_k und $σ_{k}^{2}$
handelt es sich um den Mittelwert und die Varianz des aktuellen Pixels x_k zum Zeitpunkt k, die rekursiv gemäß den folgenden Gleichungen aktualisiert werden: $μ_{k} = (1 - α) μ_{k - 1} + α x_{k}$
$σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α}$
Ein Pixel x_k wird als Vordergrundpixel bestimmt, wenn die berechnete Exzentrizität ε_k zum Zeitpunkt k höher als 5α ist.
Bilder der Exzentrizität ε_k können Vordergrundregionen mit Graustufenwerten (beispielsweise Acht-Bit-Graustufe) auf einem Hintergrund aus Pixeln mit dem Wert null beinhalten. Vordergrundregionen werden basierend auf der Anwendung der Gleichungen (1), (2) und (3) auf einen Farbvideodatenstrom von Farbvideobildern bestimmt. Durch die Gleichungen (1), (2) und (3) bestimmte Vordergrundpixel in Bild der Exzentrizität ε_k können in Vordergrundregionen gruppiert werden, indem verbundene Regionen von Vordergrundpixeln bestimmt werden, wobei Vordergrundpixel als verbunden bestimmt werden, wenn sie 8-fach benachbart sind, was diagonal benachbart beinhaltet. Vordergrundregionen können Objekte darstellen, die sich gegenüber einem Hintergrund bewegen, beispielsweise Fahrzeuge oder Fußgänger auf oder nahe einer Fahrbahn.
Verkehrsinfrastruktursysteme 100 können eine Vielzahl von stationären Videokameras 206 beinhalten, die Bilder der Exzentrizität ε_k z. B. an eine Vielzahl von Rechenvorrichtungen über das Netzwerk 130 bereitstellen. Zum Beispiel können Computer 115 in einer entsprechenden Vielzahl von Fahrzeugen 110 Bilder der Exzentrizität ε_k empfangen. In der Vielzahl von Rechenvorrichtungen 115 beinhaltete Softwareprogramme können basierend auf Informationen hinsichtlich der Position, der Stellung und des Sichtfeldes jeder stationären Videokamera 206 und der Position, der Geschwindigkeit und der Fahrtrichtung jedes Fahrzeugs 110 ein oder mehrere konkrete Bilder der Exzentrizität ε_k identifizieren, die für die jeweiligen Fahrzeuge 110 relevant sind. Eine Rechenvorrichtung 115 in jedem Fahrzeug 110 kann dann über das Netzwerk 130 nur diejenigen Bilder der Exzentrizität ε_k herunterladen, die als relevant für das jeweilige Fahrzeug 110 bestimmt wurden, wodurch der Netzwerkbandbreitenverbrauch minimiert wird. Jede stationäre Videokamera 206 kann zusammen mit dem Bild der Exzentrizität ε_k Informationen beinhalten, welche die Position, die Stellung und das Sichtfeld der stationären Videokamera 206 identifiziert, die das Bild der Exzentrizität ε_k erlangt hat.
3 ist eine beispielhafte kognitive Karte 300, die durch eine Rechenvorrichtung 115 in dem Fahrzeug 110 basierend auf einem Bild der Exzentrizität ε_k und von einem Verkehrsinfrastruktursystem heruntergeladenen 3D-Positionsdaten der stationären Videokamera 206 bestimmt wurde. Eine kognitive Karte ist eine Darstellung einer lokalen räumlichen Umgebung, die Positionen von Objekten in dieser Umgebung relativ zu einander spezifiziert. Wie vorstehend in Bezug auf 2 erörtert, können die 3D-Positionsdaten dazu verwendet werden, um die 3D-Positionen von Objekten in der realen Welt in einer kognitiven Karte 500 basierend auf der Projektion der Pixelkoordinaten (i, j) von Vordergrundobjekten aus einem Bild der Exzentrizität ε_k auf die kognitive Karte 300 zu bestimmen.
In dem Beispiel aus 3 ist die kognitive Karte 300 eine Ansicht von oben einer lokalen räumlichen Umgebung, die Regionen und Objekte beinhaltet, welche für die Navigation des Fahrzeugs 110 relevant sind, einschließlich einer Fahrbahn 302 und Fahrzeugen 304, 306, 308, 310. Eine kognitive Karte 300 kann basierend auf Informationen hinsichtlich der Position und Fahrtrichtung eines Fahrzeugs 110 und gespeicherten Kartendaten bestimmt werden. Zum Beispiel kann sich das Fahrzeug 110 am Pfeil 312 befinden und in die Richtung fahren, die durch diesen angegeben wird. Da die kognitive Karte 300 basierend auf 3D-Koordinaten in der realen Welt aufgebaut ist, können sich 3D-Positionen von Objekten aus einem Bild der Exzentrizität ε_k in der kognitiven Karte 300 befinden. Die Rechenvorrichtung 115 kann die Position und Fahrtrichtung des Fahrzeugs 110 eingeben und Merkmale der kognitiven Karte 300, einschließlich der Fahrbahn 302, basierend auf heruntergeladenen oder gespeicherten Kartendaten und Daten von den Fahrzeugsensoren 116 bestimmen. Zum Beispiel kann ein Lidar-Sensor 116 Abstände messen, die das Vorhandensein der Straße 302 bestätigen.
Die Rechenvorrichtung 115 kann Informationen hinsichtlich der Vordergrundregionen 304, 306, 308, 310 aus einem Bild der Exzentrizität ε_k, die aus einem Verkehrsinfrastruktursystem in eine kognitiven Karte 300 einbeziehen. Da die stationäre Videokamera 206 Informationen hinsichtlich der 3D-Position, der Stellung und des Sichtfeldes zusammen mit einem Bild der Exzentrizität ε_k einbezogen hat, kann die Rechenvorrichtung 115 die Vordergrundregionen (Fahrzeuge) 304, 306, 308, 310 auf die kognitive Karte 300 projizieren, indem bestimmt wird, wo die Pixel der Vordergrundregionen 304, 306, 308, 310 die Fahrbahn 302 schneiden, basierend auf den Pixelkoordinaten (i, j) der Vordergrundregionen 304, 306, 308, 310 in dem Bild der Exzentrizität ε_k und der 3D-Position von Hintergrundpixelpositionen in der realen Welt, einschließlich der Fahrbahn 302. Durch das Projizieren der Vordergrundregionen 304, 306, 308, 310 auf entsprechende Positionen in der kognitiven Karte 300 können die Vordergrundregionen 304, 306, 308, 310 durch die Rechenvorrichtung 115 basierend auf der Position, der Größe und der Form identifiziert und durch die Rechenvorrichtung 115 verwendet werden, um einen Weg zu bestimmen, auf dem das Fahrzeug 110 auf der Fahrbahn 302 zu betreiben ist, der den Vordergrundregionen 304, 306, 308, 310 ausweicht. Durch die Nachverfolgung der Vordergrundregionen 304, 306, 308, 310 in einer Reihe von kognitiven Karten 300 basierend auf Bildern der Exzentrizität ε_k, die zu aufeinanderfolgenden Zeitpunkten erlangt wurden, kann eine Geschwindigkeit und Richtung für jede Vordergrundregion 304, 306, 308, 310 bestimmt und durch die Rechenvorrichtung 115 verwendet werden, um Positionen für sich bewegende Objekte in der kognitiven Karte 300 zu bestimmen und dadurch einen auf der Fahrbahn 302 zu fahrenden Weg für das Fahrzeug 110 zu bestimmen, der einer Kollision oder einer Beinahekollision mit den sich bewegenden Vordergrundregionsobjekten 304, 306, 308, 310 ausweicht.
Die Rechenvorrichtung 115 kann das Fahrzeug 110 basierend auf einem Wegpolynom betreiben, das einen Weg 514 (gestrichelte Linie) spezifiziert, der mindestens teilweise anhand von sich bewegenden Objekten, die auf den Vordergrundregionen 304, 306, 308, 310 basieren, bestimmt wird. Bei dem Wegpolynom handelt es sich um eine mathematische Darstellung einer 3D-Position und -Bewegung in der realen Welt, die beispielsweise Änderungsraten von Quer- und Längsbeschleunigungen beinhaltet. Die Rechenvorrichtung 115 kann ein Wegpolynom 115 basierend auf einer aktuellen Position, Geschwindigkeit und Richtung für das Fahrzeug 110 bestimmen, dargestellt durch den Pfeil 312. Die Rechenvorrichtung kann dann eine Polynomfunktion dritten Grades oder weniger in Splines genannten Segmenten bestimmen, wobei die Segmente derart beschränkt werden, dass sie durch Beschränkungen für erste Ableitungen glatt zusammenpassen, um vorhergesagte aufeinanderfolgende Positionen des Fahrzeugs 110 darzustellen. Beschränkungen für das Wegpolynom 314 bei 3D-Koordinaten in der realen Welt beinhalten Ober- und Untergrenzen für Quer- und Längsbeschleunigungen und Obergrenzen für Änderungsraten der Quer- und Längsbeschleunigungen (Ruck), die zum Betreiben des Fahrzeugs 110 entlang des Wegpolynoms 314 erforderlich sind. Das Wegpolynom 314 kann zudem derart beschränkt werden, dass es beispielsweise auf der Fahrbahn 302 bleibt und dass es auf den Vordergrundregionen 304, 306, 308, 310 basierenden sich bewegenden Objekten ausweicht. Die Rechenvorrichtung 115 kann das Fahrzeug 110 derart betreiben, dass es entlang eines Weges 314 gemäß einem bestimmten Wegpolynom fährt, indem Befehle an die Steuerungen 112, 113, 114 zum Steuern der Lenkung, der Bremsen und des Antriebsstrangs des Fahrzeugs 110 gesendet werden, um zu bewirken, dass das Fahrzeug 110 entlang des Weges 314 auf einer Fahrbahn 302 fährt, während es auf den Vordergrundregionen 304, 306, 308, 310 basierenden sich bewegenden Objekten ausweicht.
Die Rechenvorrichtung 115 kann ein Wegpolynom für einen Weg 314 basierend auf gespeicherten Kartendaten, Positionsdaten von den Fahrzeugsensoren 116, einschließlich GPS und Beschleunigungsmessern, Radar-, Lidar- und Videosensoren, bestimmen. Die Rechenvorrichtung 115 kann Daten von Radar-, Lidar- und Videosensoren verarbeiten, um Objekte in Sichtfeldern basierend auf jedem der Radar-, Lidar- und Videosensoren beispielsweise unter Verwendung von maschinellen Bildverarbeitungstechniken, einschließlich neuronalen Netzwerken und Bayesscher Statistik, zu bestimmen. Unter Verwendung von Informationen basierend auf dem Sichtfeld jedes Sensors 116 können die Objekte in einer kognitiven Karte 300 lokalisiert werden. Die Rechenvorrichtung kann dann ein Wegpolynom in der kognitiven Karte 300 bestimmen, das dem Fahrzeug 110 erlaubt, zu einem Ziel zu fahren, während es einer Kollision oder Beinahekollision mit den Objekten ausweicht, indem Regionen mit freien Raum und Regionen mit nicht freien Raum, die in der kognitiven Karte 500 beinhaltet sind, geschätzt werden. Regionen mit freiem Raum sind Regionen einer kognitiven Karte 500, in denen für ein Fahrzeug 110 vorhergesagt werden kann, dass es ungehindert auf einer Fahrbahnfläche fahren kann.
Die Rechenvorrichtung 115 kann Ziele in der kognitiven Karte 300 für die Fahrt des Fahrzeugs 110 bestimmen, die einen Schritt zur Erreichung einer höheren zielgerichteten Aktivität darstellen, wie etwa beispielsweise das Abholen eines Fahrgastes und das Absetzen desselben an einem Ziel. In einer kognitiven Karte 300 beinhaltete Regionen mit nicht freiem Raum beinhalten Regionen ohne Fahrbahn und Regionen, die Objekte umgeben, sowohl feststehende Objekte wie Leitkegel und Leitplanken als auch, wenn Objekte als sich bewegend bestimmt werden, Positionen, zu denen sich die Objekte wahrscheinlich bewegen werden, wobei beispielsweise Wegstrecken für Fahrzeuge, Fußgänger und Fahrradfahrer vorgesagt werden. Positionen in einer kognitiven Karte 300, zu denen sich die Objekte wahrscheinlich bewegen werden, können basierend auf wiederholten Beobachtungen der Objekte im Laufe der Zeit bestimmt werden, um beispielsweise Wahrscheinlichkeiten für Objektpositionen basierend auf einer bestimmten Geschwindigkeit und Richtung des Objekts zu bestimmen. Wegpolynome 312 können bestimmt werden, um das Fahrzeug 110 derart zu lenken, dass es innerhalb einer Region mit freiem Raum fährt, um ein Ziel zu erreichen, während es Regionen mit nicht freiem Raum ausweicht. Daten, und daher erkannte Objekte, von den Fahrzeugsensoren 116, einschließlich Radar-, Lidar- und Videosensoren, sind auf die Sichtfelder jedes der Radar-, Lidar- und Videosensoren beschränkt. Das Hinzufügen von Daten hinsichtlich auf den Vordergrundregionen 304, 306, 308, 310 basierender sich bewegender Objekte zu einer kognitiven Karte 300 kann die kognitive Karte 300 verbessern, indem Objekte zusätzlich zu den Objekten, die in den Sichtfeldern der Fahrzeugsensoren 116 sichtbar sind, einbezogen werden.
4 ist ein Diagramm von vier beispielhaften Rahmen 402, 404, 406, 408 von Farbvideobilddaten, die zur Einhaltung von Bestimmungen in schwarz-weiß dargestellt sind und aus Videostromdaten stammen, die durch eine stationäre Videokamera 206 erlangt wurden, sowie einer Montage 410 aus den übereinandergelegten Rahmen 402, 404, 406, 408. Eine stationäre Videokamera 206 ist einer Bewegung unterworfen, die durch Geräuschfaktoren wie Wind und verkehrsbedingte Schwingungen induziert wird. Diese Bewegung ändert die 3D-Richtung des Sichtfeldes 214 der stationären Videokamera 206, wodurch der Abschnitt der Verkehrsszene in der realen Welt, der als Videodatenstrom durch die stationäre Videokamera 206 erlangt wird, geändert wird. Die Rahmen 402, 404, 406, 408 der Videostromdaten veranschaulichen die Auswirkung der Bewegung auf eine stationäre Videokamera 206, während die Rahmen 402, 404, 406, 408 erlangt werden. Gestrichelte Rechtecke 412, 414, 416, 418, 420 geben die jeweiligen Abschnitte der Rahmen 402, 404, 406, 408 der Videostromdaten an, die in allen der Rahmen 402, 404, 406, 408 der Videostromdaten beinhaltet sind. Die Montage 410 aus den Rahmen 402, 404, 406, 408 der Videostromdaten veranschaulicht, wie die Bewegung einer stationären Videokamera 206 die Position eines Sichtfeldes 214 und demzufolge die Position von Pixeldaten in einem Rahmen 402, 404, 406, 408 der Videostromdaten beeinflussen kann.
Die Bewegung der stationären Videokamera 206 und die daraus folgende Bewegung der Position von Pixeldaten in den Rahmen 402, 404, 406, 408 der Videostromdaten kann bewirken, dass Softwareprogramme zur Vordergrunderkennung, welche die Exzentrizität ε_k berechnen, versagen, indem beispielsweise die Bewegung des gesamten Bildes erkannt wird anstatt nur das sich in dem Bild bewegende Objekt. Die Bewegung der stationären Videokamera 206 kann erkannt und unter Verwendung von Videostabilisierung zwischen den Rahmen ausgeglichen werden, wobei eine Anzahl von Rahmen 404, 406, 408 der Videostromdaten mit einem ersten Rahmen 402 der Videostromdaten ausgerichtet wird, indem eine Anzahl von Abschnitten des ersten Rahmens 402 der Videostromdaten bis hin zum gesamten ersten Rahmen 402 ausgewählt wird und eine Verschiebung bei den x- und y-Pixelkoordinaten gefunden wird, die bewirkt, dass der erste Rahmen 402 die größtmögliche Übereinstimmung hinsichtlich der Pixel mit dem folgenden Rahmen 404, 406, 408 erreicht, basierend auf den summierten Absolutwerten von Pixeldifferenzen zwischen den Rahmen. Die Verschiebungen können akkumuliert werden, während jeder Rahmen nacheinander abgeglichen wird, um die Ausrichtung mit dem ersten Rahmen 404 beizubehalten.
Verschiebungen von einem ersten Rahmen 402 zu einem zweiten Rahmen 404 können durch Homografie bestimmt werden, was das Finden von Ähnlichkeiten zwischen den Bildern bedeutet. Ein Beispiel für die Homografie ist der Abgleich hinsichtlich von Regionen unter Verwendung einer normierten Korrelation. Zum Beispiel Extrahieren einer oder mehrerer Abtastregionen aus einem ersten Rahmen 402 und Verwenden der Abtastregion zur Durchführung einer normierten Korrelation mit dem zweiten Rahmen 404, um die Position der Region aus dem ersten Rahmen 402 innerhalb des zweiten Rahmens 404 bis zu einer Genauigkeit auf Subpixelebene zu bestimmen. Diese Technik nimmt an, dass die Bilddatenverschiebung translatorisch ist, d. h., es wird auch angenommen, dass keine Drehung oder Verzerrung der Daten vorliegt. Sobald die Verschiebung bei den x- und y-Pixelkoordinaten bekannt ist, kann der zweite Rahmen 404 so übersetzt werden, dass er exakt mit dem ersten Rahmen ausgerichtet ist. Eine zweite Verschiebung kann bestimmt werden, indem ein dritter Rahmen 406 mit dem zweiten Rahmen 404 verglichen wird. Das Ausrichten jedes Rahmens der Videodaten an einem unmittelbar vorhergehenden Rahmen wird als unmittelbarer Ausgleich bezeichnet. Zusätzlich zur Durchführung des unmittelbaren Ausgleichs kann die zweite Verschiebung zu der ersten Verschiebung hinzugefügt werden, um den dritten Rahmen 406 an dem ersten Rahmen 402 auszurichten. Wenn neue Verschiebungen für folgende Rahmen berechnet werden, kann jede neue Verschiebung zu der aktuellen Summe der Verschiebungen hinzugefügt werden, was der Rechenvorrichtung 115 erlaubt, jeden Rahmen mit dem ersten Rahmen 404 auszurichten. Dies wird als Akkumulation der Verschiebungen bezeichnet und erlaubt der Rechenvorrichtung 115, ein vollständiges Sichtfeld beizubehalten, auch wenn nur in Abschnitten der Rahmen 402, 404, 406, 408 der Videostromdaten vollständige Daten zur Verfügung stehen. Auf diese Weise können geometrische Messungen an den Videostromdaten, einschließlich Vordergrunderkennung, die von Positionen in der realen Welt abhängig sind, trotz der Bewegung der stationären Videokamera 206 genau bleiben.
5 sind Diagramme von beispielhaften Graphen 502, 504 einer Bewegung der stationären Videokamera 206. Die Bewegung der stationären Videokamera kann bestimmt werden, indem die Position von Merkmalen wie beispielsweise Kanten in den Videostromdaten gemessen werden und die Änderung der Position der Merkmale als eine Funktion der Zeit graphisch dargestellt wird, wobei die Zeit durch Videorahmennummern dargestellt wird, wobei eine Videorahmenrate beispielsweise 60 Rahmen pro Sekunde betragen kann. Der Graph 502 stellt die in Pixel gemessene Änderung der x-Position der Bilddaten t_x[pix] auf der Y-Achse und die Rahmennummer Rahmen # auf der X-Achse dar. Der Graph 504 stellt die in Pixel gemessene Änderung der y-Position der Bilddaten t_y[pix] auf der Y-Achse und die Rahmennummer Rahmen # auf der X-Achse dar.
Die Graphen 502, 504 veranschaulichen die Auswirkung der Bildstabilisierung basierend auf der Akkumulierung der Verschiebungen, wenn eine periodische Bewegung eingebracht wird, die parallel zu der Y-Achse der Bilddaten verläuft, und Gaußsches Rauschen an beiden Achsen, wie durch die Y-Achsen-Bilddaten 508 gezeigt, wobei die Verschiebung der Y-Achsen-Bilddaten 508 um Null hin- und herschwingt. Die X-Achsen-Bilddaten 506 beim Graph 502 veranschaulichen einen systematischen Fehler oder Drift, der in die X-Achsen-Bilddaten 506 beim unmittelbaren Ausgleich durch Fehler eingebracht wird, die sich akkumulieren, während die Verschiebungen akkumuliert werden. Der Graph 502 veranschaulicht einen akkumulierten Fehler von etwa 0,5 Pixel nach etwa 17 Sekunden Bildstabilisierung. Der durch systematische Fehler in die Bildstabilisierung eingebrachte Drift kann zu Ungenauigkeiten bei den auf den Videostromdaten basierenden Messungen in der realen Welt führen, wobei das Sichtfeld 214 der stationären Videokamera 206 dazu verwendet wird, Videostromdaten zu verarbeiten, einschließlich Vorder-/Hintergrunderkennung.
6 ist ein Diagramm eines beispielhaften Graphen 600, das Y-Achsen-Bilddaten 602 in Pixel t_y[pix] auf der Y-Achse und eine Rahmennummer Rahmen # auf der X-Achse für eine stationäre Videokamera 206, die an einem Pfosten 208 montiert ist, darstellt. Die Montage einer stationären Videokamera 206 an einem Pfosten 208, der einer Bewegung aufgrund von Geräuschfaktoren wie Wind und verkehrsbedingten Schwingungen unterworfen ist, kann eine erkennbare Struktur in die Y-Achsen-Bilddaten 602 einbringen. Zum Beispiel kann eine stationäre Videokamera 206 typischerweise an einem an dem Pfosten 208 angebrachten Ausleger montiert sein. Die Montage einer stationären Videokamera 206 an einem Ausleger kann eine Struktur einbringen, wie durch die Y-Achsen-Bilddaten 602 veranschaulicht, wobei stabile Regionen 604, 606, durch gepunktete Linien 608, 610, 612, 614 markiert, jeweils nur kleine (< +/- 0,5 Pixel), durch Gaußsches Rauschen eingebrachte Verschiebungen angeben. Die stabilen Regionen 604, 606 sind mit instabilen Regionen durchsetzt, bei denen eine Nicht-null-Schwingungsbewegung (> +/- 1,0 Pixel) der Y-Achsen-Bilddaten 602 auftritt. Diese Struktur in den Y-Achsen-Bilddaten 602 wird eingebracht, indem eine Montage an einem Ausleger des Pfostens 218 für die stationäre Videokamera 206 verwendet wird.
Es wird angenommen, dass der anfängliche Referenzrahmen (z. B. kalibrierte Rahmen) erlangt wurde, als sich die stationäre Videokamera 206 in einer stabilen Region 602, 604 befand. Da die stationäre Videokamera 206 Rahmen mit einer gegebenen Rahmenrate erlangt, können Softwareprogramme die Videostromdaten basierend auf Akkumulation unmittelbarer Ausgleiche stabilisieren. Wenn die Kamera in eine stabile Region eintritt, sollten die unmittelbaren Ausgleiche (z. B. Translationen) sehr klein sein. In einer perfekten Situation (z. B. ist der unmittelbare Ausgleich exakt, sodass der akkumulierte Fehler null ist) sollte der Stabilisierungsalgorithmus akkumulierte Ausgleiche ausgeben, die null sind, da sich die Kamera nicht bewegt. Anders ausgedrückt würde der aktuelle Rahmen perfekt an dem ersten Rahmen 402 ausgerichtet sein und somit kein Bedarf eines Ausgleichs vorliegen. In einer realen Situation ist es aufgrund des über die Zeit zunehmenden Fehlers wahrscheinlich, dass die akkumulierten Schätzungen einen nicht trivialen Fehler angehäuft haben. Daher würde der Gesamtausgleich um einen nicht trivialen Betrag abweichen, der ungefähr dem akkumulierten Fehler entspricht, welcher den akkumulierten unmittelbaren Ausgleichsdrift, veranschaulicht durch die X-Achsen-Daten 506 im Graph 502, darstellt.
7 ist ein Diagramm von zwei beispielhaften Graphen 702, 704 von jeweils Y-Achsen-Daten 706, 708. Im Graphen 702 stellen die Y-Achsen-Daten 706 einen unmittelbaren Ausgleich bei der Y-Achse des Bildes für die Videostromdaten dar. Im Graphen 704 stellen die Y-Achsen-Daten einen unmittelbaren Ausgleich, einschließlich Drift, dar. Die Y-Achsen-Bilddaten 706 und die Y-Achsen-Bilddaten 708 wurden erzeugt, indem den Videostromdaten horizontale und vertikale modulierte Schwingungen, plötzliche Beleuchtungsänderungen und ein gewisses translatorisches Gaußsches Rauschen hinzugefügt wurden. In der Schätzung des unmittelbaren Ausgleichs ist bei etwa Rahmen # 170 ein sehr deutlicher Fehler vorhanden, der bewirkt, dass der akkumulierte Ausgleich um etwa 30 Pixel abdriftet. Durch das Vergleichen des akkumulierten Ausgleichs mit dem unmittelbaren Ausgleich während einer stabilen Region kann man schnell einen Näherungswert des bis zu diesem Punkt angefallenen Drifts gemäß der folgenden Gleichung erhalten: $D r i f t \approx A u s g l_{A k k u m u l i e r t}^{S t a b i l} - A u s g l_{U n m i t t e l b a r}^{S t a b i l}$
wobei $A u s g l_{A k k u m u l i e r t}^{S t a b i l} und A u s g l_{U n m i t t e l b a r}^{S t a b i l}$
der akkumulierte bzw. der unmittelbare Ausgleich sind, die während einer stabilen Region abgelesen werden. Ein besserer Näherungswert für den Drift kann bestimmt werden, indem der laufende Mittelwert der akkumulierten Ausgleiche berechnet und dieser Wert nur während der stabilen Regionen abgelesen wird, $D r i f t^{n} \approx \frac{(n - 1)}{n} D r i f t^{n - 1} + \frac{1}{n} A u s g l_{A k k u m u l i e r t}^{n}, (n > 0)$
wobei n den Index des aktuellen Rahmens darstellt und $A u s g l_{A k k u m u l i e r t}^{n}$
der Wert des akkumulierten Ausgleichs beim n-ten Rahmen ist. Der laufende Mittelwert wird jedes Mal zurückgesetzt (d. h. auf n = 0 gesetzt), wenn dessen Wert abgelesen wird.
Die in dieser Schrift erörterten Techniken verbessern die Berechnung von Vorder-/Hintergrundbildern, wie vorstehend in Bezug auf 2 und 3 erörtert, indem die Genauigkeit von Videostromdaten verbessert wird durch Erkennen und Korrigieren eines Drifts bei dem bildstabilisierten Videostromdaten mit einem effizienten, nicht parametrischen, rekursiven Ansatz zum Erkennen von Anomalien in Videostromdaten, bezeichnet als Typizitäts- und Exzentrizitäts-Datenanalyse (TEDA), der basierend auf den geschätzten unmittelbaren Ausgleichen bestimmt wird. TEDA verwendet einen Benutzereingabeschwellenwert, wenn eine Abtastrahmenbewegung als eine Anomalie oder eine typische Beobachtung angesehen werden soll. In diesem Beispiel handelt es sich bei einer Anomalie um eine beliebige Änderung in den Videostromdaten, die in Zusammenhang mit Geräuschfaktoren wie Wind und verkehrsbedingten Schwingungen usw. steht. Diese Geräuschfaktoren bewirken Schwingungsbewegungen in der Y-Achsenrichtung des Bildes. Die stabilen Y-Achsen-Bilddaten 706, 708 werden durch das Fehlen von anormalen Beobachtungen über dem Schwellenwert bestimmt. Jede anormale Beobachtung über dem Schwellenwert gibt instabile Y-Achsen-Bilddaten 706, 708 an.
8 ist ein Diagramm von drei beispielhaften Graphen 802, 804, 806 einer normierten Exzentrizität 808, von X-Achsen-Bilddaten 818 und von Y-Achsen-Bilddaten 820 für Videostromdaten, die wie vorstehend beschrieben verarbeitet werden, um die normierte Exzentrizität ε zu bestimmen. Der Graph 802 stellt die normierte Exzentrizität dar, die durch Bestimmen der Exzentrizität ε wie vorstehend beschrieben in Bezug auf vorstehende Gleichung (3) und Dividieren dieser durch die Anzahl der Pixel pro Bild berechnet wurde. TEDA erkennt eine stabile Region des Graphen 802, indem die normierte Exzentrizität ε pro Rahmen gegen einen Benutzereingabeschwellenwert 816 (gepunktete Linie) gemessen wird. Wenn die normierte Exzentrizität ε unter dem Schwellenwert für eine genügende Anzahl von aufeinanderfolgenden Rahmen bleibt, wird eine stabile Region 810 bestimmt, welche die aufeinanderfolgenden Rahmen beinhaltet. Die gestrichelten Linien 814, 812 veranschaulichen die stabile Region 810. Die Graphen 804 und 806 stellen X-Achsen-Bilddaten 818 bzw. Y-Achsen-Bilddaten 820 gegenüber der Zeit in Rahmen-# dar. Die stabile Region 810 ist mit Bezugnahme auf die Graphen 804 und 806 gezeigt, um zu verdeutlichen, dass die Erkennung der stabilen Region 810 basierend auf der normierten Exzentrizität ε Regionen mit geringer oder keiner Bewegung (< +/- 0,1 Pixel) in X- oder Y-Richtung während der stabilen Region 810 entspricht. Während der stabilen Region 810 kann die Rechenvorrichtung 115 einen Drift, wie im Graphen 704 aus 7 veranschaulicht, messen und dann einen Driftkorrekturfaktor anwenden, der als ein Bruchteil des gemessenen Drifts berechnet wird. Auf diese Weise kann der Drift allmählich ohne Sprünge oder plötzliche Änderungen korrigiert werden, da der Betrag der Driftkorrektur pro Rahmen einen Bruchteil eines Pixels, der durch eine Benutzereingabe festgelegt werden kann, nicht überschreitet. Da der Drift auf diese Weise korrigiert wird, kann die Korrektur des Drifts in stabilisierten Videostromdaten basierend auf der Geometrie von Merkmalen in dem stabilisierten Videostrom ohne eine kurzfristige Auswirkung auf die Vorder-/Hintergrunderkennung oder eine andere Verarbeitung durchgeführt werden.
9 ist ein Diagramm eines beispielhaften Graphen 900 von Y-Achsen-Bilddaten 902 basierend auf akkumulierten unmittelbaren Ausgleichen, das einen Drift von etwa 30 Pixel aufweist, der bei etwa Rahmen # 170 eingebracht wurde. In diesem Beispiel kann die Driftkorrektur basierend auf der normierten Exzentrizität ε die Y-Achsen-Bilddaten 902 des akkumulierten unmittelbaren Ausgleichs auf einen Mittelwert von null nach etwa Rahmen # 250 zurückbringen, wodurch der Drift in den Y-Achsen-Bilddaten 902 korrigiert wird. Man vergleiche dies mit dem Graphen 704 aus 7, bei dem der Mittelwert der Y-Achsen-Bilddaten 708 nicht auf null zurückkehrt.
10 ist ein Ablaufdiagramm, beschrieben in Bezug auf 1-9, eines Prozesses 1000 zum Betreiben eines Fahrzeugs basierend auf der Bestimmung von sich bewegenden Objekten in einem stabilisierten, driftkorrigierten Bild. Der Prozess 1000 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem z. B. Informationen von den Sensoren 116 als Eingabe herangezogen und Befehle ausgeführt und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 1000 beinhaltet mehrere Blöcke in der offenbarten Reihenfolge. Der Prozess 1000 beinhaltet zudem Umsetzungen, die weniger Blöcke beinhalten, oder kann die Blöcke in anderen Reihenfolgen beinhalten.
Der Prozess 1000 beginnt bei Block 1002 (I), bei dem die Rechenvorrichtung einen Rahmen von instabilen Videostromdaten F_Inst von einer stationären Videokamera 206 eingibt, wobei es sich bei den instabilen Videodaten um Videostromdaten handelt, die einer Bewegung unterworfen sind, welche durch die Montage einer stationären Videokamera 206 an einem Ausleger eines Pfostens 218 verursacht wird, wie vorstehend in Bezug auf 2 und 3 erörtert.
Bei Block 1004 (HE) führt die Rechenvorrichtung 115 Rahmen für Rahmen eine Homografie-Schätzung $H_{U n m i t t}^{n}$
durch, wie vorstehend in Bezug auf 4 und 5 erörtert, indem beispielsweise ein Abgleich hinsichtlich der Regionen unter Verwendung einer normierten Korrelation durchgeführt wird. Block 1004 gibt die Ergebnisse der Homografie-Schätzung $H_{U n m i t t}^{n}$
sowohl an Block 1006 (AE) als auch Block 1008 (TEDA) aus.
Bei Block 1006 führt die Rechenvorrichtung 115 eine akkumulierte Schätzung des unmittelbaren Ausgleichs gemäß der folgenden Gleichung durch: $H_{A k k}^{n} = \prod_{i = 0}^{n} H_{U n m i t t}^{i}$
wobei sich $H_{U n m i t t}^{i}$
auf den unmittelbaren Ausgleich bei Rahmen i bezieht und sich $H_{A k k}^{n}$
auf den akkumulierten unmittelbaren Ausgleich über die letzten n Rahmen bezieht, wie vorstehend in Bezug auf 3-8 erörtert.
Bei Block 1008 führt die Rechenvorrichtung 115 eine TEDA-Anomalieerkennung durch, indem Zeiträume mit einer niedrigen normierten Exzentrizität ε erkannt werden, wie vorstehend in Bezug auf 7 und 8 erörtert. Daten hinsichtlich stabiler Regionen 510 werden an Block 1010 (DA) und Block 1012 (DC) weitergegeben.
Bei Block 1010 führt die Rechenvorrichtung 115 eine Driftnäherung durch, wobei $H_{K o r r e k t u r} = α H_{D r i f t},$
H_Drift steht für den geschätzten Gesamtdrift für jeden Parameter, der durch die Homografie bei Block 1004 gemessen wurde, H_Korrektur steht für den Betrag der Korrektur, der pro Rahmen anzuwenden ist.
Bei Block 1012 (DC) führt die Rechenvorrichtung 115 periodisch eine Driftkorrektur an den Bilddaten gemäß der folgenden Gleichung durch: $H_{A k k}^{n} = H_{A k k}^{n} + H_{K o r r e k t u r}$
Bei Block 1014 gibt die Rechenvorrichtung 115 einen stabilen, driftkorrigierten Rahmen von Videodaten $F_{S t a b i l} = F_{I n s t} H_{A k k}^{n}$
aus. Im Anschluss an Block 1014 kann das System 1000 zu Block 1002 zurückkehren, um einen neuen instabilen Rahmen von Videostromdaten F_Inst von einer stationären Kamera 206 einzugeben, die an einem Ausleger eines Pfostens 218 montiert ist.
11 ist ein Diagramm eines Ablaufs, beschrieben in Bezug auf 1-10, eines Prozesses 1100 zum Betreiben eines Fahrzeugs basierend auf der Bestimmung von sich bewegenden Objekten in einem stabilisierten, driftkorrigierten Bild. Der Prozess 1100 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem z.B. Informationen von den Sensoren 116 als Eingabe herangezogen und Befehle ausgeführt und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 1100 beinhaltet mehrere Blöcke in der offenbarten Reihenfolge. Der Prozess 1100 beinhaltet zudem Umsetzungen, die weniger Blöcke beinhalten, oder kann die Blöcke in anderen Reihenfolgen beinhalten.
Der Prozess 1100 beginnt bei Block 1102, in dem eine in einem Fahrzeug 110 beinhaltete Rechenvorrichtung 115 ein stabilisiertes, driftkorrigiertes Bild der Exzentrizität ε_k von einer stationären Videokamera 206 empfängt. Stabilisierte, driftkorrigierte Videostromdaten können erzeugt werden, indem die Rechenvorrichtung 115 einen Prozess 1000 ausführt, wie in Bezug auf 10 beschrieben. Wie vorstehend in Bezug auf 2 und 3 beschrieben, kann die stationäre Videokamera 206 in einem Verkehrsinfrastruktursystem beinhaltet sein, das basierend auf einem Standort des Fahrzeugs 110 bestimmt, wann ein Bild der Exzentrizität ε_k von der stationären Videokamera 206 an das Fahrzeug 110 übertragen werden soll. Ein Verkehrsinfrastruktursystem kann zudem ein Bild der Exzentrizität ε_k als Reaktion auf eine Anfrage übertragen, die beispielsweise durch das Fahrzeug 110 an ein Verkehrsinfrastruktursystem über ein Ad-hoch-Netzwerk übertragen wird. Zusätzlich zu dem Bild der Exzentrizität ε_k kann ein Verkehrsinfrastruktursystem Informationen zu Stellung und Sichtfeld hinsichtlich der stationären Videokamera 206 übertragen.
Bei Block 1104 kann die Rechenvorrichtung 115 ein Bild der Exzentrizität ε_k mit einer kognitiven Karte 300 basierend auf der Kombination der Position, der Stellung und des Sichtfeldes mit Informationen hinsichtlich der 3D-Positionen von Objekten in der realen Welt in dem Sichtfeld kombinieren, um sich bewegende Objekte 304, 306, 308, 310 auf oder nahe einer Fahrbahn 302 zu bestimmen, auf der ein Fahrzeug 110 gerade fährt oder demnächst fahren wird.
Bei Block 1106 kann die Rechenvorrichtung 115 das Fahrzeug 110 betreiben, indem ein Wegpolynom 314 basierend auf der Bestimmung von Regionen mit freiem Raum und Regionen mit nicht freiem Raum in einer kognitiven Karte 300 und mindestens teilweise auf sich bewegenden Objekten 304, 306, 308, 310 bestimmt wird, wie vorstehend in Bezug auf vorstehende 3 erörtert. Die Rechenvorrichtung 115 kann das Fahrzeug 110 derart betreiben, dass es entlang des Wegpolynoms 314 fährt, indem Befehle an die Steuerungen 112, 113, 114 zum Steuern der Lenkung, der Bremsung und des Antriebsstrangs des Fahrzeugs 110 gesendet werden. Im Anschluss an diesen Block endet der Prozess 1100.
Rechenvorrichtungen, wie etwa die in dieser Schrift erörterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausgeführt werden können. Beispielsweise können die vorstehend erörterten Prozessblöcke als computerausführbare Befehle verwirklicht sein.
Computerausführbare Befehle können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung vielfältiger Programmiersprachen und/oder -techniken, einschließlich unter anderem entweder allein oder in Kombination Java™, C, C++, Visual Basic, Java Script, Perl, HTML usw., erstellt worden sind. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle z. B. von einem Speicher, einem computerlesbaren Medium usw. und führt diese Befehle aus, wodurch er einen oder mehrere Prozesse, einschließlich eines oder mehrerer der hier beschriebenen Prozesse, durchführt. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung einer Vielfalt an computerlesbaren Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Ein computerlesbares Medium schließt ein jedes Medium ein, das an der Bereitstellung von Daten (z. B. Befehlen) beteiligt ist, die von einem Computer gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien, flüchtiger Medien usw. Zu nichtflüchtigen Medien gehören zum Beispiel optische Platten oder Magnetplatten und andere dauerhafte Speicher. Zu flüchtigen Medien gehört ein dynamischer Direktzugriffsspeicher (dynamic random access memory - DRAM), der typischerweise einen Hauptspeicher darstellt. Zu gängigen Formen computerlesbarer Medien gehören zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, ein beliebiger anderer Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das durch einen Computer ausgelesen werden kann.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass eines oder mehrere der aufgeführten Elemente genannt wird bzw. werden, es sei denn, ein Patentanspruch enthält ausdrücklich eine gegenteilige Einschränkung.
Der Ausdruck „beispielhaft“ wird in dieser Schrift in dem Sinne verwendet, dass er ein Beispiel angibt, z. B. sollte ein Verweis auf eine „beispielhafte Vorrichtung“ einfach als Bezugnahme auf ein Beispiel für eine Vorrichtung gelesen werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, eine Messung, ein Wert, eine Bestimmung, eine Berechnung usw. von einer/einem genau beschriebenen Geometrie, Abstand, Messung, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Bearbeitungszeit, Kommunikationszeit usw. abweichen kann.
In den Zeichnungen kennzeichnen die gleichen Bezugszeichen die gleichen Elemente. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass die Schritte oder Blöcke derartiger Prozesse usw. zwar als gemäß einer bestimmten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der in dieser Schrift beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt dienen die Beschreibungen von Prozessen in dieser Schrift der Veranschaulichung bestimmter Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
Gemäß der vorliegenden Erfindung ist ein Verfahren bereitgestellt, Folgendes aufweisend: Empfangen eines Videodatenstroms beinhaltet, wobei der Videodatenstrom driftkorrigiert ist, basierend auf dem Bestimmen, dass ein Eingabevideodatenstrom stabil ist, und dann Anwenden einer Driftkorrektur zum Beibehalten eines stabilisierten Sichtfeldes, wobei das Sichtfeld in Bezug auf Koordinaten der realen Welt stabilisiert ist; und Betreiben eines Fahrzeugs basierend auf dem Bestimmen mindestens eines sich bewegenden Objektes in einem stabilisierten Bildstrom.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen, wann der Eingabevideodatenstrom stabil ist, basierend auf dem Bestimmen einer Exzentrizität ε_k zu einem Zeitpunkt k und dem Vergleichen der Exzentrizität ε_k mit einem empirisch bestimmten Schwellenwert, wobei die Exzentrizität ε_k eine Rate misst, mit der sich Datenpunkte, die einer Pixelposition x_k des Eingabebildstroms zugeordnet sind, als eine Funktion des Zeitpunkts k ändern.
Gemäß einer Ausführungsform basiert die Exzentrizität ε_k auf rekursiver Verarbeitung des Videodatenstroms basierend auf einer empirisch bestimmten Konstante α, einem Datenpunkt des Eingabevideodatenstroms zum Zeitpunkt k x_k, einem Mittelwert von x_k zum Zeitpunkt k µ_k und einer Varianz von x_k zum Zeitpunkt k $σ_{k}^{2} .$
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen des sich bewegenden Objekts in dem stabilisierten Videodatenstrom basierend auf dem Bestimmen der Exzentrizität ε_k und dem Vergleichen der Exzentrizität ε_k mit einer zu α proportionalen Konstante.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen der Exzentrizität ε_k basierend auf rekursiver Aktualisierung des Mittelwerts µ_k basierend auf einem vorherigen Mittelwert µ_k-1 und gewichteten Videodatenstrom-Datenpunkten □x_k, die älteren Videodatenstrom-Datenpunkten x_k sich verringernde Gewichtungen zuweisen.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen der Exzentrizität ε_k basierend auf rekursivem Aktualisieren der Varianz $σ_{k}^{2}$
für Videodatenstrom-Datenpunkte basierend auf der Konstante α, dem Eingabevideodatenstrom-Datenpunkt x_k und dem Mittelwert µ_k.
Gemäß einer Ausführungsform beinhaltet das Betreiben des Fahrzeugs basierend auf dem Bestimmen mindestens eines sich bewegenden Objekts in dem Videodatenstrom das Bestimmen einer 3D-Position des sich bewegenden Objekts in Bezug auf das Fahrzeug.
Gemäß einer Ausführungsform wird der Videodatenstrom durch eine stationäre Videokamera erlangt und beinhaltet das Bestimmen der 3D-Position des sich bewegenden Objektes in Bezug auf das Fahrzeug das Bestimmen einer Position und einer Richtung der stationären Videokamera in Bezug auf das Fahrzeug.
Gemäß einer Ausführungsform beinhaltet das Bestimmen einer Position und einer Richtung der stationären Videokamera in Bezug auf das Fahrzeug das Bestimmen einer 3D-Stellung der stationären Videokamera.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das einen Prozessor und einen Speicher aufweist, wobei der Speicher Anweisungen beinhaltet, die durch den Prozessor für Folgendes ausgeführt werden sollen: Empfangen eines Videodatenstroms, wobei der Videodatenstrom driftkorrigiert ist, basierend auf dem Bestimmen, dass ein Eingabevideodatenstrom stabil ist, und dann Anwenden einer Driftkorrektur zum Beibehalten eines stabilisierten Sichtfeldes, wobei das Sichtfeld in Bezug auf Koordinaten der realen Welt stabilisiert ist; und Betreiben eines Fahrzeugs basierend auf dem Bestimmen mindestens eines sich bewegenden Objektes in einem stabilisierten Videodatenstrom.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen, wann der Eingabevideodatenstrom stabil ist, basierend auf dem Bestimmen einer Exzentrizität ε_k zu einem Zeitpunkt k und dem Vergleichen der Exzentrizität ε_k mit einem empirisch bestimmten Schwellenwert, wobei die Exzentrizität ε_k eine Rate misst, mit der sich Datenpunkte, die einer Pixelposition x_k zugeordnet sind, als eine Funktion des Zeitpunkts k ändern.
Gemäß einer Ausführungsform basiert die Exzentrizität ε_k auf rekursiver Verarbeitung des Videodatenstroms basierend auf einer empirisch bestimmten Konstante α, einem Datenpunkt des Eingabebildstroms zum Zeitpunkt k x_k, einem Mittelwert von x_k zum Zeitpunkt k µ_k und einer Varianz von x_k zum Zeitpunkt k $σ_{k}^{2} .$
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen des sich bewegenden Objekts in dem stabilisierten Videodatenstrom basierend auf dem Bestimmen der Exzentrizität ε_k und dem Vergleichen der Exzentrizität ε_k mit einer zu α proportionalen Konstante.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen der Exzentrizität ε_k basierend auf rekursiver Aktualisierung des Mittelwerts µ_k basierend auf einem vorherigen Mittelwert µ_k-1 und gewichteten stationären Videodatenstrom-Datenpunkten □x_k, die älteren stationären Videodatenstrom-Datenpunkten x_k sich verringernde Gewichtungen zuweisen.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen der Exzentrizität ε_k basierend auf rekursivem Aktualisieren der Varianz $σ_{k}^{2}$
für stabilisierte Videodatenstrom-Datenpunkte basierend auf der Konstante α, dem Eingabevideodatenstrom-Datenpunkt x_k und dem Mittelwert µ_k.
Gemäß einer Ausführungsform beinhaltet das Betreiben des Fahrzeugs basierend auf dem Bestimmen mindestens eines sich bewegenden Objekts in dem stabilisierten Videodatenstrom das Bestimmen einer 3D-Position des sich bewegenden Objekts in Bezug auf das Fahrzeug.
Gemäß einer Ausführungsform wird der stationäre Videodatenstrom durch eine stationäre Videokamera erlangt und beinhaltet das Bestimmen der 3D-Position des sich bewegenden Objektes in Bezug auf das Fahrzeug das Bestimmen einer Position und einer Richtung der stationären Videokamera in Bezug auf das Fahrzeug.
Gemäß einer Ausführungsform beinhaltet das Bestimmen einer Position und einer Richtung der stationären Videokamera in Bezug auf das Fahrzeug das Bestimmen einer 3D-Stellung der stationären Videokamera.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, Folgendes aufweisend: Mittel zum Steuern der Lenkung, der Bremsung und des Antriebsstrangs eines Fahrzeugs; Computermittel zum: Empfangen eines stabilisierten Videodatenstroms, wobei der stabilisierte Videodatenstrom driftkorrigiert ist, basierend auf dem Bestimmen, dass ein Eingabevideodatenstrom stabil ist, und dann Anwenden einer Driftkorrektur zum Beibehalten eines stabilisierten Sichtfeldes, wobei das Sichtfeld in Bezug auf Koordinaten der realen Welt stabilisiert ist; und Betreiben eines Fahrzeugs basierend auf dem Bestimmen mindestens eines sich bewegenden Objektes in einem stabilisierten Bildstrom und den Mitteln zum Steuern der Lenkung, der Bremsung und des Antriebsstrangs des Fahrzeugs.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen, wann der Eingabebildstrom stabil ist, basierend auf dem Bestimmen einer Exzentrizität ε_k zu einem Zeitpunkt k und dem Vergleichen der Exzentrizität ε_k mit einem empirisch bestimmten Schwellenwert, wobei die Exzentrizität ε_k eine Rate misst, mit der sich Datenpunkte, die einer Pixelposition x_k zugeordnet sind, als eine Funktion des Zeitpunkts k ändern.

Claims

Verfahren, umfassend: Empfangen eines Videodatenstroms beinhaltet, wobei der Videodatenstrom driftkorrigiert ist, basierend auf dem Bestimmen, dass ein Eingabevideodatenstrom stabil ist, und dann Anwenden einer Driftkorrektur zum Beibehalten eines stabilisierten Sichtfeldes, wobei das Sichtfeld in Bezug auf Koordinaten der realen Welt stabilisiert ist; und Betreiben eines Fahrzeugs basierend auf dem Bestimmen mindestens eines sich bewegenden Objektes in einem stabilisierten Bildstrom.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen, wann der Eingabevideodatenstrom stabil ist, basierend auf dem Bestimmen einer Exzentrizität ε_k zu einem Zeitpunkt k und dem Vergleichen der Exzentrizität ε_k mit einem empirisch bestimmten Schwellenwert, wobei die Exzentrizität ε_k eine Rate misst, mit der sich Datenpunkte, die einer Pixelposition x_k des Eingabebildstroms zugeordnet sind, als eine Funktion des Zeitpunkts k ändern.
Verfahren nach Anspruch 2, wobei die Exzentrizität ε_k auf rekursiver Verarbeitung des Videodatenstroms basierend auf einer empirisch bestimmten Konstante α, einem Datenpunkt des Eingabevideodatenstroms zum Zeitpunkt k x_k, einem Mittelwert von x_k zum Zeitpunkt k µ_k und einer Varianz von x_k zum Zeitpunkt k $σ_{k}^{2}$
basiert.
Verfahren nach Anspruch 3, ferner umfassend Bestimmen des sich bewegenden Objektes in dem stabilisierten Videodatenstrom basierend auf der Bestimmung der Exzentrizität ε_k und dem Vergleich der Exzentrizität ε_k mit einer zu α proportionalen Konstante.
Verfahren nach Anspruch 3, ferner umfassend Bestimmen der Exzentrizität ε_k basierend auf rekursiver Aktualisierung des Mittelwerts µ_k basierend auf einem vorherigen Mittelwert µ_k-1 und gewichteten Videodatenstrom-Datenpunkten αx_k, die älteren Videodatenstrom-Datenpunkten x_k sich verringernde Gewichtungen zuweisen.
Verfahren nach Anspruch 3, ferner umfassend Bestimmen der Exzentrizität ε_k basierend auf rekursivem Aktualisieren der Varianz $σ_{k}^{2}$
für Videodatenstrom-Datenpunkte basierend auf der Konstante α, dem Eingabevideodatenstrom-Datenpunkt x_k und dem Mittelwert µ_k.
Verfahren nach Anspruch 1, wobei das Betreiben des Fahrzeugs basierend auf dem Bestimmen mindestens eines sich bewegenden Objekts in dem Videodatenstrom das Bestimmen einer 3D-Position des sich bewegenden Objekts in Bezug auf das Fahrzeug beinhaltet.
Verfahren nach Anspruch 7, wobei der Videodatenstrom durch eine stationäre Videokamera erlangt wird und das Bestimmen der 3D-Position des sich bewegenden Objektes in Bezug auf das Fahrzeug das Bestimmen einer Position und einer Richtung der stationären Videokamera in Bezug auf das Fahrzeug beinhaltet.
Verfahren nach Anspruch 8, wobei das Bestimmen einer Position und einer Richtung der stationären Videokamera in Bezug auf das Fahrzeug das Bestimmen einer 3D-Stellung der stationären Videokamera beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen mindestens eines sich bewegenden Objektes in einem stabilisierten Bildstrom basierend auf dem Lokalisieren des sich bewegenden Objektes in einer kognitiven Karte.
Verfahren nach Anspruch 10, ferner umfassend Bestimmen der kognitiven Karte basierend auf der Position des Fahrzeug, Kartendaten, Fahrzeugsensordaten und den sich bewegenden Objekten.
Verfahren nach Anspruch 11, ferner umfassend Betreiben des Fahrzeugs basierend auf einem Wegpolynom basierend auf der kognitiven Karte.
Verfahren nach Anspruch 1, wobei der Videodatenstrom durch eine in dem Fahrzeug beinhaltete Videokamera erlangt wird.
Verfahren nach Anspruch 1, ferner umfassend Betreiben des Fahrzeugs durch Steuern der Lenkung, der Bremsung und des Antriebsstrangs des Fahrzeugs.
System, umfassend einen Computer, der dazu programmiert ist, die Verfahren nach einem der Ansprüche 1-14 durchzuführen.