DE102019122536A1

DE102019122536A1 - Exzentrizitätskarten

Info

Publication number: DE102019122536A1
Application number: DE102019122536.1A
Authority: DE
Inventors: Bruno Sielly Jales Costa; Gintaras Vincent Puskorius; Gaurav Kumar Singh; Dimitar Petrov Filev
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2018-08-22
Filing date: 2019-08-21
Publication date: 2020-02-27
Also published as: US11055859B2; US20200065980A1; CN110858301A

Abstract

Die Offenbarung stellt Exzentrizitätskarten bereit. Ein Rechensystem kann sich bewegende Objekte in einer Sequenz von Bildern auf der Grundlage von rekursivem Berechnen einer Rot-Grün-Blau(RGB)-Exzentrizität εauf der Grundlage eines Videodaten-Streams bestimmen. Ein Fahrzeug kann auf der Grundlage der bestimmten sich bewegenden Objekte betrieben werden. Der Videodaten-Stream kann durch einen Farbvideosensor erhalten werden, der in dem Fahrzeug oder einem Verkehrsinfrastruktursystem enthalten ist.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft im Allgemeinen Fahrzeugsensoren.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Informationen bezüglich der Umgebung des Fahrzeugs zu erlangen und das Fahrzeug basierend auf den Informationen zu betreiben. Der sichere und komfortable Betrieb des Fahrzeugs kann vom Erhalten genauer und rechtzeitiger Informationen bezüglich der Umgebung des Fahrzeugs abhängen. Fahrzeugsensoren können Daten hinsichtlich zu fahrenden Routen und Objekten bereitstellen, denen in der Umgebung des Fahrzeugs auszuweichen ist. Der sichere und effiziente Betrieb des Fahrzeugs kann vom Erhalten genauer und rechtzeitiger Informationen bezüglich Routen und Objekten in einer Umgebung des Fahrzeugs abhängig sein, während das Fahrzeug auf einer Fahrbahn betrieben wird.
KURZDARSTELLUNG
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Mit einem halb- oder vollautonomen Modus ist ein Betriebsmodus gemeint, bei dem ein Fahrzeug durch eine Rechenvorrichtung als Teil eines Fahrzeuginformationssystems gesteuert werden kann, das Sensoren und Steuerungen aufweist. Das Fahrzeug kann besetzt oder unbesetzt sein, jedoch kann das Fahrzeug in beiden Fällen ohne die Unterstützung eines Insassen gesteuert werden. Im Rahmen dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, bei dem Antrieb (z. B. über einen Antriebsstrang, der eine Brennkraftmaschine und/oder einen Elektromotor beinhaltet), Bremsung und Lenkung eines Fahrzeugs jeweils durch einen oder mehrere Fahrzeugcomputer gesteuert werden; in einem halbautonomen Modus steuert der bzw. steuern die Fahrzeugcomputer eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs. Bei einem nichtautonomen Fahrzeug wird nichts davon durch einen Computer gesteuert.
Eine Rechenvorrichtung in einem Fahrzeug kann dazu programmiert sein, Daten bezüglich der äußeren Umgebung des Fahrzeugs zu erhalten und die Daten zu verwenden, um ein Bewegungsbahnen zu bestimmen, die zu verwenden sind, um ein Fahrzeug in einem autonomen und halbautonomen Modus zu betreiben, wobei die Rechenvorrichtung zum Beispiel einen Fahrzeugweg auf der Grundlage von Sensordaten bezüglich Fahrbahnspuren und Verkehr bestimmen kann und das Fahrzeug entlang des Wegs mit Zielfahrzeuggeschwindigkeiten betreiben kann, während ein Mindestabstand zu anderen Fahrzeugen eingehalten und Fußgängern, Radfahrern usw. ausgewichen wird. Basierend auf Sensordaten kann eine Rechenvorrichtung sich bewegende Objekte, einschließlich Fahrzeugen und Fußgängern in der Nähe eines Fahrzeugs, bestimmen und ein Fahrzeug auf der Grundlage der sich bewegenden Objekte betreiben. Zum Beispiel kann eine Rechenvorrichtung sich bewegende Objekte in der Nähe eines Fahrzeugs erkennen und identifizieren und auf der Grundlage des Erkennens und Identifizierens von sich bewegenden Objekten zu einer Vielzahl von Zeiträumen eine Bahngeschwindigkeit, einschließlich Geschwindigkeit und Richtung, für die sich bewegenden Objekte bestimmen. Somit profitiert die Rechenvorrichtung von einer verbesserten Genauigkeit beim Analysieren von Sensordaten, z. B. Bilddaten, und beim Identifizieren und Bestimmen von Bewegungsbahnen von sich bewegenden Objekten.
Hierin wird ein Verfahren offenbart, beinhaltend Bestimmen eines oder mehrerer sich bewegender Objekte in einer Sequenz von Bildern auf der Grundlage von Bestimmen einer Exzentrizität ε_k auf der Grundlage eines Videodaten-Streams und Betreiben eines Fahrzeugs auf der Grundlage der sich bewegenden Objekte. Die Exzentrizität ε_k kann auf der Grundlage von rekursivem Aktualisieren eines Mittelwerts µ_k gemäß einer Gleichung µ_k = (1 - α)µ_k-1 + αx_k bestimmt werden, wobei α eine empirisch bestimmte Konstante ist, die abnehmende Gewichtungen älteren Datenpunkten x_k gemäß der Gleichung W= [α α (1-α)^k-1 α (1-α)^k-2 ... α (1-α)^k-K+1 ... ] zuordnet. Die Exzentrizität ε_k kann auf der Grundlage des rekursiv aktualisierten Mittelwerts µ_k und einer rekursiv aktualisierten Varianz $σ_{k}^{2}$
gemäß der Näherung $ε_{k} \approx α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}}$
bestimmt werden. Die Exzentrizität ε_k kann auf der Grundlage von rekursivem Aktualisieren einer Varianz $σ_{k}^{2}$
für Pixel der Sequenz von Bildern gemäß der Gleichung $σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α}$
bestimmt werden. Die sich bewegenden Objekte können durch Vergleichen der Exzentrizität ε_k mit α -Malen einer empirisch bestimmten Konstanten bestimmt werden.
Die sich bewegenden Objekte können Gesten, Fußgänger und Fahrzeuge beinhalten. Die sich bewegenden Objekte in dem Videodaten-Stream können auf der Grundlage von Bestimmen verbundener Regionen von Vordergrundpixeln mit empirisch bestimmten Minimal- und Maximalbereichen bestimmt werden. Der Videodaten-Stream kann durch einen Farbvideosensor erhalten werden, der in dem Fahrzeug oder einem Verkehrsinfrastruktursystem enthalten ist. Die sich bewegenden Objekte in einer Sequenz von Bildern können auf der Grundlage von Bestimmen von zwei oder mehr Exzentrizitäts-ε_k-Bildern auf der Grundlage eines Videodaten-Streams bestimmt werden. Projizieren der sich bewegenden Objekte auf eine kognitive Karte kann auf der Grundlage der Position einer Farbvideokamera, welche den Videodaten-Stream erhalten hat, bestimmt werden. Bestimmen der kognitiven Karte kann auf der Position des Fahrzeugs, Kartendaten, Fahrzeugsensordaten und den sich bewegenden Objekten basieren. Betreiben des Fahrzeugs kann auf einem Wegpolynom auf der Grundlage der kognitiven Karte basieren. Die Farbvideokamera kann im Fahrzeug enthalten sein.
Ferner wird ein computerlesbares Medium offenbart, auf dem Programmanweisungen zum Ausführen einiger oder sämtlicher der vorstehenden Verfahrensschritte gespeichert sind. Ferner wird ein Computer offenbart, der dazu programmiert ist, einige oder sämtliche der vorstehenden Verfahrensschritte auszuführen, einschließlich einer Computereinrichtung, die programmiert ist zum Bestimmen eines oder mehrerer sich bewegender Objekte in einer Sequenz von Bildern auf der Grundlage von Bestimmen einer Exzentrizität ε_k auf der Grundlage eines Videodaten-Streams und Betreiben eines Fahrzeugs auf der Grundlage der sich bewegenden Objekte. Die Exzentrizität ε_k kann auf der Grundlage von rekursivem Aktualisieren eines Mittelwerts µ_k gemäß einer Gleichung µ_k = (1-α)µ_k-1 + αx_k bestimmt werden, wobei α eine empirisch bestimmte Konstante ist, die abnehmende Gewichtungen älteren Datenpunkten x_k gemäß der Gleichung W= [α α (1-α)^k-1 α (1-α)^k-2 ... α (1-α)^k-K ⁺¹ ... ] zuordnet. Die Exzentrizität ε_k kann auf der Grundlage des rekursiv aktualisierten Mittelwerts µ_k und einer rekursiv aktualisierten Varianz $σ_{k}^{2}$
gemäß der Näherung $ε_{k} \approx α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}}$
bestimmt werden. Die Exzentrizität ε_k kann auf der Grundlage von rekursivem Aktualisieren einer Varianz $σ_{k}^{2}$
für Pixel der Sequenz von Bildern gemäß der Gleichung $σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α}$
bestimmt werden.
Die Computereinrichtung kann ferner programmiert sein zum Bestimmen der sich bewegenden Objekte durch Vergleichen der Exzentrizität ε_k mit α-Malen einer empirisch bestimmten Konstanten. Die sich bewegenden Objekte können Gesten, Fußgänger und Fahrzeuge beinhalten. Die sich bewegenden Objekte in dem Videodaten-Stream können auf der Grundlage von Bestimmen verbundener Regionen von Vordergrundpixeln mit empirisch bestimmten Minimal- und Maximalbereichen bestimmt werden. Der Videodaten-Stream kann durch einen Farbvideosensor erhalten werden, der in dem Fahrzeug oder einem Verkehrsinfrastruktursystem enthalten ist. Die sich bewegenden Objekte in einer Sequenz von Bildern können auf der Grundlage von Bestimmen von zwei oder mehr Exzentrizitäts-ε_k-Bildern auf der Grundlage eines Videodaten-Streams bestimmt werden. Projizieren der sich bewegenden Objekte auf eine kognitive Karte kann auf der Grundlage der Position einer Farbvideokamera, welche den Videodaten-Stream erhalten hat, bestimmt werden. Bestimmen der kognitiven Karte kann auf der Position des Fahrzeugs, Kartendaten, Fahrzeugsensordaten und den sich bewegenden Objekten basieren. Betreiben des Fahrzeugs kann auf einem Wegpolynom auf der Grundlage der kognitiven Karte basieren. Die Farbvideokamera kann im Fahrzeug enthalten sein.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Fahrzeugs.
2 ist eine Darstellung eines beispielhaften Fahrzeugs mit Videosensoren.
3 ist eine Darstellung einer beispielhaften Videodatensequenz.
4 ist eine Darstellung eines beispielhaften Videobilds.
5 ist eine Darstellung eines beispielhaften Exzentrizitätsbilds.
6 ist eine Darstellung einer beispielhaften kognitiven Karte mit sich bewegenden Objekten.
7 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Betreiben eines Fahrzeugs auf Grundlage von sich bewegenden Objekten.
8 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Berechnen eines Exzentrizitätsbilds.

DETAILLIERTE BESCHREIBUNG
1 ist eine Darstellung eines Fahrzeuginformationssystems 100, das ein Fahrzeug 110 beinhaltet, das in einem autonomen („autonom“ bedeutet in dieser Offenbarung alleinstehend „vollständig autonom“) und einem von einem Insassen gesteuerten (auch als nichtautonom bezeichneten) Modus betrieben werden kann. Das Fahrzeug 110 beinhaltet zudem eine oder mehrere Rechenvorrichtungen 115 zum Durchführen von Berechnungen zum Steuern des Fahrzeug 110 während des autonomen Betriebs. Die Rechenvorrichtungen 115 können Informationen hinsichtlich des Betriebs des Fahrzeugs von Sensoren 116 empfangen. Der Rechenvorrichtung 115 kann das Fahrzeug 110 in einem autonomen Modus, einem halbautonomen Modus oder einem nichtautonomen Modus betreiben. Zum Zwecke dieser Offenbarung ist ein autonomer Modus als einer definiert, in dem jedes von Antrieb, Bremsung und Lenkung des Fahrzeugs 110 durch die Rechenvorrichtung gesteuert wird; in einem halbautonomen Modus steuert die Rechenvorrichtung 115 eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs 110; in einem nicht autonomen Modus steuert ein menschlicher Bediener den Antrieb, die Bremsung und die Lenkung des Fahrzeugs.
Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie diese bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Arten von computerlesbaren Medien und hat Anweisungen gespeichert, die durch den Prozessor ausführbar sind, um verschiedene Vorgänge durchzuführen, zu denen die in dieser Schrift offenbarten gehören. Zum Beispiel kann die Rechenvorrichtung 115 eine Programmierung beinhalten, um eines oder mehrere von Bremsung, Antrieb (z. B. Steuerung der Beschleunigung in dem Fahrzeug 110 durch Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, Hybridmotor usw.), Lenkung, Klimasteuerung, Innen- und/oder Außenleuchten usw. des Fahrzeugs zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Fahrzeugführer derartige Vorgänge steuern soll.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug 110 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten enthalten sind, z.B. eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113, eine Lenksteuerung 114 usw., beinhalten oder kommunikativ daran gekoppelt sein, z. B. über einen Fahrzeugkommunikationsbus, der weiter unten beschrieben ist. Die Rechenvorrichtung 115 ist im Allgemeinen zur Kommunikation über ein Fahrzeugkommunikationsnetzwerk ausgelegt, das z. B. einen Bus in dem Fahrzeug 110, wie etwa ein Controller Area Network (CAN) oder dergleichen, beinhaltet; das Netzwerk des Fahrzeugs 110 kann zusätzlich oder alternativ drahtgebundene oder drahtlose Kommunikationsmechanismen beinhalten, wie sie bekannt sind, z. B. Ethernet oder andere Kommunikationsprotokolle.
Über das Fahrzeugnetzwerk kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug senden und/oder Nachrichten von den verschiedenen Vorrichtungen, z. B. Steuerungen, Aktoren, Sensoren usw., einschließlich der Sensoren 116, empfangen. Alternativ oder zusätzlich dazu kann in Fällen, in denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetzwerk zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen oder Erfassungselemente, wie etwa die Sensoren 116, Daten an die Rechenvorrichtung 115 über das Fahrzeugkommunikationsnetzwerk bereitstellen.
Außerdem kann die Rechenvorrichtung 115 zur Kommunikation durch eine Fahrzeug-Infrastruktur-Schnittstelle (F-I-Schnittstelle) 111 mit einem Remote-Servercomputer 120, z. B. einem Cloud-Server, über ein Netzwerk 130 konfiguriert sein, die, wie nachstehend beschrieben, Hardware, Firmware und Software beinhaltet, die es der Rechenvorrichtung 115 ermöglichen, mit einem Remote-Servercomputer 120 über ein Netzwerk 130, wie etwa drahtlose Internet- (Wi-Fi-) oder Mobilfunknetzwerke, zu kommunizieren. Die F-I-Schnittstelle 111 kann demnach Prozessoren, Speicher, Sendeempfänger usw. beinhalten, die dazu konfiguriert sind, verschiedene drahtgebundene und/oder drahtlose Netzwerktechniken, z. B. Mobilfunk, BLUETOOTH® und drahtgebundene und/oder drahtlose Paketnetzwerke, zu nutzen. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 über die F-I-Schnittstelle 111 unter Verwendung von Fahrzeug-Fahrzeug-Netzwerken (F-F-Netzwerken) z. B. gemäß dedizierter Nahbereichskommunikation (Dedicated Short Range Communications - DSRC) und/oder dergleichen konfiguriert sein, die z. B. ad hoc zwischen Fahrzeugen 110 in der Nähe gebildet werden oder über infrastrukturbasierte Netzwerke gebildet werden. Die Rechenvorrichtung 115 beinhaltet zudem nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Informationen protokollieren, indem sie die Informationen zum späteren Abrufen und Übertragen über das Fahrzeugkommunikationsnetzwerk und eine Fahrzeug-Infrastruktur-Schnittstelle (F-I-Schnittstelle) 111 an einen Servercomputer 120 oder eine mobile Benutzervorrichtung 160 in nichtflüchtigem Speicher speichert.
Wie bereits erwähnt, ist in Anweisungen, die in dem Speicher gespeichert sind und durch den Prozessor der Rechenvorrichtung 115 ausgeführt werden können, im Allgemeinen eine Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsung, Lenkung, Antrieb usw., ohne Eingreifen eines menschlichen Fahrzeugführers enthalten. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. den Sensordaten von den Sensoren 116, dem Servercomputer 120 usw., kann die Rechenvorrichtung 115 ohne einen Fahrer zum Betreiben des Fahrzeugs 110 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern. Beispielsweise kann die Rechenvorrichtung 115 eine Programmierung zum Regulieren des Betriebsverhaltens des Fahrzeugs 110 (d. h. physischer Manifestationen des Betriebs des Fahrzeugs 110), wie etwa Geschwindigkeit, Beschleunigung, Bremsung, Lenkung usw., sowie des taktischen Verhaltens (d. h. Steuerung des Betriebsverhaltens typischerweise auf eine Weise, mit der eine sichere und effiziente Zurücklegung einer Route erreicht werden soll), wie etwa einem Abstand zwischen Fahrzeugen und/oder einer Zeitdauer zwischen Fahrzeugen, Fahrstreifenwechsel, eines Mindestabstands zwischen Fahrzeugen, eines minimalen Linksabbiegewegs, einer Zeit bis zur Ankunft an einem bestimmten Standort und eine minimale Zeit bis zur Ankunft an einer Kreuzung (ohne Ampel) zum Überqueren der Kreuzung, beinhalten.
Im vorliegenden Zusammenhang beinhaltet der Ausdruck Steuerungen Rechenvorrichtungen, die typischerweise zum Steuern eines bestimmten Fahrzeugteilsystems programmiert sind. Beispiele beinhalten eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Bei einer Steuerung kann es sich um eine elektronische Steuereinheit (electronic control unit - ECU), wie sie bekannt ist, handeln, die potenziell eine zusätzliche Programmierung, wie in dieser Schrift beschrieben, beinhaltet. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und Anweisungen von dieser empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Zum Beispiel kann die Bremssteuerung 113 Anweisungen zum Betreiben der Bremsen des Fahrzeugs 110 von der Rechenvorrichtung 115 empfangen.
Die eine oder mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECUs) oder dergleichen einschließen, zu denen als nicht einschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114 gehören. Jede der Steuerungen 112, 113, 114 kann entsprechende Prozessoren und Speicher und einen oder mehrere Aktoren beinhalten. Die Steuerungen 112, 113, 114 können mit einem Kommunikationsbus des Fahrzeugs 110 programmiert und verbunden sein, wie etwa einem Controller-Area-Network(CAN)-Bus oder Local-Interconnect-Network(LIN)-Bus, um Anweisungen von dem Computer 115 zu empfangen und Aktoren basierend auf den Anweisungen zu steuern.
Die Sensoren 116 können eine Vielfalt an Vorrichtungen beinhalten, die bekanntlich Daten über den Fahrzeugkommunikationsbus bereitstellen. Zum Beispiel kann ein Radar, das an einem vorderen Stoßfänger (nicht gezeigt) des Fahrzeugs 110 befestigt ist, einen Abstand des Fahrzeugs 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen oder kann ein Sensor des globalen Positionsbestimmungssystems (GPS), der in dem Fahrzeug 110 angeordnet ist, geographische Koordinaten des Fahrzeugs 110 bereitstellen. Der/die durch das Radar und/oder die anderen Sensoren 116 bereitgestellte(n) Abstand/Abstände und/oder die durch den GPS-Sensor bereitgestellten geografischen Koordinaten können durch die Rechenvorrichtung 115 verwendet werden, um das Fahrzeug 110 autonom oder halbautonom zu betreiben.
Das Fahrzeug 110 ist im Allgemeinen ein landbasiertes autonomes Fahrzeug 110, das zu einem autonomen und/oder halbautonomen Betrieb in der Lage ist und drei oder mehr Räder aufweist, z. B. ein Personenkraftwagen, ein Leicht-LKW usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die F-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114. Die Sensoren 116 können Daten bezüglich des Fahrzeugs 110 und der Umgebung, in der das Fahrzeug 110 betrieben wird, sammeln. Beispielsweise können zu den Sensoren 116 u. a. Höhenmesser, Kameras, LIDAR, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hall-Effekt-Sensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren, wie etwa Schalter, usw. gehören. Die Sensoren 116 können dazu verwendet werden, die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben wird; z.B. können die Sensoren 116 Phänomene, wie etwa Wetterbedingungen (Niederschlag, äußere Umgebungstemperatur usw.), die Neigung einer Straße, die Position einer Straße (z. B. anhand von Straßenrändern, Fahrstreifenmarkierungen usw.) oder Positionen von Zielobjekten, wie z. B. benachbarten Fahrzeugen 110, erfassen. Die Sensoren 116 können ferner verwendet werden, um Daten, einschließlich dynamischer Daten des Fahrzeugs 110, die sich auf den Betrieb des Fahrzeugs 110 beziehen, wie etwa Geschwindigkeit, Gierrate, Lenkwinkel, Motordrehzahl, Bremsdruck, Öldruck, den auf die Steuerungen 112, 113, 114 im Fahrzeug 110 angewandten Leistungspegel, Konnektivität zwischen Komponenten und genaue und rechtzeitige Durchführung der Komponenten des Fahrzeugs 110, zu sammeln.
2 ist eine Darstellung eines beispielhaften Fahrzeugs 110, das die Videosensoren 202, 204, 206, 208 beinhaltet, die jeweils ein Sichtfeld 210, 212, 214, 216 aufweisen. Die Videosensoren 202, 204, 206, 208 können einer Rechenvorrichtung 115 in einem Fahrzeug 110 Videodaten bereitstellen, um sich bewegende Objekte in der Umgebung des Fahrzeugs, wie durch die Sichtfelder 210, 212, 214, 216 der Videosensoren 202, 204, 206, 208 dargestellt, unter Verwendung von Moving-Window-Exzentrizitätsberechnungen, wie hierin beschrieben, zu detektieren. Das Detektieren von sich bewegenden Objekten in der Umgebung des Fahrzeugs kann es der Rechenvorrichtung 115 ermöglichen, Fahrzeugwege zu bestimmen, die den sicheren und effizienten Betrieb des Fahrzeugs 110 durch das Verhindern von Kollisionen und Beinahekollisionen mit sich bewegenden Objekten ermöglichen.
3 ist eine Darstellung von drei beispielhaften Einzelbildern der Videodaten 302, 304, 306 aus einem Videodaten-Stream, der durch einen im Fahrzeug 110 enthaltenen Videosensor erhalten wurde. Zum Beispiel kann ein Videosensor in einem Insassenkabinenabschnitt eines Fahrzeugs 110 enthalten sein, der positioniert ist, um einen Insassen in seinem Sichtfeld zu enthalten. In jedem Einzelbild der Videodaten 302, 304, 306 ist eine Person 308, 310, 312 und eine Hand 314, 316, 318 der Person sichtbar. Obwohl mindestens ein Abschnitt einer Hand 314, 316, 318 einer Person in allen drei Einzelbildern der Videodaten 302, 304, 306 sichtbar ist, sind Informationen, die in allen drei Einzelbildern der Videodaten 302, 304, 306 enthalten sind, z. B. Änderungen der Größe, Position und Form einer Hand 314, 316, 318 einer Person, erforderlich, um eine Handgeste zu detektieren und zu identifizieren. Hierin erörterte Techniken verarbeiten Video-Stream-Daten, um sich bewegende Objekte in einem Sichtfeld auf der Grundlage eines Moving-Window-Exzentrizitäts-ε-Bilds, wie hierin beschrieben, zu detektieren und zu identifizieren, bei welchem es sich um eine statische Darstellung einer Objektbewegung in Video-Stream-Daten, einschließlich Handgesten, handelt.
Die Rechenvorrichtung 115 kann Daten von sich bewegenden Objekten in einem Moving-Window-Exzentrizitäts- ε -Bild verwenden, um Handgesten unter Verwendung von Maschinensichttechniken, einschließlich tiefer neuronaler Netzwerke, zu erkennen, um ein Bild einer Person 314, 316, 318 in Video-Stream-Daten zu bestimmen und Größen und Formen einer Hand 314, 316, 318 einer Person, wie in Moving-Window-Exzentrizitäts-ε-Bilddaten dargestellt, mit einer Handgestensemantik, einschließlich Fahrzeugbefehlen, in Bezug zu setzen. Zum Beispiel kann eine Rechenvorrichtung 115 einen Fußgänger in der Nähe als ein sich bewegendes Objekt auf der Grundlage eines Moving-Window-Exzentrizitäts-ε-Bilds identifizieren, welches durch das Verarbeiten der durch einen Videosensor 202, 204, 206, 208 erhaltenen Video-Stream-Daten erzeugt wird. Die Rechenvorrichtung 115 kann bestimmen, dass ein Fußgänger in der Nähe daran interessiert ist, befördert zu werden, indem sie bestimmt, dass der Fußgänger in der Nähe eine Handgeste durchführt, wie das Heranwinken eines Taxis. Als Reaktion auf eine Handgeste des Fußgängers kann die Rechenvorrichtung 115 das Fahrzeug 110 betreiben, um sich näher zu dem gestikulierenden Fußgänger zu bewegen und zum Beispiel eine Tür zu entriegeln.
4 ist ein beispielhaftes Farbvideobild 400 einer Verkehrsszene, das in schwarzweiß wiedergegeben ist, um mit 37 C.F.R. § 1.84(a)(1) konform zu sein. Die Farbvideodaten 400 können durch einen Videosensor 202 erhalten werden, der zum Beispiel im Fahrzeug 110 enthalten ist. Dieses Farbvideobild 400 kann in den Video-Stream-Daten enthalten sein und beinhaltet sich bewegende Objekte, Fußgänger 402, 404, 406, 408, 410 und Radfahrer 412, 414. Maschinensichttechniken, einschließlich zum Beispiel optischer Flussfelder, verzerrter optischer Flüsse und aufeinanderfolgender Zeitdifferenzberechnungen, können zum Beispiel verwendet werden, um sich bewegende Objekte in Video-Stream-Daten durch das Anwenden von Filter mit unendlicher Antwort oder Filtern mit trennbaren und nicht trennbaren Raum-Zeit-Komponenten auf die Video-Stream-Daten zu detektieren und zu identifizieren. Diese Techniken sind rechnerisch „aufwendig“, und zwar in dem Sinne, dass sie eine aufwendige Berechnung erfordern, die deren Ausführung in Echtzeit verhindert. Außerdem können sie äußerst empfindlich bezüglich der optimalen Auswahl komplexer Parameter sein, was Abstimmung durch Experten erfordert, damit sie ordnungsgemäß funktionieren.
Hierin wird eine Technik für die statische Darstellung (Acht-Bit-Graustufenbild) einer wahrnehmbaren Bewegung von Objekten, Flächen und Kanten, die in Video-Stream-Daten sichtbar sind, erörtert, welche hunderte Einzelbilder pro Sekunde von Video-Stream-Daten auf gemeinhin verfügbaren Rechenvorrichtungen auf der Grundlage einer Video-Stream-Datenmetrik, die als Moving-Window-Exzentrizität ε bezeichnet wird, typischerweise viel effizienter als frühere Techniken verarbeiten kann. Die Moving-Window-Exzentrizität ε ist eine Metrik, die misst, wie unterschiedlich ein Pixeldatenpunkt von vergangenen Beobachtungen desselben Pixels ist. Für einen Satz von Pixeln in einem n-dimensionalen Raum erhöht sich der Wert der Moving-Window-Exzentrizität ε für den Satz von Pixeln, wenn der Wert der Pixel von ihrem „normalen“ Verhalten abweicht. Die Moving-Window-Exzentrizität ε erfordert keine komplexen benutzerdefinierten Parameter und erfordert keine vorherigen Annahmen über die Daten und ihre statistische Verteilung und kann bei einer Rate von hunderten Einzelbildern von Daten pro Sekunde berechnet werden, also viel schneller als andere Techniken zum Bestimmen von Bildvordergrund. Die Berechnung der Moving-Window-Exzentrizität ε ist nicht anfällig für Abweichungen oder Konzeptentwicklung, wobei sich Abweichungen auf das langsame, aber anhaltende Ändern von Video-Stream-Datenwerten beziehen und sich Konzeptentwicklung auf Änderungen der Parameter bezieht, welche die im Verlauf der Zeit berechnete Ausgabe bestimmen. Eine berechnete Moving-Window-Exzentrizitäts-ε-Bildausgabe (i, j) kann in Rechenaufgaben in Bezug auf das Betreiben des Fahrzeugs 110, einschließlich der Wegplanung und der Gestenerkennung, eingegeben werden.
5 ist eine beispielhafte Moving-Window-Exzentrizitäts- ε -Karte 500. Das Moving-Window-Exzentrizitäts-ε-Bild wird auf der Grundlage von Video-Stream-Daten berechnet, die zum Beispiel ein Einzelbild der Videodaten 400 beinhalten. Die Video-Stream-Daten sind Zeitseriendaten, einschließlich einer Sequenz von n-dimensionalen, gleichmäßig beabstandeten Datenbeobachtungen, die als Einzelbilder bezeichnet werden. Jedes Einzelbild beinhaltet ein Höhe-X-Breite-X-3-n-dimensionales Array von Datenpunkten oder Pixeln, wobei n zum Beispiel im Bereich von ein, für Graustufen- oder Infrarotdaten, bis drei, für rote, grüne und blaue (RGB) Datenpunkte oder Pixel liegen kann. Bei einer traditionellen (unendlicher Speicher) Exzentrizitäts-ε-Berechnung basiert die Exzentrizität ε_k eines Pixels bei einem Zeitpunkt k auf einem Mittelwert µ_k und einer Varianz $σ_{k}^{2},$
wobei sowohl µ_k als auch $σ_{k}^{2}$
auf der Grundlage all der Proben berechnet werden, die seit der Zeit, zu welcher die Berechnungen begannen, enthalten sind, da jeder Schritt in der Berechnung von den Werten der Variablen aus einem vorherigen Schritt abhängig ist. Da die Exzentrizität ε Informationen von allen vorherigen Proben beinhaltet, ist die Exzentrizitäts-ε-Berechnung auf stationäre Videokameras beschränkt gewesen, für welche zum Beispiel erwartet wird, dass das Sichtfeld unverändert bleibt, mit Ausnahme von sich bewegenden Objekten.
Die Exzentrizitäts- ε -Berechnung kann auf einem Moving-Window-Ansatz (endlicher Speicher) zur rekursiven Berechnung der Exzentrizität ε basieren, um die Exzentrizität ε an die Echtzeit-Verarbeitung von Videodaten-Streams anzupassen. Der Mittelwert µ_k und die Varianz $σ_{k}^{2}$
werden rekursiv für die Pixel x_k bei einem Zeitpunkt k gemäß den folgenden Gleichungen aktualisiert: $μ_{k} = (1 - α) μ_{k - 1} + α x_{k}$
$σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α}$
wobei α eine empirisch bestimmte konstante Lernrate für das Hintergrundmodell ist (= 0,05). Die Konstante α kann verwendet werden, um einen Satz von exponentiell sinkenden Gewichtungen zu den Pixeln x_k zuzuordnen: $W = [α α {(1 - α)}^{k - 1} α {(1 - α)}^{k - 2} \dots α {(1 - α)}^{k - K + 1} \dots]$
wobei die Gewichtungsfunktion W eine Einheitssumme aufweist. Die Gewichtungsfunktion W bildet einen gewichteten Aggregationsoperator vom Durchschnittstyp mit exponentiell sinkenden Gewichtungen, die abhängig sind von α. Die Elemente von W mit einer Stärke von mehr als K nähern sich null, wodurch eine Moving Window mit der Breite K definiert wird. Die Breite des Moving Window K ist ungefähr reziprok zu einem Vernachlässigbarkeitsfaktor gleich K ≈ (1/α).
Der Ausdruck für die Exzentrizität ε kann für alle Datenproben bis zum Zeitpunkt k definiert werden. Durch das Einführen einer konstanten Lernrate wird der Effekt der älteren Datenpunkte (über K hinaus) im Wesentlichen eliminiert. Daher kann die Exzentrizität ε durch die folgende Näherung ausgedrückt werden: $ε_{k} \approx \frac{1}{K} + \frac{{(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{K σ_{k}^{2}} \approx α + α \frac{{(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}}$
FürRGB-Video-Stream-Daten, $x_{k}^{i, j} = {R_{k}^{i, j}, G_{k}^{i, j}, B_{k}^{i, j}},$
der Vektor, welcher die Intensitäten der Rot-, Grün- und Blaukanäle eines Pixels (i, j) eines Bilds mit den Abmessungen Höhe X Breite X 3, zum Beispiel 1920 X 1080 X 3 Byte für ein High-Definition-Farbvideo, bei Zeitpunkt K („X“ steht in den vorliegenden Beschreibungen für „mal“). Jedes Pixel (i, j) des Bilds generiert einen Eingabevektor $x_{k}^{i, j},$
was zu Höhe X Breite Exzentrizitäts- ε -Ausgaben führt (die Exzentrizität ε jedes Pixels ist unabhängig von den anderen Pixeln, somit wird jedes Pixel als ein separater Daten-Stream behandelt). Für jedes Eingabebild (RGB) mit Höhe X Breite X 3 kann eine Exzentrizitäts-ε-Karte 500 mit Höhe X Breite X 1 generiert werden (zum Beispiel 1920 X 1080 X 8-Bit-Graustufe).
Die Untersuchung der Exzentrizitäts- ε -Karte 500 macht detektierte sich bewegende Objekte 502, 504, 506, 508, 510, 512, 514 deutlich, die durch das Verarbeiten der Video-Stream-Daten generiert wurden, welche zum Beispiel das Videobild 400 enthalten. Die Exzentrizitäts-ε-Karte 500 kann auf einer eingeschränkten Anzahl, z. B. 20, von Einzelbildern der Video-Stream-Daten basieren. Eine Bewegung der Bilder der Fußgänger 402, 404, 406, 408, 410 und der Radfahrer 412, 414 in den Video-Stream-Daten wird in 8-Bit-Graustufendarstellungen der sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 umgewandelt. Die Richtung der Bewegung der sich bewegenden Objekte kann von der Richtung von horizontalen dunklen Linien abgeleitet werden, welche die Bewegung von links nach rechts oder rechts nach links für die sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 in der Exzentrizitäts-ε-Karte 500 und daher der Verkehrsszene im Videobild 400 angeben, um ein Beispiel zu nennen. Die Geschwindigkeit der sich bewegenden Objekte kann proportional zur Länge der horizontalen Linien sein, die in den sich bewegenden Objekten 502, 504, 506, 508, 510, 512, 514 enthalten sind, wobei Objekte mit einer höheren Geschwindigkeit eine längere horizontale Länge in der Exzentrizitäts-ε-Karte 500 aufweisen. Eine Vielzahl von Exzentrizitäts-ε-Karten 500 kann bei aufeinanderfolgenden Zeitpunkten erhalten werden und Positionen der sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 können nachverfolgt werden und Bahngeschwindigkeiten der sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 können durch das grafische Darstellen der Änderung der Position im Raum gegenüber der Zeit bestimmt werden.
6 ist eine beispielhafte kognitive Karte 600, die durch die Rechenvorrichtung 115 im Fahrzeug 110 auf der Grundlage einer Exzentrizitäts-ε_k-Karte 500 und 3D-Positionsdaten bestimmt wird, die durch die Fahrzeugsensoren 116 generiert werden. Eine kognitive Karte ist als eine Darstellung einer lokalen räumlichen Umgebung definiert. In diesem Beispiel ist die kognitive Karte 600 eine (Karte) Ansicht von oben einer lokalen räumlichen Umgebung, die Regionen und Objekte beinhaltet, welche für die Navigation des Fahrzeugs 110 relevant sind, einschließlich einer Fahrbahn 602 einer Kreuzung 604 mit Überwegen 606, 608, die durch gestrichelte Linien gekennzeichnet sind. Informationen zum Konstruieren einer kognitiven Karte stammen aus Karteninformationen, die in der Rechenvorrichtung 115 gespeichert sind oder von einem Server über eine F-I-Schnittstelle 111 heruntergeladen werden. Karteninformationen können mit Informationen von den Fahrzeugsensoren 116 kombiniert werden, einschließlich Videosensoren, Lidar-Sensoren und Positionssensoren, einschließlich GPS, und Beschleunigungsmessern. Diese Informationen können kombiniert werden, um die kognitive Karte 600 zu konstruieren und das Fahrzeug 110 korrekt in dieser zu positionieren. Die kognitive Karte 600 kann auf der Grundlage von realen 3D-Koordinaten konstruiert werden. Reale 3D-Koordinaten der sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 in Bezug auf reale Koordinaten des Fahrzeugs 110 können auf der Grundlage einer Analyse der sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 unter Verwendung von Maschinensichttechniken bestimmt werden, um verbundene Regionen von Pixeln zu bestimmen, die mit jedem sich bewegenden Objekt 502, 504, 506, 508, 510, 512, 514 assoziiert sind, und dann statistische Messgrößen der verbundenen Regionen zu berechnen, einschließlich der Größe, des Begrenzungsrahmens, des Verhältnisses von Breite zu Höhe usw. Die statistischen Messgrößen im Zusammenhang mit verbundenen Regionen können analysiert werden, um den realen 3D-Abstand vom Fahrzeug 110 zu den sich bewegenden Objekten 502, 504, 506, 508, 510, 512, 514 auf der Grundlage von Annahmen bezüglich der mittleren Größe und Bewegung der Fußgänger und Radfahrer und des Identifizierens einer verbundenen Region als zum Beispiel Fußgänger, Radfahrer oder Fahrzeug zu schätzen. Unter Verwendung der geschätzten 3D-Abstände kann die Rechenvorrichtung 115 die sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 in der kognitiven Karte 600 als zugeordnete sich bewegende Objekte 610, 612, 614, 616, 618, 620, 622 auf der Grundlage ihrer geschätzten 3D-Position in Bezug auf das Fahrzeug 110 platzieren.
Die Fahrzeugsensoren 116 können verwendet werden, um den 3D-Abstand der sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 vom Fahrzeug 110 in realen Koordinaten zu bestimmen. Zum Beispiel kann die Rechenvorrichtung 115 Lidar-Daten abfragen, um den 3D-Abstand vom Fahrzeug zu Positionen im Sichtfeld des Lidar-Sensors, die den sich bewegenden Objekten 502, 504, 506, 508, 510, 512, 514 entsprechen, auf der Grundlage der Position der sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 im Sichtfeld des Videosensors 202 zu bestimmen. Die Rechenvorrichtung kann ebenfalls ein Video verwenden, um den 3D-Abstand der sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 zu bestimmen, einschließlich optischer Flusstechniken und neuronaler Netzwerke, und zwar durch das Verarbeiten eines Eingabefarbvideodaten-Streams, um 3D-Abstände vom Videosensor 202 zu Abschnitten des Sichtfelds zu extrahieren. Da die sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 auf der Grundlage desselben Sichtfelds erlangt wurden, können 3D-Abstände der Abschnitte des Sichtfelds, entsprechend den sich bewegenden Objekten 502, 504, 506, 508, 510, 512, 514, einen 3D-Abstand zu jedem sich bewegenden Objekt 502, 504, 506, 508, 510, 512, 514 bestimmen. Unter Verwendung dieser Techniken kann die Rechenvorrichtung 115 3D-Abstände der sich bewegenden Objekte vom Fahrzeug 110 bestimmen und auf der Grundlage der realen 3D-Position des Fahrzeugs 110 die sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 in der kognitiven Karte 600 als zugeordnete sich bewegende Objekte 610, 612, 614, 616, 618, 620, 622 auf der Grundlage ihrer bestimmten 3D-Position in Bezug auf das Fahrzeug 110 platzieren.
Durch das Nachverfolgen der zugeordneten sich bewegenden Objekte 610, 612, 614, 616, 618, 620, 622 in einer Vielzahl von Exzentrizitäts-ε_k-Karten 500, die bei aufeinanderfolgenden Zeitpunkten erhalten wurden, können eine Geschwindigkeit und eine Richtung für jedes zugeordnete sich bewegende Objekt 610, 612, 614, 616, 618, 620, 622 bestimmt werden. Die Position, Geschwindigkeit und Richtung der zugeordneten sich bewegenden Objekte 610, 612, 614, 616, 618, 620, 622 kann durch die Pfeile 624, 626, 628, 630, 632, 634, 636 an jedem zugeordneten sich bewegenden Objekt 610, 612, 614, 616, 618, 620, 622 angegeben werden, welche die Richtung und Geschwindigkeit der Bewegung durch die Länge und Richtung des Pfeils angeben.
Die Rechenvorrichtung 115 kann ein Wegpolynom 638 (gepunktete Linie) in der kognitiven Karte 600 bestimmen, das dem Fahrzeug 110 erlaubt, zu einem Ziel zu fahren, während es einer Kollision oder Beinahekollision mit den zugeordneten sich bewegenden Objekten 610, 612, 614, 616, 618, 620, 622 ausweicht, indem Regionen mit freien Raum und Regionen mit nicht freien Raum, die in der kognitiven Karte 600 enthalten sind, geschätzt werden. Regionen mit freiem Raum sind Regionen einer kognitiven Karte 600, in denen für ein Fahrzeug 110 vorhergesagt werden kann, dass es ungehindert auf einer Fahrbahnfläche fahren kann. Die Rechenvorrichtung 115 kann Ziele in der kognitiven Karte 600 für die Fahrt des Fahrzeugs 110 bestimmen, die einen Schritt zur Erreichung einer höheren zielgerichteten Aktivität darstellen, wie etwa beispielsweise das Abholen eines Fahrgastes und das Absetzen desselben an einem Ziel. In einer kognitiven Karte 600 enthaltene Regionen mit nicht freiem Raum beinhalten Regionen ohne Fahrbahn und Regionen, die Objekte umgeben, sowohl feststehende Objekte wie Leitkegel und Leitplanken als auch, wenn Objekte als sich bewegend bestimmt werden, Positionen, zu denen sich die Objekte wahrscheinlich bewegen werden, wobei beispielsweise Wegstrecken für Fahrzeuge, Fußgänger und Fahrradfahrer vorgesagt werden, wie durch die Pfeile 624, 626, 628, 630, 632, 634, 636 an den zugeordneten sich bewegenden Objekten 610, 612, 614, 616, 618, 620, 622 angegeben. Positionen in einer kognitiven Karte 500, zu welchen sich die zugeordneten sich bewegenden Objekte 610, 612, 614, 616, 618, 620, 622 wahrscheinlich bewegen, können auf der Grundlage wiederholter Beobachtungen der zugeordneten sich bewegenden Objekte 610, 612, 614, 616, 618, 620, 622 im Verlauf der Zeit bestimmt werden, um zum Beispiel Wahrscheinlichkeiten der Position eines zugeordneten sich bewegenden Objekts 610, 612, 614, 616, 618, 620, 622 auf der Grundlage der bestimmten Geschwindigkeit und Richtung, die durch die Pfeile 624, 626, 628, 630, 632, 634, 636 angegeben sind, zu bestimmen. Wegpolynome können bestimmt werden, um das Fahrzeug 110 derart zu lenken, dass es innerhalb einer Region mit freiem Raum fährt, um ein Ziel zu erreichen, während es Regionen mit nicht freiem Raum ausweicht.
Bei dem Wegpolynom handelt es sich um eine mathematische Darstellung einer realen 3D-Position und -Bewegung, die beispielsweise Änderungsraten von Quer- und Längsbeschleunigungen beinhaltet. Die Rechenvorrichtung 115 kann ein Wegpolynom auf der Grundlage der vorhergesagten Positionen, Geschwindigkeit und Richtung für das Fahrzeug 110 bestimmen. Die Rechenvorrichtung kann dann eine Polynomfunktion dritten Grades oder weniger in Splines genannten Segmenten bestimmen, wobei die Segmente derart beschränkt sind, dass sie durch Beschränkungen für erste Ableitungen glatt zusammenpassen, um vorhergesagte aufeinanderfolgende Positionen des Fahrzeugs 110 darzustellen. Beschränkungen für das Wegpolynom bei realen 3D-Koordinaten beinhalten Ober- und Untergrenzen für Quer- und Längsbeschleunigungen und Obergrenzen für Änderungsraten der Quer- und Längsbeschleunigungen (Ruck), die zum Betreiben des Fahrzeugs 110 entlang des Wegpolynoms erforderlich sind. Das Wegpolynom kann so beschränkt sein, dass es auf einer Fahrbahn bleibt und sich bewegenden Objekten ausweicht, während es sich in Richtung eines Ziels bewegt, indem ein Wegpolynom auf eine Region mit freiem Raum beschränkt ist. Die Rechenvorrichtung 115 kann das Fahrzeug 110 derart betreiben, dass es entlang eines Wegpolynoms fährt, indem Befehle an die Steuerungen 112, 113, 114 zum Steuern der Lenkung, der Bremsen und des Antriebsstrangs des Fahrzeugs 110 gesendet werden, um zu bewirken, dass das Fahrzeug 110 entlang eines Wegpolynoms auf einer Fahrbahn fährt, während es sich bewegenden Objekten ausweicht. In diesem Beispiel hat die Rechenvorrichtung 115 das Wegpolynom 634 bestimmt, um das Fahrzeug 110 auf der Fahrbahn 602 bei der Kreuzung 604 zu betreiben, während es den zugeordneten sich bewegenden Objekten 610, 612, 614, 616, 618, 620, 622 ausweicht. Das Wegpolynom 634 endet in einem offenen Kreis 636, das bedeutet, dass das Fahrzeug 110 bei der durch den offenen Kreis 636 auf dem Wegpolynom 634 angegebenen Position anhält, bis Informationen bezüglich der zugeordneten sich bewegenden Objekte 610, 612, 614, 616, 618, 620, 622 auf der Grundlage einer Exzentrizitäts-ε-Karte 500 angeben, dass die Kreuzung 604 frei von zugeordneten sich bewegenden Objekten 610, 612, 614, 616, 618, 620, 622 ist. Zu dieser Zeit kann die Rechenvorrichtung 115 ein neues Wegpolynom bestimmt, an welchem das Fahrzeug 110 betrieben wird.
7 ist eine Darstellung eines Ablaufdiagramms, das in Bezug auf die 1-6 beschrieben ist, eines Prozesses 700 zum Betteiben eines Fahrzeugs auf der Grundlage des Betreibens eines Fahrzeugs auf der Grundlage des Bestimmens von sich bewegenden Objekten auf der Grundlage von Video-Stream-Daten. Der Prozess 700 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem z. B. Informationen von den Sensoren 116 als Eingabe herangezogen und Befehle ausgeführt und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 700 beinhaltet mehrere Blöcke in der offenbarten Reihenfolge. Der Prozess 700 beinhaltet zudem Umsetzungen, die weniger Blöcke beinhalten, oder kann die Blöcke in anderen Reihenfolgen beinhalten.
Der Prozess 700 beginnt bei Block 702, wobei eine Rechenvorrichtung 115, die in einem Fahrzeug 110 enthalten ist, eine Moving-Window-Exzentrizität ε auf der Grundlage von Video-Stream-Daten bestimmen kann, wie vorstehend in Bezug auf 5, Gleichung (4), erörtert und wie durch den Prozess 800 aus 8 detaillierter beschrieben. Die Moving-Window-Exzentrizität ε ist eine Metrik, die auf Video-Stream-Daten durch die Rechenvorrichtung 115 angewendet werden kann, um eine statische Darstellung einer Bewegung in den Video-Stream-Daten zu erzeugen, welche eine Bewegung in den Video-Stream-Daten durch das Aufnehmen von Vordergrundpixeln darstellen kann, die durch ihre Differenz von einem Mittelwert und eine Varianz auf der Grundlage von Video-Stream-Daten bestimmt sind, die auf eine feste Anzahl von Proben begrenzt sind. Vordergrundpixel im Moving-Window-Exzentrizitäts-ε-Bild 500 stellen sich bewegende Objekte, einschließlich Fußgängern, Fahrzeugen, Radfahrern und Handgesten, in Video-Stream-Daten dar. Die Rechenvorrichtung 115 kann die Moving-Window-Exzentrizitäts-ε-Bilder 500 bei einer Rate von mehrere hundert Einzelbildern pro Sekunde berechnen, viel schneller als andere Techniken zum Detektieren von sich bewegenden Objekten durchgeführt werden können.
Bei Block 704 kann die Rechenvorrichtung 115 3D-Abstände zu den sich bewegenden Objekten 502, 504, 506, 508, 510, 512, 514 im Moving-Window-Exzentrizitäts-ε-Bild 500 auf der Grundlage des Bestimmens statistischer Messgrößen von verbundenen Regionen bestimmen, welche die sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 darstellen, wie vorstehend in Bezug auf 6 erörtert. Die Position, Größe und Form der verbundenen Regionen, welche die sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 darstellen, können durch die Rechenvorrichtung 115 verarbeitet werden, um die 3D-Position der sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 im 3D-Raum relativ zu einem Videosensor 202, 204, 206, 208 auf der Grundlage von Annahmen bezüglich der Größe, Form und der erwarteten Positionen der sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 zu bestimmen. Die Rechenvorrichtung 115 kann die 3D-Abstandsinformationen verwenden, um die sich bewegenden Objekte 502, 504, 506, 508, 510, 512, 514 in einer kognitiven Karte zu platzieren, welche Abschnitt einer Umgebung in der Nähe ein einer (Karte) Perspektive von oben beschreibt.
Die 3D-Abstände zu den bewegenden Objekten 502, 504, 506, 508, 510, 512, 514 können außerdem auf dem Bestimmen von 3D-Abständen zu den sich bewegenden Objekten 502, 504, 506, 508, 510, 512, 514 auf der Grundlage von Informationen von den Fahrzeugsensoren 116 basieren, einschließlich Radar-, Lidar- und Videosensoren, wie vorstehend in Bezug auf 6 erörtert. Diese 3D-Abstandsinformationen basieren zusätzlich zu den 3D-Abstandsinformationen auf dem Verarbeiten des Moving-Window-Exzentrizitäts-ε-Bilds 500 und stellen eine redundante Überprüfung beider Quellen von 3D-Abstandsinformationen dar.
Bei Block 706 kann die Rechenvorrichtung 115 das Fahrzeug 110 auf der Grundlage einer kognitiven Karte betreiben, welche die zugeordneten sich bewegenden Objekte 602, 604, 606, 608, 610, 612, 614 enthält, wie vorstehend in Bezug auf 6 erörtert. Die Rechenvorrichtung kann eine Position und Richtung und Geschwindigkeit der Bewegung für die zugeordneten sich bewegenden Objekte 610, 612, 614, 616, 618, 620, 622 bestimmen und ein Wegpolynom 634 zum Betreiben des Fahrzeugs 110 auf einer Fahrbahn 502 auf der Grundlage einer Position und Richtung und Geschwindigkeit der Bewegung der zugeordneten sich bewegenden Objekte 602, 604, 606, 608, 610, 612, 614 bestimmen, welches Kollisionen oder Beinahekollisionen zwischen dem Fahrzeug 110 und den zugeordneten sich bewegenden Objekten 602, 604, 606, 608, 610, 612, 614 verhindert. Die Rechenvorrichtung kann dann die Lenkung, die Bremsen und den Antriebsstrang des Fahrzeugs 110 so steuern, dass das Fahrzeug 110 entlang des Wegpolynoms 634 betrieben wird. Im Anschluss an diesen Block endet der Prozess 700.
8 ist eine Darstellung eines Ablaufdiagramms, das in Bezug auf die 1-6 beschrieben ist, eines Prozesses 800 zum Bestimmen der Moving-Window-Exzentrizität ε auf der Grundlage von Video-Stream-Daten. Der Prozess 800 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem z. B. Informationen von den Sensoren 116 als Eingabe herangezogen und Befehle ausgeführt und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 800 beinhaltet mehrere Blöcke in der offenbarten Reihenfolge. Der Prozess 800 beinhaltet zudem Umsetzungen, die weniger Blöcke beinhalten, oder kann die Blöcke in anderen Reihenfolgen beinhalten.
Der Prozess 800 beginnt bei Block 802, bei welchem eine Rechenvorrichtung 115 in einem Fahrzeug 110, wo ein Pixel x_k aus einem Einzelbild eines Video-Stream-Datenbilds (i, j) zu einem Zeitpunkt k ausgewählt wird. Die Pixel x_k eines Einzelbilds der Video-Stream-Daten zu einem Zeitpunkt k können in einer Rasterabtastreihenfolge verarbeitet werden, bei welcher zum Beispiel Zeilen i vor Spalten j abgetastet werden.
Bei Block 804 aktualisiert die Rechenvorrichtung 115 einen Mittelwert µ_k zum Zeitpunkt k gemäß der Gleichung (1) oben. Die Aktualisierung des Mittelwerts µ_k wird rekursiv berechnet, um nur die vorherigen K Proben zu enthalten, wobei K eine kleine Zahl sein kann, zum Beispiel 20.
Bei Block 806 aktualisiert die Rechenvorrichtung 115 eine Varianz $σ_{k}^{2}$
zum Zeitpunkt k gemäß der Gleichung (2) oben. Die Aktualisierung der Varianz $σ_{k}^{2}$
wird rekursiv berechnet, um nur die vorherigen K Proben zu enthalten, wobei K eine kleine Zahl sein kann, zum Beispiel 20.
Bei Block 808 berechnet die Rechenvorrichtung 115 die Moving-Window-Exzentrizität ε_k zum Zeitpunkt k gemäß der Gleichung (4) oben. Die Aktualisierung der Moving-Window-Exzentrizität ε_k wird rekursiv berechnet, um nur die vorherigen K Proben zu enthalten, wobei K eine kleine Zahl sein kann, zum Beispiel 20.
Bei Block 810 vergleicht die Rechenvorrichtung die Aktualisierung der Moving-Window-Exzentrizität ε_k, die bei Block 808 berechnet wurde, mit einer Zahl gleich dem Fünffachen einer empirisch bestimmten Konstanten α. Wenn die Moving-Window-Exzentrizität ε_k größer oder gleich 5 α ist, zweigt der Prozess 800 zu Block 812 ab. Wenn die Moving-Window-Exzentrizität kleiner als 5 α ist, zweigt der Prozess 800 zu Block 814 ab.
Bei Block 812 legt die Rechenvorrichtung ein Pixel eines Ausgabebilds bei der Positionsausgabe (i, j) gleich einem Wert fest, welcher den Vordergrund und daher ein sich bewegendes Objekt darstellt. Der Prozess 800 wird wiederholt, bis alle Pixel der Ausgabe (i, j) in der Rasterabtastreihenfolge festgelegt sind, und dann endet der Prozess 800.
Bei Block 814 legt die Rechenvorrichtung ein Pixel eines Ausgabebilds bei der Positionsausgabe (i, j) gleich einem Wert fest, welcher den Hintergrund und daher ein stationäres oder sich nicht bewegendes Objekt darstellt. Der Prozess 800 wird wiederholt, bis alle Pixel der Ausgabe (i, j) in der Rasterabtastreihenfolge festgelegt sind, und dann endet der Prozess 800.
Rechenvorrichtungen, wie etwa die in dieser Schrift erörterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausgeführt werden können. Beispielsweise können die vorstehend erörterten Prozessblöcke als computerausführbare Befehle verwirklicht sein.
Computerausführbare Befehle können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung vielfältiger Programmiersprachen und/oder -techniken, einschließlich unter anderem entweder allein oder in Kombination Java™, C, C++, Visual Basic, Java Script, Perl, HTML usw., erstellt worden sind. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle z. B. von einem Speicher, einem computerlesbaren Medium usw. und führt diese Befehle aus, wodurch er einen oder mehrere Prozesse, einschließlich eines oder mehrerer der hierin beschriebenen Prozesse, durchführt. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung einer Vielfalt an computerlesbaren Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Ein computerlesbares Medium schließt ein beliebiges Medium ein, das an der Bereitstellung von Daten (z. B. Befehlen) beteiligt ist, die von einem Computer gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien, flüchtiger Medien usw. Zu nichtflüchtigen Medien gehören zum Beispiel optische Platten oder Magnetplatten und andere dauerhafte Speicher. Zu flüchtigen Medien gehört ein dynamischer Direktzugriffsspeicher (dynamic random access memory - DRAM), der typischerweise einen Hauptspeicher darstellt. Zu gängigen Formen computerlesbarer Medien gehören zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, ein beliebiger anderer Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das durch einen Computer ausgelesen werden kann.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass eines oder mehrere der aufgeführten Elemente genannt wird bzw. werden, es sei denn, ein Patentanspruch enthält ausdrücklich eine gegenteilige Einschränkung.
Der Ausdruck „beispielhaft“ wird in dieser Schrift in dem Sinne verwendet, dass er ein Beispiel angibt, z. B. sollte ein Verweis auf eine „beispielhafte Vorrichtung“ einfach als Bezugnahme auf ein Beispiel für eine Vorrichtung gelesen werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, ein Messwert, ein Wert, eine Bestimmung, eine Berechnung usw. von einer/einem genau beschriebenen Geometrie, Abstand, Messung, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Bearbeitungszeit, Kommunikationszeit usw. abweichen kann.
In den Zeichnungen kennzeichnen die gleichen Bezugszeichen die gleichen Elemente. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der hierin beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer bestimmten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der hierin beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte hierin beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt dienen die Beschreibungen von Prozessen in dieser Schrift der Veranschaulichung bestimmter Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: Bestimmen eines oder mehrerer sich bewegender Objekte in einer Sequenz von Bildern auf der Grundlage von Bestimmen einer Exzentrizität ε_k auf der Grundlage eines Videodaten-Streams; und Betreiben eines Fahrzeugs auf der Grundlage der sich bewegenden Objekte.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der Exzentrizität ε_k auf der Grundlage von rekursivem Aktualisieren eines Mittelwerts µ_k gemäß einer Gleichung µ_k = (1 - α)µ_k-1 + αx_k, wobei α eine empirisch bestimmte Konstante ist, die abnehmende Gewichtungen älteren Datenpunkten x_k gemäß der Gleichung W= [α α (1-α)^k-1 α (1-α)^k-2 ... α (1-α)^k-K+1 ...] zuordnet.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der Exzentrizität ε_k auf der Grundlage von rekursivem Aktualisieren einer Varianz $σ_{k}^{2}$
für Pixel der Sequenz von Bildern gemäß der Gleichung $σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α} .$
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der Exzentrizität ε_k auf der Grundlage des rekursiv aktualisierten Mittelwerts µ_k und einer rekursiv aktualisierten Varianz $σ_{k}^{2}$
gemäß der Näherung $ε_{k} \approx α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}} .$
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der sich bewegenden Objekte durch Vergleichen der Exzentrizität ε_k mit α-Malen einer empirisch bestimmten Konstanten.
Gemäß einer Ausführungsform beinhalten die sich bewegenden Objekte Gesten, Fußgänger und Fahrzeuge.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der sich bewegenden Objekte in dem Videodaten-Stream auf der Grundlage von Bestimmen verbundener Regionen von Vordergrundpixeln mit empirisch bestimmten Minimal- und Maximalbereichen.
Gemäß einer Ausführungsform wird der Videodaten-Stream durch einen Farbvideosensor erhalten, der in dem Fahrzeug oder einem Verkehrsinfrastruktursystem enthalten ist.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der sich bewegenden Objekte in einer Sequenz von Bildern auf der Grundlage von Bestimmen von zwei oder mehr Exzentrizitäts-ε_k-Bildern auf der Grundlage eines Videodaten-Streams.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: einen Prozessor und einen Speicher, wobei der Speicher Anweisungen beinhaltet, die von dem Prozessor auszuführen sind, zum: Bestimmen eines oder mehrerer sich bewegender Objekte in einer Sequenz von Bildern auf der Grundlage von rekursivem Berechnen einer Rot-Grün-Blau(RGB)-Exzentrizität ε_k auf der Grundlage eines Videodaten-Streams; und Betreiben eines Fahrzeugs auf der Grundlage der sich bewegenden Objekte.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der Exzentrizität ε_k auf der Grundlage von Bestimmen eines Mittelwerts µ_k für Pixel des Videodaten-Stroms, auf der Grundlage von rekursivem Aktualisieren des Mittelwerts µ_k gemäß der Gleichung µ_k = (1 - α)µ_k-1 + αx_k, wobei α eine empirisch bestimmte Konstante ist, die abnehmende Gewichtungen älteren Datenpunkten x_k gemäß der Gleichung W= [α α (1-α)^k-1 α (1-α)^k-2 ... α (1-α)^k-K+1 ... ] zuordnet.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der Exzentrizität ε_k auf der Grundlage von Bestimmen einer Varianz $σ_{k}^{2}$
für RGB-Pixel der Sequenz von Bildern, auf der Grundlage von rekursivem Aktualisieren der Varianz $σ_{k - 1}^{2}$
gemäß der Gleichung $σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α} .$
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der Exzentrizität ε_k auf der Grundlage des Mittelwerts µ_k und der Varianz $σ_{k}^{2}$
gemäß der Näherung $ε_{k} \approx α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}} .$
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der sich bewegenden Objekte durch Vergleichen der Exzentrizität ε_k mit α-Malen einer empirisch bestimmten Konstanten.
Gemäß einer Ausführungsform beinhalten die sich bewegenden Objekte Gesten, Fußgänger und Fahrzeuge.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der sich bewegenden Objekte in dem Videodaten-Stream auf der Grundlage von Bestimmen verbundener Regionen von Vordergrundpixeln mit empirisch bestimmten Minimal- und Maximalbereichen.
Gemäß einer Ausführungsform wird der Videodaten-Stream durch einen Farbvideosensor erhalten, der in dem Fahrzeug oder einem Verkehrsinfrastruktursystem enthalten ist.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der sich bewegenden Objekte in einer Sequenz von Bildern auf der Grundlage von rekursivem Berechnen von zwei oder mehr Exzentrizitäts-ε_k-Bildern auf der Grundlage eines Videodaten-Streams.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: Mittel zum Steuern der Lenkung, der Bremsen und des Antriebsstrangs eines Fahrzeugs; Computermittel zum: Bestimmen von sich bewegenden Objekten in einer Sequenz von Bildern auf der Grundlage von Bestimmen einer Exzentrizität ε_k auf der Grundlage eines Videodaten-Streams und Betreiben eines Fahrzeugs auf der Grundlage der sich bewegenden Objekte, und Mittel zum Steuern der Lenkung, der Bremsen und des Antriebsstrangs des Fahrzeugs.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der Exzentrizität ε_k auf der Grundlage von rekursivem Aktualisieren eines Mittelwerts µ_k gemäß der Gleichung µ_k = (1 - α)µ_k-1 + αx_k, wobei α eine empirisch bestimmte Konstante ist, die abnehmende Gewichtungen älteren Datenpunkten x_k gemäß der Gleichung W= [α α (1-α)^k-1 α (1-a)^k-2 ... α (1-α)^k-K+1 ...] zuordnet.

Claims

Verfahren, umfassend: Bestimmen eines oder mehrerer sich bewegender Objekte in einer Sequenz von Bildern auf der Grundlage von Bestimmen einer Exzentrizität ε_k auf der Grundlage eines Videodaten-Streams; und Betreiben eines Fahrzeugs auf der Grundlage der sich bewegenden Objekte.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen der Exzentrizität ε_k auf der Grundlage von rekursivem Aktualisieren eines Mittelwerts µ_k gemäß einer Gleichung µ_k = (1 - α)µ_k-1 + αx_k, wobei α eine empirisch bestimmte Konstante ist, die abnehmende Gewichtungen älteren Datenpunkten x_k gemäß der Gleichung W= [α α (1-α)^k-1 α (1-α)^k-2 ... α (1-α)^k-K+1 ... ] zuordnet.
Verfahren nach Anspruch 2, ferner umfassend Bestimmen der Exzentrizität ε_k auf der Grundlage des rekursiv aktualisierten Mittelwerts µ_k und einer rekursiv aktualisierten Varianz $σ_{k}^{2}$
gemäß der Näherung $ε_{k} \approx α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}} .$
Verfahren nach Anspruch 3, ferner umfassend Bestimmen der Exzentrizität ε_k auf der Grundlage von rekursivem Aktualisieren einer Varianz $σ_{k}^{2}$
für Pixel der Sequenz von Bildern gemäß der Gleichung $σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α} .$
Verfahren nach Anspruch 4, ferner umfassend Bestimmen der sich bewegenden Objekte durch Vergleichen der Exzentrizität ε_k mit α-Malen einer empirisch bestimmten Konstanten.
Verfahren nach Anspruch 1, wobei die sich bewegenden Objekte Gesten, Fußgänger und Fahrzeuge beinhalten.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen der sich bewegenden Objekte in dem Videodaten-Stream auf der Grundlage von Bestimmen verbundener Regionen von Vordergrundpixeln mit empirisch bestimmten Minimal- und Maximalbereichen.
Verfahren nach Anspruch 1, wobei der Videodaten-Stream durch einen Farbvideosensor erhalten wird, der in dem Fahrzeug oder einem Verkehrsinfrastruktursystem enthalten ist.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen der sich bewegenden Objekte in einer Sequenz von Bildern auf der Grundlage von Bestimmen von zwei oder mehr Exzentrizitäts-ε_k-Bildern auf der Grundlage eines Videodaten-Streams.
Verfahren nach Anspruch 9, ferner umfassend Projizieren der sich bewegenden Objekte auf eine kognitive Karte auf der Grundlage der Position einer Farbvideokamera, welche den Videodaten-Stream erhalten hat.
Verfahren nach Anspruch 10, ferner umfassend Bestimmen der kognitiven Karte auf der Grundlage der Position des Fahrzeugs, Kartendaten, Fahrzeugsensordaten und der sich bewegenden Objekte.
Verfahren nach Anspruch 11, ferner umfassend Betreiben des Fahrzeugs auf der Grundlage eines Wegpolynoms auf der Grundlage der kognitiven Karte.
Verfahren nach Anspruch 12, wobei die Farbvideokamera im Fahrzeug enthalten ist.
Verfahren nach Anspruch 1, ferner umfassend Betreiben des Fahrzeugs durch Steuern der Lenkung, der Bremsen und des Antriebsstrangs des Fahrzeugs.
System, umfassend einen Computer, der dazu programmiert ist, die Verfahren nach einem der Ansprüche 1-14 durchzuführen.