DE112012002885T5 - Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung - Google Patents

Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung

Info

Publication number
DE112012002885T5
DE112012002885T5 DE112012002885.6T DE112012002885T DE112012002885T5 DE 112012002885 T5 DE112012002885 T5 DE 112012002885T5 DE 112012002885 T DE112012002885 T DE 112012002885T DE 112012002885 T5 DE112012002885 T5 DE 112012002885T5
Authority
DE
Germany
Prior art keywords
edge
vehicle
value
operable
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112012002885.6T
Other languages
English (en)
Inventor
Dilip Swaminathan
Chandra Sekhar Gatla
Hans M. Molin
Andreas U. Kuehnle
Jeffrey S. Lawson
Cathy L. Boon
Ken D. Au
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bendix Commercial Vehicle Systems LLC
Original Assignee
Bendix Commercial Vehicle Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201161505870P priority Critical
Priority to US61/505,870 priority
Application filed by Bendix Commercial Vehicle Systems LLC filed Critical Bendix Commercial Vehicle Systems LLC
Priority to PCT/US2012/045949 priority patent/WO2013009697A1/en
Publication of DE112012002885T5 publication Critical patent/DE112012002885T5/de
Application status is Pending legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00791Recognising scenes perceived from the perspective of a land vehicle, e.g. recognising lanes, obstacles or traffic signs on road scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Abstract

Die Erfindung betrifft ein System zur numerischen Analyse von physikalischen Daten, mit einem Eingang, der dazu betreibbar ist, mehrere, diskrete Dateneingangswerte entsprechend einem gemeinsam in Zusammenhang stehenden physikalischen Phänomen zu empfangen, wobei eine mit dem physikalischen Phänomen zusammenhängende funktionelle Beziehung in durch eine Vielzahl von Unterfunktionen definiert ist, jede Unterfunktion auf zumindest einen Dateneingangswert operabel ist, und zumindest eine der Unterfunktionen zwischen einem minimalen Wert und einem diesem entsprechenden maximalen Wert begrenzt ist; einem Speicher, der dazu betreibbar ist, empfangene digitale Daten zu speichern; einem Prozessor, der dazu betreibbar ist, eine erste Unterfunktion der Vielzahl für jeden von einer Vielzahl von Dateneingangswerten auszuwerten, um einen Kandidatenmaximalwert zu ermitteln; wobei der Prozessor weiter dazu betreibbar ist, den Kandidatenmaximalwert mit einem Systemmaximalwert zu vergleichen, der durch zumindest eine zweite der Vielzahl von Unterfunktionen erzielbar ist; und einem Ausgang, der dazu betreibbar ist, den Kandidatenunterfunktionswert nach Beendigung an zumindest eines eines physikalischen Überwachungs- oder Steuersystems als einen Extremwert zu kommunizieren, um zumindest einen eines Überwachungs- und Steuervorgangs relativ zu dem physikalischen System durchzuführen, wenn der Kandidatenunterfunktionswert den Systemmaximalwert überschreitet.

Description

  • QUERVERWEIS ZU VERWANDTEN ANMELDUNGEN
  • Diese Anmeldung bezieht die vorläufige amerikanische Anmeldung (US Provisional Application) Nummer 61/508,870, die am 8. Juli 2011 eingereicht wurde, mit ein.
  • TECHNISCHES GEBIET
  • Die Erfindung betrifft allgemein eine Bildverarbeitung in Fahrzeugen. Spezieller beziehen sich besondere Ausführungsbeispiele der Erfindung auf eine Vorrichtung zur bildbasierten Fahrzeugerfassung und Messung sowie Bildverarbeitungsverfahren für Vorauskollisions-Warnsysteme bzw. Systeme zur Warnung vor Kollisionen in Fahrtrichtung des Fahrzeugs.
  • HINTERGRUND
  • Bestehende Ansätze zur Fahrzeugerfassung beinhalten häufig die Verwendung aktiver Sensoren, wie beispielsweise Laser, LIDAR oder Millimeterwellenradar. Diese erfassen die Entfernung eines Objekts durch Messen der Laufzeit eines von den Sensoren ausgesandten und von dem Objekt reflektierten Signals. Solche Sensoren haben eine Reihe von Nachteilen, wie beispielsweise geringe räumliche Auflösung und niedrige Abtastgeschwindigkeit. Darüber hinaus können dann, wenn sich eine große Anzahl von Fahrzeugen gleichzeitig in dieselbe Richtung bewegt, Interferenzen zwischen Sensoren desselben Typs ein großes Problem darstellen.
  • Passive Sensoren, wie beispielsweise optische Sensoren in Kameras, sind ebenfalls bekannte Ansätze für die Fahrzeugerfassung. Diese Arten von Sensoren sind preiswerter und gewinnen Daten in einer weniger aufdringlichen Art und Weise als aktive Sensoren. Es gibt jedoch große Veränderliche in der Verwendung optischer Sensoren, die eine Herausforderung für die Fahrzeugerfassung darstellen und diese problematisch machen. Beispielsweise variieren Fahrzeuge stark in Farbe, Größe und Form, so dass ihr Erscheinungsbild für eine Kamera häufig inkonsistent oder unklar ist, welches in unsicherer Genauigkeit resultiert. Darüber hinaus erhöhen das Vorhandensein anderer Objekte, Änderungen der Fahrzeuggeschwindigkeit und des Fahrzeugorts, Umgebungsbedingungen wie beispielsweise Änderungen der Beleuchtung, nicht vorhersehbare Interaktionen mit anderen Fahrzeugen und das Verhalten anderer Fahrzeuge, und andersartiges Hintergrundrauschen die Schwierigkeit, zu genauen und verlässlichen Ergebnissen zu gelangen.
  • Unabhängig von der Art eines Sensors ist ein anderes Problem bei bestehenden Ansätzen mit der Zeit verbunden, die benötigt wird, um erfasste Bilder zu verarbeiten. Die meisten Ansätze involvieren ein Erfassen großer Bilder von ganzen Fahrzeugen, wobei jedoch Fahrerassistenzanwendungen und Fahrzeugerfassungsalgorithmen Bilder sehr schnell, d. h. in Echtzeit oder so nahe an Echtzeit wie möglich, verarbeiten müssen. Ein Durchsuchen ganzer Bilder zum Ermitteln von Fahrzeugorten und ein Verarbeiten einer potenziellen Warnung, die dem Fahrer genug Zeit zum reagieren lässt, ist häufig nicht möglich oder nicht realistisch.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Die hierin einbezogenen und beigefügten Zeichnungen, die Teil der Beschreibung bilden, stellen beispielhafte Ausführungsbeispiele dar.
  • 1 stellt ein Beispiel eines Fahrzeugs mit einem System zur bildbasierten Fahrzeugerfassung und Abstands- bzw. Entfernungsmessung dar.
  • 2 stellt ein Beispiel von Modulen dar, die in einem Verarbeitungsmodul zur bildbasierten Fahrzeugerfassung und Entfernungsmessung vorhanden sind.
  • 3 stellt ein Beispiel dar, wie U- und H-Formen erzeugt werden können.
  • 4 stellt ein Beispiel eines Fahrzeugs mit einer verdeckten Kante dar.
  • 5 stellt ein Beispiel dar, wie eine U/H-Form aus Kanten und dunklen Bereichen aufgebaut werden kann, sowie Füll- und Lückenkonzepte.
  • 6 stellt ein Beispiel einer Berechnung für Meter horizontal in Pixel (Meter Horizontal in Pixels; MHP) dar.
  • 7 ist ein Diagramm, das ein Beispiel zur Heranziehung der Struktur und des erwarteten Orts von Fahrzeugen zum Ermitteln des Vorhandenseins eines Fahrzeugs darstellt.
  • 8 stellt ein Beispiel eines Verfahrens zum Verwerfen falscher Positiver dar.
  • 9 stellt ein Beispiel eines nach dem Pyramidenprinzip arbeitenden Bildverarbeitungsverfahrens zum Beibehalten konstanterer Berechnungszeiten dar.
  • 10 stellt ein Beispiel eines Ausdünnens von Kanten dar.
  • 11 stellt ein Beispiel von U/H-Formen für eine Vielzahl von Fahrspuren dar, die gespeichert und nach Bildreihen sortiert sind.
  • 12 stellt ein Beispiel von U/H-Formen dar, die das Heck eines Fahrzeugs umgeben und innerhalb desselben enthalten sind.
  • 13 stellt ein Beispiel von Regeln zum Beibehalten von U's durch ein Beschnittmodul dar.
  • 14 stellt ein Beispiel einer grafischen Darstellung von vertikalen Orten der Unterseite eines Bilds einer U/H-Erfassung nach einem Beschneiden über der Zeit dar.
  • 15 stellt Beispiele des Ermittelns der Entfernung zu einem Fahrzeug zur Tageszeit dar.
  • 16 stellt Beispiele des Ermittelns der Entfernung zu einem Fahrzeug zur Nachtzeit dar.
  • 17 ist ein Blockdiagramm, das ein Computersystem darstellt, bei welchem ein beispielhaftes Ausführungsbeispiel implementiert werden kann.
  • 18 ist ein Ablaufdiagramm, das ein Beispiel eines Vorauskollisions-Warnverfahrens bzw. eines Verfahrens zum Warnen vor einer Kollision in Fahrtrichtung des Fahrzeugs darstellt.
  • 19 stellt ein Beispiel eines Verfahrens zum Orten von Fahrzeugen während zur Tageszeit dar.
  • 20 stellt ein Beispiel eines Verfahrens zum Orten von Fahrzeugen bei Nacht dar.
  • 21 stellt ein vereinfachtes Beispiel eines Verfahrens dar zum Verringern der Anzahl von Berechnungen, die für eine gründliche Suche nach Funktionsextremwerten, die genutzt werden können, um das Lokalisieren von möglichen Fahrzeugen aus einem empfangenen Bild zu erleichtern, verwendet werden.
  • 22 stellt eine beispielhafte Methodologie zur bildbasierten Fahrzeugerfassung auf der Grundlage des in 21 dargestellten Verfahrens dar.
  • 23 stellt eine Gruppe von Pixeln dar, die einem Beispiel einer rekursiven Berechnung zugeführt werden.
  • ÜBERBLICK ÜBER BEISPIELHAFTE AUSFÜHRUNGSBEISPIELE
  • Nachstehend wird eine vereinfachte Übersicht über die beispielhaften Ausführungsbeispiele dargestellt, um ein grundlegendes Verständnis einiger Aspekte der beispielhaften Ausführungsbeispiele bereitzustellen. Diese Übersicht ist keine erschöpfende Übersicht über die beispielhaften Ausführungsbeispiele. Sie beabsichtigt weder, Schlüsselelemente oder kritische Elemente der beispielhaften Ausführungsbeispiele zu identifizieren, noch den Schutzumfang der beigefügten Ansprüche zu beschränken. Ihr einziger Zweck besteht darin, einige Konzepte der beispielhaften Ausführungsbeispiele in vereinfachter Form als Einleitung in die später folgende detaillierte Beschreibung zu präsentieren.
  • Das Erfassen des Vorhandenseins anderer Fahrzeuge in der Nähe eines eigenen Fahrzeugs und das Messen der Entfernung zu denselben sind grundlegende Bestandteile des Fahrens. Ein beispielhaftes Ausführungsbeispiel beschreibt ein sichtbasiertes Bildverarbeitungssystem zum Erfassen des Vorhandenseins anderer Fahrzeuge. Das Vorhandensein oder Fehlen von Fahrzeugen wird durch Analysieren von Bildern unter Verwendung geometriebasierter Berechnungen zum Bereitstellen der Entfernung zu diesen Fahrzeugen ermittelt. Das System bildet eine Grundlage für sichereres oder automatisches Fahren.
  • Ein beispielhaftes Ausführungsbeispiel empfängt ein erfasstes Bild und vorverarbeitet dieses erfasste Bild, um Fahrzeuge in dem Bild zu lokalisieren oder aufzufinden. Ständig vorhandene Fahrzeuge bilden Spuren, deren Eigenschaften Bereichs- oder Entfernungsinformationen bereitstellen. Die Entfernungsinformationen werden dann dazu verwendet, den Fahrer zu warnen, das Fahrzeug zu steuern, gefährliche Vorfälle zu protokollieren, oder das Fahren anderweitig zu unterstützen.
  • Fahrzeuge werden durch Suchen nach U- oder H-Formen in einem Bild erfasst, und die Entfernung zu denselben wird unter Verwendung der Annahme einer flach bzw. eben verlaufenden Straße oder der Beziehung zwischen Breite und Entfernung gemessen. Die Erfassung, die Abstandsbestimmung und Messungen erfolgen für tageszeitliche und nächtliche Fahrgegebenheiten auf unterschiedliche Weise.
  • BESCHREIBUNG BEISPIELHAFTER AUSFÜHRUNGSBEISPIELE
  • Diese Beschreibung stellt Beispiele bereit, die nicht beabsichtigen, den Schutzbereich der beigefügten Ansprüche einzuschränken. Die Figuren zeigen die Merkmale der Beispiele allgemein, wobei verständlicherweise erwünscht ist, dass gleiche Bezugszeichen verwendet werden, um auf gleiche Elemente Bezug zu nehmen. Eine Bezugnahme in der Beschreibung auf ”genau ein Ausführungsbeispiel” oder ”ein Ausführungsbeispiel” oder ”ein beispielhaftes Ausführungsbeispiel” bedeutet, dass ein bestimmtes Merkmal, eine bestimmte Struktur, oder eine bestimmte Eigenschaft, das/die beschrieben wird, in zumindest einem hierin beschriebenen Ausführungsbeispiel enthalten ist, und impliziert nicht, dass das Merkmal, die Struktur oder die Eigenschaft in allen hierin beschriebenen Ausführungsbeispielen enthalten ist.
  • 1 stellt ein Beispiel eines Fahrzeugs 100 dar, das mit einem System 102 zur bildbasierten Fahrzeugerfassung und Abstandsmessung ausgerüstet ist. Das System 102 zur bildbasierten Fahrzeugerfassung und Abstandsmessung beinhaltet eine Bildaufnahmeeinrichtung 104, welche zwar in diesem Beispiel eine Kamera ist, anhand der jedoch der Fachmann leicht erkennt, dass eine beliebige geeignete Bildaufnahmeeinrichtung von dem System 102 zur bildbasierten Fahrzeugerfassung und Abstandsmessung verwendet werden kann, und ein Fahrzeugerfassungs- und Messmodul 106, das mit der Bildaufnahmeeinrichtung 104 gekoppelt ist.
  • Das Fahrzeugerfassungs- und Messmodul 106 beinhaltet geeignete Logik zum Durchführen der hierin beschriebenen Funktionalität. ”Logik”, wie hierin verwendet, beinhaltet Hardware, Firmware, Software, und/oder Kombinationen aus jeder/jedem derselben, um zumindest eine Funktion oder zumindest eine Aktion durchzuführen, und/oder eine Funktion oder eine Aktion einer anderen Komponente zu veranlassen. Zum Beispiel kann auf der Grundlage einer gewünschten Anwendung oder Notwendigkeit die Logik einen softwaregesteuerten Mikroprozessor, diskrete Logik wie beispielsweise eine anwendungsspezifische integrierte Schaltung (”ASIC”), ein System auf einem Chip (”SoC”), ein programmierbares System auf einem Chip (”PSOC”), eine programmierbare/programmierte Logikeinrichtung, eine Anweisungen enthaltende Speichereinrichtung oder dergleichen, oder in Hardware ausgebildete kombinatorische Logik beinhalten. Logik kann ebenfalls vollkommen als Software ausgestaltet sein, die auf einem nicht-transitorischen bzw. nicht vergänglichen, dinghaften Medium gespeichert ist und eine vorbestimmte Funktion durchführt, wenn sie durch einen Prozessor ausgeführt wird. Logik kann in geeigneter Weise ein oder mehrere Module umfassen, das/die dazu konfiguriert ist/sind, eine oder mehrere Funktionen durchzuführen.
  • Optional beinhaltet in bestimmten Ausführungsbeispielen das System 102 zur bildbasierten Fahrzeugerfassung und Abstandsmessung eine zusätzliche Bildaufnahmeeinrichtung bzw. Bildverarbeitungseinrichtung (beispielsweise eine Kamera) 108. Obwohl das Beispiel in 1 zwei Bildaufnahmeeinrichtungen (Kameras) darstellt, versteht sich für den Fachmann ohne weiteres, dass das System 102 zur bildbasierten Fahrzeugerfassung und Abstandsmessung in geeigneter Weise eine beliebige physikalisch darstellbare Anzahl von Bildaufnahmeeinrichtungen beinhalten kann. Im Betrieb werden Bilddaten von der Bildaufnahmeeinrichtung 104, und optional von der Bildverarbeitungseinrichtung 108, falls vorhanden, dem Fahrzeugerfassungs- und Messmodul 106 bereitgestellt. Nachstehend wird der Betriebsablauf des Fahrzeugerfassungs- und Messmoduls 106 unter Bezugnahme auf 2 erklärt.
  • Das Verarbeitungsmodul 106 zur bildbasierten Fahrzeugerfassung und Abstandsmessung erfasst Fahrzeuge und misst Abstände auf der Grundlage von Kantensegmenten und dunklen Pixeln zur Tageszeit, und auf der Grundlage von hellen Bereichen bei Nacht. Die Kanten und dunklen Pixel werden zu U- oder H-Formen zusammengesetzt, die die Grenzen eines Fahrzeugs umgeben. Regeln beschreiben die akzeptablen Formen, und trennen bzw. separieren somit die Fahrzeuge von dem Hintergrund. Der Bereich bzw. die Entfernung zu dem Fahrzeug kann unter Verwendung eines ebenen Straßenmodells oder der Beziehung zwischen der Fahrzeugbreite in dem Bild und dem Abstand abgeschätzt werden. Ein Modell aus pyramidenförmig in der Auflösung reduzierten Bildern kann dazu verwendet werden, unabhängig von der Fahrzeuggröße näherungsweise konstante Verarbeitungszeiten beizubehalten. Kanten werden aus Orten von angrenzenden schwachen Gradienten identifiziert. Dunkle Bildbereiche werden lokalisiert. Wie hierin noch näher beschrieben werden wird, empfängt ein Nachführmodul oder Nachverfolgungsmodul 202 die identifizierten U- und H-Formen, identifiziert die Regionen ständiger Erfassung, und erzeugt Spuren zu den Fahrzeugen in dem Bild, wobei Information bezüglich Bereich bzw. Entfernung, Entfernnungsgeschwindigkeit, Fahrzeugbreite und Ort erzeugt wird. Die Entfernungs- und Entfernungsgeschwindigkeits-Signale werden dazu verwendet, Warnungen bezüglich Abstandshaltung und Zeit bis zur Kollision zu erzeugen, und ebenso eine Aufzeichnung von Daten auszulösen bzw. anzustoßen, falls dies gewünscht ist.
  • In einem beispielhaften Ausführungsbeispiel wird das Vorhandensein eines Fahrzeugs erfasst, und wird die Entfernung zu dem Fahrzeug gemessen. Unterschiedliche Bildverarbeitungstechniken werden in Abhängigkeit davon verwendet, ob das Fahrzeugerfassungs- und Messmodul 106 einen Tagesmodus oder einen Nachtmodus erfasst.
  • In einem Tagesmodus bzw. einer Tagesbetriebsart empfängt das Fahrzeugerfassungs- und Messmodul 106 ein Bild, erzeugt aufeinanderfolgende, in der Auflösung reduzierte Pyramidenbilder bzw. pyramidenförmig angeordnete Bilder mit jeweils reduzierter Auflösung, und extrahiert Kantensegmente aus dem Rohkantenbildern unter Verwendung einer Segmentkohärenz bzw. eines logischen Zusammenhangs zwischen Segmenten. Das Fahrzeugerfassungs- und Messmodul 106 entfernt dann unnötige Kantensegmente durch ausdünnen, wobei es eine Liste verbleibender ausgedünnter Segmente erzeugt, und ermittelt eine Schwelle dahingehend, welcher Pixelgraupegel bzw. Pixelgrauwert einem Schatten für eine Pyramidenebene entsprechen kann. Das Fahrzeugerfassungs- und Messmodul 106 lokalisiert dann potenzielle Fahrzeuge in jeder Pyramidenebene unter Verwendung der Liste ausgedünnter Segmente und der Schatteninformation, wobei es die Orte von Fahrzeugkandidaten bzw. möglichen Fahrzeugen erzeugt und jegliche unnötigen Fahrzeugkandidaten durch Ausschneiden der nicht benötigten Erfassungen, die in einem Bild bzw. Rahmen gefunden wurden, entfernt. Das Fahrzeugerfassungs- und Messmodul 106 berücksichtigt die Beständigkeit der ausgeschnittenen Fahrzeugkandidaten, erzeugt Fahrzeugspuren bzw. Fahrzeugnachverfolgungen, und ermittelt den Bereich bzw. die Entfernung zu den nachverfolgten Fahrzeugen. Eine Spur bzw. Nachverfolgung wird durch Betrachten bzw. Berücksichtigen der Fahrzeugortsgeschichte, bevor die Nachverfolgung begonnen hat, erzeugt, und bestimmt ausgehend von dem/den Fahrzeugbereich(en) bzw. der/den Fahrzeugentfernung(en), ob eine Warnung notwendig ist und ob ein Ereignis zu protokollieren ist. Die Fahrzeuginformation kann auch an andere Fahrzeugsysteme verteilt werden.
  • Ein Nachtmodus bzw. eine Nachtbetriebsart wird aktiv, wenn die Bildgraupegel und/oder die Belichtung und die Verstärkung der Abbildungseinrichtung dies entsprechend anzeigen. Wenn der Nachtmodus aktiviert ist, empfängt das Fahrzeugerfassungs- und Messmodul 106 ein Bild, lokalisiert helle Bereiche, und führt eine Paarübereinstimmung von hellen Bereichen durch, wobei Heckleuchtenpaare gebildet werden. Das Fahrzeugerfassungs- und Messmodul 106 untersucht auch große, breite, ungepaarte, helle Bereiche (welche nahen Fahrzeugen entsprechen können), und bildet wenn möglich virtuelle Paare. In einem beispielhaften Ausführungsbeispiel berücksichtigt das Fahrzeugerfassungs- und Messmodul 106 verbleibende, einzelne helle Bereiche als Motorräder. Das Fahrzeugerfassungs- und Messmodul 106 verfolgt Paare von hellen Bereichen und einzelne helle Bereiche über die Zeit nach, und ermittelt unter Verwendung eines angenommenen Abstands zwischen Elementen der Paare und einer angenommenen Höhe für die Einzelelemente die Bereiche bzw. Entfernungen zu den Paaren und Einzelelementen. Auf der Grundlage der Entfernungen wird eine Ermittlung durchgeführt, ob Warnungen und/oder eine Protokollierung erforderlich ist/sind.
  • Das Fahrzeugerfassungs- und Messmodul 106 beinhaltet darüber hinaus Unterstützungsfunktionen für sowohl den Tagesmodus als auch den Nachtmodus. Diese Unterstützungsfunktionen beinhalten ein Modul zur Messung des Kamera-Neigungswinkels, ein Tag/Nacht-Betriebsart-Modul 206 zum Ermitteln, ob ein Tagesbetrieb oder ein Nachtbetrieb notwendig ist, ein Interessenregion-Modul 208 zum Ermitteln, wenn (in der Auflösung veränderliche) Pyramidenebenen verwendet werden, und eine Entfernungs- und Ortssignalverarbeitung zum Erzeugen einer Entfernungsgeschwindigkeit, Verwerfen von Ausreißern, sowie für andere Aspekte der Sicherstellung eines präzisen Betriebsablaufs.
  • Das Fahrzeugerfassungs- und Messmodul 106 empfängt und nimmt ein Bild auf, und ermittelt unter Verwendung verschiedener Bildverarbeitungsverfahren und Mittel, die hierin beschrieben sind, wie beispielsweise eine Interessenregion bzw. eine Region, die von Interesse ist, sowie Einstellungen der Bildverstärkung und der Belichtung, welche Art von Bildverarbeitung für ein empfangenes Bild durchzuführen ist, um ausgehend von einem eigenen Fahrzeug das Vorhandensein eines Fahrzeugs und eine Entfernung korrekt zu bestimmen.
  • Ein Kandidatenfindemodul 210 verwendet einen U/H-Modellierungsansatz während der Tageszeit und einen Paarlicht/Einzellicht-Modellierungsansatz während der Nachtzeit, um Fahrzeuge durch Anwenden einer Pyramidengraupegelanalyse auf Bilder zu lokalisieren. In einem Ausführungsbeispiel erfolgt eine Ermittlung dahingehend, welcher Ansatz (Tag oder Nacht) zu verwenden ist. Dies geschieht durch Untersuchen der Interessenregion-Graupegelmittel in Verbindung mit der Bildverstärkung und der Belichtung wie hierin beschrieben.
  • Nachdem ein Tag- oder Nacht-Modellierungsansatz bestimmt worden ist, analysiert das Kandidatenfindemodul 210 von einem fahrzeuginternen Bildaufnahmesystem empfangene Bilder. Für tageszeitliche Fahrzeugbilder kann das Kandidatenfindemodul 210 über mögliche Kombinationen von linken, unteren und rechten Fahrzeugkanten iterieren, um zu ermitteln, ob aufgenommene Bilder ein vorbestimmtes Kriterium, nach dem es sich um ein Fahrzeug handelt, erfüllen. Beispiele von Kriterien sind:
    • – Ein Fahrzeug befindet sich innerhalb eines Bereichs, in dem Fahrspuren oder ein Weg der Fortbewegung vermutlich liegt/liegen;
    • – ein Fahrzeug hat eine Breite, die zwischen der eines Fahrrads und eines großen Nutzfahrzeugs liegt;
    • – die Seiten sind ausreichend vollständig und aus entweder genügend vielen dunklen Pixeln oder Kantenpixeln zusammengesetzt;
    • – die Seiten weisen nicht zu große Lücken auf;
    • – die Lücken in der Nähe der linken und rechten Ecken sind nicht zu groß (beispielsweise die linken, unteren und rechten Abschnitte der U/H-Form sind als einigermaßen sinnvoll verbunden zu sehen);
    • – falls eine Seite dunkle Pixel aufweist, die anstelle einer Kante aufgenommen wurden, sollte die andere Seite Kantenpixel in denselben Reihen bzw. Zeilen haben;
    • – es besteht in mehreren Reihen bzw. Zeilen ausreichende Überlappung zwischen den Seiten (dunkel-zu-Kante oder Kante-zu-Kante).
  • Die Nachtzeit-Fahrzeugmodellierung untersucht helle Bereiche in einem Bild, um Fahrzeuge zu identifizieren. Diese hellen Bereiche können mit Fahrzeugleuchten assoziiert werden, oder mit dem beleuchteten Abschnitt eines Fahrzeugs, falls dieses nahe genug ist. Autos und Nutzfahrzeuge werden typischerweise ein paar von ähnlichen Leuchten haben, die ihre äußeren Kanten definieren, wohingegen bei einem nahen Fahrzeug dessen Breite beleuchtet bzw. angestrahlt sein wird. Motorräder und Fahrräder werden eine einzelne Leuchte oder möglicherweise zwei Leuchten haben, die ihren Ort definieren.
  • Die Tagzeit-Fahrzeugmodellierung ermittelt das Vorhandensein eines Fahrzeugs in einem Bild durch Erzeugen von U- und H-Formen. Während Stunden des Tageslichts von hinten gesehene Fahrzeuge haben eine näherungsweise rechteckförmige Form, mit einer vertikalen linken Kante dort, wo die äußere Kante des linken Rades bzw. Reifens ist, einer horizontalen unteren Kante dort, wo der Bodenschatten oder der Stoßfänger ist, und eine vertikalen rechte Kante dort, wo die äußere Kante des rechten Rades bzw. Reifens ist. Diese horizontalen und vertikalen Kanten liegen bzw. sind im Allgemeinen nahe beieinander, mit kleinen Lücken dort, wo sich die Kanten treffen. Diese benachbarten horizontalen und vertikalen Kanten werden dazu verwendet, Fahrzeuge in Videobildern, wo sie U- oder H-Formen ausbilden, zu lokalisieren.
  • Ein Beispiel einer Fahrzeugaufnahme ist in 3 dargestellt. 3 demonstriert, wie U- und H-Formen erzeugt werden können. Viele Faktoren beeinflussen, wie Kanten und Bodenlinien bzw. untere Linien in einem Bild interpretiert werden. Zum Beispiel verdecken oder verdunkeln häufig Schatten die Kanten (4 zeigt beispielsweise ein dunkles Fahrzeug, das gegen einen Schatten auf einer Seite gesehen wird). Diese verdeckte bzw. verdunkelte Kante würde normalerweise sichtbar sein, wäre der Schatten nicht vorhanden. Ausreichend dunkle Pixel sind daher als Abschnitte oder Teile der U/H-Form erlaubt, damit ein Fahrzeug korrekt erfasst werden kann. 4 ist die linke Kante 402 des Fahrzeugs nicht sichtbar, aber die dunklen Pixel 404 dort vervollständigen die U-Form. Es wird angemerkt, dass die rechte – gegenüberliegende – Seite, die durch dieselbe Lichtquelle beleuchtet wird, die den Schatten auf der linken Seite erzeugt, eine sichtbare Kante hat. Diese Kante, die auf der gegenüberliegenden Seite vorhanden ist, kann eine Bedingung sein, wenn eine Seite dunkel ist und ein U darzustellen ist.
  • 5 zeigt, wie eine U/H-Form aus Kanten und dunklen Regionen aufgebaut werden kann, sowie einige der Parameter für akzeptable U/H-Formen. Jede Seite der U/H-Form wird durch die Anzahl/den Prozentsatz von vorhandenen Kantenpixeln oder dunklen Pixeln und ebenso durch die maximale fehlende Ecklänge einer Nichtkante oder nicht dunkler Pixel beschrieben. Ein niedriger Prozentsatz (Füllung) oder eine große Fehllänge (Lücke in der Ecke) zeigt an, dass eine Seite für den Aufbau der U/H-Form nicht geeignet ist, weil die U/H-Form dann nicht ausreichend vollständig oder nicht ausreichend mit den anderen Teilen der U/H-Form verbunden ist.
  • Wie vorstehend angemerkt beinhaltet die Modellierung der Fahrzeugerscheinung in dem Tageslichtstundenmodus ein Kandidatenfindemodul 210, in welchem die U/H-Formen durch Kombinieren eines linksseitigen, eines rechtsseitigen und eines unteren und/oder Stoßfänger-Segments aufgebaut werden. Das Kandidatenfindemodul 210 untersucht mögliche Kombinationen von links und rechts, vertikal, und seitlich, und kombiniert diese mit einem horizontalen Abschnitt, der die beiden Seiten verbindet. Füllfaktoren (sowohl Kantenpixel als auch dunkle Pixel), Lücken, Breiten (Fahrzeuge werden zum Beispiel durch eine kleinste und eine größte Breite spezifiziert), und dass eine Seite, die einen Schatten aufweist, einer Seite, die eine Kante aufweist, gegenüberliegt, werden für eine Ermittlung herangezogen, ob eine akzeptable U- oder H-Form erzeugt werden kann.
  • In einem beispielhaften Ausführungsbeispiel wird Meter horizontal in Pixeln, oder MHP – die Anzahl von Pixeln ist äquivalent zu 1 Meter horizontal in einer gegebenen Bildzeile – als Maß und zur Definition verwendet, wie viele Pixel breit ein U sein muss, um als ein mögliches Fahrzeug erachtet zu werden. 6 ist eine Figur, die ein Beispiel einer MHP-Berechnung zeigt. Fahrzeuge sind typisch zwischen 1,4 und 2,6 m breit, so dass U's mit einem Abstand zwischen ihren linken und rechten Kanten von 1,4·MHP und 2,6·MHP akzeptiert werden.
  • Das Kandidatenfindemodul 210 wählt eine Bildzeile aus, und falls es in dieser Zeile keine horizontalen Linien oder dunkle Segmente gibt, wird die nächste Zeile gewählt. Falls es horizontalen Linien oder dunkle Segmente in dieser Zeile gibt, dann werden diese sequenziell, zum Beispiel von links nach rechts, ausgewertet.
  • Die Enden eines Segments werden anhand von Orten, die räumlich einer maximalen Fahrzeugbreite vorher und nachher entsprechen, bestimmt. Beginnend an diesen Orten wird eine nach rechts verlaufende Abtastung auf linke vertikale Kanten oder dunkle Bereiche begonnen, und wenn eine linke vertikale Kante gefunden wird, wird sodann eine nach rechts verlaufende Abtastung auf rechte vertikale Kanten oder dunkle Bereiche begonnen, so dass mit der kleinsten Fahrzeugbreite und diese zunehmend nach rechts begonnen wird. Falls linke und/oder rechte vertikale Kanten und/oder dunkle Bereiche gefunden werden, werden die Pixel untersucht, die diese in der Zeile verbinden. Die Eigenschaften der linken, unteren und rechten Seiten werden berechnet, und ebenso der Mittenort des möglichen Fahrzeugs als der Mittelpunkt zwischen den linken und rechten Seiten. Die Fahrspur, die diesem Mittelpunktort in der gegebenen Zeile entspricht, wird ermittelt.
  • Das Kandidatenfindemodul 210 bildet dann eine Art Punktzahl oder Bewertungswert. Falls diese Punktzahl zumindest so groß ist wie die derzeit für diese Fahrspur (und dieser Zeile) gefundene beste Punktzahl, wird die derzeit beste Information aktualisiert (linke und rechte Seiten, Punktzahl, U-Charakteristik). Wenn die rechte Kante der erweiterten horizontalen Kante oder des dunklen Segments erreicht ist, wird die nächste Kante/das nächste Segment/der nächste dunkle Bereich, falls verfügbar, für eine neue Suche nach linken/rechten vertikalen Seiten/dunklen Bereichen verwendet. Wenn keine weiteren Kanten oder dunklen Segmente in der Zeile vorhanden sind, wird die nächste Zeile untersucht. Wenn Kantensegmente, Seiten, und/oder dunkle Bereiche gefunden sind, werden Ihre Eigenschaften berechnet. Falls irgendwelche derselben für die Erstellung einer zufrieden stellenden U/H-Form ungenügend sind, wird das nächste Segment/die nächste Seite oder der nächste dunkle Bereich untersucht.
  • In einem anderen Ausführungsbeispiel bewertet eine Auswertungsfunktion die U/H-Formen und behält die stärksten bzw. besten derselben. Ein Beispiel der Auswertungsfunktion ist: Punktzahl = 33·horizontaler Füllanteil·(horizontaler Füllanteil bei Berücksichtigung der größten unteren Lücke + (Überlappungsanteil zwischen linken und rechten Seiten + mittlerer Füllanteil links und rechts))
  • Alle Elemente in dieser Gleichung sind Anteile bzw. Bruchteile, und daher unabhängig von der Fahrzeuggröße. Jeder der Anteile schwankt zwischen null und eins, so dass die maximale Punktzahl MaxScore = 33·1·(1 + (1 + 1)) = 99 ist. Der Skalierungsfaktor von 33 in diesem Beispiel ist wahlfrei.
  • Die kleinste mögliche Punktezahl ist 0. In einem beispielhaften Ausführungsbeispiel wird eine empirisch abgeleitete Schwelle von 40, die Falscherfassungen signifikant reduziert, verwendet. Die am höchsten bewertete U/H-Form und deren Ort werden mit fortschreitender Verarbeitung in einem Speicher 212 gespeichert, und höhere Punktzahlen können diese ersetzen. Andere Bewertungsfunktionen berücksichtigen ebenfalls Füllung, Lücken, Kantenpolarität, Länge, Graustufe, und Ortsfunktion.
  • Der U/H-Auffindeprozess ist folglich eine gründliche bzw. erschöpfende Suche in dem interessierenden Bereich, welche bzw. welcher selbst hierin noch näher beschrieben wird. Weil viele U/H-Formen existieren können, insbesondere in komplizierten, kantenreichen oder dunklen Szenen, wird eine Anzahl von beschleunigenden Verfahren angewandt.
  • In einem beispielhaften Ausführungsbeispiel gibt es mehrere 1000 mögliche Kombinationen von linken, unteren und rechten Seiten, die getestet werden können, um in jeder Fahrspur und jeder Zeile bzw. Reihe die höchstbewerteten U/H-Formen zu finden. Um dies in Echtzeit durchzuführen, verwendet das Kandidatenfindemodul 210 einen Algorithmus, der eine Kombination so bald wie möglich verwirft. Ein Verwerfen einer Kombination kann durch viele Mittel erreicht werden. Eine einfache Regel zum Ermitteln, ob eine Kombination zu verwerfen ist, kann darin bestehen, dass das, was als die linke Seite bezeichnet wird, links von dem sein muss, was als die rechte Seite bezeichnet wird. Eine andere, geringfügig kompliziertere Regel besteht darin, dass der Raum zwischen den linken und den rechten Seite den Breiten entsprechen muss, mit denen Fahrzeuge vorkommen.
  • In einem beispielhaften Ausführungsbeispiel entsteht ein Schnellerwerden der Suche nach U/H-Formen aus einem Berechnen der bestmöglichen Punktzahl, die erreicht werden könnte, auf der Grundlage von bereits verfügbarer Information, und einem Ermitteln, ob diese die bisher gefundene höchste Punktzahl ersetzen kann. Zum Beispiel sei angenommen, dass für einen gegebenen linken, rechten und unteren Ort die vertikale Füllung (der Prozentsatz von Kantenpixeln oder dunklen Pixeln in dem Maß bzw. Meter, das/der nach oben durchsucht wird) auf der linken Seite 0,2 beträgt, und dass die anderen Werte unbekannt sind. Die maximal mögliche Punktzahl ist dann, unter der Annahme von Bestfallwerten für die unbekannten Werte, Punktzahl = 33·1·(1 + (0,2 + (1 + 0,2)/2)) = 33·1,8 = 59,4
  • Falls eine U/H-Form mit einer höheren Punktzahl als dieser bereits gefunden wurde, brauchen weitere Berechnungen (rechtsseitige Füllung, untere Füllung usw.) nicht durchgeführt zu werden, ist ein früher Ausstieg möglich, und kann der nächste linke, rechte, untere Ort untersucht werden.
  • Eine andere einfache Regel kann selbst diese Berechnung einer möglichen Punktzahl vermeiden, und eine beliebige links/unten/rechts-Kombination mit einer linksseitigen oder rechtsseitigen Füllung von 0,2 oder weniger verwerfen. Das heißt, falls eine linksseitige oder rechtsseitige Füllung von weniger als 0,2 erfasst wird, wird die Berechnung nicht fortgesetzt.
  • Es wird angemerkt, dass ein hoher Vergleichswert (für die bislang gefundene beste Punktzahl) dazu führt, dass U/H-Formen mit höherer Wahrscheinlichkeit verworfen werden. Dies kann für das rasche Auffinden geringfügig höherer bester Punktzahlen hilfreich sein.

    +++
  • Ein anderes Verfahren zum Beschleunigen der Ermittlung akzeptabler U/H-Formen entsteht aus einem Wiederverwenden dessen, was bereits berechnet worden ist. Beispielsweise werden die Füllungs- und Lückenwerte einer möglichen linken Seite berechnet. Diese mögliche linke Seite wird dann mit allen rechten Seiten kombiniert, die realen Fahrzeugbreiten entsprechen (Fahrzeuge sind nicht schmaler oder breiter als gewisse festgelegte Werte). Es ist nicht notwendig, die linksseitigen Werte für jede U/H-Form neu zu berechnen, wenn diese Werte bereits berechnet worden sind. Es ist ebenfalls nicht notwendig, die Werte neu zu berechnen, falls die für die linke Seite verwendete Bildspalte dann als eine mögliche rechte Seite herangezogen wird. Es wird nur das berechnet, was benötigt wird, und diese Berechnung wird nur einmal durchgeführt.
  • Ein nochmals anderes Verfahren verwendet eine Rekursion zur Beschleunigung der Berechnung der möglichen Punktzahl. Es sei zum Beispiel angenommen, dass eine U-Form, welche vier Pixel breit ist, drei Bodenpixel oder untere Pixel aufweist, die Kanten oder ausreichend dunkle Pixel sind. Die Bodenfüllung dieser Form beträgt dann 3/4. In der nächsten Berechnung, welche eine fünf Pixel breite U-Form betrachten wird, kann entweder ein neues (rechtes) Pixel vorhanden sein, das Kante/dunkel oder weder Kante noch dunkel ist. Die horizontale Füllung wird daher sein: (3 + 1/0)/(4 + 1) oder 3/5 oder 4/5.
  • Allgemeiner ausgedrückt kann die horizontale Füllung mit einem betrachteten neuen Pixel rekursiv berechnet werden als: Neue Füllung = (alter Zähler + 1/0)/(alter Nenner + 1). Wobei die Wahl von +1 oder +0 von dem neuen rechtsseitigen Pixelzustand abhängt.
  • Diese rekursive Berechnung wird angewandt, um bessere Schätzungen der maximal möglichen Punktzahl zu erhalten, sobald sowohl die linksseitigen als auch die rechtsseitigen Orte bekannt sind. Die Bodenfüllung braucht nicht länger ihren Bestfallwert von 1 anzunehmen, so dass das maximal Mögliche dasselbe oder kleiner ist als das, was es war, als der Bestfall angenommen wurde. Der Nettoeffekt besteht darin, dass eine frühe Beendigung der Verarbeitung durch Berechnen der linken Seite und (rekursiv, schnell) der Bodenfüllung noch stärker begünstigt wird.
  • Insgesamt gibt es viele Prüfungen auf frühes Austreten aus oder vorzeitiges Beenden von Punktzahlberechnungen in dem Kandidatenfindemodul, um den Prozess des Ermittelns geeigneter U/H-Formen zu beschleunigen. Das Ergebnis ist eine Verringerung in der Verarbeitung, mit einer entsprechenden Beschleunigung.
  • Eine Kandidatenpunktzahl kann auch als eine Funktion der Orte der linken Spalte und der rechten Spalte grafisch dargestellt werden, wobei Spalten Seiten von U's oder H's sind, die Fahrzeugseiten repräsentieren. Höhere Punktzahlen sind mit helleren Pixeln gezeigt, wobei dunklere Pixel niedrigeren Punktzahlen entsprechen.
  • Punktzahlen für die erfassten U- oder H-Formen können eine diagonale Struktur aufweisen. Die diagonale Struktur tritt auf, weil das Bild viele Fahrzeuge breit ist, aber nur die maximale Fahrzeugbreite zum Paaren der linksseitigen und rechtsseitigen Spalten zugelassen ist. Man verfährt nach Fahrzeugen der maximal zugelassenen Breite suchend über das Bild, und verknüpft bzw. verbindet so die linksseitigen und rechtsseitigen Spalten und erzeugt dadurch das diagonale Band.
  • Spalten in der Nähe der linken Oberseite befinden sich in dem linken Abschnitt des Bilds, und Spalten in dem unteren rechten Abschnitt liegen in dem rechten Abschnitt des Bilds. Wenn mehrere Fahrspuren untersucht werden, entspricht der obere linke Abschnitt der linken Fahrspur, und entspricht der untere rechte Abschnitt der rechten Fahrspur. Es ist ersichtlich, dass es mögliche Fahrzeuge (entsprechend hohen Punktzahlen) in der linken Fahrspur, nichts in der (dunklen) Mitte, und sehr wahrscheinlich etwas in der rechten Fahrspur gibt.
  • In einem Bild sind hellere vertikale und horizontale Streifen vorhanden. Die höchsten Punktzahlen (angegeben durch die hellsten Punkte) treten an der Kreuzung bzw. dem Schnittpunkt von hellen horizontalen und vertikalen Streifen auf. Diese horizontalen und vertikalen Streifen entsprechen besonders starken (im Sinne von hoher Füllung und/oder geringer Lücke) Spalten in dem Bild, welche wahrscheinlich ein Teil oder Teile eines Fahrzeugs oder von Fahrzeugen sind. Da solche starken Spalten wahrscheinlich eine hohe Punktzahl produzieren, ist es günstig, den Ort derselben während Berechnungen festzuhalten und diese dann zuerst zu nutzen. Dies erfolgt durch Beginnen einer normalen Paarungssuche nach einer (einzelnen) linken Spalte und nach mehreren rechten Spalten. Die linke Spalte wird festgehalten, und alle rechtsseitigen Spalten, die realen Fahrzeugbreiten entsprechen, werden mit dieser linken Seite gepaart, wobei die untersuchte rechte Spalte von schmalen Breiten zu breiten Breiten bewegt wird. Der diese verbindende horizontale Boden liegt in einer gewählten Reihe bzw. Zeile, und seine Länge ist durch die linksseitigen und rechtsseitigen Spaltenorte definiert. Die Füllungen und die Lücken, die der (einzelnen) linken Spalte und (mehreren) rechten Spalten entsprechen, werden berechnet. Manche dieser Spalten können ”stark” sein, und produzieren somit wahrscheinlich gute Punktzahlen. Es kann auch sein, dass keine Spalten stark sind. Der Ort bzw. die Orte der ersten genügend starken (und somit linksseitigsten) Spalte unter den abgetasteten rechten Spalten und der (genügend starken und) stärksten rechtsseitigen Spalte, die zumindest die kleinste Fahrzeugbreite entfernt ist, werden gespeichert. Die Punktzahl wird für die gespeicherte linksseitigste (rechtsseitige) und die stärkste (rechtsseitige) Spalte berechnet. Weil diese Spalten beide stark sind, ist es wahrscheinlich, dass die Punktzahl hoch ist. Falls diese Punktzahl höher ist als die beste derzeit gefundene Punktzahl, wird die beste derzeit gefundene Punktzahl auf diesen neuen Wert erhöht. Diese schnelle Erhöhung der besten derzeit gefundenen Punktzahl macht das Verfahren der besten möglichen Punktzahl wirkungsvoller, wie vorstehend erwähnt wurde, da alle nachfolgenden, schwächeren U/H-Formen schnell verworfen werden, ohne die Berechnungen für dieselben zu beenden.
  • In einem beispielhaften Ausführungsbeispiel wird die beste derzeit gefundene Punktzahl durch Verwenden niedriger Werte für die erforderliche minimale Spaltenstärke schneller verbessert, da selbst der Schnittpunkt schwacher Kanten eine relativ starke Punktzahl erzeugt. Der Nettoeffekt dieser gerichteten Suche und des Verwendens des Verfahrens der besten möglichen Punktzahl besteht in einer Verringerung der Anzahl gebildeter und getesteter U/H-Formen.
  • In einem beispielhaften Ausführungsbeispiel kann auch die Struktur von Fahrzeugen mit ihren allgemein vertikalen Seiten ausgenutzt werden. 7 demonstriert dieses Konzept. Es sei zum Beispiel angenommen, dass die Seiten eines Fahrzeugs in einer gegebenen Reihe bzw. Zeile gefunden wurden. Die nächste zu untersuchende Reihe befindet sich über dieser unteren, vorgegebenen einen Reihe, und damit besteht eine gute Vermutung für den Ort der Spaltenseiten in denselben Spalten wie denjenigen aus der Reihe darunter. Wenn keine Fahrzeugseiten für die Reihe darunter gefunden wurden, dann erfolgt eine anfängliche Vermutung der Fahrspurmitte +/– der Hälfte der typischen Fahrzeugbreite, und wird die Punktzahl berechnet. Die anfänglichen Vermutungen und die aus diesen abgeleiteten Punktzahlen treiben die bis dahin gefundene Punktzahl zu Beginn des Schauens in eine neue Reihe schnell nach oben, und machen das Verfahren der besten möglichen Punktzahl wirkungsvoller.
  • Ein alternatives Ausführungsbeispiel berechnet die Spalteneigenschaften für eine gewählte Reihe. Diese Spalten sind diejenigen, die von den linken Ausläufern aller Segmente zu dem rechten Ausläufer der Segmente gehen bzw. verlaufen. Die Spalteneigenschaften werden neu nach absteigendem Spaltenfüllwert sortiert. Die Eigenschaften von Spaltenkombinationen mit korrektem Abstand (zwischen minimaler und maximaler Fahrzeugbreite) werden dann berechnet (Überlappung und Bodeneigenschaften zwischen den linken und rechten Spalten), welches einen frühen Ausstieg erlaubt. Weil die Spalten nach absteigender Füllung sortiert werden, ist es wahrscheinlich, dass eine hohe Punktzahl früh generiert wird, und dass sehr wenige Berechnungen durchgeführt werden müssen.
  • Es existieren viele zusätzliche Beschleunigungsregeln, die in Übereinstimmung mit unterschiedlichen Ausführungsbeispielen ebenfalls genutzt werden können, um die Verarbeitungsgeschwindigkeit zu erhöhen. Beispiele sind:
    • – Falls die beste mögliche Punktzahl, die mit dem erzielbar ist, was bis dahin über ein gegebenes U bekannt ist, kleiner ist als die beste so weit gefundene Punktzahl, dann setze als eine Regel Berechnungen für dieses U nicht fort;
    • – falls eine Reihe keine Kanten oder mögliche Schattenbereiche enthält, gehe zu der nächsten Reihe;
    • – falls irgendein Abschnitt einer Reihe unter den Fahrspuren liegt, dann berücksichtige oder verarbeite diese Abschnitte der Reihe nicht;
    • – falls eine rechtsseitige Suche für eine linke Seite nicht möglich ist, dann verarbeitete diese linke Seite nicht, und umgekehrt;
    • – falls die Füll- oder Lückeneigenschaften einer vertikalen Seite nicht akzeptabel sind, dann setze die Verarbeitung dieser Seite nicht fort;
    • – falls die mit der maximal möglichen Bodenfüllung (bekannt, wenn der Ort der linken Spalte bekannt ist) erzeugte Punktzahl zu gering ist, dann setze die Verarbeitung dieses U's nicht fort;
    • – falls die Fahrzeugmitte die rechtsseitigste Fahrspurmarkierung überschreitet, dann setze die Verarbeitung nach rechts nicht fort;
    • – falls sich die Fahrzeugmitte links von der linksseitigsten Fahrspurmarkierung befindet, dann setze die Verarbeitung dieses U's nicht fort;
    • – falls es keine Kanten auf sowohl den linken als auch den rechten Seiten gibt, dann setze die Verarbeitung dieses U's nicht fort;
    • – falls die Bodenfüllung geringer als ein Schwellenwert ist, dann setze die Verarbeitung dieses U's nicht fort;
    • – falls beide vertikalen Seiten nur aus Schatten bestehen, dann setze die Verarbeitung dieses U's nicht fort;
    • – falls die größte angrenzende Lücke in dem Boden zu Ist, dann setze die Verarbeitung dieses U's nicht fort;
    • – verwende die stärksten Spalten, die während Suchen nach einem U in rechten Spalten gefunden wurden, um die besten Punktzahlen zu erhöhen;
    • – verwende die Fahrzeugkantenspalten der vorangehenden Reihe als Vermutungen für die Fahrzeugkanten der nächsten Reihe, wenn verfügbar, oder verwende andernfalls ein Fahrzeug mit Standardbreite, das sich mittig in der Fahrspur befindet.
  • Bei der U/H-Bildverarbeitung sind falsche Positive möglich. Der U/H-Modellierungsansatz, der zum Auffinden von Fahrzeugen während der Tageszeit verwendet wird, ist sehr allgemein, und findet gelegentlich andere Objekte als Fahrzeuge. Daher beinhaltet in einem beispielhaften Ausführungsbeispiel das Fahrzeugerfassungs- und Messmodul 106 ein Beschnittmodul 214 zum Erfassen und Verwerfen falscher Positiver.
  • Die von dem Beschnittmodul 214 zum Verwerfen falscher Positiver verwendeten Verfahren können in Klassen eingeteilt werden. Diese Klassen schauen im Inneren der U/H bzw. U/H-Form, schauen außerhalb der U/H bzw. U/H-Form, und nutzen Transparenz aus. Ein Beispiel der ersten solchen Klasse (oder ein Schauen innerhalb der U/H-Form) ist das Erfordernis, dass Fahrzeuge reifen haben. Diese befinden sich allgemein nahe den (unteren) linken und rechten Ecken der U/H-Form, und sind dunkel. Folglich ist eine notwendige Bedingung für eine korrekte Erfassung, dass sich dunkle Pixel nahe den unteren Ecken befinden. Dunkel ist im Verhältnis zu den Schattengraupegeln definiert (Reifen sind normalerweise dunkler als selbst die Schatten).
  • Ein Beispiel der zweiten solchen Klasse (oder eines Schauens außerhalb der U/H-Form) ist die begrenzte Länge von Fahrzeugkanten. Diese können nicht beständig beliebig lang sein, und können sich insbesondere nicht sowohl zur Linken als auch zur Rechten, oder sowohl oberhalb als auch unterhalb, der gefundenen U/H-Form erstrecken. Sie können sich nicht horizontal auf beide Seiten erstrecken, da Schatten nur zu einer Seite hin auftreten (eine transitorische Überlappung zwischen einer nicht durch das Fahrzeug erzeugten Kante und der Fahrzeugunterseite kann auftreten, jedoch ist dies im allgemeinen nicht vorherrschend).
  • Fahrzeuge haben darüber hinaus eine begrenzte Höhe, so dass folglich die diesen zugeordneten vertikalen Kanten ebenfalls in der Länge begrenzt sind. Schatten hinter dem Fahrzeug können diese Kante verlängern, aber sie können nicht über eine gewisse maximale Höhe über der Bodenebene hinaus erweitern. Eine transitorische Überlappung zwischen einer nicht durch das Fahrzeug erzeugten Kante und der Fahrzeugseite bzw. den Fahrzeugseiten kann auftreten, jedoch ist auch dies im Allgemeinen nicht vorherrschend.
  • Ein Beispiel der dritten Klasse (Ausnutzen der Transparenz) besteht in einem Erkennen dessen, was sich innerhalb des U's befindet, wie beispielsweise Fahrbahnmarkierungen. Falls ein separater Fahrbahnmarkierungserkenner eine ausreichende Länge von Fahrbahnmarkierungen innerhalb der U/H-Form identifiziert, dann ist das angebliche Fahrzeug, das durch die U/H-Form definiert wird, transparent, und kann damit kein echtes Ziel sein.
  • Weitere Verfahren zur Verwerfung falscher Positiver sind denkbar, und beinhalten: ein Verwerfen von texturierten (als Inhalt hoher Kanten gemessenen) grünen Bereichen (diese sind Vegetation), Bereichen mit nicht ausreichender Anzahl dunkler Pixel unterhalb, und Bereichen mit zu vielen Ecken (definiert als 3 Pixel einer 2×2-Pixelregion, die alle heller oder dunkler sind als das vierte Pixel).
  • Wie der Fachmann leicht erkennen kann, ist die zusätzliche Rechenlast der vorstehenden Verfahren nicht groß, da nur einige wenige Pixel für die erste Klasse gefunden werden müssen, die Segmentlänge eine bekannte Eingabe für die zweite Klasse ist, und kompakte Information über den Ort einer Fahrspurmarkierung für die dritte Klasse zur Verfügung steht. 8 zeigt ein Beispiel einiger dieser verschiedenen Verfahren zum Verwerfen falscher Positiver.
  • Weil Fahrzeuge im Allgemeinen Stoßfänger aufweisen, kann ein Stoßfänger mit dem wahren Boden bzw. der wahren Unterseite verwechselt werden. In einem beispielhaften Ausführungsbeispiel wird ein Unterseiten-Stoßfänger-Modul 216 verwendet, um zwischen dem Stoßfänger und der wahren Unterseite eines Fahrzeugs zu unterscheiden. Die wahre Unterseite ist als der Ort definiert, an dem die Reifen die Straße kontaktieren. Wenn diese Verwechslung auftritt, wird ein U in dem Bild höher platziert, als es sollte, wodurch eine H-Form erzeugt wird. Ein Unterseiten/Stoßfänger-Abschnitt des Fahrzeugmodells lernt den Abstand zwischen der Unterseite und dem Stoßfänger, löst die Verwechslung auf und berechnet auch dann, wenn der Stoßfänger gefunden ist, wo die Unterseite sein würde.
  • Wie vorstehend erwähnt wurde, kann ein nach dem Pyramidenprinzip arbeitendes Bildverarbeitungsverfahren dazu verwendet, U/H-Formen unter Verwendung von Pixelblöcken zum Identifizieren mehrerer Ebenen zu kategorisieren. Fahrzeuge variieren in sowohl Größe als auch der Entfernung zu denselben. Zum Beispiel kann ein kleines Auto, das sich 100 m entfernt befindet, in dem Bild eine Breite von 5 Pixeln haben, wohingegen ein nahes Nutzfahrzeug eine Breite von 200 Pixeln haben kann. Der Bereich, den jedes derselben abdeckt, ist typischerweise die Breite im Quadrat, und kann somit zwischen 25 und 40000 Pixeln schwanken. Aufgrund dieser großen Schwankung, und den sich ergebenden großen Berechnungszeiten für die Verarbeitung so vieler Pixel, wird in einem beispielhaften Ausführungsbeispiel ein pyramidenförmiges Auflösungsmodell oder Auflösungsschema verwendet. Dieses Modell nimmt 2×2 Gruppen von Pixeln und mittelt diese, wodurch ein gröberes, neues Bild mit der halben Anzahl von Reihen bzw. Zeilen und der halben Anzahl von Spalten des Originals erzeugt wird. Fahrzeuge, die sich näher befinden und die normalerweise viele Pixel in dem normalen Bild belegen würden, decken in den gröberen Ebenen entsprechend weniger Pixel ab. Weil die Fahrzeuge näher sind, sind die Fahrzeuge mit näherungsweise demselben Grad an Details sichtbar die diejenigen, die weiter entfernt sind. 9 ist ein Diagramm, das ein Beispiel dieses Konzepts zeigt. Alle Ebenen werden dann einem Kantenextraktionsmodell zugeführt, welches hierin noch in weiteren Einzelheiten beschrieben werden wird.
  • In einem beispielhaften Ausführungsbeispiel kann ein Kantenextraktionsalgorithmus mit zentrierter Differenz oder ein Sobel-Kantenextraktionsalgorithmus über Pyramidenebenen durchgeführt werden, woraus sich ein Gradientengrößenbild für die Pyramidenebenen ergibt. Eine stärkere bzw. größere Größe zeigt eine stärkere Kante an. Das Kandidatenfindemodul 210 kann schwache, aber immer noch ausreichend starke, Kantenpixel durch Berücksichtigen ihrer Nachbarn miteinander verknüpfen bzw. verbinden.
  • In einem weiteren Aspekt dieser Technik wird die Erzeugung von U- und H-Formen durch Verbinden von Kanten miteinander begonnen. Gradientengrößenbilder werden normalerweise Schwellenwerten unterzogen, um die signifikanten Kanten in denselben zu lokalisieren. Diese schwellenwertgefilterten Bilder können dann weiterverarbeitet werden, um separate Segmente zusammenzufügen, die beispielsweise eines oder mehrere zweite schwache, aber noch immer ausreichend wichtige, Gradientengrößenpixel zwischen sich haben. Das Ergebnis ist ein Kantenbild, das mit einem bestimmten Niveau schwellenbewertet ist, und bei dem schwache bzw. kleine Lücken geschlossen und oder Enden hinzugefügt sind. Die beiden Schwellen bzw. Schwellenwerte werden so gewählt, dass Rauschen verringert wird.
  • Außerdem kann ein weiteres Verfahren verwendet werden, bei dem bekannt ist, dass Fahrzeuggrenzen üblicherweise aus horizontalen und vertikalen Segmenten bestehen. Ein Kantenmodell, das aus schwachen, aber sich angrenzend befindenden Gradienten besteht, kann in ausreichend langen Kanten resultieren. Zum Beispiel kann die minimale Länge durch die Größe von Fahrzeugen gegeben sein, wobei vertikale Längen von größer als 0,2 m für Motorräder und größer als 0,1 m für Fahrräder erforderlich sind, und horizontale Längen von 1,0 oder mehr Metern für Autos, Lastwagen und andere vierrädrige Objekte erforderlich sind. Ein zusätzliches Schließen von Lücken oder Hinzufügen von Enden kann nicht notwendig sein.
  • Das Ergebnis ist eine Liste von vertikalen und horizontalen Kantensegmenten. Die Gradienten an Nichtkantenorten müssen nicht länger später erneut untersucht werden, da die Liste nun Pixelorte beinhaltet, an denen Kanten vorhanden sind, und keine Nichtkantenorte beinhaltet. Diese Kompression in eine Liste ohne irgendwelche Nichtkantensegmente erhöht die Berechnungsgeschwindigkeit später, wenn die Kanten zur Bildung von U- oder H-Formen kombiniert werden.
  • Eine Bildverarbeitung gemäß einem beispielhaften Ausführungsbeispiel kann weiter eine Kantenausdünnungstechnik beinhalten. Die durch das kohärenzbasierte Verfahren erzeugten Kantensegmente berühren sich zwar häufig, liegen jedoch mit unterschiedlichen Längen oder Stärken vor. Die kürzeren oder schwächeren dieser Segmente können entfernt, oder ausgedünnt, werden, wodurch die Geschwindigkeit ohne Verlust von Erfassungen erhöht wird.
  • Die Kantenausdünnung untersucht benachbarte Reihen und Spalten von Kanten, die eine Länge, eine Gradientengröße, und oder eine Stärke haben. Wenn sich Kanten in zwei unterschiedlichen Reihen/Spalten berühren, wird eine Entscheidung dahingehend getroffen, welche Abschnitte derselben zu entfernen sind. 9 zeigt ein Beispiel einer Kantenausdünnung gemäß einem beispielhaften Ausführungsbeispiel.
  • In einem beispielhaften Ausführungsbeispiel werden die stärksten U/H-Formen in jeder Fahrspur gespeichert und nach der Bildreihe bzw. Bildzeile sortiert. Das Ergebnis ist eine Sammlung von Erfassungen, wovon ein Beispiel in 11 gezeigt ist. In 11 werden mehrere U-Formen in der linken Fahrspur erfasst, in der Nähe (nahe dem Boden bzw. der Unterseite des Bilds) und direkt übereinander. Es gibt eine einzelne, entfernte Erfassung in der mittleren Fahrspur, relativ nahe am Horizont, und in der rechten Fahrspur werden keine Fahrzeuge erfasst.
  • Der Ort der Bodenreihe der U-Formen wird ebenfalls gespeichert. Diese Sammlung wird an das Beschnittmodul 214 weitergeleitet, welches unnötige Erfassungen (wie beispielsweise diejenigen über der am weitesten unten liegenden Erfassung in der linken Fahrspur in dem vorstehenden Beispiel) entfernt.
  • Ein U/H-Erfassungsalgorithmus kann viele U/H-Formen finden, die das Heck eines Fahrzeugs umgeben (oder innerhalb desselben liegen). Von Interesse ist der Abschnitt der U-Formen, der den Boden berührt. Die U/H-Formen über diesem können durch das Beschnittmodul 214 weg- oder ausgeschnitten werden, ohne Information über das Ziel zu verlieren. 12 stellt ein Beispiel von U/H-Formen dar, die das Heck eines Fahrzeugs umgeben.
  • Das Beschnittmodul 214 empfängt alle Abschnitte der von dem Kandidatenfinder erzeugten U/H-Formen und entfernt Unnötige derselben. Wenn während der Suche nach akzeptablen U/H-Formen viele Kandidaten für ein Fahrzeug gefunden werden, können einige dieser Kandidaten eliminiert werden. Zum Beispiel können Formen, die dieselben linksseitigen und rechtsseitigen (Seiten-)Orte haben, wohingegen ein Boden direkt über dem anderen liegt, eliminiert werden, weil dann, wenn ein Boden über einem anderen liegt, dieses U weiter entfernt ist, und folglich für die Entfernungsmessung nicht benötigt wird. Das Entfernen nicht benötigter Kandidaten macht die folgende Nachführung bzw. Nachverfolgung klarer und rechnerisch weniger aufwändig. Das Beschnittmodul 214 kann mehrere Regeln anwenden, um die Entfernung von nicht benötigten Kandidaten zu erzielen.
  • In einem beispielhaften Ausführungsbeispiel beinhalten die Regeln für das Beschnittmodul 214 zum Entfernen einer U/H-Form, ohne auf eine Bestimmte oder eine Kombination der folgenden beschränkt zu sein:
    • – Falls eine U/H-Form A keinen tiefer liegenderen bzw. unteren, zumindest gleich breiten Nachbarn (in dem Bild) hat, dann behalte sie;
    • – falls eine U/H-Form B einen tiefer liegenderen, zumindest gleich breiten Nachbarn hat, dann verwerfe sie;
    • – falls eine U/H-Form C einen tiefer liegenderen Nachbarn D hat, sie sich aber weiter nach links oder rechts erstreckt, dann behalte Form C und verwerfe U/H-Form D;
    • – falls eine U/H-Form B eine andere Bodenkantenpolarität (Übergang von hell nach dunkel oder dunkel nach hell) als ein tiefer liegenderer Nachbar F hat, dann behalte beide U/H-Formen E und F.
  • Andere Regeln zum Entfernen eines U/H-Kandidaten zusätzlich zu den vorstehend Erwähnten können ebenfalls angewandt werden. Zum Beispiel kann ein Kandidat oberhalb einer U/H-Form, die in dem Bild tiefer liegt, aber dieselben Seiten aufweist, entfernt werden, und kann ein Kandidat oberhalb einer U/H-Form in dem Bild, der aber innerhalb der Seiten des tiefer liegenderen U's enthalten ist, entfernt werden. Die beschnittene Zielliste wird dann an das Nachverfolgungsmodul 202 gesendet. 13 stellt ein Beispiel von Regeln zum Behalten von U's durch das Beschnittmodul 214 dar.
  • Zusätzlich zur Anwendung verschiedener Regeln zum Entfernen eines U/H-Kandidaten kann das Beschnittmodul 214 verschiedene Regeln zum Behalten bzw. Festhalten eines U/H-Kandidaten anwenden. Beispiele beinhalten das Beibehalten eines Kandidaten, wenn es kein tiefer liegenderes U mit denselben linken und rechten Orten gibt, wenn das tiefer liegendere U trotz möglicherweise exakt derselben linken und rechten Seiten von einer unterschiedlichen Polarität ist (vergleiche 13), und wenn ein U, das höher liegt, trotz einer Überlappung mit einem tiefer liegenderen U eine linke oder rechte Seite aufweist, die breiter ist.
  • Die Polarität einer Kante ist positiv oder negativ, abhängig davon, ob sie ein Übergang von dunkel nach hell (+) oder von hell nach dunkel (–) ist. Wenn Kanten von unterschiedlicher Polarität sind, kommen sie nicht von demselben bzw. derselben, möglicherweise unsicheren Ort bzw. Quelle, und werden daher in einem beispielhaften Ausführungsbeispiel beibehalten.
  • in einem beispielhaften Ausführungsbeispiel entfernt der von dem Beschnittmodul 214 verwendete Kandidaten-U/H-Beschnittprozess viele (50% oder mehr) unnötige U/H-Formen. Viele Kandidaten-U-Form-Erfassungen können, von mehreren Pyramidenebenen kommend, in jedem Bildrahmen auftreten. Diese werden durch das Beschnittmodul 214 ausgedünnt, jedoch können noch immer viele verbleiben. Die verbleibenden U-Formen werden innerhalb einer Datenstruktur gesammelt. Diese werden bzw. wird an das Nachverfolgungsmodul 202 gesendet, um Bewegungsbereiche bzw. Bereiche mit Bewegung zu analysieren.
  • Die ausgedehnten Orte der Erfassungen können durch das Nachverfolgungsmodul 202 grafisch über die Zeit dargestellt werden, in dem der Ort des bzw. der Bodens bzw. Bodenlinien auf der vertikalen Achse aufgetragen wird, und die Zeit auf der horizontalen Achse aufgetragen wird. Diese Art der grafischen Darstellung erlaubt das Erfassen von Trends. Ein Beispiel einer grafischen Darstellung von vertikalen Orten des Bodens eines Bilds von U/H-Erfassungen nach dem Beschneiden über der Zeit ist in 14 dargestellt.
  • Die horizontale Richtung in 14 entspricht der Zeit, wobei ältere Erfassungen weiter links liegen, und neuere weiter rechts liegen. Die vertikale Richtung in dieser Fig. entspricht dem Ort der Bodenreihe in dem Bild, wobei höher liegende Erfassungen einem Ziel entsprechen, das weiter entfernt ist, und tiefer liegende Erfassungen einem Ziel entsprechen, das nahe ist. Die Korrelation von Nähe mit einer tief liegenden Position in dem Bild und von Entfernt mit einer Positionierung weiter oben ist in der Figur ebenfalls angegeben. Es ist ersichtlich, dass ein Fahrzeugkandidat näher kommt, wobei er sich in der Vergangenheit zunächst in einer mittleren Entfernung befindet, und in der Gegenwart in einer nahen Entfernung. Diese Sammlung einer (ausgedünnten) Reihenerfassung, angesammelt über die Zeit, bildet die Eingabe für das Nachverfolgungsmodul 202.
  • Das Nachverfolgungsmodul 202 setzt Spuren (Bereiche angenommener Objektbewegung) aus der Reihenerfassungssammlung zusammen. In einem beispielhaften Ausführungsbeispiel ist eine Vorgeschichte von erfassten Ziel-U's nach Pyramidenebene, Fahrspur, Fahrzeugstil (zum Beispiel zweirädrige oder vierrädrige Fahrzeuge, die einen mit schmaler U-Form und die anderen mit breiter U-Form), Bodenkantenreihenort, und Bodenkantenpolarität (hell über dunkel oder dunkel über hell) organisiert. Innerhalb jeder Pyramidenebene, innerhalb jeder Fahrspur, und für jeden Fahrzeugstil wird die Vorgeschichte nach Spitzenwerten durchsucht, so dass irgendwelche Reihen in dieser Fahrspur, welche innerhalb oder nahe einer gegenwärtigen Zielspur liegen, ignoriert werden. Dieser Aspekt des Nachverfolgungsmoduls kann dabei helfen, das Beginnen einer redundanten Spur zu vermeiden.
  • Ein Spitzenwert ist als eine Gruppe von angrenzenden Reihen definiert, in welchen die Summe der Bodenkanten beider Polaritäten größer ist als ein Schwellenwert, der festgelegt oder variabel sein kann. In einem anderen beispielhaften Ausführungsbeispiel können Spitzenwerte separat für jede Polarität definiert sein. Unabhängig davon wird dann, wenn ein Spitzenwert gefunden wird, eine neue Spur an diesem Ort begonnen.
  • Wenn eine neue Spur begonnen wird, führt das Nachverfolgungsmodul 202 mehrere Schritte durch. Ausgehend von den Reihen innerhalb des gefundenen Spitzenwerts findet das Nachverfolgungsmodul 202 die Reihe(n) mit dem höchsten Zählwert in jeder Polarität. Diese Bereiche werden als der Boden identifiziert, solange dies nicht später geändert wird. Der Boden wird dann verfeinert – innerhalb der Erfassungsvorgeschichte für diese Polarität findet das Modul den bzw. die lokalen Spitzenwert(e), der bzw. die höchstens +/–0,5 m auseinander liegt bzw. liegen – und ausgehend von der gefundenen Bodenreihe in Reihen umgewandelt. Innerhalb dieser Reihen findet das Nachverfolgungsmodul 202 ausgehend von dem ältesten Bilderrahmen zu dem neuesten Bildrahmen die erfasste Reihe, die zu dem eigenen Fahrzeug am nächsten liegt. Das Nachverfolgungsmodul 202 filtert diese Erfassungen mit einem IIR(Infinite Impulse Response)-Filter. Innerhalb des vorstehend verwendeten lokalen Spitzenwerts nullt das Nachverfolgungsmodul 202 die Erfassungsvorgeschichte bzw. setzt diese zurück, so dass sie den Prozess zum Finden des Stoßfängers nicht stören wird.
  • Falls dieses Ziel ein vierrädriges Fahrzeug ist, schaut das Nachverfolgungsmodul 202 nach einer Stoßfängersignatur. Innerhalb eines Bereichs, der +/–0,5 m entfernt ausgehend von der gefundenen Bodenreihe in Reihen umgewandelt ist, und innerhalb jeder Polarität separat, findet das Modul die Reihe, die die meisten Erfassungen enthält. Es verfeinert dann den Stoßfänger auf dieselbe Art und Weise wie den Boden. Falls die gefundene Stoßfängerreihe dem Fahrzeug näher ist als die gefundene Bodenreihe, vertauscht es den Boden und den Stoßfänger.
  • In einem nachfolgenden Bilderrahmen sucht das Nachverfolgungsmodul 202 nach Zielen, die in derselben Fahrspur wie die Spur mit dem selben Fahrzeugstil mit einer Bodenreihe innerhalb einem lokalen Bereich um den Boden der gegenwärtigen Spur und mit einer Bodenkante derselben Polarität wie der Spurboden gefunden wurden. Es berechnet dann eine Übereinstimmungspunktzahl auf der Grundlage von Linksfehlern, Rechtsfehlern, und Bodenfehlern (Unterschiede) gegenüber dem gegenwärtigen Linkssoll, Rechtssoll und Bodensoll, und speichert das beste Bodenübereinstimmungsziel. Falls diese Spur ein vierrädriges Fahrzeug ist, werden die vorstehenden Schritte wiederholt, um eine Zielstoßfängerübereinstimmung zu finden.
  • Um Spuren zu aktualisieren, falls keine potenziellen Zielübereinstimmungen in diesem Bilderrahmen gefunden wurden, verwendet das Nachverfolgungsmodul 202 die vorhergesagte (gefilterte) Information. Falls eine potenzielle Boden- und/oder Stoßfängerübereinstimmung gefunden wurde, berechnet es aus jedem derselben den potenziellen Fehler zur linken Kante der Spur. Das Modul wird die Erfassung verwenden, die innerhalb eines zulässigen Fehlerbereichs liegt und den kleineren Fehler aufweist, und den Auszähler für die linke Kante bzw. den Linkskantenauszähler (left edge out counter) zurücksetzen. Falls es eine solche nicht gibt, verwendet es die vorhergesagte linke Position und inkrementiert den Linkskantenauszähler. Das Modul wiederholt den vorstehenden Schritt zum Aktualisieren der rechten Kante der Spur, unter Verwendung des geeigneten Auszählers für die rechte Kante bzw. des geeigneten (Rechtskanten-)Auszählers.
  • In einem beispielhaften Ausführungsbeispiel berechnet das Nachverfolgungsmodul 202 darüber hinaus die Breite zwischen den aktualisierten linken und rechten Kanten. Falls diese Breite innerhalb eines zulässigen Minimums und Maximum für die Spurart liegt, wird sie zur Aktualisierung der Spurbreite verwendet, und wird der Breitenaustorzähler (width out gate counter) bzw. Torbreitenauszähler zurückgesetzt. Falls nicht, verwendet das Modul die vorhergesagte Breite und inkrementiert den Torbreitenauszähler. Falls eine potenzielle Bodenübereinstimmung gefunden wurde, berechnet das Modul den Fehler zu der Spurbodenkante. Falls dieser innerhalb eines zulässigen Fehlerbereichs liegt, verwendet es diese Bodenposition und setzt den Bodenkantenauszähler zurück. Falls die Spur nicht bestätigt wird und der gefundene Boden mehr als 0,25 m von dem vorher gesagten Boden entfernt ist, setzt es den Boden zurück und startet die Filter neu. Falls der gefundene Boden nicht innerhalb des zulässigen Fehlerbereichs liegt, verwendet es die vorhergesagte Bodenposition und inkrementiert den Bodenkantenauszähler.
  • Falls eine Spur eine vierrädrige Spur ist und eine potenzielle Stoßfängerübereinstimmung gefunden wurde, berechnet das Nachverfolgungsmodul 202 den Fehler zu der Spurstoßstangenkante. Falls dieser innerhalb eines zulässigen Fehlerbereichs liegt, verwendet das Nachverfolgungsmodul 202 diese Stoßfängerposition und setzt den Stoßfängerkantenauszähler zurück. Falls der gefundene Stoßfänger nicht innerhalb des zulässigen Fehlerbereichs liegt und die Spurbodenposition aktueller ist als die Spurstoßfängerposition, verwendet das Nachverfolgungsmodul 202 den Spurboden und die Spurstoßfängerhöhe, um die Spurstoßfängerposition vorherzusagen, und inkriminierte Tier den Stoßfängerkantenauszähler. Falls nicht, verwendet das Nachverfolgungsmodul 202 die vorhergesagte Stoßfängerposition und inkriminierte den Stoßfängerkantenauszähler.
  • Falls sowohl der Boden als auch der Stoßfänger in diesem Bildrahmen in Übereinstimmung waren, verwendet das Nachverfolgungsmodul 202 dieselben zum Aktualisieren der Spurstoßfängerhöhe und filtert das Links, das Rechts, den Boden, und die Breite der Spur. Der Spurbereich kann dann durch eine Berechnung unter Verwendung der gegenwärtigen Bodenposition und des ebenen Straßenmodells aktualisiert werden. Falls dieser Bereich innerhalb eines zulässigen Fehlerbereichs ausgehend von dem gegenwärtigen oder vorhergesagten Spurbereich liegt, verwendet ihn das Modul zum Aktualisieren des Bereichs und zum Zurücksetzen des Bereichaustorzählers (range out gate counter) auf null, genau wie bei dem Zurücksetzen der obigen Zähler. Falls nicht, berechnet es einen Spurbereich unter Verwendung einer gelernten Konstanten, die die Breite in Pixeln eines Ziels in dem Bild mit dessen Bereich in Metern in Beziehung setzt, und der gegenwärtigen Spurbreite. Falls dieser Bereich innerhalb eines zulässigen Fehlerbereichs ausgehend von dem gegenwärtigen Spurbereich liegt, verwendet ihn das Modul zum Aktualisieren des Bereichs und zum Zurücksetzen des Bereichaustorzählers (auf null). Falls nichts des Vorstehenden zutrifft, wird der vorhergesagte Bereich verwendet, und inkrementiert das Modul den Bereichaustorzähler.
  • Das Filtern des Spurbereichs zum Erzeugen eines geglätteten und vorhergesagten Bereichs involviert ein Berechnen der Spurbereichsrate bzw. Spurbereichsgeschwindigkeit unter Verwendung der Rahmen-zu Rahmen-Differenz des Spurbereichs. Falls die Spurbereichsgeschwindigkeit ein zulässiges Maximum überschreitet, wird der vorhergesagte Bereich verwendet. Der Abstand zwischen der nachverfolgten Fahrzeugmitte und der Mitte der Fahrspur der Fortbewegung wird berechnet, ebenso wie der Abstand zwischen der nachverfolgten Fahrzeugmitte und der Fahrzeugmitte. Das Nachverfolgungsmodul 202 aktualisiert dann die Spur-Fahrspur-Zuordnung und die Spursicherheit.
  • Das Nachverfolgungsmodul 202 kann darüber hinaus untersuchen, ob eine Spur beizubehalten oder zu verwerfen ist. Es können Regeln verwendet werden, um eine Spur fallen zu lassen, beispielsweise dann, wenn sie nicht innerhalb einer zulässigen Anzahl von Rahmen bestätigt wird, oder falls sich das Nachverfolgungsfahrzeug für mehr als eine zulässige Anzahl von Rahmen beiderseits einer Fahrspurgrenze befunden hat, oder falls zwei Spuren innerhalb derselben Fahrspur liegen, beide bestätigt werden, und beide entwickelt sind. Falls es sich um Nachbarn handelt, können die Regeln diejenige eine entfernen, deren Mitte näher an der Fahrspurgrenze liegt. Falls sie sich kreuzen oder ineinander laufen, kann das Nachverfolgungsmodul 202 die Spur entfernen, die während mehr Rahmen beiderseits einer Fahrspurgrenze gelegen hatte. Falls nichts des Vorstehenden zutrifft, kann das Modul die Spur entfernen, die sich in einem weiter entfernten Bereich befindet, oder die Spur entfernen, die jünger ist. Ein Zähler kann verwendet werden, um bei der Ermittlung, wie lange eine Spur existiert hat, zu unterstützen.
  • Das Nachverfolgungsmodul 202 verwendet eine Mehrzahl von Filterkonzepten. Solche Konzepte beinhalten ein Erhalten einer Messung, ein Glätten derselben, um sie mit vorangehenden Werten zu Zwecken des Verringerns von Rauschen zu kombinieren, und ein Vorhersagen, was die nächste Messung sein wird, unter Verwendung früherer Werte. Andere Filterkonzepte können ebenfalls genutzt werden, wie beispielsweise: Falls zu einer beliebigen Zeit eine Messung fehlt, wird sie durch den vorhergesagten Wert zur Speisung des Filters ersetzt; Nachverfolgen, wie oft aufeinanderfolgend dem Filter die Vorhersage gegeben werden musste (je häufiger, desto weniger sicher kann sich das Modul über die Ausgangssignale des Filters sein), und falls die Zahl der Aufeinanderfolgen einen gewissen voreingestellten Grenzwert erreicht, hatte das Modul zu lange vorhergesagt, und wird der Filter angehalten, wodurch die Spur beendet wird. In einem anderen Filterkonzept ist es, weil Messungen verrauscht sein können, möglich, dass mehrere Messungen die korrekte(n) Eingabe(n) für ein Filter sein könnten. Um diejenige(n), die keine korrekten Eingaben sind, zu eliminieren, kann ein anderes Konzept eine Akzeptanzregion (ein Tor bzw. Durchlassbereich) dafür definieren, welche Werte zugelassen sind. Dieses Tor wird typisch symmetrisch um den vorhergesagten Wert angeordnet.
  • Ein nochmals anderes Konzept kombiniert mehrere der vorstehend erwähnten Konzepte. Wenn das Nachverfolgungsmodul 202 für eine längere Zeit vorhersagt, wird sich das Nachverfolgungsmodul 202 zunehmend unsicher darüber, was die wahren Ausgangssignale des Filters sein sollten. Aufgrund dieser zunehmenden Ungewissheit kann das Modul die vorstehend diskutierte Torgröße mit der Zeit vergrößern. Demgegenüber wird es dann, wenn es wenige oder keine fehlenden Messungen gibt, zunehmend sicher darüber, was die Ausgangssignale des Filters sein sollen, und verringert die Torgröße entsprechend. Wenn der Filter gestartet wird, wird kein Tor angewandt, da noch kein vorhergesagter Wert zur Verfügung steht.
  • Zusammenfassend empfängt das Nachverfolgungsmodul 202 die ausgedünnten Kandidaten-U-Formen, die Fahrzeugen zugeordnet sind. Das Nachverfolgungsmodul 202 setzt die beständig vorhandenen Kandidaten zu Spuren zusammen. Falls eine Spur beständig vorhanden und konsistent genug ist, dann wird der Messprozess – Links, Rechts, Boden und Bereich – gestartet. Der geglättete, differenzierte Bereich erzeugt die Bereichsgeschwindigkeit.
  • In dem Nachtmodus werden Ziele unter Verwendung ihrer Leuchten bzw. Lichter, die als helle Punkte in dem Bild lokalisiert sind, gefunden. Diese Lichter treten üblicherweise für breite Fahrzeuge paarweise und für schmale Fahrzeuge als Einzellichter auf. Eigenschaften der Lichter und der Lichterpaare werden dazu verwendet, diese als zu Fahrzeugen gehörend zu identifizieren.
  • Ein beispielhaftes Ausführungsbeispiel nutzt mehrere Eigenschaften von Fahrzeugleuchten als Annahmen zum Analysieren potenzieller Kandidaten. Fahrzeugleuchten treten im Allgemeinen paarweise auf, in etwa derselben Bildreihe bzw. Bildzeile, und liegen, wenn sie als Paar vorhanden sind, typisch näherungsweise 2 m auseinander. Sie treten links und rechts auch in ähnlichen Größen und in gespiegelten Formen auf. Fahrzeugleuchten werden darüber hinaus mit zunehmender Entfernung schwächer. Ein beispielhaftes Ausführungsbeispiel nimmt an, dass sich Fahrzeugleuchten zwischen 0,3 und 1,7 m über dem Boden befinden, wenn sie paarweise vorhanden sind, und näherungsweise 60 cm über dem Boden befinden, wenn sie einzeln auftreten. Diese Eigenschaften werden ausgenutzt, um Leuchten über die Zeit zu identifizieren, zu paaren und nachzuverfolgen, und schließlich die Entfernung zu erzeugen.
  • Zusätzlich zu dem Ermitteln, ob sich ein Fahrzeug in einem Bereich vor einem Fahrzeug befindet, ermittelt ein beispielhaftes Ausführungsbeispiel auch eine Entfernung zu diesem Fahrzeug durch Schätzen eines Abstands. Es können unterschiedliche Verfahren zum Ermitteln der Entfernung in Abhängigkeit von verschiedenen Bedingungen, beispielsweise ob es Tag oder Nacht ist, verwendet werden.
  • In einem beispielhaften Ausführungsbeispiel kann der Bereich zu einem voraus sichtbaren Fahrzeug während der Tageszeit durch Annehmen, dass die Straße zwischen der Kamera in einem eigenen Fahrzeug und dem beobachteten Fahrzeug flach ist, abgeschätzt werden. 15A stellt ein Beispiel eines flachen Straßenmodells für die Tageszeit und einer Entfernungsgleichung dar. Die Höhe der Kamera ist bekannt, und der Winkel zwischen der unteren Kante des Fahrzeugs und der Horizontalen kann aus dem Bild und dem gegenwärtigen Neigungswinkel ermittelt werden, wie hierin beschrieben wird. Eine trigonometrische Beziehung kann dann ausgeführt werden, um die Entfernung zu dem Fahrzeug zu erhalten. Dieses Verfahren weist potenziell eine Entfernungsunsicherheit mit zunehmendem Abstand auf, da jeder vertikale Pixel mit zunehmender Entfernung einen größeren Abstand am Boden abdeckt.
  • In einem zweiten beispielhaften Ausführungsbeispiel wird die Breite (oder allgemeiner der Abstand zwischen zwei beliebigen Punkten) eines Fahrzeugs mit der Entfernung in Beziehung gesetzt. Die Beziehung zwischen der Breite und der Entfernung ist eine inverse Beziehung, mit Entfernung = Konstante/Breite. Die Konstante wird durch Akkumulieren von Entfernungsmessungen (unter Verwendung von beispielsweise des vorstehend erwähnten Verfahrens der flachen Straße) und Breitenmessungen und sodann Mitteln, Berechnen des Medians, oder anderweitiges Filtern der Konstanten gelernt. Wenn eine auf einer flachen Straße basierende Fahrspurmessung nicht zur Verfügung steht (die Fahrzeugunterseite bzw. der Fahrzeugboden kann vielleicht nicht sichtbar sein, oder eine plötzliche Kameraneigung kann bei Ableitung von dem Modell der flachen Straße eine nicht plausible Entfernung verursachen), dann kann die auf der Breite basierende Entfernung unter Verwendung der vorstehenden Gleichung substituieren. Wenn eine plausible, auf der flachen Straße basierende Entfernung verfügbar ist, dann kann die physikalische Breite des Fahrzeugs abgeschätzt werden. Diese Schätzung der physikalischen Breite verbessert sich mit zunehmender Zeit, da mehr Messungen akkumuliert werden. Festpunkte innerhalb des Fahrzeugs können ebenfalls dazu verwendet werden, die Entfernung abzuschätzen. Ein Beispiel dieses Entfernungsmessverfahrens ist in 15B dargestellt.
  • Die Abstandsschätzung zur Nachtzeit kann ebenfalls verschiedene Verfahren verwenden. Ein solches Verfahren nimmt zum Beispiel einen Abstand zwischen einem Paar von Heckleuchten (die als helle Bereiche in dem Bild gefunden werden) an, oder geht von einer angenommenen Höhe über Grund aus. Die meisten Fahrzeuge weisen eine Heckleuchten-Beabstandung zwischen 1,5–2,5 m auf. Eine Trennung um 2,0 m kann als typisch herangezogen werden. Der Abstand zu dem Fahrzeug voraus ist dann gegeben durch: Abstand = 2,0·Brennweite des Objektivs/physikalische Trennung zwischen Heckleuchten in dem Bild
  • Die physikalische Trennung bzw. Beabstandung wird gemessen als die horizontale Pixelgröße mal der Unterschied zwischen den Spaltenorten der hellen Punkte.
  • Ein Beispiel eines zweiten Verfahrens für die Nachtzeit nimmt eine Höhe über der Boden- bzw. Grundebene für einen hellen Punkt an. Wie vorstehend angemerkt wurde, haben Leuchten bzw. Lichter typisch, und nimmt ein beispielhaftes Ausführungsbeispiel so an, Höhen über Grund zwischen 0,3 und 1,7 m. Die zu 0,3–1,7 m äquivalente Anzahl von Pixeln wird dazu verwendet, den Bodenort bzw. den Ort der Unterseite des Fahrzeugs abzuschätzen. Ausgehend von diesem Bodenort kann erneut die Annahme einer flachen Straße dazu verwendet werden, den Abstand zu dem Fahrzeug abzuschätzen. 16 stellt Beispiele von beiden dieser Entfernungsmessmethoden für die Nachtzeit dar.
  • Ein beispielhaftes Ausführungsbeispiel beinhaltet darüber hinaus ein Interessenregion-Modul 208, das eine interessierende Region vor einem Fahrzeug für die Bildverarbeitung identifiziert. Ein Bild ist durch das vorstehend beschriebene Pyramidenmodell in verschiedene Grobheitsebenen unterteilt. Die feinste Ebene wird zum Erfassen der am weitesten entfernten Fahrzeuge verwendet, die Ebene mit mittlerer Grobheit wird zum Erfassen von Fahrzeugen mit mittlerem Abstand verwendet, und die gröbste Ebene wird zum Erfassen der sich am nächsten befindenden Fahrzeuge verwendet. Je gröber die Ebene ist (oder je schlechter die Auflösung ist), desto schlechter ist die Abstandsauflösung zu dem sich voraus befindenden Fahrzeug. Wie vorstehend gezeigt ist, kann jedoch, da die Nahauflösung für den Anfang gut ist, eine näherungsweise konstante Abstandsauflösung aufrechterhalten werden.
  • Ein Ermitteln, wo die Grenzen zwischen den am weitesten entfernten, den mittel entfernten, und den sich nahe befindenden Fahrzeugen liegen, erfolgt durch Voraussetzen, dass die Abstandsauflösung in einer beliebigen Ebene nicht zu schlecht wird (beispielsweise mit einer großen Unsicherheit hinsichtlich des Abstands). Beginnend mit der gröbsten Ebene ermittelt das Interessenregion-Modul 208 den Straßenebenenabstand zwischen Pixeln in benachbarten Reihen bzw. Zeilen. Wenn er zum Beispiel 3 m erreicht, definiert das Interessenregion-Modul 208 diese Reihe als obere der gröbsten Ebene. Nun wird die nächste, weniger grobe Ebene unter Verwendung dieser Reihe als deren Bodenreihe und anfänglich mit einem kleineren Pixelfußabdruck analysiert. Wenn der Pixelfußabdruck auf diese weniger grobe Ebene aufsteigt, wird er erneut größer. Wenn er ebenfalls 3 m (zum Beispiel) erreicht, beginnt die feinste Ebene. Das Ergebnis sind drei (oder mehr, wenn es mehr Pyramidenebenen gibt) Sätze von Entfernungen.
  • Um plötzliche Änderungen in der Entfernungsauflösung zu vermeiden, überlappen sich die Ebenen. Dies verbessert ebenfalls die Chancen einer Erfassung eines Fahrzeugs, falls ein solches in eine der Ebenen nicht gefunden werden sollte. Das Interessenregion-Modul 208 ermittelt darüber hinaus eine seitliche Platzierung der interessierenden Region. Die seitliche Platzierung kann mit einem Gierratensensor, einem anderen bildbasierten Sensor wie beispielsweise einer Fahrspurverlassenswarnung, oder anderen Systemen wie beispielsweise einem globalen Positionierungssystem (GPS) erfolgen.
  • In einem beispielhaften Ausführungsbeispiel wird eine interessierende Region in einem System zur Warnung vor einer Vorauskollision für einer Entfernung von 6 m bis 150 m entsprechende Reihen erzeugt. Eine Krümmung für die interessierende Region wird entweder aus einer Krümmung der Fahrspurverlassenswarnung (Lane Departure Warning; LDW) oder einer momentanen (gefilterten) Gierrate aus dem Gierratensensor abgeleitet. Ein LDW-Krümmungsmodul 218 kann ebenfalls enthalten sein, um ein Qualitätsmaß zu berechnen, welches zwischen 0 und 1 variiert, um bei der Unterscheidung zu helfen, wie verlässlich der Krümmungswert ist. Falls die Krümmungsqualität größer ist als ein Schwellenwert (0,5), dann verwendet das Interessenregion-Modul 208 die LDW-Krümmung zum Erzeugen der interessierenden Region, und verwendet andernfalls den Gierratenwert. Fall die Gierrate verwendet wird, wird die Krümmung der interessierenden Region (region of interest; ROI) berechnet als: ROI_Krümmung = (Gierrate (rad/s)/Fahrzeuggeschwindigkeit (m/s))·(4/Pi)
  • In einem beispielhaften Ausführungsbeispiel wird die Krümmung der interessierenden Region bei Verwendung des Gierratenwerts unter Verwendung eines IIR-Filters mit etwa 63% Anstiegszeit von etwa 0,3 Sekunden und bei Verwendung der LDW-Krümmung unter Verwendung eines IIR-Filters mit einer Anstiegszeit von etwa 0,6 Sekunden gefiltert. Die unterschiedlichen IIR-Filter werden verwendet, um den Unterschied in Rauscheigenschaften zwischen Gierrate und LDW-Krümmung zu berücksichtigen.
  • Falls das LDW-Krümmungsmodul verwendet wird, dann können bis zu 6 LDW-Erfassungen (falls verfügbar) verwendet werden, die von zwischen 6 m bis 30 m reichen, um die interessierende Region zu erzeugen. Diese Erfassungen werden auch für Schwankungen der Kameraneigung (falls vorhanden) justiert. Falls diese LDW-Punkte verfügbar sind, dann interpoliert das Modul linear zwischen diesen Erfassungen in der Bildebene für sowohl linke als auch rechte Seiten bis hin zu der entferntest verfügbaren LDW-Erfassung, und verwendet dann den Krümmungswert der interessierenden Region, um die verbleibenden Punkte bis hin zu 150 m zu berechnen.
  • Falls die Gierrate verwendet wird, verwendet das Modul die beste LDW-Schätzung für die der Kamera nächstliegenden Punkte (linke und rechte Seiten), und verwendet dann den Krümmungswert der interessierenden Region für die verbleibenden Punkte. Ausgehend von der dem weitest entfernten LDW-Erfassungspunkt entsprechenden Reihe hin zu der 150 m entsprechenden Reihe verfolgt das Modul die Punkte auf einem Kreis nach, dessen Krümmung gleich der Krümmung der interessierenden Region in der Straßenebene ist, und bildet diese Koordinaten auf die Bildebene (linke und rechte Seiten) ab.
  • Daher werden nach dem Berechnen der Koordinaten der Mittenfahrspur der interessierenden Region im Bildraum die Extremitäten der angrenzenden Fahrspuren durch Addieren und Subtrahieren der Breite der Mittenfahrspur in einer gegebenen Reihe für die rechte Fahrspur bzw. die linke Fahrspur berechnet.
  • Ein beispielhaftes Ausführungsbeispiel stellt einen genauen Neigungswinkel für eine genaue Straßenebenen-Entfernungsmessung bereit. Die Neigung variiert mit einer Vielzahl von Faktoren, wie beispielsweise Straßenunregelmäßigkeiten, Fahrzeuggeschwindigkeit, und Geschwindigkeitsänderungen, sowie Fahrzeugbeladung. Drei Datenquellen werden verwendet, um die Neigung zu ermitteln: Fahrspurmarkierungen, die extrapoliert werden, um einen Fluchtpunkt bereitzustellen; ein bordeigener Beschleunigungsmesser; und die Geschwindigkeit des Fahrzeugs. Der bordeigene Beschleunigungsmesser wird verwendet, um Neigungsmessungen bereitzustellen, wenn keine Fahrspurmarkierungen sichtbar sind, und die Fahrzeuggeschwindigkeit stellt eine beschleunigungsabhängige Neigungswinkeländerung bereit. Beschleunigende Fahrzeuge neigen sich aufwärts, und verzögernde Fahrzeuge neigen sich abwärts, mit der Abhängigkeit, die linearer modelliert werden kann: Kameraneigung = statische Kameraneigung + (Konstante)·Fahrzeugbeschleunigung
  • Die in der vorstehenden Gleichung verwendete Konstante hängt von der Art des Fahrzeugs ab, um eine genauere Neigungsmessung bereitzustellen. Fahrzeuge mit steiferen Federungen werden einen kleineren konstanten Wert haben, während weichere Federungen, wie beispielsweise diejenigen, die in Nutzfahrzeugen zu finden sind, werden eine größere Konstante haben. Die Konstante kann durch experimentelle Messung aufgefunden oder von der Fahrzeugart/den Federungseigenschaften abgeleitet werden. Ein Arbitrationsmechanismus kann verwendet werden, um zu ermitteln, welche Messung (Quelle) zu verwenden ist.
  • Ein beispielhaftes Ausführungsbeispiel berücksichtigt darüber hinaus Schatten und andere Hindernisse. Fahrzeuge, Gebäude, Wetterbedingungen usw. können Schatten werfen oder verursachen, welche in Abhängigkeit von der Geometrie zur Verdunklung bzw. Abdeckung der Fahrzeugkanten führen. Aufgrund der Verdunklung bzw. Abdeckung der Kanten, welche bei einem Finder (beispielsweise dem Kandidatenfindemodul 210) in dem U/H-Modell dazu führen würde, dass keine Fahrzeuge gefunden würden, wenn er nur auf Kanten beruhen würde, müssen auch dunkle Pixel zugelassen werden, damit diese als Kanten wirken. Die Ermittlung, welcher Graupegel bzw. welche Graustufe ausreichend dunkel ist, erfolgt durch Untersuchen der Statistiken des Bilds oder von Abschnitten des Bilds in der interessierenden Region, die hierin weiter beschrieben werden wird, und die in den verschiedenen Pyramidenebenen gefunden wird. Ein typischer Graupegel für Schatten liegt zwischen 60 und 100 in einem 8-Bit-Graustufenbild.
  • Ein beispielhaftes Ausführungsbeispiel beinhaltet ein Warmmodul 220 zum warnen von Fahrern und ein Protokollierungsmodul 222 zum Protokollieren von Daten zur späteren Heranziehung bei Unfall- oder Vorfall-Untersuchungen. Häufig treten während des Fahrens unterschiedliche abstandsbasierte Ereignisse auf. Diese beinhalten Auffahren (welches zu nahes Heranfahren für eine gegebene Geschwindigkeit ist, und welches eine Vorwärtsabstand- oder Kollisionswarnung auslösen würde), oder zu schnelles Annähern an das Ziel für einen gegebenen Abstand (welches eine zu geringe Zeit bis zur Kollision, oder TTC (time to collision) erzeugt).
  • Die Entfernung ist in Berechnungen für sowohl FDW als auch TTC vorhanden, und die Bereichsgeschwindigkeit ist in der TTC-Berechnung vorhanden. Daher sollte das Entfernungssignal zuverlässig und ausgeglichen sein, um unnötige Warnungen zu vermeiden. Die Entfernung kann sowohl aus dem Modell der flachen Straße als auch den Modellen der Fahrzeugbreite, die diskutiert wurden, abgeleitet werden. Diese Entfernung (basierend auf flacher Straße oder Breite) wird auf der Grundlage eines Entfernungswerts gewählt, welcher näher an einem vorhergesagten Wert bei jedem Rahmen liegt. Falls keiner derselben nahe genug an dem vorhergesagten Wert liegt, wird eine Extrapolation durchgeführt.
  • In einem beispielhaften Ausführungsbeispiel wird die Idee von 'nahe genug an der Vorhersage' mit einem Tor bzw. Durchlassbereich ausgedrückt. Dieses Tor ist eine Region um den vorhergesagten Wert, innerhalb deren gewisse Messungen akzeptabel sind. Die Größe des Tores wird durch Berechnungen ermittelt. Es wird angemerkt, dass die Torgröße mit der Entfernung zunimmt, da die Entfernungsunsicherheit mit zunehmendem Abstand größer wird.
  • Die linken, die unteren und die rechten Seiten ebenso wie die Breite werden mit ähnlichen Mechanismen nachgeführt bzw. nachverfolgt, und jeder derselben hat ein zugeordnetes Tor. Jeder Nachverfolgungsmechanismus ist in der Lage, vorherzusagen, welche Messung bei dem nächsten Rahmen auftreten sollte. Wenn jedoch zu viele Vorhersagen gemacht werden, werden die Vorhersagen unsicher, und wird die Nachverfolgung beendet. Eine einzelne Nachverfolgungsbeendigung kann dazu führen, dass die Nachverfolgung eines Fahrzeugs endet.
  • 17 ist ein Blockdiagramm, das ein Computersystem 1700 darstellt, auf welchem ein beispielhaftes Ausführungsbeispiel implementiert sein kann. Das Computersystem 1700 kann dazu verwendet werden, die Funktionalität des hierin beschriebenen Fahrzeugerfassungs- und Messmoduls 106 zu implementieren.
  • Das Computersystem 1700 beinhaltet einen Bus 1702 oder einen anderen Kommunikationsmechanismus zum Kommunizieren von Information, und einen Prozessor 1704, der zum Verarbeiten von Informationen mit dem Bus 1702 gekoppelt ist. Das Computersystem 1700 beinhaltet darüber hinaus einen Hauptspeicher 1706, wie beispielsweise einen Speicher mit wahlfreiem Zugriff (RAM) oder eine andere dynamische Speichereinrichtung, die mit dem Bus 1702 gekoppelt ist, zum Speichern von Information und Anweisungen, die von dem Prozessor 1704 auszuführen sind. Der Hauptspeicher 1706 kann auch zum Speichern einer temporären Variablen oder anderer Zwischeninformationen während der Ausführung von von dem Prozessor 1704 auszuführenden Anweisungen verwendet werden. Das Computersystem 1700 beinhaltet weiter einen Nurlesespeicher (ROM) 1708 oder eine andere mit dem Bus 1702 gekoppelte statische Speichereinrichtung zum Speichern von statischen Informationen und Anweisungen für den Prozessor 1704. Eine Speichereinrichtung 1710, wie beispielsweise eine Magnetplatte, eine optische Platte, und/oder ein Flash-Speicher zum Speichern von Informationen und Anweisungen ist über eine Speicherschnittstelle (I/F) 1712 mit dem Bus 1702 gekoppelt.
  • Das Computersystem 1700 kann über eine Eingabe/Ausgabe-Schnittstelle (I/O) (I/F) 1714 mit einer Benutzerschnittstelle 1716 gekoppelt sein. Die Benutzerschnittstelle 1716 kann auf geeignete Weise eine Anzeige wie beispielsweise eine Kathodenstrahlröhre (CRT) oder eine Flüssigkristallanzeige (LCD) zum Anzeigen von Informationen für einen Benutzer des Computers beinhalten. Die Benutzerschnittstelle 1716 kann weiter eine Eingabeeinrichtung, wie beispielsweise eine Tastatur mit alphanumerischen und anderen Tasten zum Kommunizieren von Informationen und Befehlsauswahlen an den Prozessor 1704, beinhalten. Eine andere Art einer Benutzereingabeeinrichtung ist/sind eine Cursorsteuerung, wie beispielsweise eine Maus, ein Trackball, Cursor-Richtungstasten und/oder ein berührungsempfindlicher Bildschirm zum Kommunizieren von Richtung Information und Befehlsauswahlen an den Prozessor 1704 und zum Steuern einer Cursorbewegung auf der Anzeige. Diese Eingabeeinrichtung hat typisch zwei Freiheitsgrade in zwei Achsen, einer ersten Achse (beispielsweise x) und einer zweiten Achse (beispielsweise y), die es der Einrichtung erlaubt, Positionen in einer Ebene zu spezifizieren.
  • Ein Aspekt des beispielhaften Ausführungsbeispiels bezieht sich auf die Benutzung des Computersystems 1700 zur bildbasierten Fahrzeugerfassung und Entfernungs- bzw. Abstandsmessung. In Übereinstimmung mit einem beispielhaften Ausführungsbeispiel wird eine bildbasierte Fahrzeugerfassung und Abstandsmessung durch das Computersystem 1700 im Ansprechen darauf bereitgestellt, dass der Prozessor 1704 eine oder mehrere Sequenzen von einer oder mehreren Anweisungen ausführt, die in dem Hauptspeicher 1706 enthalten sind. Solche Anweisungen können von einem anderen computerlesbaren Medium, wie beispielsweise der Speichereinrichtung 1710, in den Hauptspeicher 1706 gelesen werden. Die Ausführung der Sequenz von Anweisungen, die in dem Hauptspeicher 1706 enthalten sind, veranlasst den Prozessor 1704, die darin beschriebenen Prozessschritte durchzuführen. Einer oder mehrere Prozessoren in einer Multiprozessor-Anordnung können ebenfalls dazu verwendet werden, um die in dem Hauptspeicher 1706 enthaltene Sequenz von Anweisungen auszuführen. In alternativen Ausführungsbeispielen kann eine festverdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen zum Implementieren eines beispielhaften Ausführungsbeispiels verwendet werden. Folglich sind hierin beschriebene Ausführungsbeispiele nicht auf irgendeine bestimmte Kombination aus Hardware-Schaltkreisen und Software beschränkt.
  • Der Begriff ”computerlesbares Medium” wie hierin verwendet bezieht sich auf ein beliebiges Medium, das an einem Bereitstellen von Anweisungen an den Prozessor 1704 zur Anweisung teilhat. Ein solches Medium kann viele Formen annehmen, einschließlich, aber nicht beschränkt auf, nicht flüchtige Medien und flüchtige Medien. Nicht flüchtige Medien beinhalten zum Beispiel optische oder magnetische Platten, wie beispielsweise die Speichereinrichtung 1710. Flüchtige Medien beinhalten dynamischen Speicher, wie beispielsweise den Hauptspeicher 1706. Wie hierin verwendet können dingliche Medien flüchtige und nicht flüchtige Medien beinhalten. Übliche Formen von computerlesbaren Medien beinhalten zum Beispiel eine Floppy-Diskette, eine flexible Platte, eine Festplatte, Magnetkarten, Papierbänder, beliebige andere physikalische Medien mit Mustern aus Löchern, ein RAM, ein PROM, ein EPROM, ein FLASHPROM, eine CD, eine DVD, eine optische Platte, oder einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette, oder ein beliebiges anderes Medium, von welchem ein Computer lesen kann.
  • Das Computersystem 1700 beinhaltet darüber hinaus eine Kommunikationsschnittstelle 1718, die mit dem Bus 1702 gekoppelt ist. Die Kommunikationsschnittstelle 1718 stellt eine Zweiwege-Datenkommunikation bereit, die das Computersystem 1700 an eine externe Einrichtung koppelt. Obwohl das in 17 dargestellte Beispiel eine drahtlose Verbindung zeigt, ist für den Fachmann ohne weiteres ersichtlich, dass die Kommunikationsschnittstelle 1718 an eine drahtgebundene (oder Netzkabel-)Verbindung gekoppelt sein kann.
  • In Anbetracht der vorstehend beschriebenen vorangehenden strukturellen und funktionellen Merkmale sind Methodologien in Übereinstimmung mit beispielhaften Ausführungsbeispielen unter Bezugnahme auf die 1822 besser zu ersehen. Während zu Zwecken der Einfachheit der Erklärung die Methodologien der 1822 als seriell ausführend gezeigt und beschrieben sind, versteht sich, dass die beispielhaften Ausführungsbeispiele nicht durch die dargestellten Reihenfolgen beschränkt sind, da manche Aspekte in unterschiedlichen Reihenfolgen und/oder gleichzeitig mit anderen als den hierin gezeigten und beschriebenen Aspekten auftreten könnten. Außerdem können nicht alle dargestellten Merkmale erforderlich sein, um die hierin beschriebenen Methodologien zu implementieren. Die hierin beschriebenen Methodologien sind auf geeignete Weise zur Implementierung in Hardware, Software, oder einer Kombination derselben angepasst. Zum Beispiel können die Methodologien durch das Computersystem 1700 (17) und/oder ein oder mehrere Module des Fahrzeugerfassungs- und Messmoduls 106 (1 und 2) implementiert werden.
  • 18 stellt ein Verfahren 1800 zum Warnen vor einer Vorauskollision dar. Bei 1802 wird ein Bild empfangen. Das Bild kann von einer Bildaufnahmeeinrichtung wie beispielsweise einer Kamera oder einer anderen geeigneten Bildaufnahmeeinrichtung empfangen werden.
  • Bei 1804 wird das Bild vorverarbeitet. Das Bild wird nach Formen durchsucht, in Abhängigkeit davon, ob das Bild ein Bild zur Tageszeit oder ein Bild zur Nachtzeit ist. Zum Beispiel wird in einem Tageszeitbild die Form als U/H-Form wie hierin beschrieben gesucht, während in einem Nachtzeitbild Paare von hellen Bereichen gepaart und einzelne helle Punkte isoliert werden können, wie hierin beschrieben. Wie hierin ebenfalls näher beschrieben wird, kann die Vorverarbeitung eine Bewertungsfunktion zum Identifizieren der stärksten U/H-Formen beinhalten, und/oder kann eine Suche bzw. ein Durchsuchen einer interessierenden Region durchgeführt werden. In bestimmten Ausführungsbeispielen kann eine Suche nach Funktionsextremwerten verwendet werden, um die Suche zu beschleunigen. Andere Ausführungsbeispiele können akzeptable U/H-Formen durch Wiederverwenden zuvor berechneter Füll- und Lückenwerte oder eine Rekursion ermitteln.
  • Bei 1806 wird das vorverarbeitete Bild beschnitten. Wie hierin beschrieben, involviert das Beschneiden ein Identifizieren und Entfernen von überflüssigen U/H-Formen. Zum Beispiel können während der Suche nach akzeptablen U/H-Formen viele Kandidaten für ein Fahrzeug gefunden werden. Manche dieser Kandidaten können eliminiert werden, weil sie zum Beispiel dieselben linken und rechten (Seiten-)Orte haben, wohingegen ein Boden direkt über dem anderen liegt. Weil sich der Boden oberhalb des anderen befindet, ist er weiter entfernt, und wird infolgedessen für die Entfernungs- bzw. Abstandsmessung nicht benötigt. Formen können zum Beispiel ausgeschnitten werden, wo sich eine Kandidatenform über einem U/H befindet, das in dem Bild tiefer liegt, aber dieselben Seiten aufweist. Andere Regeln zum Ermitteln, ob eine Form zu behalten oder auszuschneiden ist, sind hierin ebenfalls beschrieben.
  • Bei 1808 werden Spuren (Bereiche angenommener Objektbewegung) zusammengesetzt, und wird eine Vorgeschichte vorgehalten. Zum Beispiel kann eine Vorgeschichte von erfassten Ziel-U-Formen durch Pyramidenebene, Fahrspur, Fahrzeugstil (zum Beispiel zweirädrige oder vierrädrige Fahrzeuge, eines mit schmalen U-Formen und ein anderes mit breiten U-Formen), Bodenkantenreihenort, und Bodenkantenpolarität (hell über dunkel oder dunkel über hell) organisiert sein. Innerhalb einer Pyramidenebene, innerhalb einer Fahrspur, und für einen Fahrzeugstil wird die Vorgeschichte nach Spitzenwerten durchsucht, so dass irgendwelche Reihen in dieser Fahrspur, welche innerhalb oder nahe einer gegenwärtigen Zielspur liegen, ignoriert werden, welches helfen kann, das Beginnen einer redundanten Spur zu vermeiden.
  • Bei 1810 wird die Entfernung von nachverfolgten Fahrzeugen gemessen. Die Entfernung kann unter Verwendung einer beliebigen geeigneten Technik gemessen werden. Zum Beispiel kann die Entfernung zu einem voraus zu sehenden Fahrzeug während der Tageszeit durch Annehmen, in einem Verfahren, dass die Straße zwischen der Bildaufnahmeeinrichtung und dem beobachteten Fahrzeug flach ist, abgeschätzt werden. Da die Höhe der Kamera bekannt ist, und der Winkel zwischen der unteren Kante des Fahrzeugs und der Horizontalen aus dem Bild und dem gegenwärtigen Neigungswinkel wie hierin beschrieben ermittelt werden kann, kann sodann eine trigonometrische Beziehung durchgeführt werden, um die Entfernung zu dem Fahrzeug zu erhalten. Dieses Verfahren hat mit zunehmendem Abstand ein Potenzial für eine Entfernungsunsicherheit, da mit zunehmender Entfernung jeder vertikale Pixel mehr Abstand auf dem Boden bzw. Untergrund abdeckt.
  • Ein anderes geeignetes Verfahren setzt die Breite (oder allgemeiner der Abstand zwischen zwei beliebigen Punkten) eines Fahrzeugs mit der Entfernung in Beziehung. Die Beziehung zwischen der Breite und der Entfernung ist eine inverse Beziehung, mit Entfernung = Konstante/Breite. Die Konstante wird durch Akkumulieren von Entfernungsmessungen (unter Verwendung von beispielsweise des vorstehend erwähnten Verfahrens der flachen Straße) und Breitenmessungen und sodann Mitteln, Berechnen des Medians, oder anderweitiges Filtern der Konstanten gelernt. Wenn eine auf einer flachen Straße basierende Fahrspurmessung nicht zur Verfügung steht (die Fahrzeugunterseite bzw. der Fahrzeugboden kann vielleicht nicht sichtbar sein, oder eine plötzliche Kameraneigung kann bei Ableitung von dem Modell der flachen Straße eine nicht plausible Entfernung verursachen), dann kann die auf der Breite basierende Entfernung unter Verwendung der vorstehenden Gleichung substituieren. Wenn eine plausible, auf der flachen Straße basierende Entfernung verfügbar ist, dann kann die physikalische Breite des Fahrzeugs abgeschätzt werden. Diese Schätzung der physikalischen Breite verbessert sich mit zunehmender Zeit, da mehr Messungen akkumuliert werden. Festpunkte innerhalb des Fahrzeugs können ebenfalls dazu verwendet werden, die Entfernung abzuschätzen.
  • Die Abstandsschätzung zur Nachtzeit kann ebenfalls verschiedene Verfahren verwenden. Ein solches Verfahren nimmt zum Beispiel einen Abstand zwischen einem Paar von Heckleuchten (die als helle Bereiche in dem Bild gefunden werden) an, oder geht von einer angenommenen Höhe über Grund aus. Die meisten Fahrzeuge weisen eine Heckleuchten-Beabstandung von zwischen 1,5–2,5 m auf. Eine Trennung um 2,0 m kann als typisch herangezogen werden. Der Abstand zu dem Fahrzeug voraus ist dann gegeben durch Abstand = 2,0·Brennweite des Objektivs/physikalische Trennung zwischen Heckleuchten in dem Bild). Die physikalische Trennung bzw. Beabstandung wird gemessen als die horizontale Pixelgröße mal der Unterschied zwischen den Spaltenorten der hellen Punkte.
  • Ein zweites Verfahrens für die Nachtzeit nimmt eine Höhe über der Boden- bzw. Grundebene für einen hellen Punkt an. Wie vorstehend angemerkt wurde, haben Leuchten bzw. Lichter typisch, und nimmt so ein beispielhaftes Ausführungsbeispiel an, Höhen über der Grundebene von zwischen 0,3 und 1,7 m. Die zu 0,3–1,7 m äquivalente Anzahl von Pixeln wird dazu verwendet, den Bodenort des Fahrzeugs abzuschätzen. Ausgehend von diesem Bodenort kann erneut die Annahme einer flachen Straße verwendet werden, um den Abstand zu dem Fahrzeug abzuschätzen.
  • 15 stellt die vorstehenden Beispiele eines Modells einer flachen Straße für Tageszeit zur Entfernungsmessung dar. 16 stellt die beiden vorstehend erwähnten Beispiele von Verfahren zur Entfernungsmessung für die Nachtzeit dar.
  • Bei 1812 werden Protokolleinträge erzeugt, und können Warnungen erzeugt werden, wenn vorbestimmte Bedingungen ermittelt sind. Zum Beispiel kann eine Warnung bereitgestellt werden, falls ein erfasstes Fahrzeug als zu nahe ermittelt wird. Die Warnung kann auf einer Funktion von Entfernung und Fahrzeuggeschwindigkeit beruhen.
  • 19 stellt ein Beispiel eines Verfahrens 1900 zum Lokalisieren von Fahrzeugen während der Tageszeit dar. Die Tagzeit-Fahrzeugmodellierung ermittelt das Vorhandensein eines Fahrzeugs in einem Bild durch Erzeugen von U- und H-Formen. Während Stunden des Tageslichts von hinten gesehene Fahrzeuge haben eine näherungsweise rechteckförmige Form, mit einer vertikalen linken Kante dort, wo die äußere Kante des linken Rades bzw. Reifens ist, einer horizontalen unteren Kante dort, wo der Bodenschatten oder der Stoßfänger ist, und eine vertikalen rechten Kante dort, wo die äußere Kante des rechten Rades bzw. Reifens ist. Diese horizontalen und vertikalen Kanten liegen bzw. sind im Allgemeinen nahe beieinander, mit kleinen Lücken dort, wo sich die Kanten treffen. Diese benachbarten horizontalen und vertikalen Kanten werden dazu verwendet, Fahrzeuge in Videobildern, wo sie U- oder H-Formen ausbilden, zu lokalisieren.
  • Bei 1902 wird ein Bild empfangen. Das Bild kann von einer Bildaufnahmeeinrichtung wie beispielsweise einer Kamera oder einer anderen geeigneten Bildaufnahmeeinrichtung empfangen werden.
  • Bei 1904 wird ein nach dem Pyramidenprinzip arbeitendes Bildverarbeitungsmodell verwendet, um mehrere Auflösungsebenen zu erzeugen. Fahrzeuge variieren in sowohl Größe als auch der Entfernung zu denselben. Ein kleines Auto, das sich 100 m entfernt befindet, kann in dem Bild eine Breite von 5 Pixeln haben, wohingegen ein nahes Nutzfahrzeug eine Breite von 200 Pixeln haben kann. Der Bereich, den jedes derselben abdeckt, ist typischerweise die Breite im Quadrat, und kann somit zwischen 25 und 40000 Pixeln schwanken. Aufgrund dieser großen Schwankung, und den sich ergebenden großen Berechnungszeiten für die Verarbeitung so vieler Pixel, wird ein pyramidenförmiges Auflösungsmodell oder Auflösungsschema verwendet. Dieses Modell nimmt 2×2 Gruppen von Pixeln und mittelt diese, wodurch ein gröberes, neues Bild mit der halben Anzahl von Reihen bzw. Zeilen und der halben Anzahl von Spalten des Originals erzeugt wird. Ein nach dem Pyramidenprinzip arbeitendes Bildverarbeitungsmodell wird verwendet, um U/H-Formen unter Verwendung von Pixelblöcken zum Identifizieren mehrerer Ebenen zu kategorisieren. Fahrzeuge variieren in sowohl Größe als auch der Entfernung zu denselben. Ein kleines Auto, das sich 100 m entfernt befindet, kann in dem Bild eine Breite von 5 Pixeln haben, wohingegen ein nahes Nutzfahrzeug eine Breite von 200 Pixeln haben kann. Der Bereich, den jedes derselben abdeckt, ist typischerweise die Breite im Quadrat, und kann somit zwischen 25 und 40000 Pixeln schwanken. Aufgrund dieser großen Schwankung, und den sich ergebenden großen Berechnungszeiten für die Verarbeitung so vieler Pixel, wird ein pyramidenförmiges Auflösungsmodell oder Auflösungsschema verwendet. Dieses Modell nimmt 2×2-Gruppen von Pixeln und mittelt diese, wodurch ein gröberes, neues Bild mit der halben Anzahl von Reihen bzw. Zeilen und der halben Anzahl von Spalten des Originals erzeugt wird. Fahrzeuge, die sich näher befinden und die normalerweise viele Pixel in dem normalen Bild belegen würden, decken in den gröberen Ebenen entsprechend weniger Pixel ab. Weil die Fahrzeuge näher sind, sind die Fahrzeuge mit näherungsweise demselben Grad an Details sichtbar die diejenigen, die weiter entfernt sind. Alle Ebenen werden dann einem Kantenextraktionsmodell zugeführt, welches bei 1906 beschrieben wird.
  • Bei 1906 wird für die Pyramidenbilder dann durch das vorstehend erwähnte Modell eine Kantenextraktion durchgeführt. In diesem Ausführungsbeispiel kann ein Kantenextraktionsalgorithmus mit zentrierter Differenz oder ein Sobel-Kantenextraktionsalgorithmus durchgeführt werden, woraus sich ein Gradientenbild für Pyramidenebenen ergibt. Eine stärkere bzw. größere Gradientengröße zeigt eine stärkere Kante an. Die Kantenbilder werden an einen Finder für signifikante Kanten gesendet, der schwache, aber noch immer ausreichend starke Kantenpixel durch Berücksichtigen ihrer Nachbarn miteinander verknüpft bzw. verbindet.
  • In einem weiteren Aspekt dieser Technik wird die Erzeugung von U- und H-Formen durch Verbinden von Kanten miteinander begonnen. Gradientengrößenbilder werden normalerweise Schwellenwerten unterzogen, um die signifikanten Kanten in denselben zu lokalisieren. Diese schwellenwertgefilterten Bilder können dann weiterverarbeitet werden, um separate Segmente zusammenzufügen, die beispielsweise eines oder mehrere zweite schwache, aber noch immer ausreichend wichtige, Gradientengrößenpixel zwischen sich haben. Das Ergebnis ist ein Kantenbild, dass mit einem bestimmten Niveau schwellenbewertet ist, und bei dem schwache bzw. kleine Lücken geschlossen und/oder Enden hinzugefügt sind. Die beiden Schwellen bzw. Schwellenwerte werden so gewählt, dass Rauschen verringert wird.
  • Ein unterschiedliches, einfacheres, schnelleres modellbasiertes Schema kann ebenfalls verwendet werden, bei dem bekannt ist, dass Fahrzeuggrenzen üblicherweise aus horizontalen und vertikalen Segmenten bestehen. Ein Kantenmodell, das aus schwachen – aber sich angrenzend befindenden – Gradienten besteht, findet ausreichend lange Kanten. Die minimale Länge ist durch die Größe von Fahrzeugen gegeben, wobei vertikale Längen von größer als 0,2 m für Motorräder und größer als 0,1 m für Fahrräder erforderlich sind, und horizontale Längen von typisch 0,85 bis 1,0 oder mehr Metern für Autos, Lastwagen und andere vierrädrige Objekte erforderlich sind. Ein zusätzliches Schließen von Lücken oder Hinzufügen von Enden kann nicht notwendig sein, welches die Kantenextraktion zu einem schnellen Prozess macht, um die Bildverarbeitung nicht weiter zu verlangsamen.
  • Das Ergebnis ist eine Liste von vertikalen und horizontalen Kantensegmenten. Die Gradienten an Nichtkantenorten müssen nicht länger später erneut untersucht werden, da die Liste nun Pixelorte beinhaltet, an denen Kanten vorhanden sind, und keine Nichtkantenorte beinhaltet. Diese Kompression in eine Liste ohne irgendwelche Nichtkantensegmente erhöht die Berechnungsgeschwindigkeit später, wenn die Kanten zur Bildung von U- oder H-Formen kombiniert werden.
  • Bei 1908 wird eine Kantenausdünnung durchgeführt. Weil sich die durch das kohärenzbasierte Verfahren erzeugten Kantensegmente häufig berühren, aber unterschiedliche Längen oder Stärken aufweisen, können die kürzeren oder schwächeren dieser Segmente entfernt, oder ausgedünnt, werden, wodurch die Geschwindigkeit ohne Verlust von Erfassungen erhöht wird. Die Kantenausdünnung untersucht benachbarte Reihen und Spalten von Kanten. Kanten haben eine Länge, eine Gradientengröße, oder eine Stärke. Wenn sich Kanten in zwei unterschiedlichen Reihen/Spalten berühren, wird eine Entscheidung dahingehend getroffen, welche Abschnitte derselben zu entfernen sind.
  • Bei 1910 wird das Bild nach Schatten durchsucht. Fahrzeuge, Gebäude, Wetterbedingungen usw. können Schatten werfen oder verursachen, welche in Abhängigkeit von der Geometrie zur Verdunklung bzw. Abdeckung der Fahrzeugkanten führen. Aufgrund der Verdunklung bzw. Abdeckung der Kanten, welche bei einem Finder in dem U/H-Modell dazu führen würde, dass keine Fahrzeuge gefunden würden, wenn er nur auf Kanten beruhen würde, müssen auch dunkle Pixel zugelassen werden, damit diese als Kanten wirken. Die Ermittlung, welcher Graupegel bzw. welche Graustufe ausreichend dunkel ist, erfolgt durch Untersuchen der Statistiken des Bilds oder von Abschnitten des Bilds in der interessierenden Region, die hierin weiter beschrieben werden wird, und die in den verschiedenen Pyramidenebenen gefunden wird. Ein typischer Graupegel für Schatten liegt zwischen 60 und 100 in einem 8-Bit-Graustufenbild.
  • Bei 1912 werden Fahrzeugkandidaten lokalisiert. Fahrzeugkandidaten können durch Bilden von U- und H-Formen wie hierin beschrieben identifiziert werden.
  • Bei 1914 wird der Satz von Fahrzeugkandidaten ausgedünnt. Der Satz wird ausgedünnt durch Ermitteln, welche Kandidaten falsche Kandidaten sind, und durch Verwerfen derselben. Geeignete Techniken zum Ausdünnen der Fahrzeugkandidaten sind hierin beschrieben.
  • Bei 1916 werden die verbleibenden Fahrzeuge nachverfolgt, und werden ihre Entfernungen ermittelt. Hierin beschriebene Entfernungsmesstechniken können verwendet werden. Falls es irgendwelche Fahrzeuge gibt, die zu nahe sind, können Warnungen bereitgestellt werden, wie bei 1918 dargestellt ist.
  • 20 stellt ein Beispiel eines Verfahrens zum Lokalisieren von Fahrzeugen bei Nacht dar. Die Modellierung von Fahrzeugen zur Nachtzeit untersucht helle Bereiche in einem Bild, um Fahrzeuge zu identifizieren. Diese hellen Bereiche können mit Fahrzeugleuchten in Zusammenhang stehen, oder mit dem beleuchteten Abschnitt eines Fahrzeugs, falls es nahe genug ist. Autos und Lastwagen werden typisch ein paar von ähnlichen Leuchten haben, die ihre äußeren Kanten definieren, wohingegen bei einem nahen Fahrzeug dessen Breite beleuchtet sein wird. Motorräder und Fahrräder werden eine einzelne oder möglicherweise zwei Leuchten haben, die ihren Ort definieren.
  • Bei 2002 wird ein Bild empfangen. Das Bild kann von einer Bildaufnahmeeinrichtung wie beispielsweise einer Kamera oder einer anderen geeigneten Bildaufnahmeeinrichtung empfangen werden.
  • Bei 2004 werden helle Bereiche in dem Bild lokalisiert. Helle Bereiche können Heckleuchten und oder Frontscheinwerfern eines Fahrzeugs entsprechen.
  • Bei 2006 werden Paare von Scheinwerfern in Übereinstimmung gebracht. Autos und Lastwagen werden typisch ein Paar von ähnlichen Leuchten haben, die ihre äußeren Kanten definieren. Motorräder und Fahrräder werden eine einzelne oder möglicherweise zwei Leuchten haben, um ihren Ort zu definieren. Mehrere Eigenschaften von Fahrzeugleuchten können angenommen werden, um potenzielle Kandidaten zu analysieren. Beispielsweise treten Fahrzeugleuchten im Allgemeinen paarweise auf, in etwa derselben Bildreihe bzw. Bildzeile, und liegen, wenn sie als Paar vorhanden sind, typisch näherungsweise 2 m auseinander. Sie treten links und rechts auch in ähnlichen Größen und in gespiegelten Formen auf. Fahrzeugleuchten werden darüber hinaus mit zunehmender Entfernung schwächer bzw. dunkler. Ein beispielhaftes Ausführungsbeispiel nimmt an, dass sich Fahrzeugleuchten zwischen 0,3 und 1,7 m über Grund befinden, wenn sie paarweise vorhanden sind, und näherungsweise 60 cm über Grund befinden, wenn sie einzeln auftreten. Diese Eigenschaften können ausgenutzt werden, um Leuchten bzw. Lichter über die Zeit zu identifizieren, zu paaren und nachzuverfolgen, und schließlich die Entfernung zu erzeugen. Leuchten bzw. Lichter, die zu weit auseinander liegen (beispielsweise weiter auseinander als eine Fahrspurbreite, oder gemäß einem anderen Kriterium) werden bei 2008 identifiziert und als einzelne Leuchten ermittelt. Leuchten, die nicht gepaart werden können (Einzelleuchten), werden wie bei 2010 dargestellt isoliert.
  • Bei 2012 werden Paare von hellen Bereichen, einzelne helle Bereiche und breite bzw. breit beleuchtete Bereiche über die Zeit nachverfolgt. Dies ermöglicht es, Fahrzeugkandidaten bei 2014 zu identifizieren. Unter Verwendung eines angenommenen Abstands zwischen Elementen der Paare, einer angenommenen Höhe für die einzelne Leuchten, und einer angenommenen Breite für die breiten Bereiche, können die Entfernungen zu den Paaren und den Einzelleuchten wie bei 2016 dargestellt ermittelt werden. Aus den Entfernungen ermittelt ein beispielhaftes Ausführungsbeispiel, ob Warnungen und/oder eine Protokollierung erforderlich ist/sind, wie bei 2018 dargestellt.
  • 21 stellt ein vereinfachtes Beispiel eines Verfahrens 2100 dar zum Verringern der Anzahl von Berechnungen, die für eine erschöpfende Suche nach Funktionsextremwerten verwendet werden. In einem beispielhaften Ausführungsbeispiel werden die in dem Verfahren 2100 dargestellten Techniken dazu verwendet, das Lokalisieren von Kandidatenfahrzeugen aus einem empfangenen Bild zu erleichtern.
  • Die Ermittlung von Extremwerten kann ein rechenintensiver Prozess sein. Ein Brute-Force-Ansatz zur Berechnung solcher Werte kann Berechnungsergebnisse involvieren, die mit allen möglichen Eingangswerten in Zusammenhang stehen, was hierin als eine gründliche bzw. ”erschöpfende Suche” bezeichnet wird. Mit hohen Eingangsdatenraten und/oder einer großen Anzahl von Variablen kann die mit einer großen Anzahl von Berechnungen in Zusammenhang stehende Leistungseinbuße substantiell sein. Dies kann extrem problematisch in Systemen sein, die eine Überwachung oder Steuerung in Echtzeit oder nahe an Echtzeit erfordern, wie beispielsweise solchen zur bildbasierten Fahrzeugerfassung und Abstandsmessung.
  • Mehrvariablenfunktionen nehmen mehrere Eingangswerte entgegen, um eine einzelne Ausgabe bzw. einen einzelnen Ausgangswert zu erzeugen. Die Funktion z = x + y zum Beispiel addiert die beiden Eingänge bzw. Eingangswerte x und y, um den Ausgang bzw. Ausgangswert z zu erzeugen. Im Allgemeinen kann eine beliebige Anzahl von Eingängen kombiniert werden, um einen Ausgang zu erzeugen. Zwischenschritte können auf die Eingangsvariablen angewandt werden, wie beispielsweise in der Funktion z = x2 + sin(y), bei der x quadriert und eine Sinusfunktion auf y angewandt wird.
  • Das in 21 dargestellte Beispiel zeigt eine Funktion mit zwei Eingängen bzw. Eingangswerten F(X, Y), die zwei Unterfunktionen A(X) und B(Y) hat. Für den Fachmann versteht sich jedoch ohne weiteres, dass dieses Beispiel lediglich zur Erleichterung der Darstellung gewählt wurde, und dass die hierin beschriebenen Prinzipien auf Funktionen anwendbar sind, die eine beliebige Anzahl von Variablen haben, einschließlich von Funktionen mit einzelnen Variablen, aber mehreren Unterfunktionen.
  • Bei 2102 wird der maximale – und/oder minimale Funktionswert M(X, Y) initialisiert, und wird eine Schätzung des Maximalwerts der Unterfunktion A(X)MAX und B(Y)MAX ermittelt (in diesem Beispiel wird der Maximalwert geschätzt, jedoch kann in anderen Ausführungsbeispielen, in denen ein Minimum gefunden werden soll, eine Schätzung der minimalen Funktionswerte verwendet werden).
  • Bei 2104 wird in einer Schleife eingetreten. Innerhalb dieser Schleife wird die erste Eingangsvariable X von einem kleinsten bzw. minimalen Wert XMIN zu einem größten bzw. maximalen Wert XMAX variiert.
  • Bei 2106 wird ein gegenwärtiges mögliches Maximum für die Funktion FMAX bei dem gegenwärtigen Wert von X, XC, berechnet. FMAX wird unter Verwendung des maximalen Werts für B(Y), B(Y)MAX, berechnet. Folglich ist FMAX = A(XC) + B(Y)MAX.
  • Bei 2108 wird der gegenwärtige Wert von FMAX mit dem gegenwärtigen Maximum M(X, Y) verglichen. Falls FMAX < M(X, Y) (beispielsweise kann der gegenwärtig mögliche maximale Wert für den gegenwärtigen Wert von X (”XC”) den gegenwärtigen Maximalwert nicht überschreiten), braucht keine weitere Auswertung für den gegenwärtigen Wert von X (”XC”) durchgeführt zu werden. In anderen Worten können die Berechnungen von YMIN bis YMAX übersprungen werden. Für den Fachmann versteht sich ohne weiteres, dass dies die Anzahl von Berechnungen, die in einer erschöpfenden Suche durchgeführt werden, verringern kann. Außerdem kann ein Auswählen eines höheren Anfangswerts von M(X, Y) bei 2102 die durch die erschöpfende Suche durchgeführte Anzahl von Berechnungen weiter reduzieren.
  • Falls bei 2108 der gegenwärtig mögliche Wert von F(x, y) bei dem gegenwärtigen Wert von X kleiner ist als der maximale Wert (JA), dann kehrt die Verarbeitung zu dem Anfang der Schleife bei 2104 zurück, und wird das nächste X ausgewertet, bis XMAX erreicht ist. Falls jedoch bei 2108 der gegenwärtig mögliche Wert von F(X, Y), FMAX, nicht kleiner ist als M(X, Y) (NEIN), dann wird die Unterfunktion B(Y) ausgewertet.
  • Wie bei 2110 dargestellt ist, wird in eine zweite Schleife zum Auswerten von B(Y) eingetreten. B(Y) wird von YMIN bis YMAX ausgewertet.
  • Bei 2112 wird der gegenwärtige Wert von F(X, Y) = A(X) + B(Y) für den gegenwärtigen Wert von X, (XC), und den gegenwärtigen Wert von Y, (YC), oder F(XC, YC) = A(XC) + B(YC). Bei 2114 wird der gegenwärtige Wert von F(X, Y), F(XC, YC), mit dem gegenwärtigen maximalen Wert M(X, Y) verglichen.
  • Falls bei 2114 F(XC, YC) kleiner ist als M(X, Y) (JA), wird bei 2110 der nächste Wert von Y ausgewählt, bis YMAX erreicht ist. Falls YMAX erreicht ist, wird bei 2104 der nächste Wert von X ausgewählt, bis XMAX erreicht ist (es wird angemerkt, dass dieser Abschnitt der Schleife zur Vereinfachung der Darstellung in 21 nicht gezeigt ist).
  • Falls bei 2114 F(XC, YC) nicht kleiner ist als M(X, Y) (NEIN), wird bei 2116 das gegenwärtige Maximum (M(X, Y)) auf F(XC, YC) gesetzt, und werden die gegenwärtigen Werte von X und Y, XC und YC, jeweils gespeichert. Der nächste Wert von Y wird bei 2110 ausgewählt, bis YMAX erreicht ist. Falls YMAX erreicht ist, dann wird bei 2104 der nächste Wert von X ausgewählt, bis XMAX erreicht ist.
  • Wie für den Fachmann ohne weiteres ersichtlich ist, wird, nachdem alle der Werte von X ausgewertet worden sind, M(X, Y) gleich dem Maximum für die Funktion sein, und sind die Werte von X und Y zum Erreichen dieses maximalen Werts identifiziert. Da jedoch Y für diejenigen Werte von X nicht evaluiert wird, bei denen die Funktion unmöglich den gegenwärtigen maximalen Wert überschreiten konnte, wird die Anzahl von Berechnungen bei der Durchführung der erschöpfenden Suche reduziert. Für den Fachmann ist ebenfalls ohne weiteres ersichtlich, dass die vorstehend erwähnte Technik ebenfalls dazu verwendet werden kann, die Anzahl von Berechnungen einer erschöpfenden Suche nach einem minimalen Wert einer Funktion zu reduzieren, beispielsweise durch Ändern der ”kleiner als” (<) Vergleiche bei 2108 und 2114 zu einem ”größer als” (>) Vergleich, und dass ein Initialisieren von M(X, Y) auf einen niedrigeren Wert die Anzahl von Berechnungen weiter verringern kann.
  • In Funktionen mit nochmals größeren Anzahl von Unterfunktionen und/oder Eingangsvariablen kann diese Technik auf mehreren Ebenen eingesetzt werden. Zum Beispiel ist für eine Funktion F(x, y, z) = A(x, y, z)·{B(x, y, z) + C[D(x, z), D(y, z)] + E(x, z) + E(y, z)}, die so normalisiert ist, dass die Maxima für A(x, y, z), B(x, y, z), C[D(x, z), D(y, z)], E(x, z), und E(y, z) 1 sind, dann der maximal mögliche Wert für F(x, y, z) = 1·(1 + 1 + 1 + 1) = 4. Eine beliebige der Unterfunktionen, oder Kombinationen der Unterfunktionen, kann bzw. können ausgewertet und mit dem gegenwärtigen maximalen Wert M(x, y, z) verglichen werden. Zum Beispiel kann E(x, z) als FMAX = 1(1 + 1 + E(x, z) + 1), oder 3 + E(x, z), ausgewertet werden. Falls 3 + E(x, z) < M(x, y, z), werden Verarbeitungsschritte dadurch eingespart, dass für die gegenwärtigen Werte von x und z A(x, y, z), B(x, y, z), C[D(x, z), D(y, z)] und E(y, z) nicht weiter ausgewertet werden müssen. Falls aber der maximale Wert FMAX nicht kleiner ist als M(x, y), kann die nächste Unterfunktion ausgewertet werden, wie beispielsweise E(y, z), welches in FMAX = 1·[1 + 1 + E(x, z) + E(y, z)], oder 2 + E(x, z) + E(y, z) resultiert. Falls FMAX (der gegenwärtig mögliche Wert) < M(x, y, z), brauchen A(x, y, z), B(x, y, z) und C[D(x, z), D(y, z)] nicht berechnet zu werden.
  • 22 stellt eine beispielhafte Methodologie 3200 für eine bildbasierte Fahrzeugerfassung basierend auf dem in 21 dargestellten Verfahren 2100 dar. Die Methodologie kann dazu verwendet werden, eine vordefinierte Form, wie beispielsweise eine U-Form oder eine H-Form, auf der Grundlage der Anzahl oder des Prozentsatzes von Kanten oder dunklen Pixeln, die in dem Bild vorhanden sind, aufzubauen. Das Verfahren 2200 stellt die Kombination von Seiten (links, rechts), die gesucht werden, dar, jedoch versteht sich für den Fachmann ohne weiteres, dass das Verfahren 2200 so extrapoliert werden kann, dass auch nach einer horizontalen (beispielsweise unteren) kannte gesucht wird, die die Seitenkanten koppelt bzw. verbindet. In einem Beispiel kann die auszuwertende Funktion ausgedrückt werden als: F(L, R, B) = K·Füllung(B)·((1 – max. horizontale Lücke in %) + Überlappung(L- und R-Orte von Kanten oder dunklen Pixeln) + 0,5·vertikale Füllung(L) + 0,5·vertikale Füllung(R)), worin L = linke Kante, R = rechte Kante, und B = untere Kante. Das Maximum für diese Funktion ist 3·K. In einem beispielhaften Ausführungsbeispiel kann K gleich 33 sein, so dass daher in diesem Ausführungsbeispiel der maximale Wert für die Funktion 99 ist. K kann jedoch gleich einem beliebigen oder empirisch abgeleiteten Wert sein.
  • Bei 2202 wird der maximale und/oder minimale Funktionswert M(X, Y) initialisiert, und wird eine Schätzung des maximalen Werts der Füllung für die zweite Kante (2te_Kante_max) berechnet. In bestimmten Ausführungsbeispielen wird ebenfalls eine Schätzung für das Maximum einer dritten Kante (beispielsweise einer horizontalen Kante, die mit der ersten und der zweiten Kante gekoppelt ist) berechnet. In einem beispielhaften Ausführungsbeispiel, in dem K = 33, oder der maximale Wert der Funktion 99 ist, kann eine empirische Beobachtung dazu verwendet werden, ein zum Verwerfen ungeeigneter Kombinationen – wie beispielsweise 40 – geeignetes M(X, Y) zu ermitteln.
  • Bei 2204 wird in eine Schleife eingetreten. Innerhalb dieser Schleife wird eine Reihe bzw. Zeile in dem Bild nach potenziellen ersten Kanten abgetastet. Falls zum Beispiel von links nach rechts abgetastet wird, würde das erste Bild bzw. die erste Kante die linke Kante sein, jedoch kann ebenfalls ein Abtasten von rechts nach links (und ein Lokalisieren einer rechten Kante als der ersten Kante) durchgeführt werden.
  • Bei 2206 wird ein gegenwärtig mögliches Maximum für die Funktion, FMAX, für eine erste Kante berechnet. Die Füllung für die erste Kante wird berechnet, und eine maximale Füllung für die zweite Kante wird verwendet. In bestimmten Ausführungsbeispielen kann auch ein maximaler Füllwert für andere Kanten, wie beispielsweise eine dritte (zum Beispiel untere) Kante, in die Berechnung für FMAX einbezogen sein.
  • Bei 2208 wird der gegenwärtige Wert von FMAX mit der Kombination von Kanten mit dem gegenwärtigen maximalen Füllwert, M(X, Y), verglichen. Falls FMAX < M(X, Y) (beispielsweise der gegenwärtig mögliche maximale Wert für die gegenwärtige erste Kante den gegenwärtigen maximalen Wert nicht überschreiten kann), braucht für die gegenwärtige erste Kante keine weitere Auswertung durchgeführt zu werden. In anderen Worten können Berechnungen mit potenziellen zweiten Kanten übersprungen werden. Wie für den Fachmann ohne weiteres ersichtlich ist, kann dies die Anzahl von Berechnungen, die in einer erschöpfenden Suche durchgeführt werden, reduzieren. Außerdem kann ein Auswählen eines höheren Anfangswerts von M(X, Y) bei 2202 die Anzahl von Berechnungen, die von der erschöpfenden Suche durchgeführt wird, weiter verringern.
  • Zum Beispiel wird unter Verwendung des vorstehenden Beispiels, in dem K = 33 und M (X, Z) = 40, dann, wenn FMAX < 40 ist, die gegenwärtige erste Kante übersprungen, und die Suche nach einer neuen ersten Kante fortgesetzt. Zum Beispiel ist, falls der Füllwert für die gegenwärtige erste Kante 0,2 ist, FMAX = 33·1·(1 + (0.2 + (1 + 0.2)/2)) = 33,8 = 59,4. Falls eine Form mit einem Wert größer als 59,4 bereits gefunden wurde, brauchen keine weiteren Berechnungen mit der gegenwärtigen ersten Kante durchgeführt zu werden.
  • Falls bei 2208 der gegenwärtige mögliche Wert von F(x, y) bei dem gegenwärtigen Wert von X kleiner ist als der maximale Wert (JA), kehrt die Verarbeitung zu dem Beginn der Schleife bei 2104 zurück, und wird die nächste potenzielle erste Kante ausgewertet, bis es keine weiteren verbleibenden potenziellen ersten Kanten mehr gibt. Falls jedoch bei 2108 der gegenwärtige mögliche Wert von FMAX nicht kleiner ist als M(X, Y) (NEIN), wird bei 2219 eine Suche nach potenziellen zweiten Kanten begonnen.
  • Bei 2212 ist der gegenwärtige Wert von FMAX auf dem gegenwärtigen Füllwert für die erste Kante und den gegenwärtigen Füllwert für die gegenwärtige zweite Kante basiert. In bestimmten Ausführungsbeispielen kann FMAX bei 2112 auch einen besten möglichen Füllwert für eine dritte Kante (beispielsweise eine untere Kante oder eine horizontale Kante, die mit den Seitenkanten gekoppelt ist) beinhalten. Bei 2114 wird der gegenwärtige Wert von FMAX mit dem gegenwärtigen maximalen Wert M(X, Y) verglichen.
  • Falls bei 2214 FMAX kleiner ist als M(X, Y) (JA), wird eine Suche nach einer neuen zweiten Kante durchgeführt, bis es keine verbleibenden potenziellen zweiten Kanten mehr gibt. Falls es keine weiteren verbleibenden zweiten Kanten gibt, dann wird eine neue erste Kante ausgewählt, bis es für die gegenwärtige Reihe bzw. Zeile keine weiteren ersten Kanten mehr gibt (es wird angemerkt, dass dieser Abschnitt der Schleife zur Vereinfachung der Darstellung in 22 nicht gezeigt ist).
  • Falls bei 2214 FMAX nicht kleiner ist als M(X, Y) (NEIN), kann bei 2116 das gegenwärtige Maximum, M(X, Y), auf FMAX gesetzt werden, und werden die Orte der ersten Kante und der zweiten Kante(n) gespeichert. In bestimmten Ausführungsbeispielen kann auch eine dritte Kante (beispielsweise eine horizontale oder untere Kante, die die erste und die zweite Kante gekoppelt) ausgewertet werden. Die Suche nach Kombinationen von Kanten in der Reihe wird zu der nächsten potenziellen zweiten Kante fortgesetzt, bis es in der gegenwärtigen Reihe keine verfügbaren potenziellen zweiten Kanten mehr gibt. Dann wird eine Suche nach den verbleibenden Kombinationen von ersten und zweiten Kanten durchgeführt, bis es keine verbleibenden Kombinationen mehr gibt.
  • Wie für den Fachmann aus dem Vorangehenden ersichtlich ist, können immer dann, wenn eine Kante bei 2208 verworfen wird, Suchen und Berechnungen für die zweite Kante und die untere Kante ausgelassen bzw. übersprungen werden, welches in rechnerischen Einsparungen resultiert. Ähnlich dazu können immer dann, wenn bei 2214 eine zweite Kante verworfen wird, Berechnungen für die untere Kante übersprungen werden, welches in rechnerischen Einsparungen resultiert.
  • In bestimmten Ausführungsbeispielen können zusätzliche Aktionen die Effizienz des Verfahrens 2200 weiter steigern. Zum Beispiel können Kanten nach dem Füllwert sortiert werden. Als ein weiteres Beispiel können Kanten jenseits eines voreingestellten Fahrzeugbreitenwerts ignoriert werden. Gemäß einem nochmals weiteren Beispiel können rekursive Berechnungen verwendet werden, wie nachstehend näher beschrieben wird (vgl. beispielsweise 23).
  • 23 stellt eine Gruppe von Pixeln 2300 dar zum Veranschaulichen eines Beispiels einer rekursiven Berechnung. Ein gegenwärtiger Füllwert wurde für Pixel 2302, 2304, 2306, und 2308 berechnet. Da die Pixel 2302, 2304 und 2308 gefüllt sind, ist der gegenwärtige Wert 3/4. Wenn der Füllwert für Pixel für 2302, 2304, 2306, 2308, und 2310 (der neue Füllwert) berechnet wird, werden, anstelle von vorne zu beginnen, die Berechnungen für den gegenwärtigen Füllwert gemerkt, und wird der Wert des Pixels 2310 zu dem gegenwärtigen Wert addiert. Die Füllung für das Pixel 2310 wird entweder einen Wert von null oder eins zu dem Zähler und einen Wert von eins zu dem Nenner addieren. Daher wird der neue Füllwert entweder 3/5 oder 4/5 sein.
  • Vorstehend wurden beispielhafte Ausführungsbeispiele beschrieben. Es ist natürlich nicht möglich, jede denkbare Kombination von Komponenten oder Methodologien zu beschreiben. Der Fachmann wird aber erkennen, dass viele weitere Kombinationen und Abwandlungen der beispielhaften Ausführungsbeispiele möglich sind. Demgemäß umfasst die Erfindung alle solche Änderungen, Modifikationen und Variationen, die in den Schutzbereich der beigefügten und in Übereinstimmung mit der ihnen angemessen, rechtmäßig und gerechtermaßen zukommenden Breite interpretierten Ansprüche fallen.

Claims (38)

  1. System zur numerischen Analyse von physikalischen Daten, mit: einem Eingang, der dazu betreibbar ist, mehrere, diskrete Dateneingangswerte entsprechend einem gemeinsam in Zusammenhang stehenden physikalischen Phänomen zu empfangen, wobei eine mit dem physikalischen Phänomen zusammenhängende funktionelle Beziehung in durch eine Vielzahl von Unterfunktionen definiert ist, jede Unterfunktion auf zumindest einen Dateneingangswert operabel ist, und zumindest eine der Unterfunktionen zwischen einem minimalen Wert und einem diesem entsprechenden maximalen Wert begrenzt ist; einem Speicher, der dazu betreibbar ist, empfangene digitale Daten zu speichern; einem Prozessor, der dazu betreibbar ist, eine erste Unterfunktion der Vielzahl für jeden von einer Vielzahl von Dateneingangswerten auszuwerten, um einen Kandidatenmaximalwert zu ermitteln; wobei der Prozessor weiter dazu betreibbar ist, den Kandidatenmaximalwert mit einem Systemmaximalwert zu vergleichen, der durch zumindest eine zweite der Vielzahl von Unterfunktionen erzielbar ist; und einem Ausgang, der dazu betreibbar ist, den Kandidatenunterfunktionswert nach Beendigung an zumindest eines eines physikalischen Überwachungs- oder Steuersystems als einen Extremwert zu kommunizieren, um zumindest einen eines Überwachungs- und Steuervorgangs relativ zu dem physikalischen System durchzuführen, wenn der Kandidatenunterfunktionswert den Systemmaximalwert überschreitet.
  2. System nach Anspruch 1, bei dem der Prozessor weiter dazu betreibbar ist, die Vielzahl von Unterfunktionen derart zu sortieren, dass eine ausgewählte Unterfunktion als die erste Unterfunktion ausgewählt wird.
  3. System nach Anspruch 1, bei dem der Kandidatenmaximalwert in Übereinstimmung mit einer ausgewählten Zeitdauer ermittelt wird.
  4. System nach Anspruch 1, weiter mit einem Bildsensor, und bei dem die digitalen Datenwerte aus Bilddaten bestehen, die von dem Bildsensor aufgenommen wurden.
  5. System nach Anspruch 2, bei dem die Bilddaten Daten entsprechend zumindest einem von visuell nahegelegenen Fahrzeugdaten und Wegdaten, die mit einer Außenseite eines mit dem Bildsensor in Zusammenhang stehenden Fahrzeugs zusammenhängen, beinhalten.
  6. System nach Anspruch 2, bei dem der Prozessor weiter dazu betreibbar ist, die erste Unterfunktion in Übereinstimmung mit einer mit einem frühen Auffinden von hohen Werten relativ zu zumindest einer anderen Unterfunktion zusammenhängenden Eigenschaft zu isolieren.
  7. System nach Anspruch 2, bei dem der Prozessor weiter dazu betreibbar ist, die erste Funktion in Übereinstimmung mit dem Haben einer mit einem größeren Einfluss auf den Kandidatenmaximalwert zu isolieren.
  8. Verfahren zur numerischen Analyse für physikalische Daten, mit den Schritten: Empfangen mehrerer, diskreter Dateneingangswerte entsprechend einem gemeinsam in Zusammenhang stehenden physikalischen Phänomen, wobei eine mit dem physikalischen Phänomen zusammenhängende funktionelle Beziehung in durch eine Vielzahl von Unterfunktionen definiert ist, jede Unterfunktion auf zumindest einen Dateneingangswert operabel ist, und zumindest eine der Unterfunktionen zwischen einem minimalen Wert und einem diesem entsprechenden maximalen Wert begrenzt ist; Speichern empfangener digitaler Daten in einem in Zusammenhang stehenden Datenspeicher; Auswerten einer ersten Unterfunktion der Vielzahl für jeden von einer Vielzahl von Dateneingangswerten, um einen Kandidatenmaximalwert zu ermitteln; Vergleichen des Kandidatenmaximalwerts mit einem Systemmaximalwert, der durch zumindest eine zweite der Vielzahl von Unterfunktionen erzielbar ist; und Kommunizieren des Kandidatenunterfunktionswerts nach Beendigung an zumindest eines eines physikalischen Überwachungs- oder Steuersystems als einen Extremwert, um zumindest einen eines Überwachungs- und Steuervorgangs relativ zu dem physikalischen System durchzuführen, wenn der Kandidatenunterfunktionswert den Systemmaximalwert überschreitet.
  9. Verfahren nach Anspruch 8, weiter mit dem Schritt des Sortierens der Vielzahl von Unterfunktionen derart, dass eine ausgewählte Unterfunktion als die erste Unterfunktion ausgewählt wird.
  10. Verfahren nach Anspruch 8, weiter mit dem Schritt des Ermittelns des Kandidatenmaximalwerts in Übereinstimmung mit einer ausgewählten Zeitdauer.
  11. Verfahren nach Anspruch 8, weiter mit dem Schritt des Empfangens der Dateneingangswerte als Bilddaten von einem Bildsensor.
  12. Verfahren nach Anspruch 9, bei dem die Bilddaten Daten entsprechend zumindest einem von visuell nahegelegenen Fahrzeugdaten und Wegdaten, die mit einer Außenseite eines mit dem Bildsensor in Zusammenhang stehenden Fahrzeugs zusammenhängen, beinhalten.
  13. Verfahren nach Anspruch 9, weiter mit dem Schritt des Isolierens der ersten Unterfunktion in Übereinstimmung mit einer mit einem frühen Auffinden von hohen Werten relativ zu zumindest einer anderen Unterfunktion zusammenhängenden Eigenschaft.
  14. Verfahren nach Anspruch 11, weiter mit dem Schritt des Isolierens der ersten Funktion in Übereinstimmung mit dem Haben einer mit einem größeren Einfluss auf den Kandidatenmaximalwert.
  15. Vorrichtung, mit einer Bildaufnahmeeinrichtung; einem Fahrzeugerfassungs- und Messmodul, das mit der Bildaufnahmeeinrichtung gekoppelt ist; wobei das Fahrzeugerfassungs- und Messmodul. dazu betreibbar ist, Kantensegmente aus dem Bild zu extrahieren; das Fahrzeugerfassungs- und Messmodul dazu betreibbar ist, nach einer Kombination von Kantensegmenten zu suchen, die eine vordefinierte Form bilden, um ein Fahrzeug zu identifizieren; das Fahrzeugerfassungs- und Messmodul einen Füllwert für eine Kombination eines ersten Kantensegments und eines maximal möglichen Füllwerts für ein zweites Kantensegment mit einem vordefinierten Schwellenwert vergleicht; und das Fahrzeugerfassungs- und Messmodul die Kombination des ersten Kantensegments und des zweiten Kantensegments ohne Durchführen eines weiteren Auswertens des zweiten Kantensegments im Ansprechen auf ein Ermitteln, dass der Füllwert für die Kombination des ersten Kantensegments und des maximal möglichen Füllwerts für das zweite Kantensegment kleiner ist als der vordefinierte Schwellenwert, verwirft.
  16. Vorrichtung nach Anspruch 15, bei der der vordefinierte Schwellenwert ein Füllwert für eine zuvor ausgewertete Kombination von Kanten ist.
  17. Vorrichtung nach Anspruch 16, bei der das Fahrzeugerfassungs- und Messmodul dazu betreibbar ist, nach einer dritten Kante zu suchen, die eine erste Kante und eine zweite Kante koppelt, im Ansprechen auf ein Auffinden einer Kombination einer ersten Kante und einer zweiten Kante, die nicht kleiner ist als der vordefinierte Schwellenwert.
  18. Vorrichtung nach Anspruch 15, bei der das Fahrzeugerfassungs- und Messmodul vor dem Suchen nach der Kombination von Kantensegmenten die Kantensegmente nach Fülldichte sortiert.
  19. Vorrichtung nach Anspruch 15, bei der das Fahrzeugerfassungs- und Messmodul dazu betreibbar ist, ein durch die Kombination von Kanten identifiziertes Fahrzeug nachzuverfolgen.
  20. Vorrichtung nach Anspruch 19, bei der das Fahrzeugerfassungs- und Messmodul dazu betreibbar ist, die Entfernung des identifizierten Fahrzeugs zu ermitteln.
  21. Vorrichtung nach Anspruch 20, bei der das Fahrzeugerfassungs- und Messmodul dazu betreibbar ist, im Ansprechen auf ein Ermitteln, dass die Entfernung des Fahrzeugs kleiner ist als ein vordefinierter Schwellenwert, einen Alarm zu erzeugen.
  22. Vorrichtung nach Anspruch 15, bei der die vordefinierte Form eine U-Form ist.
  23. Vorrichtung nach Anspruch 15, bei der die vordefinierte Form eine H-Form ist.
  24. Vorrichtung nach Anspruch 15, bei der das Fahrzeugerfassungs- und Messmodul dazu betreibbar ist, nach einer Kombination von Kantensegmenten zu suchen, die eine von einer Vielzahl von vordefinierten Formen bilden, um ein Fahrzeug zu identifizieren.
  25. Vorrichtung nach Anspruch 24, bei der die Vielzahl von vordefinierten Formen eine U-Form und eine H-Form umfasst.
  26. Nichttransitorisches, dingliches computerlesbares Speichermedium zum Speichern von computerlesbaren Anweisungen zur Ausführung durch einen Prozessor, die bei Ausführung betreibbar sind zum: Empfangen eines Bilds von einer Bildaufnahmeeinrichtung; Extrahieren von Kantensegmenten aus dem Bild; Suchen nach einer Kombination von Kantensegmenten, die eine vordefinierte Form bilden, um ein Fahrzeug zu identifizieren; Vergleichen eines Füllwerts für eine Kombination eines ersten Kantensegments und eines maximal möglichen Füllwerts für ein zweites Kantensegment mit einem vordefinierten Schwellenwert; und Verwerfen der Kombination des ersten Kantensegments und des zweiten Kantensegments ohne weiteres Auswerten des zweiten Kantensegments im Ansprechen auf ein Ermitteln, dass der Füllwert für die Kombination des ersten Kantensegments und des maximal möglichen Füllwerts für das zweite Kantensegment kleiner ist als der vordefinierte Schwellenwert.
  27. Nichttransitorisches, dingliches computerlesbares Medium nach Anspruch 26, bei dem der vordefinierte Schwellenwert ein Füllwert für eine zuvor ausgewertete Kombination von Kanten ist.
  28. Nichttransitorisches, dingliches computerlesbares Medium nach Anspruch 26, weiter betreibbar zum Suchen nach einer dritten Kante, die eine erste Kante und eine zweite Kante koppelt, im Ansprechen auf ein Auffinden einer Kombination einer ersten Kante und einer zweiten Kante, die nicht kleiner ist als der vordefinierte Schwellenwert.
  29. Nichttransitorisches, dingliches computerlesbares Medium nach Anspruch 26, weiter betreibbar zum Sortieren der Kantensegmente nach Fülldichte vor dem Suchen nach der Kombination von Kantensegmenten.
  30. Nichttransitorisches, dingliches computerlesbares Medium nach Anspruch 26, ferner betreibbar zum: Suchen nach einer Kombination von Kantensegmenten, die eine von einer Vielzahl von vordefinierten Formen bilden, um ein Fahrzeug zu identifizieren; wobei die Vielzahl von vordefinierten Formen eine U-Form und eine H-Form beinhaltet.
  31. Vorrichtung, mit einer Bildaufnahmeeinrichtung; einem Fahrzeugerfassungs- und Messmodul, das mit der Bildaufnahmeeinrichtung gekoppelt ist; wobei das Fahrzeugerfassungs- und Messmodul dazu betreibbar ist, ein Bild von der Bildaufnahmeeinrichtung zu empfangen; das Fahrzeugerfassungs- und Messmodul dazu betreibbar ist, Kantensegmente und Schattenpixel aus dem Bild zu extrahieren; das Fahrzeugerfassungs- und Messmodul dazu betreibbar ist, nach einer Kombination von Kantensegmenten und Schattenpixeln zu suchen, die eine vordefinierte Form bilden, um ein Fahrzeug zu identifizieren; das Fahrzeugerfassungs- und Messmodul einen Füllwert für eine Kombination eines ersten einer Gruppe, die aus einem Kantensegment und Schattenpixeln besteht, und eines maximal möglichen Füllwerts für ein zweites der Gruppe, die aus einem Kantensegment und Schattenpixeln besteht, mit einem vordefinierten Schwellenwert vergleicht; und das Fahrzeugerfassungs- und Messmodul die Kombination des ersten der Gruppe, die aus einem Kantensegment und Schattenpixeln besteht, und des zweiten der Gruppe, die aus einem Kantensegment und Schattenpixeln besteht, ohne Durchführen eines weiteren Auswertens des zweiten der Gruppe, die aus einem Kantensegment und Schattenpixeln besteht, im Ansprechen auf ein Ermitteln, dass der Füllwert für die Kombination des ersten der Gruppe, die aus einem Kantensegment und Schattenpixeln besteht, und des maximal möglichen Füllwerts für das zweite der Gruppe, die aus einem Kantensegment und Schattenpixeln besteht, kleiner ist als der vordefinierte Schwellenwert, verwirft.
  32. Vorrichtung nach Anspruch 31, bei der der vordefinierte Schwellenwert ein Füllwert für eine zuvor ausgewertete Kombination ist.
  33. Vorrichtung nach Anspruch, 32, bei der das Fahrzeugerfassungs- und Messmodul dazu betreibbar ist, nach einer dritten Kante oder Schattenpixeln, die eine erste Kante oder Schattenpixel koppeln, und einer zweiten Kante oder Schattenpixeln zu suchen, im Ansprechen auf ein Auffinden einer Kombination einer ersten Kante und Schattenpixeln und einer zweiten Kante und Schattenpixeln, die nicht kleiner ist als der vordefinierte Schwellenwert.
  34. Vorrichtung nach Anspruch 32, bei der das Fahrzeugerfassungs- und Messmodul vor dem Suchen nach der Kombination aus Kanten und Schattensegmenten die Kanten und Schattensegmente nach Fülldichte sortiert.
  35. Vorrichtung nach Anspruch 31, bei der das erste der Gruppe, die aus einem Kantensegment und Schattenpixeln besteht, ein Kantensegment ist und das zweite der Gruppe, die aus einem Kantensegment und Schattenpixeln besteht, Schattenpixel sind.
  36. Vorrichtung nach Anspruch 31, bei der das erste der Gruppe, die aus einem Kantensegment und Schattenpixeln besteht, Schattenpixel sind, und das zweite der Gruppe, die aus einem Kantensegment und Schattenpixeln besteht, ein Kantensegment ist.
  37. Vorrichtung nach Anspruch 31, bei der das Fahrzeugerfassungs- und Messmodul dazu betreibbar ist, nach einer Kombination von Kantensegmenten und Schattenpixeln zu suchen, die eine von einer Vielzahl von vordefinierten Formen bilden, um ein Fahrzeug zu identifizieren.
  38. Vorrichtung nach Anspruch 37, bei der die Vielzahl von vordefinierten Formen eine U-Form und eine H-Form beinhaltet.
DE112012002885.6T 2011-07-08 2012-07-09 Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung Pending DE112012002885T5 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US201161505870P true 2011-07-08 2011-07-08
US61/505,870 2011-07-08
PCT/US2012/045949 WO2013009697A1 (en) 2011-07-08 2012-07-09 Image-based vehicle detection and distance measuring method and apparatus

Publications (1)

Publication Number Publication Date
DE112012002885T5 true DE112012002885T5 (de) 2014-03-27

Family

ID=47506441

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112012002885.6T Pending DE112012002885T5 (de) 2011-07-08 2012-07-09 Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung

Country Status (3)

Country Link
US (1) US10081308B2 (de)
DE (1) DE112012002885T5 (de)
WO (1) WO2013009697A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015121952A1 (de) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361663B1 (ko) * 2012-03-21 2014-02-12 주식회사 코아로직 차량용 영상 처리 장치 및 방법
DE102012112725A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102012112724A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
DE102013101639A1 (de) 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
JP5809653B2 (ja) * 2013-02-28 2015-11-11 富士フイルム株式会社 車間距離算出装置およびその動作制御方法
US9349055B1 (en) * 2013-06-26 2016-05-24 Google Inc. Real-time image-based vehicle detection based on a multi-stage classification
WO2014206406A1 (de) 2013-06-26 2014-12-31 Conti Temic Microelectronic Gmbh Spiegelersatzvorrichtung und fahrzeug
US9058524B2 (en) 2013-06-28 2015-06-16 Bendix Commercial Vehicle Systems Llc Measuring the range to an object, in an image, using size categorization
DE102013214368A1 (de) 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Wiedergabe eines seitlichen und/oder rückwärtigen Umgebungsbereichs eines Fahrzeugs
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
DE102013226104A1 (de) * 2013-12-16 2015-06-18 Application Solutions (Electronics and Vision) Ltd. Verfahren und vorrichtung zur überwachung einer äusseren abmessung eines fahrzeugs
JP6547292B2 (ja) * 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
JP6473571B2 (ja) 2014-03-24 2019-02-20 アルパイン株式会社 Ttc計測装置およびttc計測プログラム
US9495609B2 (en) 2014-04-30 2016-11-15 Bendix Commercial Vehicle Systems Llc System and method for evaluating data
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
US9494430B2 (en) * 2014-10-27 2016-11-15 Caterpillar Inc. Positioning system implementing multi-sensor pose solution
FR3030042A1 (fr) * 2014-12-15 2016-06-17 Michelin & Cie Procede de detection de defaut sur une surface de pneumatique
JP6523694B2 (ja) * 2015-02-03 2019-06-05 株式会社Subaru 車外環境認識装置
JP2016142647A (ja) * 2015-02-03 2016-08-08 クラリオン株式会社 画像処理装置、および車両システム
DE102015208889A1 (de) * 2015-05-13 2016-11-17 Conti Temic Microelectronic Gmbh Kameravorrichtung und Verfahren zum Abbilden eines Umfeldes für ein Kraftfahrzeug
US9860445B2 (en) 2015-06-15 2018-01-02 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture
US20180158334A1 (en) * 2016-12-05 2018-06-07 Ford Global Technologies, Llc Vehicle collision avoidance
WO2019043876A1 (ja) * 2017-08-31 2019-03-07 株式会社オプティム 画像解析距離情報提供システム、方法及びプログラム
WO2019043878A1 (ja) * 2017-08-31 2019-03-07 株式会社オプティム 画像解析距離情報提供システム、方法及びプログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3069654A (en) 1960-03-25 1962-12-18 Paul V C Hough Method and means for recognizing complex patterns
USRE36656E (en) 1991-05-21 2000-04-11 International Business Machines Corporation Generalized shape autocorrelation for shape acquistion and recognition
US5832117A (en) 1992-06-26 1998-11-03 Rockwell International Corporation Nonlinear resistive network for isolating outliers in sensor images
US6272188B1 (en) 1997-11-24 2001-08-07 Agere Systems Guardian Corp. Single-cycle accelerator for extremun state search
US6285372B1 (en) 1998-05-08 2001-09-04 Lawrence C. Cowsar Multiresolution adaptive parameterization of surfaces
US7016539B1 (en) 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
JP2001134769A (ja) 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
US7110454B1 (en) 1999-12-21 2006-09-19 Siemens Corporate Research, Inc. Integrated method for scene change detection
US6807286B1 (en) 2000-04-13 2004-10-19 Microsoft Corporation Object recognition using binary image quantization and hough kernels
US6907080B1 (en) 2000-06-07 2005-06-14 Intel Corporation Adaptive early exit techniques in image correlation
JP2001357484A (ja) 2000-06-14 2001-12-26 Kddi Corp 道路異常検出装置
JP3671825B2 (ja) * 2000-09-22 2005-07-13 日産自動車株式会社 車間距離推定装置
US6502852B2 (en) * 2000-11-20 2003-01-07 Delphi Technologies, Inc. Air bag cover with internal hinge configuration
FR2838016B1 (fr) 2002-03-29 2004-09-17 Valeo Vision Procede de traitement en temps reel d'un signal representatif d'une image
EP1504276B1 (de) 2002-05-03 2012-08-08 Donnelly Corporation Objektdetektionssystem für ein fahrzeug
US7409092B2 (en) 2002-06-20 2008-08-05 Hrl Laboratories, Llc Method and apparatus for the surveillance of objects in images
JP4155780B2 (ja) * 2002-09-19 2008-09-24 富士通テン株式会社 画像処理方法
US7764808B2 (en) 2003-03-24 2010-07-27 Siemens Corporation System and method for vehicle detection and tracking
US8207532B2 (en) 2003-09-12 2012-06-26 Taiwan Semiconductor Manufacturing Company Constant and reducible hole bottom CD in variable post-CMP thickness and after-development-inspection CD
JP3925488B2 (ja) * 2003-11-11 2007-06-06 日産自動車株式会社 車両用画像処理装置
JP3931891B2 (ja) * 2004-07-05 2007-06-20 日産自動車株式会社 車載用画像処理装置
US7262710B2 (en) * 2004-09-22 2007-08-28 Nissan Motor Co., Ltd. Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles
US7738730B2 (en) 2006-01-25 2010-06-15 Atalasoft, Inc. Method of image analysis using sparse hough transform
EP1914667A3 (de) * 2006-03-24 2008-05-07 MVTec Software GmbH System und Verfahren zur automatischen Parameterbestimmung bei Maschinensicht
US7724962B2 (en) 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
CN101110100B (zh) 2006-07-17 2012-05-02 松下电器产业株式会社 检测包含任意线段组合的形状的方法及装置
US8428118B2 (en) 2006-08-17 2013-04-23 Ittiam Systems (P) Ltd. Technique for transcoding MPEG-2/MPEG-4 bitstream to H.264 bitstream
US7676087B2 (en) 2006-09-20 2010-03-09 Delphi Technologies, Inc. Method for identifying vehicles in electronic images
US8098889B2 (en) 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
US20110211071A1 (en) 2007-08-28 2011-09-01 Valeo Schalter Und Sensoren Gmbh Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems, especially with respect to day/night distinction
JP4495201B2 (ja) * 2007-10-10 2010-06-30 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録する記録媒体
US8150207B2 (en) 2007-12-31 2012-04-03 Intel Corporation Accelerating the hough transform
JP5283967B2 (ja) 2008-05-14 2013-09-04 日立オートモティブシステムズ株式会社 車載用物体検知装置
US8744122B2 (en) * 2008-10-22 2014-06-03 Sri International System and method for object detection from a moving platform
US9041806B2 (en) * 2009-09-01 2015-05-26 Magna Electronics Inc. Imaging and display system for vehicle
JP5538909B2 (ja) * 2010-01-05 2014-07-02 キヤノン株式会社 検出装置およびその方法
US8457844B2 (en) * 2010-04-12 2013-06-04 Delphi Technologies, Inc. Parallel parking assistant system and method thereof
US8693788B2 (en) * 2010-08-06 2014-04-08 Mela Sciences, Inc. Assessing features for classification
RU2611289C2 (ru) * 2010-12-22 2017-02-21 Филипс Лайтинг Холдинг Б.В. Система позиционирования и направления транспортных средств

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015121952A1 (de) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug

Also Published As

Publication number Publication date
US10081308B2 (en) 2018-09-25
WO2013009697A1 (en) 2013-01-17
US20140293052A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
Ferryman et al. Visual surveillance for moving vehicles
US7786898B2 (en) Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US7263209B2 (en) Vehicular vision system
CN106461774B (zh) 基于雷达提示视觉成像的高级驾驶员辅助系统
US7027615B2 (en) Vision-based highway overhead structure detection system
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
JP2007508624A (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
CN101900567B (zh) 基于像素的无纹理畅通路径检测
CN101900562B (zh) 采用基于分割方法的畅通路径检测
US8620032B2 (en) System and method for traffic signal detection
DE102009006113B4 (de) Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
JP4624594B2 (ja) 物体認識方法および物体認識装置
JP5124592B2 (ja) 車両を検出および追跡するためのシステムおよび方法
US10127669B2 (en) Estimating distance to an object using a sequence of images recorded by a monocular camera
US8194998B2 (en) Preceding vehicle detection system
KR20090014124A (ko) 이미지 평가 방법 및 장치
JP5441549B2 (ja) 道路形状認識装置
US9297641B2 (en) Detection of obstacles at night by analysis of shadows
US20100121577A1 (en) Three-dimensional lidar-based clear path detection
Hautière et al. Real-time disparity contrast combination for onboard estimation of the visibility distance
US9401028B2 (en) Method and system for video-based road characterization, lane detection and departure prevention
US20030103649A1 (en) Road white line recognition apparatus and method
JP3424334B2 (ja) 走行路検出装置
US8803966B2 (en) Clear path detection using an example-based approach

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: WIEDEMANN, MARKUS, DIPL.-ING.UNIV. DR.-ING., DE