DE102014008761A1 - Messen des Bereiches bzw. Streckenbereiches zu einem Objekt in einem Bild unter Verwendung einer Größenkategorisierung - Google Patents

Messen des Bereiches bzw. Streckenbereiches zu einem Objekt in einem Bild unter Verwendung einer Größenkategorisierung Download PDF

Info

Publication number
DE102014008761A1
DE102014008761A1 DE102014008761.1A DE102014008761A DE102014008761A1 DE 102014008761 A1 DE102014008761 A1 DE 102014008761A1 DE 102014008761 A DE102014008761 A DE 102014008761A DE 102014008761 A1 DE102014008761 A1 DE 102014008761A1
Authority
DE
Germany
Prior art keywords
distance
vehicle
image data
processor
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102014008761.1A
Other languages
English (en)
Inventor
Andreas U. Kuehnle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bendix Commercial Vehicle Systems LLC
Original Assignee
Bendix Commercial Vehicle Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bendix Commercial Vehicle Systems LLC filed Critical Bendix Commercial Vehicle Systems LLC
Publication of DE102014008761A1 publication Critical patent/DE102014008761A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Beim Bestimmen eines Abstandsbereiches zu einem Objekt oder Fahrzeug vor oder hinter dem Referenzfahrzeug werden Bilddaten des Objektes erfasst und zum Bestimmen des Relativortes des Objektes relativ zu dem Boden eines das Objekt enthaltenden Bildrahmens wie auch bei einer Merkmalsmessung des Objektes bei einer Messung in Pixeln über eine Mehrzahl von Bildrahmen analysiert. Das Objekt wird in einer aus einer Mehrzahl von diskreten Größenkategorien als Funktion seines Relativortes und einer Medianmerkmalsmessung klassifiziert. Sobald das Objekt klassifiziert ist, wird ein Tabellenabgleich durchgeführt, um den Abstandsbereich für das Objekt relativ zu einem Referenzfahrzeug als Funktion einer überwachten Medianmerkmalsmessung des Objektes und der dem Objekt zugewiesenen diskreten Größenkategorie zu identifizieren.

Description

  • Hintergrund
  • Die vorliegende Anmeldung findet bei Fahrzeugüberwachungssystemen, insbesondere bei der Vermeidung von Zusammenstößen, spezielle Anwendung. Es sollte indes einsichtig sein, dass die beschriebenen Techniken auch bei anderen Objektüberwachungssystemen, anderen Fahrzeugsystemen oder dergleichen Anwendung finden können.
  • Geläufige Verfahren zum Bestimmen eines Abstandes zu einem Objekt verwenden für die Dimension bzw. Abmessung einen geglätteten Wert, der später zur Bereichsbildung verwendet wird. Typische Lösungsansätze zum Glätten können einen Kalman-Filter (das heißt eine rekursive Mittelungsprozedur) verwenden und sind daher durch die Rauschempfindlichkeit beeinträchtigt. Die Kalman-Filterung nimmt ein bestimmtes Verhalten (beispielsweise ein Gauß'sches Rauschen) für die Messfehler an und kann dadurch fehlerhafte Ergebnisse erzeugen, wenn die Fehler nicht gaußartig sind oder wenn ein großer Fehler auftritt. Ein glatter, kontinuierlicher Wert kann unter Verwendung gängiger Techniken erzeugt werden, wobei dieser Lösungsansatz jedoch das zugrunde liegende diskrete und möglicherweise beträchtlich unrichtige Ergebnis verschleiert.
  • Herkömmliche Objektverfolgungssysteme verwenden beispielsweise ein Fahrzeugmodell zum Verfolgen eines Zielfahrzeuges und bestimmen sodann eine größte Änderung der Größe und des Ortes von Pixeln, die das Zielfahrzeug relativ zu dem Fahrzeugmodell umschließen. Auf diese Weise wird die Änderung des Abstandes und der Position des Zielfahrzeuges überwacht. Unter Verwendung derartiger Lösungsansätze werden nur einzelne Pixeländerungen überwacht, und es muss die Fahrzeuggröße kontinuierlich neuberechnet werden. Andere Lösungsansätze setzen Radar- und Kameraobjekterfassungssysteme ein, wobei das Radar verwendet wird, um den Folgeabstand zu einem Zielfahrzeug zu berechnen, wobei dann, wenn das Fahrzeug nicht mehr im Radarbereich ist, die Kamera zum Berechnen des Folgeabstandes verwendet wird, indem das letzte bekannte Bild, das in dem Speicher gespeichert worden ist, als der Abstand durch das Radar berechnet worden ist, mit einem neuen Kamerabild verglichen wird. Es wird beispielsweise die Pixelbreite mit der Fahrzeuggröße verglichen, um zu bestimmen, ob das Zielfahrzeug weiter weg von dem Referenzfahrzeug oder näher heran an dieses gelangt. Derartige Systeme müssen jedoch kontinuierlich die Fahrzeuggröße neuberechnen.
  • Die vorliegende Neuerung stellt neue und verbesserte Systeme und Verfahren zum Erleichtern einer Durchführung einer Anfangsgrößenberechnung für ein Fahrzeug und Überwachen eines Fahrzeugabstandes als Funktion der anfänglich berechneten Fahrzeuggröße bereit, bei denen die vorgenannten Probleme wie auch andere Probleme gelöst sind.
  • Zusammenfassung
  • Entsprechend einem Aspekt umfasst ein Verfahren zum Schätzen eines Abstandes von einem Referenzfahrzeug zu einem Objekt ein Erfassen von Bilddaten, ein Identifizieren des Objektes in den Bilddaten, ein Bestimmen eines Relativortes des Objektes innerhalb wenigstens eines Rahmens von Bilddaten und ein in Pixeln erfolgendes Bestimmen einer Medianmerkmalsmessung des Objektes. Das Verfahren umfasst des Weiteren ein Klassifizieren des Objektes als zu wenigstens einer aus einer Mehrzahl von Größenkategorien gehörig als Funktion des Relativortes und der Medianmerkmalsmessung des Objektes und ein Identifizieren eines Abstandsbereiches zu dem Objekt.
  • Entsprechend einem weiteren Aspekt ist ein Prozessor ausgelegt zum Schätzen eines Abstandes von einem Referenzfahrzeug zu einem Objekt, wobei der Prozessor ausgelegt ist zum Empfangen von Bilddaten, Identifizieren des Objektes in den Bilddaten, Bestimmen eines Relativortes des Objektes innerhalb wenigstens eines Rahmens von Bilddaten und in Pixeln erfolgenden Bestimmen einer Medianmerkmalsmessung des Objektes. Der Prozessor ist des Weiteren ausgelegt zum Klassifizieren des Objektes als zu wenigstens einer aus einer Mehrzahl von Größenkategorien gehörig als Funktion des Relativortes und der Medianmerkmalsmessung des Objektes und Identifizieren eines Abstandsbereiches zu dem Objekt.
  • Entsprechend einem weiteren Aspekt umfasst ein Verfahren zum Schätzen eines Abstandes von einem Referenzfahrzeug zu einem Objekt ein Empfangen von Bilddaten, ein Identifizieren des Objektes in den Bilddaten, ein Bestimmen des Relativortes einer unteren Oberfläche des Objektes innerhalb wenigstens eines Rahmens von Bilddaten unter Verwendung einer bekannten Kamerageometrie und ein in Pixeln erfolgendes Bestimmen einer Medianmerkmalsmessung des Objektes. Das Verfahren umfasst des Weiteren ein Klassifizieren des Objektes als zu wenigstens einer aus einer Mehrzahl von Größenkategorien gehörig als Funktion des Relativortes und der Medianmerkmalsmessung des Objektes, ein Identifizieren eines Abstandsbereiches, der mit einem Medianmerkmalsmesswert für die Größenkategorie, zu der das Objekt gehört, korreliert, ein Interpolieren eines Relativabstandes innerhalb des Abstandsbereiches von der Medianmerkmalsmessung des Objektes und ein Überwachen des Relativabstandes zu dem Objekt als Funktion von Änderungen bei dem Medianmerkmalsmesswert des Objektes und der Größenkategorie, zu der das Objekt gehört. Zusätzlich umfasst das Verfahren ein Korrelieren des Relativabstandes mit einer Folgezeit für das Referenzfahrzeug hinter dem Fahrzeug.
  • Weitere Vorteile der erfindungsgegenständlichen Neuerung ergeben sich für einen Fachmann auf dem einschlägigen Gebiet beim Lesen und Durchdenken der nachfolgenden Detailbeschreibung.
  • Kurzbeschreibung der Zeichnung
  • Die Neuerung kann in verschiedenen Komponenten und Anordnungen von Komponenten sowie in verschiedenen Schritten und Anordnungen von Schritten realisiert werden. Die Zeichnung dient nur dem Zweck der Darstellung verschiedener Aspekte und soll nicht als erfindungsbeschränkend gedeutet werden.
  • 1 zeigt ein Diagramm eines Objektes (beispielsweise eines vorderen Fahrzeuges vorderhalb eines Referenzfahrzeuges), das auf einer Straße oder einer anderen Oberfläche fährt, bei Aufnahme durch eine Kamera (nicht gezeigt) von einem Standpunkt bzw. unter einem Blickwinkel eines Referenzfahrzeuges (nicht gezeigt), das hinter dem vorderen Fahrzeug fährt.
  • 2 zeigt ein Verfahren zum Erleichtern des Messens eines Bereiches bzw. Streckenbereiches zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte.
  • 3 zeigt ein System zum Erleichtern des Messens eines Bereiches bzw. Streckenbereiches zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte.
  • 4 zeigt ein Verfahren zum Messen eines Abstandes zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte.
  • Detailbeschreibung
  • Die vorgenannten Probleme werden durch die hier beschriebenen Systeme und Verfahren gelöst, die entsprechend verschiedenen Ausführungsbeispielen einen Medianwert anstelle eines Mittel- oder Durchschnittswertes verwenden, wobei der Median rauschbeständiger ist und ein statistisch effizientes Ortsmaß im Gegensatz zu den herkömmlichen Lösungsansätzen darstellt, die kontinuierliche, geglättete Messungen erzeugen. Auf diese Weise kategorisieren die beschriebenen Systeme und Verfahren die Größe eines Objektes, um ein diskretes Ergebnis bereitzustellen.
  • Ein Vorteil der beschriebenen Systeme und Verfahren besteht darin, dass Pixel diskret sind, und daher die beschriebene diskrete Größenkategorisierung besser diskreten Pixeleingabemessungen entspricht. Es sollte einsichtig sein, dass ungeachtet dessen, dass verschiedene hier beschriebene Ausführungsbeispiele diskrete Größenkategorisierungen verwenden, auch Fuzzy-Größenkategorisierungen bei einem oder mehreren Ausführungsbeispielen verwendet werden können, wie sich einem Fachmann auf dem einschlägigen Gebiet erschließt. Zusätzlich entspricht, wenn sich ein Referenzfahrzeug einem Objekt nähert, ein Pixel einem noch kleineren Bruchteil des Ganzen. Der beschriebene Lösungsansatz verwendet eine Filterung, die eine Statistik mit festem Fehler annimmt und daher besser unter Verwendung einer Konstantfehlergrößenkategorisierung arbeitet. Darüber hinaus müssen die Fahrzeuggrößenkategorien, in die das vordere Fahrzeug klassifiziert wird, nicht regelmäßig beabstandet sein. Vielmehr kann die Kategorienauflösung und/oder Körnigkeit bzw. Rasterung je nach Wunsch vergrößert werden, um besser zwischen verschiedenen Fahrzeugen zu unterscheiden. Darüber hinaus begrenzen die beschriebenen Kategorien die nachteiligen Effekte von Rauschmessungen und sind daher robuster.
  • 1 zeigt ein Diagramm oder ein erfasstes Bild 10 eines vorderen Objektes (beispielsweise eines Fahrzeuges) 12, das auf einer Straße oder einer anderen Oberfläche 14 fährt, bei Aufnahme durch eine Kamera (nicht gezeigt) von einem Standpunkt bzw. unter einem Blickwinkel eines Referenzfahrzeuges (nicht gezeigt), das hinter dem vorderen Fahrzeug fährt. Ein oder mehrere Videokameras, die an dem Referenzfahrzeug montiert sind, können beispielsweise zum Messen des Bereiches bzw. Streckenbereiches zu einem Objekt in ihrem Sichtfeld unter Verwendung einer diskreten Größenkategorisierung verwendet werden. Bei anderen Ausführungsbeispielen kann eine Fuzzy-Größenkategorisierung verwendet werden. Als Beispiel für das Objekt wird ein Fahrzeug verwendet, obwohl die hier beschriebenen Prinzipien auch bei anderen Objekten gelten. Das Fahrzeug weist eine linke Seite 16, eine Bodenseite 18 und eine rechte Seite 20 auf, wie durch die U-Form 22 angedeutet ist, die das vordere Fahrzeug umgibt. Der Relativort oder die Höhe 24 des U-Bodens 18 in dem Bild korreliert mit dem Abstand zu dem vorderen Fahrzeug. Eine U-Form, die weiter oben (deren Boden weiter oben) in dem Bild ist, ist weiter weg von der Kamera. Wird die Straße zwischen der Kamera und dem Objekt als flach angenommen, so ergeben geometrische Berechnungen unter Verwendung des Relativortes direkt den Abstand zu dem Fahrzeug.
  • Die Breite des Fahrzeuges in dem Bild liefert auch einen Hinweis auf den Abstand zu diesem. Ist die tatsächliche, physische Breite des Fahrzeuges bekannt, so ergeben geometrische Berechnungen auch den Abstand von der Kamera zu dem Objekt. Ist die tatsächliche, physische Breite des Fahrzeuges nicht bekannt, so kann der Bereich unter Verwendung einer zusätzlichen Eingabe direkt festgelegt werden. So kann beispielsweise eine Breite in Pixeln gemessen werden. Die Breite kann eine tatsächliche Fahrzeugbreite 19a, eine Breite zwischen Fahrzeugmerkmalen (beispielsweise Reifen, Rücklichter, Nummernschildränder und dergleichen mehr) 19b, 19c oder eine beliebige andere geeignete Fahrzeugabmessung sein. Misst beispielsweise dasselbe vordere Fahrzeug mit denselben linken und rechten Seiten oder Merkmalen doppelt so viele Pixel in der Breite zu einem späteren Augenblick, so kann bestimmt werden, dass es um die Hälfte des ursprünglichen Abstandes entfernt ist. Dies bedeutet, dass der Bereich des vorderen Fahrzeuges umgekehrt proportional zur Breite des vorderen Fahrzeuges in Pixeln ist. Für ein gegebenes vorderes Fahrzeug bleibt eine Größenkategorie, der das Fahrzeug zugewiesen ist, konstant, solange das Fahrzeug in dem Bild bleibt. Wenn beispielsweise ein Fahrzeug als groß kategorisiert worden ist und es nur einige wenige Pixel in dem Bild breit ist, so muss es weit entfernt sein.
  • 2 zeigt ein Verfahren zum Erleichtern des Messens eines Bereiches zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte. Bei 52 werden Bilddaten erfasst. Bei 54 wird ein Objekt in den Bilddaten identifiziert. Bei 56 wird der Relativort (beispielsweise eine Höhe) einer unteren oder Bodenoberfläche des vorderen Objektes innerhalb des Bildrahmens innerhalb wenigstens eines Rahmens von Bilddaten unter Verwendung einer bekannten Kamerageometrie bestimmt. Bei 58 wird eine in Pixeln erfasste Medianmerkmalsmessung (beispielsweise eine Merkmalsbreite oder dergleichen) des vorderen Objektes bestimmt. Der Medianmesswert ist ein effizienterer Schätzwert für die Größe eines Objektes als der Durchschnitt (Mittel), da weniger Probemessungen benötigt werden, um eine akkurate Schätzung der Objektgröße zu erhalten. Zusätzlich nimmt ein Mittel- oder Durchschnittswert eine Gauß'sche Verteilung an. Greift man jedoch auf Pixel zurück, die diskrete Werte sind, so kann eine Gauß'sche Verteilung nur angenähert werden, weshalb die Verwendung eines Mittelwertes weniger effizient ist. Unter Verwendung von Mittelwerten sind die beschriebenen Systeme und Verfahren schneller und rauschbeständiger als herkömmliche Lösungsansätze.
  • Bei 60 wird das Objekt als zu wenigstens einer aus einer Mehrzahl von diskreten Größenkategorien gehörig als Funktion des Relativortes und der Medianmerkmalsmessung des Objektes klassifiziert oder kategorisiert. Bei 62 wird ein Relativabstandsbereich identifiziert, der mit einem Medianmerkmalsmesswert für die diskrete Größenkategorie korreliert, zu der das Objekt gehört. Bei 64 wird der Relativabstandsbereich zu dem Objekt als Funktion von Änderungen bei dem Medianmerkmalsmesswert des Objektes und der diskreten Größenkategorie, zu der das Objekt gehört, überwacht. Das Überwachen des Objektes erleichtert ein Erfassen einer schnellen Annäherung des Objektes, was wiederum das Vermeiden eines Zusammenstoßes erleichtern kann. Bei einem Ausführungsbeispiel wird der Abstandsbereich an ein Antiblockiersystem (ABS), ein ACB-System (Adaptive Cruise with Braking) oder ein anderes Warn- oder Steuer- bzw. Regelsystem ausgegeben.
  • Beim Bestimmen der Größenkategorie, in der ein Objekt bei 60 klassifiziert wird, variiert die Größenkategorie des Objektes nicht, sobald sie erzeugt ist. Das Erzeugen der Größenkategorie impliziert ein Verwenden eines anfänglichen Absolutabstandsmaßes (beispielsweise des Ortes des Bodens des Fahrzeuges in dem Bild 10 oder eines Radarabstandes oder eines ähnlichen Signals). Die Breite (oder eine ähnliche Dimension bzw. Abmessung) des Objektes wird ebenfalls in Pixeln gemessen, wie bei 58 beschrieben ist. Es wird ein Tabellenabgleich durchgeführt, und/oder es wird eine entsprechende mathematische Funktion ausgeführt oder bewertet, die als Eingabe die bestimmte Medianbreite und den Absolutabstand zu dem Objekt aufweist und eine Kategorie ausgibt, siehe beispielsweise Tabelle 1. Das Ergebnis der Tabelle ist eine Größenkategorie, so beispielsweise XS, S, M, L, XL oder XXL.
  • Bei einem Ausführungsbeispiel wird, sobald das Objekt klassifiziert worden ist, die Klassifizierung des Objektes beibehalten, solange das Objekt in den Bilddaten und/oder innerhalb eines Sichtfeldes der Kamera an dem Referenzfahrzeug bleibt. Bei einem weiteren Ausführungsbeispiel wird der Objekttyp identifiziert, indem ein Tabellenabgleich in einer Abgleichstabelle durchgeführt wird, die Merkmalsmesswerte, einen Objektort innerhalb eines Bildrahmens und dergleichen mit Fahrzeugtypen (beispielsweise Zementlaster, Tanklaster, Traktor, Personenkraftfahrzeug, Motorrad und dergleichen mehr) korreliert. Bei wieder einem anderen Ausführungsbeispiel wird eine Mehrzahl von Merkmalsmessmedianwerten (beispielsweise Objektbreite, Nummernschildbreite, Stoßstangenbreite und dergleichen mehr) beim Klassifizieren des Objektes eingesetzt, um eine genauere Klassifizierung des Objektes zu erleichtern.
  • Wie immer noch in 2 gezeigt ist, wird ein Algorithmus (beispielsweise durch einen Prozessor) ausgeführt, um einen Tabellenabgleich in einer Tabelle, so beispielsweise Tabelle 1, durchzuführen, wobei diejenige Reihe ausfindig gemacht wird, die einem Bereich mit Lokalisierung der Anzahl von Pixeln bei einer Messung für die Medianbreite und Lesen des Bereiches (Spalte) entspricht. Tabelle 1 zeigt ein Beispiel im Zusammenhang mit einer Größenkategorisierung der Pixelbreite einer Stoßstange. Weitere Tabellen können auf Grundlage anderer Merkmale des Fahrzeuges erstellt werden, so beispielsweise der Nummernschildbreite, von Formmerkmalen des Fahrzeuges (beispielsweise die zylindrische Form eines Zementmischers oder dergleichen). Die Reihen werden durch Suchen der Grenzen, die den Messbereich umschließen, ausfindig gemacht, wobei jede Grenze weniger als den aufgeführten Wert angibt. Wenn beispielsweise ein Anfangsbereich von 48 m gemessen wird, so kann bestimmt werden, dass 48 m in den vorbestimmten Abstandsbereich von 40 und 50 m fallen. Eine Breite von 12 Pixeln (beispielsweise zwischen 12 und 14) führt dazu, dass das vordere Objekt in der Größenkategorie „mittel” entsprechend Tabelle 1 klassifiziert oder kategorisiert wird.
  • Entsprechend einem Ausführungsbeispiel kann daher die anfängliche Kategorisierung, die bei 60 durchgeführt wird, für eine Überkategorisierung je nach Bedarf wiederholt werden. Liegt die Medianbreite beispielsweise zwischen den Kategorien, so wird das Objekt als solches der kategorisiert, beispielsweise als M/L.
  • Für Objekte, die sehr weit entfernt sind, braucht man gegebenenfalls nur einige Pixel, um die Breite des Objektes (oder eine ähnliche wahrnehmbare Dimension bzw. Abmessung oder Merkmalsmessung) abzudecken. Unterscheidet sich die Anzahl von Pixeln für die größten und kleinsten Kategorien um weniger als die Anzahl von Kategorien, so kann dem Objekt eine angenäherte Überkategorie zugewiesen werden. Wenn beispielsweise Lastwagen und Autos in einem Abstand von 200 m zwischen beispielsweise 3 und 5 Pixeln abdecken, so sind nur 3 Breiten möglich (3, 4 oder 5 Pixel), weshalb nur drei Überkategorien angegeben werden müssen. Bei einem Szenario, bei dem sechs Kategorien eingesetzt werden (beispielsweise XS, S, M, L, XL und XXL), können die Überkategorien beispielsweise XS/S, M/L und XL/XXL sein.
  • Bei einem Beispiel ist die Anzahl der verwendeten Kategorien größer oder gleich der Anzahl von Pixeln, die zwischen dem größten und kleinsten Objekt unterscheiden, um das Objekt in einer einzigen Kategorie zu platzieren. Wenn beispielsweise ein Bereich bzw. Streckenbereich von 160 m und eine Breite von 3 Pixeln gemessen werden, wird das Objekt in der Überkategorie XS/S platziert. Ist das Objekt näher, so kann die Überkategorie feinunterteilt werden, und es kann eine einzige Größenkategorie zugewiesen werden. So kann beispielsweise bei Betrachtung des vorherigen Falles von 200 m das Fahrzeug in der Kategorie S (Unterkategorie der Überkategorie XS/S) klassifiziert werden. Sobald die Kategorie erzeugt ist, kann die Kategorie anschließend als konstant betrachtet werden. Die unveränderliche Kategorie stellt sodann einen Bezug zwischen einer Abmessung des Merkmals oder der Breite, gemessen in Pixeln, zu dem Bereich bzw. Streckenbereich des Objektes her.
  • Bei einem weiteren Beispiel können der Relativort und ein repräsentatives Merkmal des Objektes mehrere Male gemessen werden. Dies ist in einer Situation wahrscheinlicher, in der weniger Objekte in dem erfassten Bild vorhanden sind. Die Maße des einzelnen Objektes werden kombiniert, um eine genauere Charakterisierung der Kategorie, in der das Fahrzeug eingeordnet ist, bereitzustellen. Größenkategorie
    XS S M L XL XXL
    Abstandsbereich in Metern
    > 150 m 3 3 4 4 5 5
    120 m–150 m 5
    100 m–120 m 6
    85 m–100 m 7
    70 m–85 m 8
    60 m–70 m 9 14
    50 m–60 m 10–11
    40 m–50 m 11–13 12–14
    32 m–40 m 14–16 15–18
    25 m–32 m 19–23
    18 m–25 m 24–33
    12 m–18 m 34–50
    7 m–12 m 51–86
    4 m–7 m 66 83 87–150 115 130 150
    < 4 m > 150
    Abmessung in Pixeln
  • Tabelle 1
  • Sobald die Größenkategorie dem vorderen Fahrzeug zugewiesen worden ist, variiert sie nicht mehr. Die Kategorietabelle (Tabelle 1) kann sodann umgekehrt verwendet werden. Dies bedeutet, dass bei gegebener Medianbreite in Pixeln und der Größenkategorie der Bereich zu dem vorderen Fahrzeug beispielsweise durch einen Prozessor abgelesen werden kann. Der Bereich ist auch in „Kästen bzw. Tonnen” (bins) angegeben. Dies bedeutet, dass bei gegebener Größenkategorie und gegebener Medianbreite in Pixeln ein minimaler und ein maximaler Abstand vorhanden sind, die der Medianbreite entsprechen.
  • Entsprechend einem Beispiel kann eine zwischenliegende Pixelbreite von beispielsweise 20 Pixeln linear in einen Bereich interpoliert werden. Um dieses Beispiel auszubauen, weist ein Fahrzeug der Kategorie „mittel” (M) eine Breite von 20 Pixeln auf. Geht man in Tabelle 1 in die Spalte „mittel”, so ist ersichtlich, dass eine Abmessung von 20 Pixeln in der 5 Pixel breiten Zelle von 19 bis 23 Pixeln in der Breite liegt. Eine Breite von 19 Pixeln beginnt mit einem Abstand von 32 m und geht bis 32 – ((32 – 25)/5) = 30,6 Meter und ist daher bei 31,3 m zentriert. Eine Breite von 20 Pixeln ist (32 – 25)/5 Meter näher, was einer Zentrierung bei 29,9 m entspricht.
  • Bei einem Szenario, in dem mehrere Messungen der Größenkategorie gemacht werden, können mehrere Kategorien bestimmt werden. Der vorbeschriebene Lösungsansatz mit einer Interpopulation kann auf Fahrzeuge ausgedehnt werden, die anfänglich in mehr als einer Kategorie kategoriesiert worden sind, darunter in einzelnen zwischenliegenden Kategorien oder „Überkategorien”, so beispielsweise XS/S. Nachdem die Interpolation in dem Bereich erfolgt ist, können die verschiedenen Kategorien erneut mit dem Median kombiniert werden, um den Bereich zu dem Fahrzeug zu bestimmen. Entsprechend einem Beispiel sei, wie in Tabelle 1 gezeigt ist, angenommen, dass Breiten von 13 und 15 Pixeln gemessen worden sind, und zwar mit den Kategorien S und M. Die Kategorie S geht von 40 bis 50 m in dem Kasten, der diese Breite enthält. Diese 10 m werden sodann in drei Abschnitte von 3,33 m unterteilt, von denen jeder eine halbe Breite von 1,67 m aufweist. Die Breite von 13 Pixeln wird sodann bei 41,67 m zentriert. Ähnliche Berechnungen für die anderen Kategorien und eine Breite von 15 Pixeln geben Bereiche von 36,45 von 38 m. Der Median dieser Bereiche ist in der Mitte zwischen 38 und 41,68 m und 39,84 m. Dieser Wert kann als endgültiges Bereichsergebnis für diese Größenkategorien und Messungen genommen werden.
  • Die Kategorien stehen mit dem Produkt des Bereiches bzw. Streckenbereiches zu dem vorderen Fahrzeug und der gemessenen Dimension bzw. Abmessung (beispielsweise der Medianbreite des vorderen Fahrzeuges) in Beziehung. Ein Bereich von 50 m und eine Dimension bzw. Abmessung von 7 Pixeln geben beispielsweise eine bestimmte Kategorie, die mit 350 Meter-Pixeln verknüpft ist. Bei einem Beispiel fallen 350 Meter-Pixel in die Kategorie „klein”, was sämtliche Produkte zwischen 300 und 400 Meter-Pixeln einschließt. Zusätzlich kann von Vorteil sein, die Grenzen der Kategorien zu vergrößern. Wenn beispielsweise eine anfängliche Kategorie von 200 bis 250 Meter-Pixeln (ein Verhältnis von 250/200 oder 1,25) ist, so kann die „mittlere” Kategorie von 250 bis 250 × 1,25 (= 312,5) Meter-Pixeln reichen. Die Kategorie „groß” kann von 312,5 Pixeln bis 312,5 × 1,25 oder 390,625 Meter-Pixeln reichen. Die geometrische Zunahme der Kategorie erzeugt ein Konstantfehlerverhalten bei dem Streckenbereich zu dem vorderen Fahrzeug, was bei weiteren Berechnungen von Vorteil sein kann. Man beachte, dass die vorstehend verwendete Pixelabmessung willkürlich ist und auch physisch bzw. physikalisch sein kann.
  • Bei einem Beispiel reicht die Größe von Fahrzeugen allgemein von 1,4 bis 2,5 m in der Breite. Definiert werden können daher entsprechend diesem Beispiel die Größenkategorie „extraklein” (XS) bis zu einer Breite von 1,4 m; „klein” (S) als wenigstens 1,4 m und höchstens 1,6 m; „mittel” (M) als größer als 1,6 m und kleiner oder gleich 1,8 m; „groß” (L) als größer als 1,8 m und kleiner oder gleich 2,0 m; „extragroß” (XL) als größer als 2 m und kleiner oder gleich 2,2 m; und „extra-extragroß” (XXL) als größer als 2,2 m. Da der Bereich bzw. Streckenbereich umgekehrt proportional zur Fahrzeugbreite ist, können die herkömmlichem Konstantbreitenkategorien unerwünscht variierende Bereichsfehler erzeugen (so verwendet eine Kalman-Filterung üblicherweise eine konstante Standardabweichung für das Messrauschen). Im Gegensatz hierzu vermeiden die hier beschriebenen Konstantbereichsfehlergrößenkategorien dieses Problem.
  • Wenn entsprechend einem weiteren Beispiel die vorgenannten Fahrzeugbreitengrenzen (beispielsweise 1,4 bis 2,5 m) und 6 Kategorien bei gleichbreiten Kategorien und zulässigen zwischenliegenden Kategorien verwendet werden, so sind ihre Grenzen 1,4 + ganze Zahl × ((2,5 – 1,4)/(6 + 5)) = 1,4 + ganze Zahl × 0,1 m. Die Hälfte der Breite von 0,1 m ist der mögliche Fehler, der für den niedrigsten Kasten am kleinsten ist. Der niedrigste Kasten ist bei 1,4 + (1/2) × 0,1 m zentriert. Der Fehler beträgt (0,1/2)/(1,4 + (0,1/2)) = +/–3,5%. Der Fehler beim höchsten Kasten wird durch 0,05/2,35 = +/–2,1% dargestellt. Es kann damit gezeigt werden, dass sogar bei nur einigen wenigen Größenkategorien eine gute Bereichsauflösung möglich ist. Ein großer Teil dieses Vorteils ergibt sich aus der Möglichkeit, Mediangrößen vorliegen zu haben, die zwischen Kategorien liegen, wodurch die Auflösung nahezu verdoppelt wird.
  • 3 zeigt ein System 100, das ein Messen eines Bereiches zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte erleichtert. Das System ist ausgelegt zum Durchführen der verschiedenen hier beschriebenen Verfahren sowie von Varianten hiervon und dergleichen. Das System umfasst ein Referenzfahrzeug 101, das einen Prozessor 102 beinhaltet, der computerausführbare Anweisungen (beispielsweise Module, Routinen, Programme, Anweisungen und dergleichen mehr) zum Durchführen der verschiedenen Verfahren, Techniken, Protokolle und dergleichen mehr, die hier beschrieben worden sind, sowie einen Speicher 104, der dies alles speichert. Gekoppelt mit dem Prozessor 102 und dem Speicher 104 ist eine Kamera 106, die den vorderen Bereich vor dem Referenzfahrzeug überwacht und Bilddaten (beispielsweise Standbilder, Videos und dergleichen mehr) eines vorderen Objektes oder Fahrzeuges erfasst. Zusätzliche kann das System eine Radareinheit 108 beinhalten, die die vordere Zone vor dem Referenzfahrzeug überwacht, Daten im Zusammenhang mit dem Relativort des vorderen Objektes erfasst und die genauere Feststellung des Relativortes unterstützt. Die Daten werden in Verbindung mit den Bilddaten verwendet, um den Abstandsbereich zu dem Objekt festzulegen. Bei einem Beispiel werden die Bilddaten 110 (beispielsweise ein Bild oder Video des vorderen Fahrzeuges) einem Nutzer oder Fahrer an einer Benutzerschnittstelle 112 präsentiert.
  • Beinhalten kann der Speicher 104 einen flüchtigen, einen nichtflüchtigen, einen Festkörperspeicher, einen Flash-Speicher, einen Speicher mit wahlfreiem Zugriff (RAM), einen Nur-Lese-Speicher (ROM), einen programmierbaren Nur-Lese-Speicher (PROM), einen löschbaren programmierbaren Nur-Lese-Speicher (EPROM), einen elektronisch löschbaren und programmierbaren Nur-Lese-Speicher (EEPROM), Varianten der vorgenannten Speichertypen, Kombinationen hieraus und/oder beliebige andere Typen von Speicher, die zum Bereitstellen der gewünschten Funktionalität und/oder zum Speichern von computerausführbaren Anweisungen zur Ausführung durch den Prozessor 102 geeignet sind. Zudem bezeichnet ein „Modul” im Sinne der vorliegenden Beschreibung einen Satz von computerausführbaren Anweisungen (beispielsweise Routine, Unterroutine, Programm, Anwendung bzw. App und dergleichen mehr), die durchgehend auf einem computerlesbaren Medium oder Speicher zur Ausführung durch den Prozessor gespeichert ist, und/oder einen Prozessor, der zum Ausführen der Anweisungen zur Bereitstellung der beschriebenen Funktion ausgelegt ist.
  • Der Prozessor 102 identifiziert das vordere Objekt in den Bilddaten und erzeugt Vorderobjektdaten 114 (beispielsweise umfassen Daten im Zusammenhang mit der Form und Position des vorderen Objektes in einem oder mehreren Bildrahmen die Bilddaten). Ein Messmodul 116 wird durch den Prozessor ausgeführt, um Abmessungen bzw. Dimensionen und/oder andere Merkmale des vorderen Objektes zu bestimmen, unter anderem einschließlich eines Relativortes oder einer Höhe einer unteren oder Bodenoberfläche des vorderen Objektes innerhalb wenigstens eines Rahmens von Bilddaten unter Verwendung einer bekannten Kamerageometrie. Der Relativort der unteren Oberfläche des vorderen Objektes kann ein Abstand von einem Boden des Bildrahmens zu der unteren Oberfläche des vorderen Objektes in dem Bildrahmen sein (beispielsweise dort, wo Reifen des Fahrzeuges die Straße, auf der das Fahrzeug fährt, berühren). Bei einem Ausführungsbeispiel wird die Relativortmessung in Pixeln ausgeführt, wobei jeweilige Pixelhöhen jeweiligen Abständen vor dem Referenzfahrzeug entsprechen. Das Messmodul 116 misst zudem eine Medianbreite des vorderen Objektes in Pixeln. Das Messmodul kann beispielsweise die Breite des vorderen Objektes über drei oder mehr Rahmen messen und eine Medianpixelbreite für das vordere Objekt bestimmen.
  • Der Prozessor 102 führt ein Klassifiziermodul 118 aus, das das vordere Objekt als zu wenigstens einer aus einer Mehrzahl von diskreten Größenkategorien gehörig als Funktion des Relativortes des vorderen Objektes bei einer Messung innerhalb wenigstens eines Bildrahmens und der Medianbreite des vorderen Objektes bei einer Messung über eine Mehrzahl von Bildrahmen klassifiziert oder kategorisiert. Die Klassifizierung des vorderen Objektes in einer diskreten Größenkategorie impliziert das Bereitstellen eines anfänglichen absoluten Abstandsmaßes (beispielsweise des Abstandsbereiches aus der Berechnung unter Verwendung des Ortes des Bodens des Fahrzeuges in dem Bildrahmen oder eines Radarabstandes und dergleichen mehr) über das Messmodul. Das Messmodul misst zudem eine Breite (oder eine ähnliche Dimension bzw. Abmessung) des vorderen Objektes in Pixeln. Ein Tabellenabgleich wird durch den Prozessor 102 in einer Abgleichstabelle 120 (beispielsweise Tabelle 1) ausgeführt, und/oder es wird eine entsprechende mathematische Funktion ausgeführt oder bewertet, die als Eingabe die bestimmte Mediabreite und einen absoluten Abstand zu dem Objekt verwendet, wobei der Prozessor eine Größenkategorie für das vordere Objekt ausgibt, so beispielsweise XS, S, M, L, XL oder XXL. Obwohl die hier beschriebenen Beispiele Größenkategorien in einem Bereich von „extraklein” bis „extra-extragroß” beschreiben, sollte für einen Fachmann auf dem einschlägigen Gebiet einsichtig sein, dass eine beliebiger diskreter Kategorisierungstyp oder die Bezeichnung und/oder eine beliebige Anzahl von Kategorien entsprechend verschiedenen der hier beschriebenen Aspekte zum Einsatz kommen können und dass die hier beschriebenen Systeme und Verfahren nicht auf sechs Kategorien und/oder die hier verwendeten Bezeichnungen beschränkt sind.
  • Bei einem Ausführungsbeispiel beinhaltet das Klassifizierungsmodul 118 ein Überkategoriemodul 121, das die anfängliche Kategorisierung an dem vorderen Objekt durch das Klassifizierungsmodul 118 wiederholt. Wenn beispielsweise die Mediabreite des Fahrzeuges zwischen Kategorien liegt, beispielsweise an der Grenze zwischen „mittel” und „groß”, so wird das Objekt als solches beispielsweise als „M/L” kategorisiert.
  • Sobald der Prozessor die Fahrzeuggröße klassifiziert und die Medianbreite des Fahrzeuges bestimmt hat, wird ein Abstandsbereich zu dem Fahrzeug identifiziert (über einen Tabellenabgleich gemäß Beschreibung anhand 2), der mit einem Medianbreitenwert für die diskrete Größenkategorie, zu der das vordere Objekt gehört, korreliert. Die Abstandsinformation 122, die einen Abstand oder einen Abstandsbereich zu dem vorderen Objekt umfasst, wird ausgegeben (beispielsweise an der Benutzerschnittstelle 112) und als Funktion von Änderungen bei dem Medianbreitenwert des vorderen Objektes und der diskreten Größenkategorie, zu der das vordere Objekt gehört, überwacht. Beispielsweise kann ein Relativabstand von dem Referenzfahrzeug zu dem vorderen Objekt durch den Prozessor als Funktion einer Medianfahrzeugbreite und eines Abstandsbereiches interpoliert werden. Der Relativabstand zu dem vorderen Objekt wird ausgegeben und durch den Prozessor als Funktion von Änderungen des Medianbreitenwertes des vorderen Objektes und der diskreten Größenkategorie, zu der das vordere Objekt gehört, überwacht. Optional kann der Relativabstand zu dem vorderen Objekt mit einer Zeitspanne oder „Folgezeit” korreliert werden, die vorübergehend den Abstand zwischen dem Referenzfahrzeug und dem vorderen Objekt als Funktion der Relativgeschwindigkeiten hiervon beschreibt, und es wird ein Alarm an den Fahrer des Referenzfahrzeuges ausgegeben, wenn die Folgezeit unter eine vorbestimmte Folgezeitschwelle fällt.
  • Das Überwachen des vorderen Fahrzeuges erleichtert das Erfassen einer schnellen Annäherung des vorderen Fahrzeuges, was wiederum das Vermeiden eines Zusammenstoßes erleichtert. Wenn beispielsweise der überwachte Abstandsbereich zu dem vorderen Fahrzeug zu klein wird oder zu schnell abnimmt, kann der Prozessor einen Alarm an den Fahrer über die Anwenderschnittstelle übertragen, um den Fahrer aufzufordern, eine Bremsung einzuleiten. Zusätzlich oder alternativ kann der Prozessor das Zusammenstoßvermeidungsmodul 124 ausführen und ein Signal an ein Antiblockiersystem (ABS) 126 übertragen, um automatisch eine Bremsreaktion in dem Referenzfahrzeug einzuleiten. Bei einem weiteren Ausführungsbeispiel kann das Zusammenstoßvermeidungsmodul in einer separaten Steuerung bzw. Regelung befindlich sein, und es wird der Abstand nur an die separate Steuerung bzw. Regelung ausgegeben. Das Zusammenstoßvermeidungsmodul kann beispielsweise integral mit dem ABS 126, integral mit einer ACB-Einheit (Adaptive Cruise with Braking) oder einem Modul 128 oder integral mit einem beliebigen anderen geeigneten Steuer- bzw. Regel- oder Warnsystem ausgebildet sein. Ausgegeben wird der Abstandsbereich entsprechend einem Beispiel entweder an ein Warnsystem, das den Abstandsbereich in Kombination mit der Fahrzeuggeschwindigkeit verwendet, um zu bestimmen, wann der Fahrer vor einem möglichen Zusammenstoß zu warnen ist, oder an ein Bremssteuer- bzw. Regeleingriffsystem, so beispielsweise das ACB 128, das die Fahrzeuggeschwindigkeit durch Abbremsen des Fahrzeuges, wenn der Abstand zu klein ist, ändert.
  • Bei einem Ausführungsbeispiel alarmiert der Prozessor den Fahrer über die Benutzerschnittstelle, dass die Folgezeit zu niedrig ist, wenn der Quotient des Abstandes zu dem vorderen Fahrzeug, geteilt durch die Fahrzeuggeschwindigkeit, zu klein ist, wie es beispielsweise beim dichten Auffahren auftreten kann. Bei einem Beispiel wird der Alarm durch den Prozessor an den Fahrer über die Benutzerschnittstelle ausgegeben, wenn die Folgezeit unter annähernd 1 s ist. Bei einem weiteren Ausführungsbeispiel gibt der Prozessor einen Alarm an den Fahrer über die Benutzerschnittstelle aus, wenn die Größe Zeit-zu-Zustammenstoß unter einer vorbestimmten Zusammenstoßzeitschwelle gemäß Bestimmung durch das Zusammenstoßvermeidungsmodul ist.
  • 4 zeigt ein Verfahren zum Messen eines Abstandes zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte. Bei 150 werden Bilddaten eines Objektes empfangen. Bei 152 wird das Objekt in den Bilddaten identifiziert. Bei 154 wird die Höhe oder der Relativort einer unteren oder Bodenoberfläche des Objektes innerhalb wenigstens eines Rahmens von Bilddaten unter Verwendung einer bekannten Kamerageometrie bestimmt. Bei 156 wird die in Pixeln erfolgende Medianmerkmalsmessung (beispielsweise einer Breite oder einer anderen Dimension bzw. Abmessung) des Objektes bestimmt. Bei 158 wird das Objekt als zu wenigstens einer aus einer Mehrzahl von diskreten Größenkategorien gehörig als Funktion des Relativortes (beispielsweise der Höhe) und einer Medianmerkmalsmessung (beispielsweise der Breite) des Objektes klassifiziert oder kategorisiert. Bei 160 wird ein Abstandsbereich identifiziert, der mit einem Medianmerkmalsmesswert für die diskrete Größenkategorie, zu der das Objekt gehört, korreliert.
  • Bei 162 wird ein Relativabstand von dem Referenzfahrzeug zu dem Objekt als Funktion des Medianmerkmalsmesswertes und des Abstandsbereiches interpoliert. Bei 164 wird ein Relativabstand zu dem Objekt als Funktion von Änderungen bei dem Medianbreitenwert des vorderen Objektes und der diskreten Größenkategorie, zu der das vordere Objekt gehört, überwacht. Der Relativabstand kann an ein Antiblockiersystem (ABS), ein ACB-System (Adaptive Cruise with Braking ACB) oder ein anderes Warn- oder Steuer- bzw. Regelsystem ausgegeben werden. Bei 166 wird der Relativabstand zu dem Objekt mit einer Zeitspanne oder „Folgezeit” korreliert, die vorübergehend den Abstand zwischen dem Referenzfahrzeug und dem Objekt als Funktion der Relativgeschwindigkeiten hiervon beschreibt. Bei 168 wird dem Fahrer des Referenzfahrzeuges ein Alarm gemeldet, wenn die Folgezeit unter eine vorbestimmte Folgezeitschwelle fällt. Es sollte einsichtig sein, dass der Alarm beispielsweise durch ein Kameramodul oder durch eine beliebige andere geeignete Steuerung bzw. Regelung, wie sich einem Fachmann auf dem einschlägigen Gebiet erschließt, bereitgestellt werden kann.
  • Es ist eine Neuerung anhand verschiedener Ausführungsbeispiele beschrieben worden. Modifikationen und Abwandlungen erschließen sich beim Studium und Durchdenken der vorstehenden Detailbeschreibung. Es ist beabsichtigt, dass die Neuerung derart gedeutet werden soll, dass sie all diese Modifikationen und Abwandlungen beinhaltet, so sie dem Umfang der beigefügten Ansprüche oder den Äquivalenten hiervon entsprechen.

Claims (24)

  1. Verfahren zum Schätzen eines Abstandes von einem Referenzfahrzeug zu einem Objekt, umfassend: Erfassen von Bilddaten; Identifizieren eines Objektes in den Bilddaten; Bestimmen eines Relativortes des Objektes innerhalb wenigstens eines Rahmens von Bilddaten; in Pixeln erfolgendes Bestimmen einer Medianmerkmalsmessung des Objektes; Klassifizieren des Objektes als zu wenigstens einer aus einer Mehrzahl von Größenkategorien gehörig als Funktion des Relativortes und der Medianmerkmalsmessung des Objektes; Identifizieren eines Abstandsbereiches zu dem Objekt auf Grundlage der Klassifizierung.
  2. Verfahren nach Anspruch 1, wobei der Relativort des Objektes ein Abstand zu einer unteren Oberfläche des Objektes bei einer Messung von einem Boden wenigstens eines Rahmens der Bilddaten unter Verwendung einer bekannten Kamerageometrie ist.
  3. Verfahren nach Anspruch 1 oder 2, wobei der identifizierte Abstandsbereich zu dem Objekt mit einem Medianmerkmalsmesswert für die Größenkategorie, zu der das Objekt gehört, korreliert.
  4. Verfahren nach einem der Ansprüche 1 bis 3, des Weiteren umfassend ein Überwachen eines Relativabstandes zu dem Objekt als Funktion von Änderungen bei dem Medianmerkmalsmesswert des vorderen Objektes und der Größenkategorie, zu der das Objekt gehört.
  5. Verfahren nach einem der Ansprüche 1 bis 4, des Weiteren umfassend ein iteratives Klassifizieren des Objektes.
  6. Verfahren nach Anspruch 5 mit einem dann, wenn die iterativen Klassifizierungen des Objektes ergeben, dass das Objekt in zwei benachbarten Größenkategorien klassifiziert ist, erfolgenden Zuweisen des vorderen Objektes zu einer Überkategorie, die wenigstens die beiden benachbarten Kategorien umfasst.
  7. Verfahren nach Anspruch 6, des Weiteren umfassend ein Identifizieren eines Abstandsbereiches für das Objekt als Funktion der Medianmerkmalsmessung des Objektes und der Überkategorie, der das Objekt zugewiesen ist.
  8. Verfahren nach einem der Ansprüche 1 bis 7, des Weiteren umfassend ein interpolieren eines Abstandes von dem identifizierten Abstandsbereich als Funktion der Medianmerkmalsmessung des Objektes.
  9. Verfahren nach einem der Ansprüche 1 bis 8, des Weiteren umfassend: Ausgeben des identifizierten Abstandsbereiches an einer grafischen Anzeige.
  10. Verfahren nach einem der Ansprüche 1 bis 9, des Weiteren umfassend: Beibehalten der Klassifizierung des Objektes, solange das Objekt in den Bilddaten bleibt.
  11. Verfahren nach einem der Ansprüche 1 bis 10, des Weiteren umfassend: Identifizieren des Objektes als Fahrzeug und Durchführen eines Tabellenabgleichs zum Bestimmen des Typs des Fahrzeuges.
  12. Verfahren nach einem der Ansprüche 1 bis 11, des Weiteren umfassend: Verwenden einer Mehrzahl von Merkmalsmessungen für eine Mehrzahl von Objektmerkmalen beim Klassifizieren des Objektes.
  13. Prozessor (102), der ausgelegt ist zum Schätzen eines Abstandes von einem Referenzfahrzeug (101) zu einem Objekt (12), wobei der Prozessor (102) ausgelegt ist zum: Empfangen von Bilddaten (110); Identifizieren eines Objektes (12) in den Bilddaten (110); Bestimmen eines Relativortes des Objektes (12) innerhalb wenigstens eines Rahmens von Bilddaten (110); in Pixeln erfolgenden Bestimmen einer Medianmerkmalsmessung des Objektes (12); Klassifizieren des Objektes (12) als zu wenigstens einer aus einer Mehrzahl von Größenkategorien gehörig als Funktion des Relativortes und der Medianmerkmalsmessung des vorderen Objektes (12); und Identifizieren eines Abstandsbereiches zu dem Objekt (12) auf Grundlage der Klassifizierung.
  14. Prozessor (102) nach Anspruch 13, wobei der Relativort des Objektes (12) ein Abstand zu einer unteren Oberfläche des Objektes (12) bei einer Messung von einem Boden wenigstens eines Rahmens der Bilddaten (110) unter Verwendung einer bekannten Kamerageometrie ist.
  15. Prozessor (102) nach Anspruch 13 oder 14, wobei der identifizierte Abstandsbereich zu dem Objekt (12) mit einem Medianmerkmalsmesswert für die Größenkategorie, zu der das Objekt (12) gehört, korreliert.
  16. Prozessor (102) nach einem der Ansprüche 13 bis 15, des Weiteren ausgelegt zum Überwachen eines Relativabstandes zu dem Objekt (12) als Funktion von Änderungen bei dem Medianmerkmalsmesswert des Objektes (12) und der Größenkategorie, zu der das Objekt (12) gehört.
  17. Prozessor (102) nach einem der Ansprüche 13 bis 16, des Weiteren ausgelegt zum iterativen Klassifizieren des Objektes (12).
  18. Prozessor (102) nach Anspruch 17, wobei dann, wenn die iterativen Klassifizierungen des Objektes (12) ergeben, dass das Objekt (12) in zwei benachbarten Größenkategorien klassifiziert ist, der Prozessor (102) des Weiteren ausgelegt ist zum Zuweisen des Objektes (12) an eine Überkategorie, die wenigstens die beiden benachbarten Kategorien umfasst.
  19. Prozessor (102) nach Anspruch 18, des Weiteren ausgelegt zum Identifizieren eines Abstandsbereiches für das Objekt (12) als Funktion der Medianmerkmalsmessung des Objektes (12) und der Überkategorie, der das Objekt (12) zugewiesen ist.
  20. Prozessor (102) nach einem der Ansprüche 13 bis 19, des Weiteren ausgelegt zum Interpolieren eines Abstandes von dem identifizierten Abstandsbereich als Funktion der Medianmerkmalsmessung des Objektes (12).
  21. Prozessor (102) nach einem der Ansprüche 13 bis 20, ausgelegt zum Empfangen der zusätzlichen Relativortsinformation des Objektes (12) von einer Radareinheit (108).
  22. Prozessor (102) nach einem der Ansprüche 13 bis 21, des Weiteren ausgelegt zum Ausgeben des identifizierten Abstandsbereiches an einer grafischen Anzeige (112).
  23. Verfahren zum Schätzen eines Abstandes von einem Referenzfahrzeug zu einem vorderen Objekt, umfassend: Empfangen von Bilddaten; Identifizieren eines Objektes in den Bilddaten; Bestimmen des Abstandes einer unteren Oberfläche des Objektes innerhalb wenigstens eines Rahmens von Bilddaten unter Verwendung einer bekannten Kamerageometrie; in Pixeln erfolgendes Bestimmen einer Medianmerkmalsmessung des Objektes; Klassifizieren des Objektes als zu wenigstens einer aus einer Mehrzahl von Größenkategorien gehörig als Funktion des Abstandes und der Medianmerkmalsmessung des Objektes; Identifizieren eines Abstandsbereiches, der mit einem Medianmerkmalsmesswert für die Größenkategorie, zu der das Objekt gehört, korreliert; Interpolieren eines Relativabstandes innerhalb des Abstandsbereiches von der Medianmerkmalsmessung des Objektes; Überwachen des Relativabstandes zu dem Objekt als Funktion von Änderungen bei dem Medianmerkmalsmesswert des Objektes und der diskreten Größenkategorie, zu der das Objekt gehört; und Korrelieren des Relativabstandes mit einer Folgezeit für das Referenzfahrzeug hinter dem Objekt.
  24. Verfahren nach Anspruch 23, des Weiteren umfassend: Bestimmen einer Folgezeitschwelle als Funktion des Relativabstandes und einer Relativgeschwindigkeit zwischen dem Referenzfahrzeug und dem Objekt gemäß Bestimmung durch wenigstens eines von einem Antiblockiersystem (ABS) und einem ACB-System (Adaptive Cruise-with-Braking ACB); und Bereitstellen eines Alarms, wenn der Relativabstand zu dem Objekt unter die Folgezeitschwelle fällt.
DE102014008761.1A 2013-06-28 2014-06-12 Messen des Bereiches bzw. Streckenbereiches zu einem Objekt in einem Bild unter Verwendung einer Größenkategorisierung Pending DE102014008761A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/930,910 2013-06-28
US13/930,910 US9058524B2 (en) 2013-06-28 2013-06-28 Measuring the range to an object, in an image, using size categorization

Publications (1)

Publication Number Publication Date
DE102014008761A1 true DE102014008761A1 (de) 2014-12-31

Family

ID=52017433

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014008761.1A Pending DE102014008761A1 (de) 2013-06-28 2014-06-12 Messen des Bereiches bzw. Streckenbereiches zu einem Objekt in einem Bild unter Verwendung einer Größenkategorisierung

Country Status (2)

Country Link
US (1) US9058524B2 (de)
DE (1) DE102014008761A1 (de)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014202503A1 (de) * 2014-02-12 2015-08-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem verkehrsregelnden Objekt
US11523090B2 (en) 2015-03-23 2022-12-06 The Chamberlain Group Llc Motion data extraction and vectorization
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
US10712160B2 (en) 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
KR102338989B1 (ko) * 2015-12-16 2021-12-14 현대자동차주식회사 차량 및 그 제어방법
US9840256B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9990548B2 (en) 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US9870708B2 (en) * 2016-03-12 2018-01-16 Wipro Limited Methods for enabling safe tailgating by a vehicle and devices thereof
US10459087B2 (en) 2016-04-26 2019-10-29 Uber Technologies, Inc. Road registration differential GPS
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US20180003511A1 (en) 2016-07-01 2018-01-04 Uber Technologies, Inc. Autonomous vehicle localization using submaps
CN106530825B (zh) * 2016-11-16 2019-01-22 淮阴工学院 基于st-mrf模型的电动自行车与汽车交通冲突检测方法
US10387442B2 (en) * 2017-02-21 2019-08-20 Sap Se Connected space
US10421399B2 (en) * 2017-05-26 2019-09-24 GM Global Technology Operations LLC Driver alert systems and methods based on the presence of cyclists
US10454244B2 (en) * 2017-08-09 2019-10-22 Lawrence Livermore National Security, Llc Driver circuitry and systems for high current laser diode arrays
US10417882B2 (en) 2017-10-24 2019-09-17 The Chamberlain Group, Inc. Direction sensitive motion detector camera
US11107229B2 (en) 2018-01-10 2021-08-31 Samsung Electronics Co., Ltd. Image processing method and apparatus
CN108549880B (zh) * 2018-04-28 2021-06-25 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
US11518380B2 (en) * 2018-09-12 2022-12-06 Bendix Commercial Vehicle Systems, Llc System and method for predicted vehicle incident warning and evasion
GB201900839D0 (en) * 2019-01-21 2019-03-13 Or3D Ltd Improvements in and relating to range-finding
WO2020227080A1 (en) 2019-05-03 2020-11-12 Stoneridge Electronics, AB Vehicle recording system utilizing event detection
JP7003972B2 (ja) * 2019-06-11 2022-01-21 トヨタ自動車株式会社 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
CN112652173B (zh) * 2019-10-11 2022-05-03 深圳富泰宏精密工业有限公司 行车安全提示方法、车辆及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2570315B2 (ja) 1987-09-01 1997-01-08 アイシン精機株式会社 車上距離検出装置
US5161632A (en) 1990-06-01 1992-11-10 Mitsubishi Denki K.K. Tracking control device for a vehicle
JP3861781B2 (ja) 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
US7974342B2 (en) * 2003-07-08 2011-07-05 Trident Microsystems (Far East) Ltd. Motion-compensated image signal interpolation using a weighted median filter
JP4763250B2 (ja) 2004-04-09 2011-08-31 株式会社デンソー 物体検出装置
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7623681B2 (en) 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
EP3412511B1 (de) * 2008-10-06 2021-12-29 Mobileye Vision Technologies Ltd. Bündelung von fahrerassistenzsystemen
US10081308B2 (en) 2011-07-08 2018-09-25 Bendix Commercial Vehicle Systems Llc Image-based vehicle detection and distance measuring method and apparatus

Also Published As

Publication number Publication date
US20150003670A1 (en) 2015-01-01
US9058524B2 (en) 2015-06-16

Similar Documents

Publication Publication Date Title
DE102014008761A1 (de) Messen des Bereiches bzw. Streckenbereiches zu einem Objekt in einem Bild unter Verwendung einer Größenkategorisierung
DE102014103695B4 (de) Fahrzeuggestützte Kreuzungsbeurteilungsvorrichtung und -programm
DE102009006113B4 (de) Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
DE112012002885B4 (de) Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung
DE10026586B4 (de) Objekterfassungssystem
DE102006005512B4 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
EP3465264B1 (de) Verfahren zur erkennung wenigstens einer parklücke für ein fahrzeug
DE112018006738B4 (de) Vorrichtung zur detektion fallender objekte, fahrzeuginternes system, fahrzeug und programm zur detektion fallender objekte
DE102005017422A1 (de) Fahrerassistenzsystem mit Einrichtung zur Erkennung von stehenden Objekten
WO2020207528A1 (de) Verfahren und verarbeitungseinheit zur ermittlung der grösse eines objektes
DE102015206752A1 (de) Einparkhilfe für ein Fahrzeug
EP1298454A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
DE102010018994A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs, Fahrerassistenzsystem und Fahrzeug
EP3142913A1 (de) Umfeldkarte für fahrflächen mit beliebigem höhenverlauf
DE102009031319A1 (de) Verfahren und System zur Bestimmung einer Fahrzeugklasse
DE102013205854A1 (de) Temporäre Koherenz bei Detektion eines freien Pfads
DE112012004847B4 (de) Verfahren und System zum Detektieren von Linien in einem Bild und Spurdetektionssystem zum Analysieren von Straßenbildern
WO2019016104A1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102005003194A1 (de) Fahrerassistenzsystem mit Einrichtung zur Erkennung von stehenden Objekten
DE102016201070A1 (de) Verfahren und Vorrichtung zur Fahrerassistenz
DE102018202753A1 (de) Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt
DE102004052347A1 (de) Erfassung von Umgebungsinformationen im Nahbereich eines Fahrzeuges mittels RADAR und Evidenz-Histogramm
DE102013013253A1 (de) Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs abhängig von einer ermittelten Zeit bis zur Kollision, Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed