-
Hintergrund
-
Die vorliegende Anmeldung findet bei Fahrzeugüberwachungssystemen, insbesondere bei der Vermeidung von Zusammenstößen, spezielle Anwendung. Es sollte indes einsichtig sein, dass die beschriebenen Techniken auch bei anderen Objektüberwachungssystemen, anderen Fahrzeugsystemen oder dergleichen Anwendung finden können.
-
Geläufige Verfahren zum Bestimmen eines Abstandes zu einem Objekt verwenden für die Dimension bzw. Abmessung einen geglätteten Wert, der später zur Bereichsbildung verwendet wird. Typische Lösungsansätze zum Glätten können einen Kalman-Filter (das heißt eine rekursive Mittelungsprozedur) verwenden und sind daher durch die Rauschempfindlichkeit beeinträchtigt. Die Kalman-Filterung nimmt ein bestimmtes Verhalten (beispielsweise ein Gauß'sches Rauschen) für die Messfehler an und kann dadurch fehlerhafte Ergebnisse erzeugen, wenn die Fehler nicht gaußartig sind oder wenn ein großer Fehler auftritt. Ein glatter, kontinuierlicher Wert kann unter Verwendung gängiger Techniken erzeugt werden, wobei dieser Lösungsansatz jedoch das zugrunde liegende diskrete und möglicherweise beträchtlich unrichtige Ergebnis verschleiert.
-
Herkömmliche Objektverfolgungssysteme verwenden beispielsweise ein Fahrzeugmodell zum Verfolgen eines Zielfahrzeuges und bestimmen sodann eine größte Änderung der Größe und des Ortes von Pixeln, die das Zielfahrzeug relativ zu dem Fahrzeugmodell umschließen. Auf diese Weise wird die Änderung des Abstandes und der Position des Zielfahrzeuges überwacht. Unter Verwendung derartiger Lösungsansätze werden nur einzelne Pixeländerungen überwacht, und es muss die Fahrzeuggröße kontinuierlich neuberechnet werden. Andere Lösungsansätze setzen Radar- und Kameraobjekterfassungssysteme ein, wobei das Radar verwendet wird, um den Folgeabstand zu einem Zielfahrzeug zu berechnen, wobei dann, wenn das Fahrzeug nicht mehr im Radarbereich ist, die Kamera zum Berechnen des Folgeabstandes verwendet wird, indem das letzte bekannte Bild, das in dem Speicher gespeichert worden ist, als der Abstand durch das Radar berechnet worden ist, mit einem neuen Kamerabild verglichen wird. Es wird beispielsweise die Pixelbreite mit der Fahrzeuggröße verglichen, um zu bestimmen, ob das Zielfahrzeug weiter weg von dem Referenzfahrzeug oder näher heran an dieses gelangt. Derartige Systeme müssen jedoch kontinuierlich die Fahrzeuggröße neuberechnen.
-
Die vorliegende Neuerung stellt neue und verbesserte Systeme und Verfahren zum Erleichtern einer Durchführung einer Anfangsgrößenberechnung für ein Fahrzeug und Überwachen eines Fahrzeugabstandes als Funktion der anfänglich berechneten Fahrzeuggröße bereit, bei denen die vorgenannten Probleme wie auch andere Probleme gelöst sind.
-
Zusammenfassung
-
Entsprechend einem Aspekt umfasst ein Verfahren zum Schätzen eines Abstandes von einem Referenzfahrzeug zu einem Objekt ein Erfassen von Bilddaten, ein Identifizieren des Objektes in den Bilddaten, ein Bestimmen eines Relativortes des Objektes innerhalb wenigstens eines Rahmens von Bilddaten und ein in Pixeln erfolgendes Bestimmen einer Medianmerkmalsmessung des Objektes. Das Verfahren umfasst des Weiteren ein Klassifizieren des Objektes als zu wenigstens einer aus einer Mehrzahl von Größenkategorien gehörig als Funktion des Relativortes und der Medianmerkmalsmessung des Objektes und ein Identifizieren eines Abstandsbereiches zu dem Objekt.
-
Entsprechend einem weiteren Aspekt ist ein Prozessor ausgelegt zum Schätzen eines Abstandes von einem Referenzfahrzeug zu einem Objekt, wobei der Prozessor ausgelegt ist zum Empfangen von Bilddaten, Identifizieren des Objektes in den Bilddaten, Bestimmen eines Relativortes des Objektes innerhalb wenigstens eines Rahmens von Bilddaten und in Pixeln erfolgenden Bestimmen einer Medianmerkmalsmessung des Objektes. Der Prozessor ist des Weiteren ausgelegt zum Klassifizieren des Objektes als zu wenigstens einer aus einer Mehrzahl von Größenkategorien gehörig als Funktion des Relativortes und der Medianmerkmalsmessung des Objektes und Identifizieren eines Abstandsbereiches zu dem Objekt.
-
Entsprechend einem weiteren Aspekt umfasst ein Verfahren zum Schätzen eines Abstandes von einem Referenzfahrzeug zu einem Objekt ein Empfangen von Bilddaten, ein Identifizieren des Objektes in den Bilddaten, ein Bestimmen des Relativortes einer unteren Oberfläche des Objektes innerhalb wenigstens eines Rahmens von Bilddaten unter Verwendung einer bekannten Kamerageometrie und ein in Pixeln erfolgendes Bestimmen einer Medianmerkmalsmessung des Objektes. Das Verfahren umfasst des Weiteren ein Klassifizieren des Objektes als zu wenigstens einer aus einer Mehrzahl von Größenkategorien gehörig als Funktion des Relativortes und der Medianmerkmalsmessung des Objektes, ein Identifizieren eines Abstandsbereiches, der mit einem Medianmerkmalsmesswert für die Größenkategorie, zu der das Objekt gehört, korreliert, ein Interpolieren eines Relativabstandes innerhalb des Abstandsbereiches von der Medianmerkmalsmessung des Objektes und ein Überwachen des Relativabstandes zu dem Objekt als Funktion von Änderungen bei dem Medianmerkmalsmesswert des Objektes und der Größenkategorie, zu der das Objekt gehört. Zusätzlich umfasst das Verfahren ein Korrelieren des Relativabstandes mit einer Folgezeit für das Referenzfahrzeug hinter dem Fahrzeug.
-
Weitere Vorteile der erfindungsgegenständlichen Neuerung ergeben sich für einen Fachmann auf dem einschlägigen Gebiet beim Lesen und Durchdenken der nachfolgenden Detailbeschreibung.
-
Kurzbeschreibung der Zeichnung
-
Die Neuerung kann in verschiedenen Komponenten und Anordnungen von Komponenten sowie in verschiedenen Schritten und Anordnungen von Schritten realisiert werden. Die Zeichnung dient nur dem Zweck der Darstellung verschiedener Aspekte und soll nicht als erfindungsbeschränkend gedeutet werden.
-
1 zeigt ein Diagramm eines Objektes (beispielsweise eines vorderen Fahrzeuges vorderhalb eines Referenzfahrzeuges), das auf einer Straße oder einer anderen Oberfläche fährt, bei Aufnahme durch eine Kamera (nicht gezeigt) von einem Standpunkt bzw. unter einem Blickwinkel eines Referenzfahrzeuges (nicht gezeigt), das hinter dem vorderen Fahrzeug fährt.
-
2 zeigt ein Verfahren zum Erleichtern des Messens eines Bereiches bzw. Streckenbereiches zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte.
-
3 zeigt ein System zum Erleichtern des Messens eines Bereiches bzw. Streckenbereiches zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte.
-
4 zeigt ein Verfahren zum Messen eines Abstandes zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte.
-
Detailbeschreibung
-
Die vorgenannten Probleme werden durch die hier beschriebenen Systeme und Verfahren gelöst, die entsprechend verschiedenen Ausführungsbeispielen einen Medianwert anstelle eines Mittel- oder Durchschnittswertes verwenden, wobei der Median rauschbeständiger ist und ein statistisch effizientes Ortsmaß im Gegensatz zu den herkömmlichen Lösungsansätzen darstellt, die kontinuierliche, geglättete Messungen erzeugen. Auf diese Weise kategorisieren die beschriebenen Systeme und Verfahren die Größe eines Objektes, um ein diskretes Ergebnis bereitzustellen.
-
Ein Vorteil der beschriebenen Systeme und Verfahren besteht darin, dass Pixel diskret sind, und daher die beschriebene diskrete Größenkategorisierung besser diskreten Pixeleingabemessungen entspricht. Es sollte einsichtig sein, dass ungeachtet dessen, dass verschiedene hier beschriebene Ausführungsbeispiele diskrete Größenkategorisierungen verwenden, auch Fuzzy-Größenkategorisierungen bei einem oder mehreren Ausführungsbeispielen verwendet werden können, wie sich einem Fachmann auf dem einschlägigen Gebiet erschließt. Zusätzlich entspricht, wenn sich ein Referenzfahrzeug einem Objekt nähert, ein Pixel einem noch kleineren Bruchteil des Ganzen. Der beschriebene Lösungsansatz verwendet eine Filterung, die eine Statistik mit festem Fehler annimmt und daher besser unter Verwendung einer Konstantfehlergrößenkategorisierung arbeitet. Darüber hinaus müssen die Fahrzeuggrößenkategorien, in die das vordere Fahrzeug klassifiziert wird, nicht regelmäßig beabstandet sein. Vielmehr kann die Kategorienauflösung und/oder Körnigkeit bzw. Rasterung je nach Wunsch vergrößert werden, um besser zwischen verschiedenen Fahrzeugen zu unterscheiden. Darüber hinaus begrenzen die beschriebenen Kategorien die nachteiligen Effekte von Rauschmessungen und sind daher robuster.
-
1 zeigt ein Diagramm oder ein erfasstes Bild 10 eines vorderen Objektes (beispielsweise eines Fahrzeuges) 12, das auf einer Straße oder einer anderen Oberfläche 14 fährt, bei Aufnahme durch eine Kamera (nicht gezeigt) von einem Standpunkt bzw. unter einem Blickwinkel eines Referenzfahrzeuges (nicht gezeigt), das hinter dem vorderen Fahrzeug fährt. Ein oder mehrere Videokameras, die an dem Referenzfahrzeug montiert sind, können beispielsweise zum Messen des Bereiches bzw. Streckenbereiches zu einem Objekt in ihrem Sichtfeld unter Verwendung einer diskreten Größenkategorisierung verwendet werden. Bei anderen Ausführungsbeispielen kann eine Fuzzy-Größenkategorisierung verwendet werden. Als Beispiel für das Objekt wird ein Fahrzeug verwendet, obwohl die hier beschriebenen Prinzipien auch bei anderen Objekten gelten. Das Fahrzeug weist eine linke Seite 16, eine Bodenseite 18 und eine rechte Seite 20 auf, wie durch die U-Form 22 angedeutet ist, die das vordere Fahrzeug umgibt. Der Relativort oder die Höhe 24 des U-Bodens 18 in dem Bild korreliert mit dem Abstand zu dem vorderen Fahrzeug. Eine U-Form, die weiter oben (deren Boden weiter oben) in dem Bild ist, ist weiter weg von der Kamera. Wird die Straße zwischen der Kamera und dem Objekt als flach angenommen, so ergeben geometrische Berechnungen unter Verwendung des Relativortes direkt den Abstand zu dem Fahrzeug.
-
Die Breite des Fahrzeuges in dem Bild liefert auch einen Hinweis auf den Abstand zu diesem. Ist die tatsächliche, physische Breite des Fahrzeuges bekannt, so ergeben geometrische Berechnungen auch den Abstand von der Kamera zu dem Objekt. Ist die tatsächliche, physische Breite des Fahrzeuges nicht bekannt, so kann der Bereich unter Verwendung einer zusätzlichen Eingabe direkt festgelegt werden. So kann beispielsweise eine Breite in Pixeln gemessen werden. Die Breite kann eine tatsächliche Fahrzeugbreite 19a, eine Breite zwischen Fahrzeugmerkmalen (beispielsweise Reifen, Rücklichter, Nummernschildränder und dergleichen mehr) 19b, 19c oder eine beliebige andere geeignete Fahrzeugabmessung sein. Misst beispielsweise dasselbe vordere Fahrzeug mit denselben linken und rechten Seiten oder Merkmalen doppelt so viele Pixel in der Breite zu einem späteren Augenblick, so kann bestimmt werden, dass es um die Hälfte des ursprünglichen Abstandes entfernt ist. Dies bedeutet, dass der Bereich des vorderen Fahrzeuges umgekehrt proportional zur Breite des vorderen Fahrzeuges in Pixeln ist. Für ein gegebenes vorderes Fahrzeug bleibt eine Größenkategorie, der das Fahrzeug zugewiesen ist, konstant, solange das Fahrzeug in dem Bild bleibt. Wenn beispielsweise ein Fahrzeug als groß kategorisiert worden ist und es nur einige wenige Pixel in dem Bild breit ist, so muss es weit entfernt sein.
-
2 zeigt ein Verfahren zum Erleichtern des Messens eines Bereiches zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte. Bei 52 werden Bilddaten erfasst. Bei 54 wird ein Objekt in den Bilddaten identifiziert. Bei 56 wird der Relativort (beispielsweise eine Höhe) einer unteren oder Bodenoberfläche des vorderen Objektes innerhalb des Bildrahmens innerhalb wenigstens eines Rahmens von Bilddaten unter Verwendung einer bekannten Kamerageometrie bestimmt. Bei 58 wird eine in Pixeln erfasste Medianmerkmalsmessung (beispielsweise eine Merkmalsbreite oder dergleichen) des vorderen Objektes bestimmt. Der Medianmesswert ist ein effizienterer Schätzwert für die Größe eines Objektes als der Durchschnitt (Mittel), da weniger Probemessungen benötigt werden, um eine akkurate Schätzung der Objektgröße zu erhalten. Zusätzlich nimmt ein Mittel- oder Durchschnittswert eine Gauß'sche Verteilung an. Greift man jedoch auf Pixel zurück, die diskrete Werte sind, so kann eine Gauß'sche Verteilung nur angenähert werden, weshalb die Verwendung eines Mittelwertes weniger effizient ist. Unter Verwendung von Mittelwerten sind die beschriebenen Systeme und Verfahren schneller und rauschbeständiger als herkömmliche Lösungsansätze.
-
Bei 60 wird das Objekt als zu wenigstens einer aus einer Mehrzahl von diskreten Größenkategorien gehörig als Funktion des Relativortes und der Medianmerkmalsmessung des Objektes klassifiziert oder kategorisiert. Bei 62 wird ein Relativabstandsbereich identifiziert, der mit einem Medianmerkmalsmesswert für die diskrete Größenkategorie korreliert, zu der das Objekt gehört. Bei 64 wird der Relativabstandsbereich zu dem Objekt als Funktion von Änderungen bei dem Medianmerkmalsmesswert des Objektes und der diskreten Größenkategorie, zu der das Objekt gehört, überwacht. Das Überwachen des Objektes erleichtert ein Erfassen einer schnellen Annäherung des Objektes, was wiederum das Vermeiden eines Zusammenstoßes erleichtern kann. Bei einem Ausführungsbeispiel wird der Abstandsbereich an ein Antiblockiersystem (ABS), ein ACB-System (Adaptive Cruise with Braking) oder ein anderes Warn- oder Steuer- bzw. Regelsystem ausgegeben.
-
Beim Bestimmen der Größenkategorie, in der ein Objekt bei 60 klassifiziert wird, variiert die Größenkategorie des Objektes nicht, sobald sie erzeugt ist. Das Erzeugen der Größenkategorie impliziert ein Verwenden eines anfänglichen Absolutabstandsmaßes (beispielsweise des Ortes des Bodens des Fahrzeuges in dem Bild 10 oder eines Radarabstandes oder eines ähnlichen Signals). Die Breite (oder eine ähnliche Dimension bzw. Abmessung) des Objektes wird ebenfalls in Pixeln gemessen, wie bei 58 beschrieben ist. Es wird ein Tabellenabgleich durchgeführt, und/oder es wird eine entsprechende mathematische Funktion ausgeführt oder bewertet, die als Eingabe die bestimmte Medianbreite und den Absolutabstand zu dem Objekt aufweist und eine Kategorie ausgibt, siehe beispielsweise Tabelle 1. Das Ergebnis der Tabelle ist eine Größenkategorie, so beispielsweise XS, S, M, L, XL oder XXL.
-
Bei einem Ausführungsbeispiel wird, sobald das Objekt klassifiziert worden ist, die Klassifizierung des Objektes beibehalten, solange das Objekt in den Bilddaten und/oder innerhalb eines Sichtfeldes der Kamera an dem Referenzfahrzeug bleibt. Bei einem weiteren Ausführungsbeispiel wird der Objekttyp identifiziert, indem ein Tabellenabgleich in einer Abgleichstabelle durchgeführt wird, die Merkmalsmesswerte, einen Objektort innerhalb eines Bildrahmens und dergleichen mit Fahrzeugtypen (beispielsweise Zementlaster, Tanklaster, Traktor, Personenkraftfahrzeug, Motorrad und dergleichen mehr) korreliert. Bei wieder einem anderen Ausführungsbeispiel wird eine Mehrzahl von Merkmalsmessmedianwerten (beispielsweise Objektbreite, Nummernschildbreite, Stoßstangenbreite und dergleichen mehr) beim Klassifizieren des Objektes eingesetzt, um eine genauere Klassifizierung des Objektes zu erleichtern.
-
Wie immer noch in 2 gezeigt ist, wird ein Algorithmus (beispielsweise durch einen Prozessor) ausgeführt, um einen Tabellenabgleich in einer Tabelle, so beispielsweise Tabelle 1, durchzuführen, wobei diejenige Reihe ausfindig gemacht wird, die einem Bereich mit Lokalisierung der Anzahl von Pixeln bei einer Messung für die Medianbreite und Lesen des Bereiches (Spalte) entspricht. Tabelle 1 zeigt ein Beispiel im Zusammenhang mit einer Größenkategorisierung der Pixelbreite einer Stoßstange. Weitere Tabellen können auf Grundlage anderer Merkmale des Fahrzeuges erstellt werden, so beispielsweise der Nummernschildbreite, von Formmerkmalen des Fahrzeuges (beispielsweise die zylindrische Form eines Zementmischers oder dergleichen). Die Reihen werden durch Suchen der Grenzen, die den Messbereich umschließen, ausfindig gemacht, wobei jede Grenze weniger als den aufgeführten Wert angibt. Wenn beispielsweise ein Anfangsbereich von 48 m gemessen wird, so kann bestimmt werden, dass 48 m in den vorbestimmten Abstandsbereich von 40 und 50 m fallen. Eine Breite von 12 Pixeln (beispielsweise zwischen 12 und 14) führt dazu, dass das vordere Objekt in der Größenkategorie „mittel” entsprechend Tabelle 1 klassifiziert oder kategorisiert wird.
-
Entsprechend einem Ausführungsbeispiel kann daher die anfängliche Kategorisierung, die bei 60 durchgeführt wird, für eine Überkategorisierung je nach Bedarf wiederholt werden. Liegt die Medianbreite beispielsweise zwischen den Kategorien, so wird das Objekt als solches der kategorisiert, beispielsweise als M/L.
-
Für Objekte, die sehr weit entfernt sind, braucht man gegebenenfalls nur einige Pixel, um die Breite des Objektes (oder eine ähnliche wahrnehmbare Dimension bzw. Abmessung oder Merkmalsmessung) abzudecken. Unterscheidet sich die Anzahl von Pixeln für die größten und kleinsten Kategorien um weniger als die Anzahl von Kategorien, so kann dem Objekt eine angenäherte Überkategorie zugewiesen werden. Wenn beispielsweise Lastwagen und Autos in einem Abstand von 200 m zwischen beispielsweise 3 und 5 Pixeln abdecken, so sind nur 3 Breiten möglich (3, 4 oder 5 Pixel), weshalb nur drei Überkategorien angegeben werden müssen. Bei einem Szenario, bei dem sechs Kategorien eingesetzt werden (beispielsweise XS, S, M, L, XL und XXL), können die Überkategorien beispielsweise XS/S, M/L und XL/XXL sein.
-
Bei einem Beispiel ist die Anzahl der verwendeten Kategorien größer oder gleich der Anzahl von Pixeln, die zwischen dem größten und kleinsten Objekt unterscheiden, um das Objekt in einer einzigen Kategorie zu platzieren. Wenn beispielsweise ein Bereich bzw. Streckenbereich von 160 m und eine Breite von 3 Pixeln gemessen werden, wird das Objekt in der Überkategorie XS/S platziert. Ist das Objekt näher, so kann die Überkategorie feinunterteilt werden, und es kann eine einzige Größenkategorie zugewiesen werden. So kann beispielsweise bei Betrachtung des vorherigen Falles von 200 m das Fahrzeug in der Kategorie S (Unterkategorie der Überkategorie XS/S) klassifiziert werden. Sobald die Kategorie erzeugt ist, kann die Kategorie anschließend als konstant betrachtet werden. Die unveränderliche Kategorie stellt sodann einen Bezug zwischen einer Abmessung des Merkmals oder der Breite, gemessen in Pixeln, zu dem Bereich bzw. Streckenbereich des Objektes her.
-
Bei einem weiteren Beispiel können der Relativort und ein repräsentatives Merkmal des Objektes mehrere Male gemessen werden. Dies ist in einer Situation wahrscheinlicher, in der weniger Objekte in dem erfassten Bild vorhanden sind. Die Maße des einzelnen Objektes werden kombiniert, um eine genauere Charakterisierung der Kategorie, in der das Fahrzeug eingeordnet ist, bereitzustellen. Größenkategorie
| XS | S | M | L | XL | XXL |
Abstandsbereich in Metern | | | | | | |
> 150 m | 3 | 3 | 4 | 4 | 5 | 5 |
120 m–150 m | | | 5 | | | |
100 m–120 m | | | 6 | | | |
85 m–100 m | | | 7 | | | |
70 m–85 m | | | 8 | | | |
60 m–70 m | | | 9 | | | 14 |
50 m–60 m | | | 10–11 | | | |
40 m–50 m | | 11–13 | 12–14 | | | |
32 m–40 m | | 14–16 | 15–18 | | | |
25 m–32 m | | | 19–23 | | | |
18 m–25 m | | | 24–33 | | | |
12 m–18 m | | | 34–50 | | | |
7 m–12 m | | | 51–86 | | | |
4 m–7 m | 66 | 83 | 87–150 | 115 | 130 | 150 |
< 4 m | | | > 150 | | | |
Abmessung in Pixeln
-
Tabelle 1
-
Sobald die Größenkategorie dem vorderen Fahrzeug zugewiesen worden ist, variiert sie nicht mehr. Die Kategorietabelle (Tabelle 1) kann sodann umgekehrt verwendet werden. Dies bedeutet, dass bei gegebener Medianbreite in Pixeln und der Größenkategorie der Bereich zu dem vorderen Fahrzeug beispielsweise durch einen Prozessor abgelesen werden kann. Der Bereich ist auch in „Kästen bzw. Tonnen” (bins) angegeben. Dies bedeutet, dass bei gegebener Größenkategorie und gegebener Medianbreite in Pixeln ein minimaler und ein maximaler Abstand vorhanden sind, die der Medianbreite entsprechen.
-
Entsprechend einem Beispiel kann eine zwischenliegende Pixelbreite von beispielsweise 20 Pixeln linear in einen Bereich interpoliert werden. Um dieses Beispiel auszubauen, weist ein Fahrzeug der Kategorie „mittel” (M) eine Breite von 20 Pixeln auf. Geht man in Tabelle 1 in die Spalte „mittel”, so ist ersichtlich, dass eine Abmessung von 20 Pixeln in der 5 Pixel breiten Zelle von 19 bis 23 Pixeln in der Breite liegt. Eine Breite von 19 Pixeln beginnt mit einem Abstand von 32 m und geht bis 32 – ((32 – 25)/5) = 30,6 Meter und ist daher bei 31,3 m zentriert. Eine Breite von 20 Pixeln ist (32 – 25)/5 Meter näher, was einer Zentrierung bei 29,9 m entspricht.
-
Bei einem Szenario, in dem mehrere Messungen der Größenkategorie gemacht werden, können mehrere Kategorien bestimmt werden. Der vorbeschriebene Lösungsansatz mit einer Interpopulation kann auf Fahrzeuge ausgedehnt werden, die anfänglich in mehr als einer Kategorie kategoriesiert worden sind, darunter in einzelnen zwischenliegenden Kategorien oder „Überkategorien”, so beispielsweise XS/S. Nachdem die Interpolation in dem Bereich erfolgt ist, können die verschiedenen Kategorien erneut mit dem Median kombiniert werden, um den Bereich zu dem Fahrzeug zu bestimmen. Entsprechend einem Beispiel sei, wie in Tabelle 1 gezeigt ist, angenommen, dass Breiten von 13 und 15 Pixeln gemessen worden sind, und zwar mit den Kategorien S und M. Die Kategorie S geht von 40 bis 50 m in dem Kasten, der diese Breite enthält. Diese 10 m werden sodann in drei Abschnitte von 3,33 m unterteilt, von denen jeder eine halbe Breite von 1,67 m aufweist. Die Breite von 13 Pixeln wird sodann bei 41,67 m zentriert. Ähnliche Berechnungen für die anderen Kategorien und eine Breite von 15 Pixeln geben Bereiche von 36,45 von 38 m. Der Median dieser Bereiche ist in der Mitte zwischen 38 und 41,68 m und 39,84 m. Dieser Wert kann als endgültiges Bereichsergebnis für diese Größenkategorien und Messungen genommen werden.
-
Die Kategorien stehen mit dem Produkt des Bereiches bzw. Streckenbereiches zu dem vorderen Fahrzeug und der gemessenen Dimension bzw. Abmessung (beispielsweise der Medianbreite des vorderen Fahrzeuges) in Beziehung. Ein Bereich von 50 m und eine Dimension bzw. Abmessung von 7 Pixeln geben beispielsweise eine bestimmte Kategorie, die mit 350 Meter-Pixeln verknüpft ist. Bei einem Beispiel fallen 350 Meter-Pixel in die Kategorie „klein”, was sämtliche Produkte zwischen 300 und 400 Meter-Pixeln einschließt. Zusätzlich kann von Vorteil sein, die Grenzen der Kategorien zu vergrößern. Wenn beispielsweise eine anfängliche Kategorie von 200 bis 250 Meter-Pixeln (ein Verhältnis von 250/200 oder 1,25) ist, so kann die „mittlere” Kategorie von 250 bis 250 × 1,25 (= 312,5) Meter-Pixeln reichen. Die Kategorie „groß” kann von 312,5 Pixeln bis 312,5 × 1,25 oder 390,625 Meter-Pixeln reichen. Die geometrische Zunahme der Kategorie erzeugt ein Konstantfehlerverhalten bei dem Streckenbereich zu dem vorderen Fahrzeug, was bei weiteren Berechnungen von Vorteil sein kann. Man beachte, dass die vorstehend verwendete Pixelabmessung willkürlich ist und auch physisch bzw. physikalisch sein kann.
-
Bei einem Beispiel reicht die Größe von Fahrzeugen allgemein von 1,4 bis 2,5 m in der Breite. Definiert werden können daher entsprechend diesem Beispiel die Größenkategorie „extraklein” (XS) bis zu einer Breite von 1,4 m; „klein” (S) als wenigstens 1,4 m und höchstens 1,6 m; „mittel” (M) als größer als 1,6 m und kleiner oder gleich 1,8 m; „groß” (L) als größer als 1,8 m und kleiner oder gleich 2,0 m; „extragroß” (XL) als größer als 2 m und kleiner oder gleich 2,2 m; und „extra-extragroß” (XXL) als größer als 2,2 m. Da der Bereich bzw. Streckenbereich umgekehrt proportional zur Fahrzeugbreite ist, können die herkömmlichem Konstantbreitenkategorien unerwünscht variierende Bereichsfehler erzeugen (so verwendet eine Kalman-Filterung üblicherweise eine konstante Standardabweichung für das Messrauschen). Im Gegensatz hierzu vermeiden die hier beschriebenen Konstantbereichsfehlergrößenkategorien dieses Problem.
-
Wenn entsprechend einem weiteren Beispiel die vorgenannten Fahrzeugbreitengrenzen (beispielsweise 1,4 bis 2,5 m) und 6 Kategorien bei gleichbreiten Kategorien und zulässigen zwischenliegenden Kategorien verwendet werden, so sind ihre Grenzen 1,4 + ganze Zahl × ((2,5 – 1,4)/(6 + 5)) = 1,4 + ganze Zahl × 0,1 m. Die Hälfte der Breite von 0,1 m ist der mögliche Fehler, der für den niedrigsten Kasten am kleinsten ist. Der niedrigste Kasten ist bei 1,4 + (1/2) × 0,1 m zentriert. Der Fehler beträgt (0,1/2)/(1,4 + (0,1/2)) = +/–3,5%. Der Fehler beim höchsten Kasten wird durch 0,05/2,35 = +/–2,1% dargestellt. Es kann damit gezeigt werden, dass sogar bei nur einigen wenigen Größenkategorien eine gute Bereichsauflösung möglich ist. Ein großer Teil dieses Vorteils ergibt sich aus der Möglichkeit, Mediangrößen vorliegen zu haben, die zwischen Kategorien liegen, wodurch die Auflösung nahezu verdoppelt wird.
-
3 zeigt ein System 100, das ein Messen eines Bereiches zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte erleichtert. Das System ist ausgelegt zum Durchführen der verschiedenen hier beschriebenen Verfahren sowie von Varianten hiervon und dergleichen. Das System umfasst ein Referenzfahrzeug 101, das einen Prozessor 102 beinhaltet, der computerausführbare Anweisungen (beispielsweise Module, Routinen, Programme, Anweisungen und dergleichen mehr) zum Durchführen der verschiedenen Verfahren, Techniken, Protokolle und dergleichen mehr, die hier beschrieben worden sind, sowie einen Speicher 104, der dies alles speichert. Gekoppelt mit dem Prozessor 102 und dem Speicher 104 ist eine Kamera 106, die den vorderen Bereich vor dem Referenzfahrzeug überwacht und Bilddaten (beispielsweise Standbilder, Videos und dergleichen mehr) eines vorderen Objektes oder Fahrzeuges erfasst. Zusätzliche kann das System eine Radareinheit 108 beinhalten, die die vordere Zone vor dem Referenzfahrzeug überwacht, Daten im Zusammenhang mit dem Relativort des vorderen Objektes erfasst und die genauere Feststellung des Relativortes unterstützt. Die Daten werden in Verbindung mit den Bilddaten verwendet, um den Abstandsbereich zu dem Objekt festzulegen. Bei einem Beispiel werden die Bilddaten 110 (beispielsweise ein Bild oder Video des vorderen Fahrzeuges) einem Nutzer oder Fahrer an einer Benutzerschnittstelle 112 präsentiert.
-
Beinhalten kann der Speicher 104 einen flüchtigen, einen nichtflüchtigen, einen Festkörperspeicher, einen Flash-Speicher, einen Speicher mit wahlfreiem Zugriff (RAM), einen Nur-Lese-Speicher (ROM), einen programmierbaren Nur-Lese-Speicher (PROM), einen löschbaren programmierbaren Nur-Lese-Speicher (EPROM), einen elektronisch löschbaren und programmierbaren Nur-Lese-Speicher (EEPROM), Varianten der vorgenannten Speichertypen, Kombinationen hieraus und/oder beliebige andere Typen von Speicher, die zum Bereitstellen der gewünschten Funktionalität und/oder zum Speichern von computerausführbaren Anweisungen zur Ausführung durch den Prozessor 102 geeignet sind. Zudem bezeichnet ein „Modul” im Sinne der vorliegenden Beschreibung einen Satz von computerausführbaren Anweisungen (beispielsweise Routine, Unterroutine, Programm, Anwendung bzw. App und dergleichen mehr), die durchgehend auf einem computerlesbaren Medium oder Speicher zur Ausführung durch den Prozessor gespeichert ist, und/oder einen Prozessor, der zum Ausführen der Anweisungen zur Bereitstellung der beschriebenen Funktion ausgelegt ist.
-
Der Prozessor 102 identifiziert das vordere Objekt in den Bilddaten und erzeugt Vorderobjektdaten 114 (beispielsweise umfassen Daten im Zusammenhang mit der Form und Position des vorderen Objektes in einem oder mehreren Bildrahmen die Bilddaten). Ein Messmodul 116 wird durch den Prozessor ausgeführt, um Abmessungen bzw. Dimensionen und/oder andere Merkmale des vorderen Objektes zu bestimmen, unter anderem einschließlich eines Relativortes oder einer Höhe einer unteren oder Bodenoberfläche des vorderen Objektes innerhalb wenigstens eines Rahmens von Bilddaten unter Verwendung einer bekannten Kamerageometrie. Der Relativort der unteren Oberfläche des vorderen Objektes kann ein Abstand von einem Boden des Bildrahmens zu der unteren Oberfläche des vorderen Objektes in dem Bildrahmen sein (beispielsweise dort, wo Reifen des Fahrzeuges die Straße, auf der das Fahrzeug fährt, berühren). Bei einem Ausführungsbeispiel wird die Relativortmessung in Pixeln ausgeführt, wobei jeweilige Pixelhöhen jeweiligen Abständen vor dem Referenzfahrzeug entsprechen. Das Messmodul 116 misst zudem eine Medianbreite des vorderen Objektes in Pixeln. Das Messmodul kann beispielsweise die Breite des vorderen Objektes über drei oder mehr Rahmen messen und eine Medianpixelbreite für das vordere Objekt bestimmen.
-
Der Prozessor 102 führt ein Klassifiziermodul 118 aus, das das vordere Objekt als zu wenigstens einer aus einer Mehrzahl von diskreten Größenkategorien gehörig als Funktion des Relativortes des vorderen Objektes bei einer Messung innerhalb wenigstens eines Bildrahmens und der Medianbreite des vorderen Objektes bei einer Messung über eine Mehrzahl von Bildrahmen klassifiziert oder kategorisiert. Die Klassifizierung des vorderen Objektes in einer diskreten Größenkategorie impliziert das Bereitstellen eines anfänglichen absoluten Abstandsmaßes (beispielsweise des Abstandsbereiches aus der Berechnung unter Verwendung des Ortes des Bodens des Fahrzeuges in dem Bildrahmen oder eines Radarabstandes und dergleichen mehr) über das Messmodul. Das Messmodul misst zudem eine Breite (oder eine ähnliche Dimension bzw. Abmessung) des vorderen Objektes in Pixeln. Ein Tabellenabgleich wird durch den Prozessor 102 in einer Abgleichstabelle 120 (beispielsweise Tabelle 1) ausgeführt, und/oder es wird eine entsprechende mathematische Funktion ausgeführt oder bewertet, die als Eingabe die bestimmte Mediabreite und einen absoluten Abstand zu dem Objekt verwendet, wobei der Prozessor eine Größenkategorie für das vordere Objekt ausgibt, so beispielsweise XS, S, M, L, XL oder XXL. Obwohl die hier beschriebenen Beispiele Größenkategorien in einem Bereich von „extraklein” bis „extra-extragroß” beschreiben, sollte für einen Fachmann auf dem einschlägigen Gebiet einsichtig sein, dass eine beliebiger diskreter Kategorisierungstyp oder die Bezeichnung und/oder eine beliebige Anzahl von Kategorien entsprechend verschiedenen der hier beschriebenen Aspekte zum Einsatz kommen können und dass die hier beschriebenen Systeme und Verfahren nicht auf sechs Kategorien und/oder die hier verwendeten Bezeichnungen beschränkt sind.
-
Bei einem Ausführungsbeispiel beinhaltet das Klassifizierungsmodul 118 ein Überkategoriemodul 121, das die anfängliche Kategorisierung an dem vorderen Objekt durch das Klassifizierungsmodul 118 wiederholt. Wenn beispielsweise die Mediabreite des Fahrzeuges zwischen Kategorien liegt, beispielsweise an der Grenze zwischen „mittel” und „groß”, so wird das Objekt als solches beispielsweise als „M/L” kategorisiert.
-
Sobald der Prozessor die Fahrzeuggröße klassifiziert und die Medianbreite des Fahrzeuges bestimmt hat, wird ein Abstandsbereich zu dem Fahrzeug identifiziert (über einen Tabellenabgleich gemäß Beschreibung anhand 2), der mit einem Medianbreitenwert für die diskrete Größenkategorie, zu der das vordere Objekt gehört, korreliert. Die Abstandsinformation 122, die einen Abstand oder einen Abstandsbereich zu dem vorderen Objekt umfasst, wird ausgegeben (beispielsweise an der Benutzerschnittstelle 112) und als Funktion von Änderungen bei dem Medianbreitenwert des vorderen Objektes und der diskreten Größenkategorie, zu der das vordere Objekt gehört, überwacht. Beispielsweise kann ein Relativabstand von dem Referenzfahrzeug zu dem vorderen Objekt durch den Prozessor als Funktion einer Medianfahrzeugbreite und eines Abstandsbereiches interpoliert werden. Der Relativabstand zu dem vorderen Objekt wird ausgegeben und durch den Prozessor als Funktion von Änderungen des Medianbreitenwertes des vorderen Objektes und der diskreten Größenkategorie, zu der das vordere Objekt gehört, überwacht. Optional kann der Relativabstand zu dem vorderen Objekt mit einer Zeitspanne oder „Folgezeit” korreliert werden, die vorübergehend den Abstand zwischen dem Referenzfahrzeug und dem vorderen Objekt als Funktion der Relativgeschwindigkeiten hiervon beschreibt, und es wird ein Alarm an den Fahrer des Referenzfahrzeuges ausgegeben, wenn die Folgezeit unter eine vorbestimmte Folgezeitschwelle fällt.
-
Das Überwachen des vorderen Fahrzeuges erleichtert das Erfassen einer schnellen Annäherung des vorderen Fahrzeuges, was wiederum das Vermeiden eines Zusammenstoßes erleichtert. Wenn beispielsweise der überwachte Abstandsbereich zu dem vorderen Fahrzeug zu klein wird oder zu schnell abnimmt, kann der Prozessor einen Alarm an den Fahrer über die Anwenderschnittstelle übertragen, um den Fahrer aufzufordern, eine Bremsung einzuleiten. Zusätzlich oder alternativ kann der Prozessor das Zusammenstoßvermeidungsmodul 124 ausführen und ein Signal an ein Antiblockiersystem (ABS) 126 übertragen, um automatisch eine Bremsreaktion in dem Referenzfahrzeug einzuleiten. Bei einem weiteren Ausführungsbeispiel kann das Zusammenstoßvermeidungsmodul in einer separaten Steuerung bzw. Regelung befindlich sein, und es wird der Abstand nur an die separate Steuerung bzw. Regelung ausgegeben. Das Zusammenstoßvermeidungsmodul kann beispielsweise integral mit dem ABS 126, integral mit einer ACB-Einheit (Adaptive Cruise with Braking) oder einem Modul 128 oder integral mit einem beliebigen anderen geeigneten Steuer- bzw. Regel- oder Warnsystem ausgebildet sein. Ausgegeben wird der Abstandsbereich entsprechend einem Beispiel entweder an ein Warnsystem, das den Abstandsbereich in Kombination mit der Fahrzeuggeschwindigkeit verwendet, um zu bestimmen, wann der Fahrer vor einem möglichen Zusammenstoß zu warnen ist, oder an ein Bremssteuer- bzw. Regeleingriffsystem, so beispielsweise das ACB 128, das die Fahrzeuggeschwindigkeit durch Abbremsen des Fahrzeuges, wenn der Abstand zu klein ist, ändert.
-
Bei einem Ausführungsbeispiel alarmiert der Prozessor den Fahrer über die Benutzerschnittstelle, dass die Folgezeit zu niedrig ist, wenn der Quotient des Abstandes zu dem vorderen Fahrzeug, geteilt durch die Fahrzeuggeschwindigkeit, zu klein ist, wie es beispielsweise beim dichten Auffahren auftreten kann. Bei einem Beispiel wird der Alarm durch den Prozessor an den Fahrer über die Benutzerschnittstelle ausgegeben, wenn die Folgezeit unter annähernd 1 s ist. Bei einem weiteren Ausführungsbeispiel gibt der Prozessor einen Alarm an den Fahrer über die Benutzerschnittstelle aus, wenn die Größe Zeit-zu-Zustammenstoß unter einer vorbestimmten Zusammenstoßzeitschwelle gemäß Bestimmung durch das Zusammenstoßvermeidungsmodul ist.
-
4 zeigt ein Verfahren zum Messen eines Abstandes zu einem vorderen Objekt, so beispielsweise einem Fahrzeug, unter Verwendung einer Objektgrößenkategorisierung und einer Medianobjektbreite (in Pixeln) entsprechend einem oder mehreren der hier beschriebenen Aspekte. Bei 150 werden Bilddaten eines Objektes empfangen. Bei 152 wird das Objekt in den Bilddaten identifiziert. Bei 154 wird die Höhe oder der Relativort einer unteren oder Bodenoberfläche des Objektes innerhalb wenigstens eines Rahmens von Bilddaten unter Verwendung einer bekannten Kamerageometrie bestimmt. Bei 156 wird die in Pixeln erfolgende Medianmerkmalsmessung (beispielsweise einer Breite oder einer anderen Dimension bzw. Abmessung) des Objektes bestimmt. Bei 158 wird das Objekt als zu wenigstens einer aus einer Mehrzahl von diskreten Größenkategorien gehörig als Funktion des Relativortes (beispielsweise der Höhe) und einer Medianmerkmalsmessung (beispielsweise der Breite) des Objektes klassifiziert oder kategorisiert. Bei 160 wird ein Abstandsbereich identifiziert, der mit einem Medianmerkmalsmesswert für die diskrete Größenkategorie, zu der das Objekt gehört, korreliert.
-
Bei 162 wird ein Relativabstand von dem Referenzfahrzeug zu dem Objekt als Funktion des Medianmerkmalsmesswertes und des Abstandsbereiches interpoliert. Bei 164 wird ein Relativabstand zu dem Objekt als Funktion von Änderungen bei dem Medianbreitenwert des vorderen Objektes und der diskreten Größenkategorie, zu der das vordere Objekt gehört, überwacht. Der Relativabstand kann an ein Antiblockiersystem (ABS), ein ACB-System (Adaptive Cruise with Braking ACB) oder ein anderes Warn- oder Steuer- bzw. Regelsystem ausgegeben werden. Bei 166 wird der Relativabstand zu dem Objekt mit einer Zeitspanne oder „Folgezeit” korreliert, die vorübergehend den Abstand zwischen dem Referenzfahrzeug und dem Objekt als Funktion der Relativgeschwindigkeiten hiervon beschreibt. Bei 168 wird dem Fahrer des Referenzfahrzeuges ein Alarm gemeldet, wenn die Folgezeit unter eine vorbestimmte Folgezeitschwelle fällt. Es sollte einsichtig sein, dass der Alarm beispielsweise durch ein Kameramodul oder durch eine beliebige andere geeignete Steuerung bzw. Regelung, wie sich einem Fachmann auf dem einschlägigen Gebiet erschließt, bereitgestellt werden kann.
-
Es ist eine Neuerung anhand verschiedener Ausführungsbeispiele beschrieben worden. Modifikationen und Abwandlungen erschließen sich beim Studium und Durchdenken der vorstehenden Detailbeschreibung. Es ist beabsichtigt, dass die Neuerung derart gedeutet werden soll, dass sie all diese Modifikationen und Abwandlungen beinhaltet, so sie dem Umfang der beigefügten Ansprüche oder den Äquivalenten hiervon entsprechen.