DE102005000775A1

DE102005000775A1 - Verfahren zur Überwachung eines Objektraumes von einem Kraftfahrzeug aus

Info

Publication number: DE102005000775A1
Application number: DE102005000775A
Authority: DE
Inventors: Jörg Schrepfer
Original assignee: Lear Corp GmbH
Current assignee: Lear Corp GmbH
Priority date: 2005-01-05
Filing date: 2005-01-05
Publication date: 2006-07-13
Anticipated expiration: 2025-01-06
Also published as: DE102005000775B4

Abstract

Die Erfindung betrifft ein Verfahren zur Überwachung eines Objektraumes von einem Kraftfahrzeug aus, wobei dem Kraftfahrzeug mindestens eine Kamera zugeordnet ist, mit der insbesondere der Objektraum vor dem Kraftfahrzeug beobachtet wird. Es wird die Aufgabe gelöst, ein solches Verfahren zu schaffen, das einen lediglich geringen Rechenzeitaufwand erfordert und das eine schnelle Information des Fahrers über Hindernisse vor fahrenden Kraftfahrzeugen gewährleistet. Dies wird erreicht, indem das in einem Block Bildvorverarbeitung erzeugte Bild zunächst in eine Vielzahl von Blöcken aufgeteilt wird, danach wird in jedem Block eine separate Gewichtungsoperation (GEW) durchgeführt, nachfolgend wird für jeden Block ein Gewichtungswert (B) gespeichert, anschließend werden zusammenhängende Blöcke mit einem jeweils identischen Gewichtungswert (B) erfasst, nunmehr wird zunächst die Breite (W) und die Höhe (H) der zusammenhängenden Blöcke mit einem jeweils identischen Gewichtungswert (B) ermittelt, nachfolgend werden diese Werte von Breite (W) und Höhe (H) jeweils mit einem festgelegten Schwellwert (W¶S¶; H¶S¶) verglichen und sofern die Werte für Breite (W) und/oder Höhe (H) größer sind als der jeweils relevante Schwellwert (W¶S¶; H¶S¶), werden die jeweiligen Blöcke auf dem Display optisch hervorgehoben dargestellt.

Description

Die Erfindung betrifft ein Verfahren zur Überwachung eines Objektraumes von einem Kraftfahrzeug aus mit den im Oberbegriff des Anspruchs 1 angegebenen Merkmalen.

Moderne Kraftfahrzeuge weisen verschiedenartige Parameter- bzw. Bildsensoren auf, mit denen sowohl interne Betriebsfunktionen als auch das nähere Umfeld des Fahrzeuges im Verkehr überwacht werden. Die von diesen Sensoren erfassten Werte werden unter Bezugnahme auf vorab definierte Kriterien ausgewertet, wobei in Abhängigkeit vom Resultat der jeweiligen Auswertung gegebenenfalls weitere Aktivitäten veranlasst werden.

So beschreibt die DE 197 49 583 A1 ein Verfahren, bei dem ein vom Fahrer nicht unmittelbar einsehbarer Objektraum von mindestens einer Videokamera überwacht wird. Die von der Videokamera erfassten Bilddaten werden mittels Bilderkennungsmethoden bewertet und die ermittelten Verkehrssituationsdaten werden mit Stellgliedern für die Beeinflussung der Fahrsituation des Fahrzeuges logisch verknüpft. Beispielsweise wird in Abhängigkeit von dem seitlich hinter dem Fahrzeug erkannten Bild das Management für Motor und Getriebe so geregelt, dass zeitweilig eine höhere Leistungsreserve verfügbar ist. Somit soll insbesondere die Sicherheit für Überholvorgänge verbessert werden.

Allerdings sind solche Systeme mit einem zwangsweisen Eingriff in das Betriebsverhalten des Kraftfahrzeuges sehr kostenintensiv. Deshalb werden überwiegend bildgebende Assistenzsysteme eingesetzt, bei denen die relevanten Informationen durch Anzeige auf einem Display dem Fahrer mitgeteilt werden. Dies betrifft u.a. Nachtsichtsysteme, bei denen die vorausliegende Fahrzeugumgebung erfasst wird. Derartige, auch als „Night Vision System" bezeichnete Systeme unterstützen den Fahrer beim Erkennen des Straßenverlaufes und von Gefahren bei Dunkelheit oder schlechter Sicht. Hierbei existieren zwei grundlegende Systeme, nämlich passive Systeme und aktive Systeme. Passive Systeme weisen keine zusätzliche Beleuchtung auf. Die als Kamera genutzten Baugruppen basieren auf Wärmestrahlung im fernen Infrarotbereich. Hingegen weisen aktive Systeme eine zusätzliche Beleuchtung auf, mit der das Umfeld des Fahrzeuges im Bereich des sichtbaren Lichtes oder im nahen Infrarotbereich beleuchtet wird. Die Bilddaten werden hier mittels CCD-Kameras aufgenommen. Unabhängig von der jeweils konkreten Ausgestaltung werden die ermittelten Umgebungsdaten zu einem Bild verarbeitet und auf einem Display als Information für den Fahrer abgebildet.

Aus der JP 2002 048 565 ist eine Steuereinheit für ein Display in einem Fahrzeug bekannt. Das Display wird im regulären Fahrbetrieb als Anzeigeeinheit für ein Navigationssystem benutzt, indem auf diesem Display eine Landkarte mit zugeordneten Positionspunkten angezeigt wird. Sofern eine im Fahrzeug integrierte Kamera Hindernisse im Umfeld des Fahrzeuges erfasst, wird die Steuereinheit derart aktiviert, dass die Abbildung der Landkarte auf dem Display mit dem von der Kamera erfassten Bild überlagert wird. Somit wird der Fahrer auf das Hindernis aufmerksam.

Eine ähnliche technische Lösung wird in der JP 2001 071 790 beschrieben, wobei hier der Bildausschnitt mit dem angezeigten Hindernis zusätzlich vergrößert wird, sofern der Abstand zwischen dem Fahrzeug und dem erfassten Hindernis einen festgelegten Schwellwert unterschreitet und demzufolge als besonders gefährlich zu bewerten ist.

Weiterhin ist aus der DE 103 13 001 A1 ein Verfahren bekannt, das zur Abbildung von Bilddaten unterschiedlicher Systeme auf einem gemeinsamen Fahrzeugdisplay geeignet ist. Die den Systeminformationen zugeordneten Bilddaten werden hierbei anhand von Betriebsparametern zunächst einer Priorisierung unterzogen und danach in Abhängigkeit vom Ergebnis der Priorisierung auf dem Fahrzeugdisplay in unterschiedlicher Größe, Position und Form abgebildet. Demzufolge füllen Bilddaten mit hoher Priorisierung das Display überwiegend aus, während für Bilddaten geringer Priorisierung eine relativ kleine Fläche verfügbar ist, so dass die Aufmerksamkeit des Fahrers zwangsläufig primär auf wesentliche Informationen gerichtet wird.

Für eine Warnung des Fahrers vor plötzlichen Gefahrensituationen ist eine schnelle und funktionssichere Bildverarbeitung der vom System erfassten Videodaten not wendig. Die Bilddaten werden von der Kamera geliefert und eventuell noch in digitales Format gewandelt. Im Block Bildvorverarbeitung kann die Auflösung reduziert und die eigentliche Bildvorverarbeitung realisiert werden, u.a. Helligkeitsanpassung, Kantenbildberechnung oder Strukturbildberechnung. Die Bildpixelauswertung auf Grundlage des Originalbildes ist jedoch sehr umfangreich und aufwendig, so dass sich ein hoher Rechenzeitaufwand ergibt. Demzufolge ist ein solches Verfahren nicht oder nur bedingt geeignet, sofern das Kraftfahrzeug mit hoher Geschwindigkeit bewegt wird bzw. sofern sich schnell bewegende Objekte erfasst werden sollen.

Aufgabe der Erfindung ist es, ein Verfahren zur Überwachung eines Objektraumes von einem Kraftfahrzeug aus zu schaffen, das einen lediglich geringen Rechenzeitaufwand erfordert und das eine schnelle Information des Fahrers über Hindernisse vor fahrenden Kraftfahrzeugen gewährleistet.

Diese Aufgabe wird gelöst durch ein Verfahren gemäß der im Anspruch 1 angegebenen technischen Lehre. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche, deren technische Merkmale im Ausführungsbeispiel näher beschrieben werden.

Bei Anwendung des erfindungsgemäßen Verfahrens wird das in einem Block Bildvorverarbeitung erzeugte Bild zunächst in eine Vielzahl von Blöcken aufgeteilt. In jedem Block wird eine separate Gewichtungsoperation durchgeführt und danach für jeden Block ein Gewichtungswert gespeichert. Anschließend werden zusammenhängende Blöcke mit einem jeweils identischen Gewichtungswert erfasst, wobei die Breite und die Höhe dieser Blöcke ermittelt wird. Nachfolgend werden diese Werte von Breite und Höhe jeweils mit einem festgelegten Schwellwert verglichen. Sofern die Werte für Breite und/oder Höhe größer sind als der relevante Schwellwert, werden die jeweiligen Blöcke auf dem Display optisch hervorgehoben dargestellt.

Die notwendigen Verfahrensschritte sind also nicht auf das Originalbild bezogen, sondern auf eine Anordnung separater Bildblöcke. Sofern zum Beispiel ein Originalbild mit 720 Bildpunkten × 576 Bildpunkten × 8 Bit Helligkeit zugrunde gelegt wird, müssen insgesamt 3.317.760 Bit an Information ausgewertet werden. Beim vorliegenden Verfahren reduzieren sich die Werte auf 360 Bildpunkte × 234 Bildpunkte × 1 Bit Gewichtungswert, so dass insgesamt nur noch 84.249 Bit an Information ver arbeitet werden müssen. Der Rechenaufwand beträgt in diesem konkreten Fall also nur noch 2,5 % gegenüber dem ursprünglichen Verfahrensablauf.

Somit ist ein lediglich geringer Aufwand an Rechenzeit notwendig, der eine schnelle und zuverlässige Information des Fahrers über plötzlich auftauchende Hindernisse gewährleistet. Demzufolge ist das vorgeschlagene Verfahren auch geeignet, sofern das Kraftfahrzeug mit hoher Geschwindigkeit bei Dunkelheit bewegt wird. Ebenso können sich schnell bewegende Objekte sicher erfasst werden, wie beispielsweise Radfahrer an der Fahrbahnkante oder die Fahrbahn überquerende Wildtiere.

In Ausgestaltung des Verfahrens wird vorgeschlagen, dass die Blöcke jeweils ein Format mit gleicher Kantenlänge aufweisen sollten. Hierfür könnte zum Beispiel eine Kantenlänge von 16 Bildpunkten gewählt werden.

Für die Gewichtungsoperation ist es zweckmäßig, diese in jedem Block als Summe von sämtlichen Helligkeitswerten in dem Block zu definieren.

Für den Gewichtungswert eines Blockes wird vorgeschlagen, diesen mit "1" zu definieren, sofern die für diesen Block durchgeführte Gewichtungsoperation einen größeren Wert ergibt als ein hierfür vorab festgelegter Schwellwert. Alternativ sollte der Gewichtungswert mit "0" definiert werden, sofern die Gewichtungsoperation kleiner oder gleich dem vorab festgelegten Schwellwert ist.

Für die Aufmerksamkeit des Fahrers ist es vorteilhaft, wenn die Blöcke, bei denen die Werte für Breite und/oder Höhe größer sind als der jeweils relevante Schwellwert, farbig hervorgehoben werden.

In weiterer Ausgestaltung wird vorgeschlagen, dass Objekte, deren Werte für Breite und/oder Höhe größer sind als der jeweils relevante Schwellwert und die sich im Bereich des linken, des rechten oder des oberen Bildrandes befinden auf dem Display nicht optisch hervorgehoben dargestellt werden, sofern sie sich aus diesem Bildrand heraus bewegen bzw. sofern sie kleiner werden. Hingegen werden Objekte, deren Werte für Breite und/oder Höhe größer sind als der jeweils relevante Schwellwert und die sich im Bereich des linken, des rechten oder des oberen Bildrandes befinden, auf dem Display optisch hervorgehoben dargestellt, sofern sie sich aus dem Bildrand heraus in Richtung der Bildmitte bewegen bzw. sofern sie größer werden.

Ferner ist es vorteilhaft, dass die Berechnung der Schätzung der Bewegung von erfassten Objekten und die Bestimmung der zu erwartenden Größenveränderung dieser Objekte auf Grundlage der Gewichtungswerte des jeweils aktuellen und der diesem vorangehenden Bilder erfolgt. Schließlich sollten die Daten zu den erfassten Objekten und den jeweils zugeordneten Blöcken über mehrere Bilder gespeichert bleiben.

Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand der Zeichnung erläutert. Es zeigen:
1 ein Display in einem Fahrzeug mit symbolischer Darstellung des von einer Kamera erfassten Objektraumes vor dem Fahrzeug in einem ersten Verfahrensschritt,
2 die Darstellung auf dem Display gemäß 1 in einem zweiten Verfahrensschritt,
3 die Darstellung auf dem Display gemäß 1 in einem dritten Verfahrensschritt und
4 die Darstellung auf dem Display gemäß 1 mit Kennzeichnung der Randbereiche.
Das erfindungsgemäße Verfahren ist zur Überwachung eines Objektraumes von einem Kraftfahrzeug aus vorgesehen. Hierbei ist dem Kraftfahrzeug mindestens eine Kamera zugeordnet, mit der insbesondere der Objektraum vor dem Kraftfahrzeug beobachtet wird. Die von der Kamera erfassten Bilddaten werden in einer Datenverarbeitungseinheit bearbeitet und dem Fahrer durch Anzeige auf einem Display mitgeteilt. Diese werden normalerweise naturgetreu abgebildet oder auch in umgesetzter graphischer Form. Aus zeichnerischen Gründen ist eine strukturierte graphische Darstellung gewählt.
Im Verfahrensschritt gemäß 1 wird das in einem Block Bildvorverarbeitung erzeugte Bild zunächst in eine Vielzahl von Blöcken aufgeteilt. Im Ausführungsbeispiel zeigt das Bild auf dem Display eine Fahrsituation mit einem Straßenverlauf vor dem Fahrzeug. Am rechten Straßenrand läuft ein Fußgänger, symbolisiert durch Kopf, Körper und Arm. Neben dem Fußgänger befinden sich in zunehmender Entfernung vom Straßenrand mehrere Büsche, symbolisiert durch Kreisfeld- und Ovalfeldtasten. Im Verlauf der Straße befinden sich kleine Gegenstände. Bei nach rechts abgebogenem Straßenverlauf können diese auch am linken Straßenrand einen vorgesehenen Pfahl mit einem Schild sowie noch weiter links einen säulenähnlichen Gegenstand symbolisieren. Die Bildblöcke können durch Angabe von Koordinaten in X-Richtung und Y-Richtung genau benannt werden und weisen jeweils ein Format "N × N" mit gleicher Kantenlänge auf.
In jedem dieser Blöcke wird nun eine separate Gewichtungsoperation GEW durchgeführt, wobei vorgesehen ist:
GEW (Block x₁; y₁) = Summe aller Helligkeitswerte im Block x₁; y₁
Nachfolgend wird für jeden Block ein Gewichtungswert B gespeichert, wobei vorgesehen ist:
B (Block x₁; y₁) = 1, wenn GEW (Block x₁; y₁) > G_S
B (Block x₁; y₁) = 0, wenn GEW (Block x₁; y₁) = G_S
B (Block x₁; y₁) = 0, wenn GEW (Block x₁; y₁) < G_S
Hierbei bezeichnet das Bezugszeichen G_S einen vorab festgelegten Schwellwert für die Gewichtungsoperation GEW. In 2 zeigen die vollflächig hellgrau ausgefüllten Blöcke solche Blöcke, für die ein Gewichtungswert B = 1 gespeichert wird.
Anschließend werden zusammenhängende Blöcke mit einem jeweils identischen Gewichtungswert B erfasst. Danach wird die Breite W und die Höhe H der zusammenhängenden Blöcke mit einem jeweils identischen Gewichtungswert B ermittelt. Nachfolgend werden die Werte der Breite W mit einem festgelegten Schwellwert W_S und die Werte der Höhe H mit einem festgelegten Schwellwert H_S verglichen. Sofern die Werte für Breite W und/oder Höhe H größer sind als der jeweils relevante Schwellwert W_S bzw. H_S stellt das diesbezügliche Objekt eine Gefahr dar. Das Objekt wird dann im Display für den Fahrer optisch hervorgehoben dargestellt. Hierfür sind verschiedene Varianten möglich, beispielsweise werden die kritischen Blöcke farbig hervorgehoben. Dieser Verfahrensschritt ist aus 3 ersichtlich. Hier zeigen die vollflächig dunkelgrau ausgefüllten Blöcke die Blöcke, in denen ein kritisches Objekt erfasst ist.
Damit die Displaydarstellung für den Fahrer überschaubar bleibt ist vorgesehen, dass Objekte, deren Werte für Breite W und/oder Höhe H größer sind als der jeweils relevante Schwellwert W_S oder H_S und die sich im Bereich des linken, des rechten oder des oberen Bildrandes befinden auf dem Display nicht optisch hervorgehoben dargestellt werden, sofern sie sich aus diesem Bildrand heraus bewegen und/oder sofern sie kleiner werden. Alternativ ist vorgesehen, dass Objekte, deren Werte für Breite W und/oder Höhe H größer sind als der relevante Schwellwert W_S oder H_S und die sich im Bereich des linken, des rechten oder des oberen Bildrandes befinden auf dem Display optisch hervorgehoben dargestellt werden, sofern sie sich aus dem Bildrand heraus in Richtung der Bildmitte bewegen und/oder sofern sie größer werden. Der Randbereich des Displays ist in 4 mit drei grauen Rechtecken stilisiert dargestellt.

Claims

Verfahren zur Überwachung eines Objektraumes von einem Kraftfahrzeug aus, wobei dem Kraftfahrzeug mindestens eine Kamera zugeordnet ist, mit der mindestens der Objektraum vor dem Kraftfahrzeug beobachtet wird, und die von der Kamera erfassten Bilddaten in einer Datenverarbeitungseinheit bearbeitet und dem Fahrer durch Anzeige auf einem Display mitgeteilt werden, gekennzeichnet durch folgende Verfahrensschritte: – Aufteilung eines in einer Bildvorverarbeitung erzeugten Bildes in eine Vielzahl von Blöcken, – Durchführen einer separaten Gewichtungsoperation (GEW) in jedem Block, – Abspeichern eines Gewichtungswertes (B) für jeden Block, – Erfassen zusammenhängender Blöcke mit einem jeweils identischen Gewichtungswert (B), – Ermitteln der die Breite (W) und die Höhe (H) der zusammenhängenden Blöcke mit einem jeweils identischen Gewichtungswert (B), – Vergleichen der Werte von Breite (W) und Höhe (H) jeweils mit einem festgelegten Schwellwert (W_S; H_S) und – hervorgehobene Darstellung der jeweiligen Blöcke auf dem Display, wenn die Werte für Breite (W) und/oder Höhe (H) größer sind als der jeweils relevante Schwellwert (W_S; H_S) sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Blöcke jeweils ein Format "N × N" mit jeweils gleicher Kantenlänge aufweisen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Gewichtungsoperation (GEW) in jedem Block als Summe sämtlicher Helligkeitswerte in diesem Block definiert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Gewichtungswert (B) eines Blockes mit "1" definiert wird, sofern die für diesen Block durchgeführte Gewichtungsoperation (GEW) einen größeren Wert ergibt als ein vorab festgelegter Schwellwert (G_S).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Gewichtungswert (B) eines Blockes mit "0" definiert wird, sofern die für diesen Block durchgeführte Gewichtungsoperation (GEW) einen kleineren Wert oder einen identischen Wert ergibt als/wie ein vorab festgelegter Schwellwert (G_S).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Blöcke, bei denen die Werte für Breite (W) und/oder Höhe (H) größer sind als der jeweils relevante Schwellwert (W_S; H_S) farbig hervorgehoben werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Objekte, deren Werte für Breite (W) und/oder Höhe (H) größer sind als der jeweils relevante Schwellwert (W_S; H_S) und die sich im Bereich des linken, des rechten oder des oberen Bildrandes befinden auf dem Display nicht optisch hervorgehoben dargestellt werden, sofern sie sich aus diesem Bildrand heraus bewegen und/oder sofern sie kleiner werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Objekte, deren Werte für Breite (W) und/oder Höhe (H) größer sind als der jeweils relevante Schwellwert (W_S; H_S) und die sich im Bereich des linken, des rechten oder des oberen Bildrandes befinden auf dem Display optisch hervorgehoben dargestellt werden, sofern sie sich aus dem Bildrand heraus in Richtung der Bildmitte bewegen und/oder sofern sie größer werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Berechnung der Schätzung der Bewegung von erfassten Objekten und die Bestimmung der zu erwartenden Größenveränderung dieser Objekte auf Grundlage der Gewichtungswerte (B) des jeweils aktuellen und der diesem vorangehenden Bilder erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Daten zu den erfassten Objekten und den jeweils zugeordneten Blöcken über mehrere Bilder gespeichert bleiben.