DE102004003556B4 - Verfahren und System zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild mittels Bildverarbeitung - Google Patents

Verfahren und System zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild mittels Bildverarbeitung Download PDF

Info

Publication number
DE102004003556B4
DE102004003556B4 DE102004003556.3A DE102004003556A DE102004003556B4 DE 102004003556 B4 DE102004003556 B4 DE 102004003556B4 DE 102004003556 A DE102004003556 A DE 102004003556A DE 102004003556 B4 DE102004003556 B4 DE 102004003556B4
Authority
DE
Germany
Prior art keywords
image
collision
collision objects
objects
intermediate image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102004003556.3A
Other languages
English (en)
Other versions
DE102004003556A1 (de
Inventor
Thorsten Graf
Dr. Schmidt Rolf
Dr. Meinecke Marc-Michael
Alberto Broggi
Alessandra Fascioli
Massimo Bertozzi
Paolo Grisleri
Marcello Carletti
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102004003556.3A priority Critical patent/DE102004003556B4/de
Publication of DE102004003556A1 publication Critical patent/DE102004003556A1/de
Application granted granted Critical
Publication of DE102004003556B4 publication Critical patent/DE102004003556B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Verfahren zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild, dadurch gekennzeichnet, dass in einem ersten Verfahrensschritt ein Ursprungsbild auf Grundlage eines von dem Kraftfahrzeug (1) aufgenommenen Bildes bereitgestellt wird, dass in einem zweiten Verfahrensschritt eine Auflösung des Ursprungsbildes reduziert wird, wodurch ein Zwischenbild (11a) entsteht, dass in einem dritten Verfahrensschritt in dem Zwischenbild (11a) Kollisionsobjekte (13) gesucht und bestimmt werden, dass in einem vierten Verfahrensschritt in dem Ursprungsbild nur in denjenigen Bildbereichen, in welchen im dritten Verfahrensschritt keine Kollisionsobjekte (13) bestimmt wurden, Kollisionsobjekte (12) gesucht und bestimmt werden.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Suchen von Objekten in einem von einem Kraftfahrzeug aufgenommenen Bild, sowie ein mit diesem Verfahren arbeitendes Bildverarbeitungssystem. Diese Objekterkennung kann z. B. zur Erkennung von potentiellen Kollisionsobjekten eingesetzt werden, mit denen eine Kollision mit dem Kraftfahrzeug droht.
  • Bei zukünftigen automobilen Fahrerassistenzsystemen wird die Videosensorik von großer Bedeutung sein. So sind bereits erste auf Videosensorik basierende Fahrerassistenzsysteme geplant oder bereits in Serie. Dabei ähnelt sich der prinzipielle Aufbau solcher Fahrerassistenzsysteme im Allgemeinen sehr stark. In der Regel wird ein Videobild von einer Kamera (z. B. visuell, nah-infrarot oder fern-infrarot) aufgenommen und einer Auswerteeinheit zugeführt. Diese Auswerteeinheit versucht dann eventuell unter Zuhilfenahme von weiteren Fahrzeuginformationen (z. B. Geschwindigkeit, Gierrate, usw.), das aufgenommene Bild zu interpretieren und geeignete Maßnahmen (z. B. Warnhinweis oder Fahrdynamikeingriff) abzuleiten.
  • Ein prinzipielles Problem bei Bild verarbeitenden Systemen stellt ein vielfältiges Erscheinungsbild von Objekten, wie z. B. Fahrzeugen, Personen, Tieren und Hindernissen, dar, da dieses Erscheinungsbild abhängig von der jeweiligen Umgebungssituation ist. Dabei stellt eine unterschiedliche Entfernung der Objekte von der Kamera eine Besonderheit dar, da daraus eine unterschiedliche Größe (Anzahl von Bildpunkten) der Objekte in dem Bild resultiert. Hieraus folgt, dass die Auswerteeinheit nach sehr vielen verschiedenen Größen ein und desselben Objektes in einem Bild suchen muss, was meist sehr rechenintensiv ist.
  • In „A Morphological Model-Driven Approach to Real-Time Road Boundary Detection for Vision-Based Automotive Systems”, von A. Broggi u. a.; Proceedings of the Second IEEE Workshop an Applications of Computer Vision, 5.–7. Dezember, 1994, Seiten 73–80 wird ein System zum Erkennen von Straßenbegrenzungen beschrieben. Dabei wird ein hierarchischer Prozess und ein iterativer Prozess zur Auswertung der von einer Kamera erfassten Bilder beschrieben.
  • In der DE 691 30 190 T2 ist ein hierarchisches Bewegungsabschätzungsverfahren offenbart, wobei eine hierarchische Zerlegung eines Bildes durch Auflösungswerte erfolgt, wobei eine Bewegung beim Wert der gröbsten Auflösung geschätzt wird und diese Schätzung bei jedem Wert in dem Maße verfeinert wird, wie die Auflösung ansteigt.
  • Dieses Verfahren reduziert zwar die Rechenzeit bei einer Bewegungsabschätzung, trägt aber zur Erkennung von Objekten in einem Bild wenig bei.
  • Eine Aufgabe der vorliegenden Erfindung ist, ein Verfahren zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild sowie ein nach diesem Verfahren arbeitendes Bild verarbeitendes System bereitzustellen, wobei die Rechenzeit im Vergleich zu Verfahren bzw. Systemen nach dem Stand der Technik reduziert wird.
  • Eine weitere Aufgabe der vorliegenden Erfindung ist, dass das Verfahren zum Suchen von Kollisionsobjekten bei verschiedenen nach dem Stand der Technik bekannten Bildverarbeitungsverfahren ohne größeren Anpassungsaufwand angewendet werden kann.
  • Diese Aufgaben werden erfindungsgemäß durch ein Verfahren zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild gemäß Anspruch 1 und durch ein Bild verarbeitendes System gemäß Anspruch 14 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungen der Erfindung.
  • Im Rahmen der vorliegenden Erfindung wird ein Verfahren und ein Bild verarbeitendes System zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild bereitgestellt, wobei in einem ersten Verfahrensschritt ein Ursprungsbild auf Grundlage eines von dem Kraftfahrzeug aufgenommenen Bildes bereitgestellt wird. Dabei wird in einem zweiten Verfahrensschritt eine Auflösung des Ursprungsbildes reduziert, wodurch ein Zwischenbild entsteht. In diesem Zwischenbild werden in einem dritten Verfahrensschritt Kollisionsobjekte gesucht und bestimmt. Abschließend werden in einem vierten Verfahrensschritt in dem Ursprungsbild nur in denjenigen Bildbereichen, in welchen im dritten Verfahrensschritt keine Kollisionsobjekte bestimmt wurden, Kollisionsobjekte gesucht und bestimmt.
  • Da die Rechenzeit eines Bild verarbeitenden Verfahrens bzw. Systems in der Regel umso geringer ist, um so kleiner eine Anzahl der in einem Bild enthaltenden Bildpunkte ist, ist die Rechenzeit einer Auswertung des Zwischenbildes geringer als eine Rechenzeit zur Auswertung des Ursprungsbildes, da das Zwischenbild auf Grund der reduzierten Auflösung weniger Bildpunkte als das Ursprungsbild enthält. Daher benötigt ein Verfahren, welches zuerst in dem gering aufgelösten Zwischenbild Kollisionsobjekte (oder genauer: potentielle Kollisionsobjekte, welche im folgenden zur besseren Lesbarkeit nur als Kollisionsobjekte bezeichnet werden) sucht und bestimmt und anschließend nur in denjenigen Bildbereichen des hoch aufgelösten Ursprungsbildes, in welchen in dem Zwischenbild keine Kollisionsobjekten gefunden worden sind, nach Kollisionsobjekten sucht und diese bestimmt, in der Regel erfindungsgemäß weniger Rechenzeit, als ein gleichartig arbeitendes Verfahren, welches nur in dem Ursprungsbild Kollisionsobjekte sucht und bestimmt.
  • Dabei kann die Auflösung des Ursprungsbildes reduziert werden, indem das Ursprungsbild unterabgetastet wird, wobei ein Verhältnis zwischen der Auflösung des Ursprungsbildes zu einer Auflösung des Zwischenbildes ein Verhältnis von 2:1 aufweisen kann.
  • Bei dem Verfahren bzw. System können in dem dritten Verfahrensschritt zusätzlich Hinweise auf Kollisionsobjekte gesucht und bestimmt werden. Anschließend können in dem vierten Verfahrensschritt zuerst diejenigen Bildbereiche in dem Ursprungsbild untersucht werden, in denen in dem Zwischenbild Hinweise auf Kollisionsobjekte bestimmt worden sind.
  • Es können in dem vierten Verfahrensschritt auch nur diejenigen Bildbereiche in dem Ursprungsbild untersucht werden, in denen in dem Zwischenbild Hinweise auf Kollisionsobjekte gefunden worden sind. Dies bietet im Vergleich zu einem Verfahren, welches das gesamte Ursprungsbild untersucht, entscheidende Vorteile hinsichtlich der Rechenzeit. Des Weiteren ist es denkbar, in dem vierten Verfahrensschritt diejenigen Bildbereiche, in denen in dem Zwischenbild keine Hinweise auf Kollisionsobjekte gefunden worden sind, im Verhältnis zu denjenigen Bereichen, in welchen ein Hinweis gefunden worden ist, nur grob zu untersuchen, wodurch ebenfalls Rechenzeit eingespart werden kann.
  • Erfindungsgemäß ist es möglich, dass das Verfahren bzw. System rekursiv eingesetzt wird. Dazu wird in dem dritten Verfahrensschritt ein jeweiliges Zwischenbild als Ursprungsbild angenommen und mit Hilfe der zweiten bis vierten oben dargelegten Verfahrensschritte werden dann Kollisionsobjekte in diesem Ursprungsbild gesucht. Dabei kann ein aus dem Ursprungsbild durch eine Reduzierung der Auflösung entstehendes Zwischenbild in dem bereits zum zweiten (n-ten) Mal durchlaufenden dritten Verfahrensschritt wiederum als Ursprungsbild angenommen werden u. s. w..
  • Durch den Einsatz der Rekursion ist es vorteilhafter Weise möglich, dass auch die Rechenzeit zur Untersuchung eines Zwischenbildes reduziert wird, wodurch die Rechenzeit für das gesamte Verfahren im Vergleich zu einem erfindungsgemäßen Verfahren, welches ohne Rekursion arbeitet, weiter verkürzt werden kann.
  • Bei einem erfindungsgemäßen mit einer Rekursion arbeitenden Verfahren bzw. System kann ein Abbruchkriterium für eine Beendigung der Rekursion mit Hilfe von Bedingungen aufgestellt werden, welche aus folgender Gruppe ausgewählt sein können:
    • • eine vorbestimmte Anzahl von Rekursionsstufen ist erreicht worden
    • • bei einer Rekursionsstufe ist eine vorbestimmte Auflösung des der Rekursionsstufe entsprechenden Zwischenbilds unterschritten worden
    • • bei einer Rekursionsstufe ist eine vorbestimmte Anzahl von Bildpunkten in dem der Rekursionsstufe entsprechenden Zwischenbild unterschritten worden
    • • bei einer Rekursionsstufe sind in dem der Rekursionsstufe entsprechenden Zwischenbild keine Kollisionsobjekte bestimmt worden
    • • bei einer Rekursionsstufe sind in dem der Rekursionsstufe entsprechenden Zwischenbild keine Hinweise auf Kollisionsobjekten bestimmt worden
  • Ein rekursiv arbeitendes Verfahren bzw. System lebt von der Effektivität des Abbruchkriteriums für die Beendigung einer Rekursion. Nur wenn das Abbruchkriterium intelligent gewählt ist, können Rekursionsstufen, in denen mit hoher Wahrscheinlichkeit nichts entdeckt wird, vermieden werden, wodurch die Rechenzeit zur Bearbeitung dieser Rekursionsstufen eingespart wird. Auf der anderen Seite darf das Abbruchkriterium nicht zu hart sein, da das Verfahren sonst schlechte Ergebnisse liefert, da Rekursionsstufen abgeschnitten werden, welche noch mit hoher Wahrscheinlichkeit Ergebnisse geliefert hätten. Die oben aufgeführten Bedingungen bilden eine gute Voraussetzung, um ein effektives Abbruchkriterium zu bestimmen. Da die meisten Verfahren zur Bildverarbeitung eine bestimmte Auflösung eines zu untersuchenden Bildes voraussetzen oder von einer bestimmten Anzahl von Bildpunkten pro Fläche ausgehen, sinkt die Erkennungsrate, wenn die Auflösung in einem Zwischenbild gering ist oder die Anzahl von Bildpunkten in einem Zwischenbild klein ist. Deshalb ist ein Abbruchkriterium, welches vermeidet, dass das Verfahren auch dann noch rekursiv weiterarbeitet, wenn eine vorbestimmte Auflösung des Zwischenbilds oder wenn eine vorbestimmte Anzahl von Bildpunkten in dem Zwischenbild unterschritten worden ist, effektiv, weil es die Rechenzeit für die Bearbeitung von Rekursionsstufen einspart, bei denen gewisse Voraussetzungen für das eingesetzte Bild verarbeitende Verfahren nicht erfüllt sind, so dass bei diesen Rekursionsstufen mit hoher Wahrscheinlichkeit keine Ergebnisse erzielt werden.
  • Das erfindungsgemäße Verfahren bzw. System kann derart ausgelegt sein, dass es dann ein Kollisionsobjekt bestimmt bzw. findet, wenn ein Wert für eine Übereinstimmung zwischen einem von mehreren Kollisionsobjektmodellen und dem Kollisionsobjekt, d. h. Bildpunkten, welche das Kollisionsobjekt innerhalb eines zu untersuchenden Bildes bilden, oberhalb eines ersten vorbestimmten Grenzwerts liegen. Ähnlich kann das Verfahren dann einen Hinweis auf ein Kollisionsobjekt bestimmen, wenn ein Wert für eine Übereinstimmung zwischen dem Kollisionsobjektmodell und dem Kollisionsobjekt oberhalb eines zweiten vorbestimmten Grenzwerts aber nicht oberhalb des ersten Grenzwerts liegt. Dabei kann das Verfahren mit Kollisionsobjektmodellen für Fahrzeuge und/oder Personen und/oder Tieren und/oder Hindernissen für Kraftfahrzeuge arbeiten.
  • Da die meisten Bild verarbeitenden Verfahren einen Wahrscheinlichkeitswert dafür liefern, dass sich innerhalb eines bestimmten Bildbereichs ein einem Kollisionsobjektmodell entsprechendes Kollisionsobjekt befindet, ist die oben dargestellte Art und Weise, in der ein Kollisionsobjekt bestimmt wird, sehr effektiv und auch mit geringer Rechenzeit zu bewerkstelligen.
  • Die Kollisionsobjektmodelle können dabei derart ausgestaltet sein, dass sie bei einer vorbestimmten Auflösung des Ursprungsbilds oder Zwischenbildes nur zu einer Übereinstimmung mit Kollisionsobjekten führen, welche in einem vorbestimmten Erkennungsbereich vorhanden sind. Dabei wird der Erkennungsbereich durch einen minimalen Abstand und einen maximalen Abstand des Kollisionsobjekts von dem Kraftfahrzeug definiert. Dabei kann der Erkennungsbereich durch eine Änderung der Auflösung des Zwischenbilds verschoben werden.
  • Für ein in einem Kraftfahrzeug eingesetztes Bild verarbeitendes Verfahren bzw. System ist ein Kollisionsobjekt um so wichtiger, je näher es sich an dem Kraftfahrzeug befindet, da die Wahrscheinlichkeit, dass es mit einem Kollisionsobjekt tatsächlich zu einer Kollision kommt, umso größer ist, je näher sich das Kollisionsobjekt an dem Kraftfahrzeug befindet. Deshalb ist es vorteilhaft, wenn die Kollisionsobjektmodelle derart ausgestaltet sind, dass das mit diesen Kollisionsobjektmodellen arbeitendes Verfahren Kollisionsobjekte nur in einem dicht an dem Kraftfahrzeug befindlichen Erkennungsbereich, vorzugsweise in einer Entfernung von 7 m bis 50 m von dem Kraftfahrzeug, sucht und bestimmt. Da ein Kollisionsobjekt in der Regel aus einer bestimmten Anordnung von Bildpunkten besteht, ist es nach dem Stand der Technik schwierig, mit ein und demselben Kollisionsobjektmodell nach Kollisionsobjekten zu suchen, welche unterschiedlich weit entfernt sind, wodurch sie unterschiedlich groß wirken bzw. in dem Bild durch unterschiedlich viele Bildpunkte repräsentiert sind. Deshalb werden nach dem Stand der Technik häufig verschieden große Kollisionsobjektmodelle verwendet, um nach unterschiedlich weit entfernten Kollisionsobjekten zu suchen. Das erfindungsgemäße Verfahren löst dieses Problem elegant, indem die Auflösung des Zwischenbildes geändert wird. Dadurch ändert sich auch die Anzahl der Bildpunkte, welche ein Kollisionsobjekt in dem Zwischenbild beschreiben, wodurch das Verfahren mit ein und demselben Kollisionsobjektmodell in verschiedenen Entfernungen bzw. Erkennungsbereichen nach Kollisionsobjekten suchen kann.
  • Dabei kann das erfindungsgemäße Verfahren bzw. System entweder derart ausgelegt sein, dass ein Erkennungsbereich bei einer bestimmten Rekursionsstufe mit dem Erkennungsbereich bei einer der bestimmten Rekursionsstufe folgenden Rekursionsstufe überlappt oder an diesen angrenzt.
  • Indem die Erkennungsbereiche von zwei aufeinander folgenden Rekursionsstufen überlappen, ist das Verfahren bzw. System in der Lage in der folgenden Rekursionsstufe noch Kollisionsobjekte zu bestimmen, welche unter Umständen bereits in der vorhergehenden Rekursionsstufe gefunden hätten werden können, wodurch das Verfahren zuverlässiger ist. Andererseits bietet das erfindungsgemäße Verfahren, bei welchem die Erkennungsbereiche von zwei aufeinander folgenden Rekursionsstufen aneinander grenzen, den Vorteil, dass es keinen Überlappungsbereich gibt, welcher doppelt untersucht wird, wodurch Rechenzeit eingespart wird.
  • Die vorliegende Erfindung eignet sich vorzugsweise zum Einsatz in einem Kraftfahrzeug, um Kollisionsobjekte zu entdecken. Selbstverständlich ist die Erfindung jedoch nicht auf diesen bevorzugten Anwendungsbereich beschränkt. Die Erfindung kann z. B. auch außerhalb eines Kraftfahrzeugs eingesetzt werden. Generell ist die Erfindung überall dort einsetzbar, wo Objekte nahezu in Echtzeit in einem aufgenommenen Bild bestimmt werden müssen.
  • Die vorliegende Erfindung wird nachfolgend näher unter Bezugnahme auf die beigefügte Zeichnung anhand eines bevorzugten Ausführungsbeispiels erläutert.
  • 1 stellt schematisch ein Kraftfahrzeug mit einem erfindungsgemäßen Bild verarbeitenden System dar.
  • In 2(a) ist ein Erkennungsbereich dargestellt, zu welchem ein in 2(b) dargestelltes Zwischenbild gehört.
  • In 3(a) ist ein weiterer Erkennungsbereich dargestellt, zu welchem ein in 3(b) dargestelltes überarbeitetes Originalbild gehört.
  • In 4(a) ist ein gesamter Erkennungsbereich eines erfindungsgemäßen Bild verarbeitenden Systems dargestellt, wobei in 4(b) ein Bild dargestellt ist, nachdem es von dem Bild verarbeitenden System bearbeitet worden ist.
  • In 1 ist schematisch ein Bild verarbeitendes System 2 in einem Kraftfahrzeug 1 dargestellt, welches ein von einer Kamera 3 aufgenommenes Bild auf Kollisionsobjekte untersucht.
  • In 2(a) ist das Kraftfahrzeug 1 von oben auf einer Straße fahrend zusammen mit zwei ebenfalls auf dieser Straße befindlichen Personen 12', 13' dargestellt. Dabei ist zusätzlich ein Kamerawinkel α sowie ein naher Erkennungsbereich 14a dargestellt. In 2(b) ist ein Zwischenbild 11a dargestellt, welches durch eine von dem Bild verarbeitenden System 2 durchgeführte Unterabtastung eines von der Kamera 3 aufgenommenen Ursprungsbildes entstanden ist. Dabei hat das Bild verarbeitende System 2 in diesem Zwischenbild 11a bereits eine nahe Person 13 als Kollisionsobjekt 13 entdeckt, weshalb diese nahe Person 13 in dem Zwischenbild 11a etwas hervorgehoben ist. Des Weiteren hat das Bild verarbeitende System 2 einen Hinweis auf ein weiteres Kollisionsobjekt, nämlich auf eine entfernte Person 12, gefunden, weshalb diese entfernte Person 12 in dem Zwischenbild 11a ebenfalls hervorgehoben und mit einem Rahmen versehen ist. Es sei angemerkt, dass das Bild verarbeitende System 2 hauptsächlich auf Grund der verwendeten Objektmodelle derart ausgelegt ist, dass es in dem Zwischenbild 11a bevorzugt nur Kollisionsobjekten entdeckt, welche sich innerhalb des nahen Erkennungsbereichs 14a befinden. Der Grund für diesen Sachverhalt ist der folgende. Das Bild verarbeitende System 2 arbeitet mit Objektmodellen, welche durch eine Anordnung von Bildpunkten bestimmt sind. Dabei vergleicht das Bild verarbeitende System 2 Bildbereiche eines aufgenommenen Bildes mit seinen Objektmodellen, wobei es einen Wert für eine Übereinstimmung angibt. Dabei führt ein Vergleich nur dann zu hohen Werten, d. h. zu einem Treffer, wenn ein Größenunterschied zwischen dem Objektmodell und einem Objekt in dem aufgenommenen Bild nicht zu groß ist. Unter der Voraussetzung, dass die Auflösung von durch die Kamera 3 aufgenommenen Bildern konstant ist, kann das Bild verarbeitende System 2 mit seinen Objektmodellen somit bevorzugt nur Objekte in den aufgenommenen Bildern entdecken, welche sich nicht zu dicht vor der Kamera 3 bzw. zu weit entfernt von der Kamera 3 befinden. Deshalb kann für eine bestimmte Auflösung ein Erkennungsbereich angegeben werden, welcher durch einen minimalen und maximalen Abstand von der Kamera 3 bestimmt ist, in welchem das Bild verarbeitende System 2 bevorzugt Objekte erkennt. Auf Grund dieses Sachverhalts kann ein Erkennungsbereich 14a, 14b einfach durch eine Veränderung der Auflösung des von dem Bild verarbeitenden Systems 2 zu analysierenden Bildes 11a, 11b eingestellt werden.
  • In 3(a) ist wiederum das auf der Straße fahrende Kraftfahrzeug 1 zusammen mit den beiden Kollisionsobjekten 12', 13' abgebildet. An Stelle des nahen Erkennungsbereichs 14a ist nun ein entfernter Erkennungsbereich 14b eingezeichnet. Dabei ist neben dem Kamerawinkel α ein der nahen Person 13' entsprechender Winkelbereich β eingezeichnet, wodurch ein der nahen Person 13' entsprechender Bildbereich 15' in dem entfernten Erkennungsbereich 14b ausgeblendet wird. Deshalb ist in 3(b) in dem Ursprungsbild 11b, welches im Verhältnis zu dem Zwischenbild 11a eine doppelte Auflösung besitzt, auch an Stelle der nahen Person 13 nur ein ausgeblendeter Bereich 15 dargestellt. Der Grund für eine Ausblendung des Bereichs 15 liegt darin, dass in einem vorhergehenden Verfahrensschritt mit Hilfe des Zwischenbildes 11a bereits ein Kollisionsobjekt in diesem ausgeblendeten Bereich 15 bestimmt worden ist. Um eine Rechenzeit intensive Durchsuchung in dem Ursprungsbild 11b zu vermeiden, blendet das Bild verarbeitende System 2 diesen der nahen Person 13 entsprechenden Bildbereich 15 im Originalbild 11b aus.
  • Das Bild verarbeitende System 2 untersucht nun das derart bearbeitete Originalbild 11b auf Kollisionsobjekte. Dabei beginnt es seine Untersuchung mit einem Bildbereich, welcher der entfernten Person 12 entspricht, da in dem vorhergehenden Verfahrensschritt bei der Untersuchung des Zwischenbildes 11a bereits ein Hinweis auf diese entfernte Person 12 entdeckt worden ist. Die restlichen Bereiche in dem Originalbild 11b, in denen von dem Bild verarbeitenden System 2 weder Kollisionsobjekte noch Hinweise auf Kollisionsobjekte gefunden worden sind, können dann je nach Ausführungsform des Bild verarbeitenden Systems 2 normal, nur grob oder gar nicht untersucht werden.
  • Zu bemerken ist, dass der nahe Erkennungsbereich 14a an den entfernten Erkennungsbereich 14b angrenzt, d. h. der maximale Abstand des nahen Erkennungsbereichs 14a ist gleich dem minimalen Abstand des entfernten Erkennungsbereichs 14b. Dadurch ist gewährleistet, dass das Bild verarbeitende System 2 einen Bereich, welcher durch den minimalen Abstand des nahen Erkennungsbereichs 14a und den maximalen Abstand des entfernten Erkennungsbereichs 14b definiert ist und einem Erkennungsbereich 14c des Bild verarbeitenden Systems 2 entspricht, nach Kollisionsobjekten durchsucht.
  • 4(a) stellt diesen Erkennungsbereich 14c des Bild verarbeitenden Systems 2 dar, welcher den nahen Erkennungsbereich 14a aus 2(a) und den entfernten Erkennungsbereich 14b aus 3(a) umfasst. Dieser Erkennungsbereich 14c definiert den Erkennungsbereich des Bild verarbeitenden Systems 2, d. h. das System 2 ist derart ausgelegt, dass es bevorzugt in diesem Erkennungsbereich, welcher einen Bereich von 7 m bis 50 m vor dem Kraftfahrzeug 1 abdeckt, nach Kollisionsobjekten sucht. Da sich sowohl die nahe Person 13 als auch die entfernte Person 12 innerhalb dieses Erkennungsbereichs befinden, werden beide Personen 12, 13 durch das Bild verarbeitende System 2 entdeckt und können entsprechend in einem in 4(b) dargestellten Originalbild 11c hervorgehoben werden.
  • Abschließend sei darauf hingewiesen, dass das Bild verarbeitende System 2 zur Suche nach Kollisionsobjekten in dem Ursprungsbild 11b oder in dem Zwischenbild 11a nahezu alle nach dem Stand der Technik bekannten Verfahren bzw. Systeme der Bildverarbeitung einsetzen kann.
  • Bezugszeichenliste
  • 1
    Kraftfahrzeug
    2
    Bild verarbeitendes System
    3
    Kamera
    11a
    Zwischenbild
    11b
    Originalbild ohne einen einer nahen Person entsprechenden Bereich
    11c
    Originalbild mit hervorgehobenen Personen
    12
    entfernte Person
    12'
    entfernter Person entsprechender Punkt
    13
    nahe Person
    13'
    naher Person entsprechender Punkt
    14a
    naher Erkennungsbereich
    14b
    entfernter Erkennungsbereich
    14c
    gesamter Erkennungsbereich
    15
    naher Person entsprechender Bildbereich des Originalbildes
    15'
    naher Person entsprechender Bereich im entfernten Erkennungsbereich
    α
    Kamerawinkel
    β
    naher Person entsprechender Winkelbereich im Kamerawinkel

Claims (15)

  1. Verfahren zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild, dadurch gekennzeichnet, dass in einem ersten Verfahrensschritt ein Ursprungsbild auf Grundlage eines von dem Kraftfahrzeug (1) aufgenommenen Bildes bereitgestellt wird, dass in einem zweiten Verfahrensschritt eine Auflösung des Ursprungsbildes reduziert wird, wodurch ein Zwischenbild (11a) entsteht, dass in einem dritten Verfahrensschritt in dem Zwischenbild (11a) Kollisionsobjekte (13) gesucht und bestimmt werden, dass in einem vierten Verfahrensschritt in dem Ursprungsbild nur in denjenigen Bildbereichen, in welchen im dritten Verfahrensschritt keine Kollisionsobjekte (13) bestimmt wurden, Kollisionsobjekte (12) gesucht und bestimmt werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Auflösung des Ursprungsbildes reduziert wird, indem das Ursprungsbild unterabgetastet wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auflösung des Ursprungsbilds zu einer Auflösung des Zwischenbilds (11a) ein Verhältnis von 2:1 aufweist.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem dritten Verfahrensschritt zusätzlich Hinweise auf Kollisionsobjekte (12) gesucht und bestimmt werden, und dass in dem vierten Verfahrensschritt zuerst Bildbereiche untersucht werden, in welchen in dem dritten Verfahrensschritt Hinweise auf Kollisionsobjekte bestimmt worden sind.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bestimmung der Kollisionsobjekte (13) in dem Zwischenbild (11a) in dem dritten Verfahrensschritt rekursiv über mehrere Rekursionsstufen durchgeführt wird, indem ein jeweiliges Zwischenbild (11a) in dem ersten Verfahrensschritt als Ursprungsbild betrachtet wird und mit Hilfe der zweiten bis vierten Verfahrensschritte Kollisionsobjekte (13) gesucht und bestimmt werden.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass ein Abbruchkriterium für eine Beendigung der Rekursion mit Hilfe von Bedingungen aufgestellt wird, welche ausgewählt sind aus einer Gruppe umfassend – eine vorbestimmte Anzahl von Rekursionsstufen ist erreicht worden, – bei einer Rekursionsstufe ist eine vorbestimmte Auflösung des der Rekursionsstufe entsprechenden Zwischenbilds unterschritten worden, – bei einer Rekursionsstufe ist eine vorbestimmte Anzahl von Bildpunkten in dem der Rekursionsstufe entsprechenden Zwischenbild unterschritten worden, – bei einer Rekursionsstufe sind in dem der Rekursionsstufe entsprechenden Zwischenbild keine Kollisionsobjekte bestimmt worden, – bei einer Rekursionsstufe sind in dem der Rekursionsstufe entsprechenden Zwischenbild keine Hinweise auf Kollisionsobjekte bestimmt worden.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Kollisionsobjekt (13) bestimmt wird, wenn ein Wert für eine Übereinstimmung zwischen einem von mehreren Kollisionsobjektmodellen und dem Kollisionsobjekt (13) oberhalb eines ersten vorbestimmten Grenzwerts liegt.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass ein Hinweis für ein Kollisionsobjekt (12) bestimmt wird, wenn ein Wert für eine Übereinstimmung zwischen einem von mehreren Kollisionsobjektmodellen und dem Kollisionsobjekt (12) oberhalb eines zweiten vorbestimmten Grenzwerts aber nicht oberhalb des ersten Grenzwerts liegt.
  9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass das Verfahren Kollisionsobjektmodelle für Fahrzeuge und/oder Personen und/oder Tiere und/oder Hindernisse für das Kraftfahrzeug (1) umfasst.
  10. Verfahren nach einem der Ansprüche 7–9, dadurch gekennzeichnet, dass die Kollisionsobjektmodelle derart ausgestaltet sind, dass sie bei einer vorbestimmten Auflösung des Ursprungsbilds oder Zwischenbilds (11a) nur zu einer Übereinstimmung mit Kollisionsobjekten (12; 13) führen, welche in einem vorbestimmten Erkennungsbereich (14a; 14b) vorhanden sind, welcher durch einen minimalen Abstand und einen maximalen Abstand von dem Kraftfahrzeug (1) gegeben ist.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass der Erkennungsbereich (14a; 14b) durch eine Änderung der Auflösung des Zwischenbilds verschoben wird.
  12. Verfahren nach einem der Ansprüche 10–11 und einem der Ansprüche 5–6, dadurch gekennzeichnet, dass der Erkennungsbereich bei einer bestimmten Rekursionsstufe mit dem Erkennungsbereich bei einer der bestimmten Rekursionsstufe folgenden Rekursionsstufe überlappt.
  13. Verfahren nach einem der Ansprüche 10–11 und einem der Ansprüche 5–6, dadurch gekennzeichnet, dass der minimale Abstand des Erkennungsbereichs (14b) bei einer bestimmten Rekursionsstufe mit dem maximalen Abstand des Erkennungsbereichs (14a) bei einer der bestimmten Rekursionsstufe folgenden Rekursionsstufe übereinstimmt.
  14. Bild verarbeitendes System zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild, dadurch gekennzeichnet, dass das Bild verarbeitende System (2) derart ausgestaltet ist, dass es ein Ursprungsbild auf Grundlage eines von dem Kraftfahrzeug (1) aufgenommenen Bildes empfängt, dass es ein Zwischenbild (11a) erstellt, indem es eine Auflösung des Ursprungsbildes reduziert, dass es in dem Zwischenbild (11a) Kollisionsobjekte (13) sucht und bestimmt, und dass es in dem Ursprungsbild nur in denjenigen Bildbereichen, in welchen in dem Zwischenbild (11a) keine Kollisionsobjekte (13) bestimmt wurden, Kollisionsobjekte (12) sucht und bestimmt.
  15. Bild verarbeitendes System nach Anspruch 14, dadurch gekennzeichnet, dass das Bild verarbeitende System (2) zur Durchführung des Verfahrens nach einem der Ansprüche 1–13 ausgestaltet ist.
DE102004003556.3A 2004-01-23 2004-01-23 Verfahren und System zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild mittels Bildverarbeitung Expired - Fee Related DE102004003556B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102004003556.3A DE102004003556B4 (de) 2004-01-23 2004-01-23 Verfahren und System zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild mittels Bildverarbeitung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102004003556.3A DE102004003556B4 (de) 2004-01-23 2004-01-23 Verfahren und System zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild mittels Bildverarbeitung

Publications (2)

Publication Number Publication Date
DE102004003556A1 DE102004003556A1 (de) 2005-09-22
DE102004003556B4 true DE102004003556B4 (de) 2014-11-27

Family

ID=34876996

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004003556.3A Expired - Fee Related DE102004003556B4 (de) 2004-01-23 2004-01-23 Verfahren und System zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild mittels Bildverarbeitung

Country Status (1)

Country Link
DE (1) DE102004003556B4 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69130190T2 (de) * 1990-06-06 1999-04-22 Thomson Multimedia Sa Hierarchisches Bewegungsabschätzungsverfahren in einer Bildsequenz

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69130190T2 (de) * 1990-06-06 1999-04-22 Thomson Multimedia Sa Hierarchisches Bewegungsabschätzungsverfahren in einer Bildsequenz

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A. Broggi, S. Berte: "A Morphological Model-Driven Approach to Real-Time Road Boundary Detection for Vision-Based Automotive Systems"; Proceedings of the Second IEEE Workshop on Applications of Computer Vision, , Dec. 5-7, 1994, pp. 73-80 *

Also Published As

Publication number Publication date
DE102004003556A1 (de) 2005-09-22

Similar Documents

Publication Publication Date Title
EP2043045B1 (de) Verfahren zur Objektverfolgung
EP1298454B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE102017203276B4 (de) Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
WO2005048195A2 (de) Verfahren zur korrespondenzanalyse in bilddatensätzen
DE102012216593A1 (de) Draufsichtbasiertes avm-einparkhilfesystem
WO2007033870A1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
EP1634243A1 (de) Verfahren und vorrichtung zur objektortung für kraftfahrzeuge
WO2018215031A1 (de) Verfahren zur erkennung von objekten in einem bild einer kamera
DE102010016251A1 (de) Erkennungsverfahren für ein bewegliches Objekt und das der Erkennung des beweglichen Objekts zugrunde liegende Befehlseingabeverfahren
DE102017216267B4 (de) Verfahren und Vorrichtung zur Datenreduktion merkmalsbasierter Umfeldinformationen eines Fahrerassistenzsystems
DE10141055B4 (de) Verfahren zur Bestimmung von Bewegungsinformationen
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102004003556B4 (de) Verfahren und System zum Suchen von Kollisionsobjekten in einem von einem Kraftfahrzeug aufgenommenen Bild mittels Bildverarbeitung
EP2037407B1 (de) Verfahren zur Objekterfassung
EP3811336A1 (de) Verfahren zur bestimmung von zueinander korrespondierenden bildpunkten, soc zur durchführung des verfahrens, kamerasystem mit dem soc, steuergerät und fahrzeug
DE102018114229A1 (de) Verfahren zum Bestimmen eines Bewegungszustands eines Objekts in Abhängigkeit einer erzeugten Bewegungsmaske und eines erzeugten Begrenzungsrahmens, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018132627A1 (de) Verfahren zum Erfassen einer Umgebung eines Kraftfahrzeugs mittels zeitlicher Fusion von Bildern durch ein künstliches neuronales Netz; Steuereinheit, Fahrerassistenzsystem; Computerprogrammprodukt
DE102017205782A1 (de) Steuervorrichtung und Verfahren
WO2021063572A1 (de) Vorrichtung und verfahren zum verarbeiten von daten eines neuronalen netzes
DE102015112389A1 (de) Verfahren zum Erfassen zumindest eines Objekts auf einer Straße in einem Umgebungsbereich eines Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
DE102020208080A1 (de) Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße
EP3973458A1 (de) Verfahren zum betreiben eines tiefen neuronalen netzes
EP1998272A2 (de) Vorrichtung zur Bestimmung einer Objekt- und/oder Existenzwahrscheinlichkeit eines Suchobjekts in einem Auslesefenster eines Bildes, Verfahren sowie Computerprogramm

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8110 Request for examination paragraph 44
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R082 Change of representative
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee