DE102009007412B4 - Verfahren zur Verfolgung wenigstens eines Objekts - Google Patents

Verfahren zur Verfolgung wenigstens eines Objekts Download PDF

Info

Publication number
DE102009007412B4
DE102009007412B4 DE102009007412A DE102009007412A DE102009007412B4 DE 102009007412 B4 DE102009007412 B4 DE 102009007412B4 DE 102009007412 A DE102009007412 A DE 102009007412A DE 102009007412 A DE102009007412 A DE 102009007412A DE 102009007412 B4 DE102009007412 B4 DE 102009007412B4
Authority
DE
Germany
Prior art keywords
pixels
image
determined
correspondence
mapping rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102009007412A
Other languages
English (en)
Other versions
DE102009007412A1 (de
Inventor
Dr. Giesler Björn
Kristin Schönherr
Dr. Braun Julian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Audi Electronics Venture GmbH
Original Assignee
Audi AG
Audi Electronics Venture GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG, Audi Electronics Venture GmbH filed Critical Audi AG
Priority to DE102009007412A priority Critical patent/DE102009007412B4/de
Publication of DE102009007412A1 publication Critical patent/DE102009007412A1/de
Application granted granted Critical
Publication of DE102009007412B4 publication Critical patent/DE102009007412B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

Verfahren zur Verfolgung wenigstens eines Objekts, das in wenigstens zwei mittels eines Bildaufnahmemittels eines Kraftfahrzeugs aufgenommenen Bildern, bestehend aus Bildpunkten, abgebildet ist, wobei – in einem ersten Bild, in dem das Objekt mittels eines Objektidentifizierungsalgorithmus sicher identifiziert wurde, ein Bereich ausgewählt wird, der das Objekt umschließt, – in diesem Bereich wenigstens drei Bildpunkte ausgewählt werden, – in einem zweiten Bild, das nach dem ersten Bild aufgenommen wurde, Korrespondenzbildpunkte zu den ausgewählten Bildpunkten ermittelt werden, wobei für jeden ausgewählten Bildpunkt ein Korrespondenzbildpunkt ermittelt werden soll, – eine Untermenge der ausgewählten Bildpunkte und der entsprechenden Korrespondenzbildpunkte zufällig bestimmt wird, – aus der Untermenge eine Abbildungsvorschrift der ausgewählten Bildpunkte auf die Korrespondenzbildpunkte berechnet wird, – in Abhängigkeit eines ersten oder mehrerer erster Parameter bezüglich der transformierten Bildpunkte, die bei Anwendung der Abbildungsvorschrift auf die ausgewählten Bildpunkte der Untermenge ermittelt werden oder die bei der Berechnung der Abbildungsvorschrift bestimmt werden, und der diesen zugeordneten Korrespondenzbildpunkte eine neue Untermenge zufällig bestimmt wird, – die transformierten Bildpunkte der weiteren ausgewählten und nicht in der Untermenge enthaltenen Bildpunkte unter Verwendung der ermittelten Abbildungsvorschrift berechnet werden, – in Abhängigkeit eines zweiten oder mehrerer zweiter Parameter bezüglich der transformierten Bildpunkte aller ausgewählten Bildpunkte und der diesen zugeordneten Korrespondenzbildpunkte eine neue Untermenge zufällig bestimmt wird, und – die Abbildungsvorschrift zur Verfolgung des Objekts verwendet wird.

Description

  • Die Erfindung betrifft ein Verfahren zur Verfolgung wenigstens eines Objekts, das in wenigstens zwei mittels eines Bildaufnahmemittels eines Kraftfahrzeugs aufgenommenen Bildern, bestehend aus Bildpunkten, abgebildet ist.
  • Zur Erhöhung der Kraftfahrzeugsicherheit ist es bekannt, Sensorinformationen verschiedenster Sensoren auszuwerten, um ausgehend von der Analyse der Sensordaten den Betrieb des Kraftfahrzeugs zu steuern oder den Fahrer zu warnen. Generell ist hierbei eine hohe Genauigkeit des Auswertungsergebnisses wichtig, um Situationen nicht falsch einzuschätzen und beispielsweise den Fahrer unnötig zu warnen.
  • An die zur Auswertung stehenden Daten ist dabei die Anforderung zu stellen, dass sie einerseits zeitlich aktuell sind und andererseits eine genügende Genauigkeit aufweisen.
  • Speziell bei Bilddaten besteht das Problem, dass auf diesen angewendete Objekterkennungsalgorithmen zu rechenintensiv sind, um für jedes aufgenommene Bild eine Objekterkennung durchzuführen. Zusätzlich zu diesem Problem kommt hinzu, dass eine Objekterkennung aufgrund ungünstiger Parameter teilweise fehlschlägt. Es kann daher leicht passieren, dass sich aus den Bilddaten für einen Zeitraum von mehreren Sekunden über ein Objekt keine Aussagen treffen lässt. Für sicherheitsrelevante Fahrerassistenzsysteme ist dieser Zeitraum deutlich zu lange, um auf Veränderungen im Fahrzeugumfeld reagieren zu können.
  • Es ist daher bekannt, sogenannte Trackingalgorithmen zu benutzen. Bekannte Trackingalgorithmen sind der Kalmanfilter und der Partikelfilter. Durch diese lässt sich die Position des Objekts aus sicher erkannten Positionen zu früheren Zeitpunkten und den für das Objekt geltenden kinematischen Gesetzen schätzen. Für Anwendungen im Kraftfahrzeugumfeld und speziell zur Objekterkennung in der Fahrzeugumgebung sind diese Trackingalgorithmen aber nicht ausreichend, da die geschätzte Objektposition nicht notwendigerweise mit der tatsächlichen Position übereinstimmen muss.
  • Es ist daher notwendig, die Detektionslücken durch eine Wiederfindung bzw. Wiedererkennung des Objekts in zugehörigen, normalerweise mit zeitlichem Versatz aufgenommenen Bildern zu schließen.
  • Aus WO 2008/106725 A1 ist ein Verfahren zur effizienten und genauen 3D-Objektverfolgung bekannt, bei dem zunächst ein Rendering eines dreidimensionalen Objektmodels vorgenommen wird, wonach eine Reihe von Punktmerkmalen des gerenderten Objekts extrahiert werden, woraufhin zu diesen korrespondierenden Punktmerkmale in einem Image Stream lokalisiert werden, basierend auf welchen entsprechende Vektoren abgeleitet werden. Das dortige Verfahren dient vornehmlich dem Gesichtstracking. Im Rahmen dieses Verfahrens besteht ferner die Möglichkeit, einen Satz konsistenter Merkmale auszuwählen, woraufhin eine Filterung dieser Merkmale zur Ableitung der neuen Vektoren erfolgt. Diese Merkmalsauswahl kann zufallsgesteuert erfolgen. Alternativ zur Extraktion respektive Auswahl der Punktmerkmale ist es auch möglich, diese rechnerisch zu ermitteln, gestützt auf eine entsprechende Bildanalyse von im Bild erfassbaren positionsabhängigen Gradienten.
  • Der Erfindung liegt damit die Aufgabe zugrunde, ein Verfahren zur Wiederfindung bzw. Wiedererkennung wenigstens eines Objekts in einem Bild anzugeben, das dadurch durchgängig Informationen für darauf aufbauende Sicherheitsfunktionen liefert.
  • Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass
    • – in einem ersten Bild, in dem das Objekt mittels eines Objektidentifizierungsalgorithmus sicher identifiziert wurde, ein Bereich ausgewählt wird, der das Objekt umschließt,
    • – in diesem Bereich wenigstens drei Bildpunkte ausgewählt werden,
    • – in einem zweiten Bild, das nach dem ersten Bild aufgenommen wurde, Korrespondenzbildpunkte zu den ausgewählten Bildpunkten ermittelt werden, wobei für jeden ausgewählten Bildpunkt ein Korrespondenzbildpunkt ermittelt werden soll,
    • – eine Untermenge der ausgewählten Bildpunkte und der entsprechenden Korrespondenzbildpunkte zufällig bestimmt wird,
    • – aus der Untermenge eine Abbildungsvorschrift der ausgewählten Bildpunkte auf die Korrespondenzbildpunkte berechnet wird,
    • – in Abhängigkeit eines ersten oder mehrerer erster Parameter bezüglich der transformierten Bildpunkte, die bei Anwendung der Abbildungsvorschrift auf die ausgewählten Bildpunkte der Untermenge ermittelt werden oder die bei der Berechnung der Abbildungsvorschrift bestimmt werden, und der diesen zugeordneten Korrespondenzbildpunkte eine neue Untermenge zufällig bestimmt wird,
    • – die transformierten Bildpunkte der weiteren ausgewählten und nicht in der Untermenge enthaltenen Bildpunkte unter Verwendung der ermittelten Abbildungsvorschrift berechnet werden,
    • – in Abhängigkeit eines zweiten oder mehrerer zweiter Parameter bezüglich der transformierten Bildpunkte aller ausgewählten Bildpunkte und der diesen zugeordneten Korrespondenzbildpunkte eine neue Untermenge zufällig bestimmt wird, und
    • – die Abbildungsvorschrift zur Verfolgung des Objekts verwendet wird.
  • Grundlage der Objektverfolgung ist also zunächst einmal die Identifizierung des interessierenden Objekts mittels eines Objektidentifizierungsalgorithmus. Bei dem Objekt kann es sich um ein vorausfahrendes Kraftfahrzeug, um einen Fußgänger oder jedes beliebige andere relevante Objekt handeln. Als Objektidentifizierungsalgorithmus wird selbstverständlich jeweils ein auf die Fragestellung zugeschnittener und optimierter Algorithmus verwendet. Abhängig von der Entfernung zum Bildaufnahmemittel des Kraftfahrzeugs und der Größe des Objekts umschließt dieses eine Vielzahl an Bildpunkten in dem Bild, in dem das Objekt identifiziert wurde. Aus dieser Vielzahl an Bildpunkten wird eine bestimmte Menge ausgesucht. Hierbei kann auf Bildpunkte abgestellt werden, die sich in irgendeiner Art und Weise auszeichnen und daher zur Verfolgung besonders geeignet sind. Die Auswahl kann aber auch nach beliebigen anderen Kriterien erfolgen.
  • Nach der Auswahl der Bildpunkte möglichst aus dem Bereich des Objekts im ersten Bild werden in einem darauffolgenden Bild Korrespondenzbildpunkte zu den ausgewählten Bildpunkten ermittelt. Auch hier kann auf bekannte Algorithmen zurückgegriffen werden. Als Beispiel sei der optische Fluss nach Lucas-Kanade genannt. Ein Problem bei der Ermittlung der Korrespondenzbildpunkte besteht darin, dass sich nicht zu jedem ausgewählten Bildpunkt auch wirklich mit Sicherheit ein Korrespondenzbildpunkt finden lässt. Ein weiteres Problem besteht selbstverständlich darin, dass auch ein falscher Korrespondenzbildpunkt bestimmt werden kann.
  • Daher ist vorgesehen, aus den ausgewählten Bildpunkten, zu denen ein Korrespondenzbildpunkt gefunden wurde, eine Untermenge auszuwählen. Diese sollte relativ klein sein und etwa zwei bis vier Bildpunkte aufweisen. Diese zwei bis vier Bildpunkte und die entsprechenden zwei bis vier Korrespondenzbildpunkte werden dann zur Berechnung einer Abbildungsvorschrift verwendet. Diese Berechnung beruht auf einer Modellanpassung, wobei in einem Modell beispielsweise Größen wie Translation oder Streckung berücksichtigt werden können. Im Rahmen der Modellanpassung werden mehrere erste Parameter oder auch Modellparameter gewonnen. Ein sich ergebender Modellparameter bezüglich eines Fußgängers könnte beispielsweise dessen Geschwindigkeit sein. Stimmt der oder einer der ersten Parameter nicht mit bestimmten Sollvorgaben überein, wird also beispielsweise ein Schwellwert bezüglich der Geschwindigkeit überschritten, so werden die Parameter bzw. die Abbildungsvorschrift verworfen und es wird eine neue Untermenge ausgewählt. Sollten die ersten Parameter sich im zulässigen Bereich bewegen, werden aus den ausgewählten Bildpunkten des ersten Bildes mittels der Abbildungsvorschrift transformierte Bildpunkte berechnet. Bei Übereinstimmung des der Abbildungsvorschrift zugrundeliegenden Modells mit dem Verhalten des Objekts würden die transformierten Bildpunkte und die Korrespondenzbildpunkte übereinstimmen. Dies ist in der Realität nicht der Fall und dementsprechend werden anhand der Abweichungen der transformierten Bildpunkte von den Korrespondenzbildpunkten ein oder mehrere zweite Parameter berechnet. Überschreiten der oder die zweiten Parameter einen vorgegebenen Schwellwert oder mehrere vorgegebene Schwellwerte, so wird eine neue Untermenge ausgewählt. Außer bei der ersten Ermittlung des oder der zweiten Parameter werden dieser oder diese auch mit einem oder mehreren vorher ermittelten zweiten Parametern verglichen und der jeweils bessere Satz an zweiten Parametern wird zumindest teilweise zur weiteren Verwendung abgelegt.
  • Die Auswahl einer Untermenge und die darauffolgenden Schritte werden solange wiederholt, bis entweder ein Satz an Parametern gefunden wurde, der eine bestimmte Zielvorgabe erfüllt oder bis eine gewissen Anzahl an Durchlaufen vorgenommen wurde. Die nach Maßgabe der ersten und zweiten Parameter gefundene optimale Abbildungsvorschrift wird abschließend zur Verfolgung des Objekts verwendet.
  • Dieses Verfahren ist trotz der Vielzahl an auszuführenden Operationen erheblich schneller durchzuführen als ein Objektidentifizierungsalgorithmus und robuster als bekannte Trackingalgorithmen.
  • Vorzugsweise kann der im ersten Bild ausgewählte Bereich im Wesentlichen das Objekt umfassen. Mit anderen Worten wird der Bereich im Wesentlichen von dem Objekt ausgefüllt. Die ausgewählten Bildpunkte liegen daher mit hoher Wahrscheinlichkeit im Objekt und mit größerer Wahrscheinlichkeit nicht außerhalb des Objekts, das es zu verfolgen gilt.
  • Mit besonderem Vorteil kann die Dichte der ausgewählten Bildpunkte im ausgewählten Bereich des ersten Bildes in der Mitte des Bereichs höher als am Rand des Bereichs gewählt werden. Typische zu verfolgende Objekte wie ein Kraftfahrzeug oder eine Person weisen in ihrer Mitte keine Löcher auf. Dementsprechend beziehen sich Bildpunkte in der Mitte des das Objekt enthaltenen Bereichs mit einer höheren Wahrscheinlichkeit auf das zu verfolgende Objekt als Bildpunkte am Rand des Bereichs. In diesem Randbereich könnte sich mit höherer Wahrscheinlichkeit ein nicht interessierender Hintergrund befinden. Werden zu viele Bildpunkte im Hintergrund ausgewählt, wird nämlich dieser verfolgt.
  • Vorzugsweise kann als Parameter die Standardabweichung der Abstände der transformierten Bildpunkte von den jeweiligen Korrespondenzbildpunkten verwendet werden. Bereits aus zwei ausgewählten Bildpunkten lässt sich nach Ermittlung der entsprechenden Korrespondenzbildpunkte und der Bestimmung der Abbildungsvorschrift eine durchschnittliche Differenz der transformierten Bildpunkte von den jeweiligen Korrespondenzbildpunkten mit einer zugehörigen Standardabweichung ermitteln. Diese Standardabweichung kann als Maß für die Güte der Abbildungsvorschrift herangezogen werden. Im Falle einer Standardabweichung, die einen gewissen Schwellwert überschreitet, wird dementsprechend die aus den ausgewählten Bildpunkten der Untermenge bestimmte Abbildungsvorschrift verworfen und eine neue Untermenge ausgewählt.
  • In besonders vorteilhafter Ausgestaltung kann der Abbildungsvorschrift eine Translation in Form eines Translationsparameters und eine Skalierung in Form eines Skalierungsparameters berücksichtigt werden. Die Translation erfasst dabei im Wesentlichen eine horizontale Bewegung bezüglich des Kraftfahrzeugs, während die Skalierung eine Abstandsänderung des zu verfolgenden Objekts berücksichtigt. Während sich in geringen Abständen vor allem die Translation bemerkbar macht, ist bei verhältnismäßig weit entfernten Objekten bzw. sich stark verändernden Abständen die Skalierung entscheidender. Ein Fußgänger, der sich vor dem Kraftfahrzeug und damit in der Nähe des Kraftfahrzeugs bewegt, verändert durch die Bewegung seine Größenverhältnisse und damit seine Skalierung nur unwesentlich. Im Gegensatz dazu wird ein beispielsweise 100 m vor dem eigenen Kraftfahrzeug befindliches Kraftfahrzeug sich, wenn es sich beispielsweise auf das eigene Kraftfahrzeug zubewegt, von der Translationsbewegung her kaum verändern, während aufgrund der Annäherung mit großer Geschwindigkeit die Skalierung deutlich variiert. Durch diese beiden Parameter können also die wesentlichen Bewegungsarten berücksichtigt werden.
  • Bei einer Verwendung der eben beschriebenen Abbildungsvorschrift können vorzugsweise als gegebenenfalls weitere erste Parameter der Translationsparameter und/oder der Skalierungsparameter verwendet werden. Der Translationsparameter ist ein Maß für die Ortsverschiebung des verfolgten Objekts. Aufgrund der Zeitdifferenz zwischen der Aufnahme des ersten und des weiteren Bildes lässt sich daraus auch eine Geschwindigkeit ermitteln. Dementsprechend lassen sich Grenzgeschwindigkeiten oder Grenzbewegungen vorgeben, bei deren Überschreiten von einer fehlerhaften Berechnung des Translationsparameters ausgegangen werden muss. Generell können alle Geschwindigkeiten eines Fußgängers, die 30 km/h überschreiten, als fehlerhaft ausgeschlossen werden. Hierbei ist selbstverständlich die Relativbewegung des Kraftfahrzeugs zum verfolgten Objekt zu berücksichtigen. Auch aus dem Skalierungsparameter kann eine Geschwindigkeitsinformation gezogen und analog angewandt werden.
  • In einer Weiterbildung kann ein gemäß der Abbildungsvorschrift transformierter Bildpunkt und der diesem zugeordnete Korrespondenzbildpunkt, deren Abstand einen Schwellwert überschreitet, als Fehlabbildung gezählt werden. Mit besonderem Vorteil wird dann als zweiter Parameter die Anzahl der Fehlabbildungen verwendet. D. h., dass basierend auf den Bildpunkten der Untermenge eine Abbildungsvorschrift ermittelt wird, und nach deren Anwendung auf alle ausgewählten Bildpunkte transformierte Bildpunkte ermittelt werden können. Liegen die Parameter der Abbildungsvorschrift, die ja nur aus der Untermenge ermittelt wurde, auch allen anderen ausgewählten Bildpunkten mit entsprechenden Korrespondenzbildpunkten zugrunde, so müssten die transformierten Bildpunkte in etwa den Korrespondenzbildpunkten entsprechen. Ist dies nicht der Fall, ist entweder wenigstens ein Parameter der Abbildungsvorschrift fehlerbehaftet oder ein Korrespondenzbildpunkt wurde fehlerhaft bestimmt. Die Anzahl der Fehlabbildungen soll daher beschreiben, ob ein Parameter der Abbildungsvorschrift fehlerbehaftet ist oder lediglich ein einzelner Korrespondenzpunkt. Weichen zu viele transformierte Bildpunkte von ihren Korrespondenzbildpunkten ab, ist von einem fehlerhaften Parameter in der Abbildungsvorschrift auszugehen und dementsprechend sind durch Ermittlung einer neuen Untermenge neue Parameter für die Abbildungsvorschrift zu bestimmen.
  • Zusätzlich oder alternativ kann in Abhängigkeit der transformierten Bildpunkte und der entsprechenden Korrespondenzbildpunkte ein Gesamtabstand berechnet werden. Dann kann als gegebenenfalls weiterer zweiter Parameter das Überschreiten eines Abstandsschwellwerts durch den Gesamtabstand verwendet werden. Die zusätzliche Überprüfung des Gesamtabstands bietet den Vorteil, dass auch dann eine Fehlerhaftigkeit wenigstens eines Parameters der Abbildungsvorschrift erkannt werden kann, wenn aufgrund des Fehlers der Abstand zwischen den transformierten Bildpunkten und den entsprechenden Korrespondenzbildpunkten oft knapp unter dem Schwellwert liegt und daher sich die Anzahl der Fehlabbildungen gering hält. In diesem Fall ist die Abbildungsvorschrift zwar nicht optimal, aufgrund der geringen Anzahl an Überschreitungen des Schwellwerts kann die Fehlerhaftigkeit der Abbildungsvorschrift allerdings nicht erkannt werden. Daher ist es sinnvoll, als weiteres Kriterium den Gesamtabstand zu verwenden.
  • Daneben betrifft die Erfindung auch ein Kraftfahrzeug mit einem Bildaufnahmemittel und einer Steuerungseinrichtung, wobei die Steuerungseinrichtung zur Durchführung des beschriebenen Verfahrens ausgebildet ist.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
  • 1 ein erfindungsgemäßes Kraftfahrzeug,
  • 2 ein Ablaufschema des erfindungsgemäßen Verfahrens,
  • 3 eine Prinzipdarstellung eines mit der Bildaufnahmeeinrichtung aufgenommenen ersten Bildes,
  • 4 eine Prinzipdarstellung eines mit der Bildaufnahmeeinrichtung aufgenommenen zweiten Bildes,
  • 5 eine Prinzipdarstellung einer Untermenge auf ausgewählten Bildpunkten und entsprechenden Korrespondenzbildpunkten in einer ersten Ausführungsform,
  • 6 eine Prinzipdarstellung einer Untermenge auf ausgewählten Bildpunkten und entsprechenden Korrespondenzbildpunkten in einer zweiten Ausgestaltung,
  • 7 eine Prinzipdarstellung der ausgewählten und der transformierten Bildpunkte, und
  • 8 eine Prinzipdarstellung der transformierten Bildpunkte und der Korrespondenzbildpunkte.
  • 1 zeigt ein Kraftfahrzeug 1 mit einer Kamera 2, einem Fahrerassistenzsystem 3, einer Steuerungseinrichtung 4 und einem Bus 5, über den die Bilddaten der Kamera 2 an die Steuerungseinrichtung 4 übermittelt werden können.
  • Wie 2 zeigt, weist das Verfahren zur Verfolgung wenigstens eines Objekts acht Schritte S1–S8 auf. Im ersten Schritt S1 wird in einem Bild, in dem das zu verfolgenden Objekt bereits identifiziert wurde, ein Bereich um das Objekt herum ausgewählt. Dieser umfasst im Wesentlichen das Objekt. Dies ist wichtig, da bei der folgenden Korrespondenzbildpunktsuche das Objekt und nicht irgendwelche Gegenstände im Bildhintergrund verfolgt werden sollen. Dementsprechend liegen für unterschiedliche zu verfolgende Objekte unterschiedliche Modell-Bereiche vor. Ein Mensch wird beispielsweise am einfachsten durch ein schmales Oval umschlossen, während für ein Kraftfahrzeug ein Rechteck oder noch besser ein Trapez geeignet sind.
  • Als Schritt S2 werden in diesem Bereich überwiegen in der Mitte zehn Bildpunkte ausgewählt. Dabei wird zusätzlich darauf geachtet, dass sich diese Bildpunkte in irgendeiner Art und Weise auszeichnen, die für eine Korrespondenzbildpunktsuche vorteilhaft sind. Dabei kann es sich beispielsweise um die Farbe des Bildpunkts in Form der Signalintensität in den Farbkanälen des Bildes handeln.
  • Im darauffolgenden Schritt S3 werden in einem zweiten Bild, das nach dem ersten Bild aufgenommen wurde, die Korrespondenzbildpunkte zu den ausgewählten Bildpunkten des ersten Bildes ermittelt. Entsprechende Algorithmen hierfür, beispielsweise der optische Fluss nach Lucas-Kanade, sind bekannt.
  • Nach der Bestimmung der Korrespondenzbildpunkte liegen jeweils Paare von ausgewählten Bildpunkten und Korrespondenzbildpunkten vor. Von diesen Paaren wird eine Untermenge, d. h., ein Teil der Paare, ausgewählt (S4). Die Auswahl erfolgt zufällig, d. h., mit Hilfe eines Algorithmus, der Zufallszahlen generiert. Derartige Algorithmen sind hinreichend bekannt, als Beispiel sei die Monte-Carlo-Simulation genannt. Diese Untermenge wird dann verwendet, um als Schritt S5 die Parameter der Abbildungsvorschrift zu bestimmen. Berücksichtigt die Abbildungsvorschrift eine Translation und eine Skalierung, sind dementsprechend ein Translationsparameter und ein Skalierungsparameter zu ermitteln. Diese Parameter können beispielsweise mit der Methode der kleinsten Quadrate aufgefunden werden. Nach Ermittlung der Parameter kann sofort darüber entschieden werden, ob diese in einem sinnvollen Bereich liegen oder nicht. Aufgrund der Zeitdifferenz zwischen der Aufnahme des ersten und des zweiten Bildes kann mittels des Translationsparameters eine Geschwindigkeit des Objekts berechnet werden. Bei der Geschwindigkeitsberechnung muss selbstverständlich die Eigengeschwindigkeit des Kraftfahrzeugs in die Berechnung der Geschwindigkeit des Objekts mit einfließen, da diese die Relativgeschwindigkeit beeinflusst. Die Geschwindigkeit eines Menschen kann 30 km/h nicht überschreiten und die eines Kraftfahrzeugs sollte nicht über 250 km/h liegen. Diese Schwellwerte, die herangezogen werden, um die Güte der Parameter zu beurteilen, können dabei in Abhängigkeit der Fahrzeugumgebung getroffen werden. Beispielsweise kann für die Objektgeschwindigkeiten eines Kraftfahrzeugs innerhalb einer Stadt ein niedrigerer Grenzwert veranschlagt werden als auf einer Autobahn. Diese Plausibilitätsprüfung findet sich als Schritt S6 in 2.
  • Weisen die Parameter der Abbildungsvorschrift Werte auf, die plausibel sind, wird die Abbildungsvorschrift auf alle ausgewählten Bildpunkte zur Berechnung transformierter Bildpunkte in Schritt S7 eingesetzt. Im nächsten Schritt S8 folgt dann eine Überprüfung der transformierten Bildpunkte dahingehend, ob sie im Vergleich zu den Korrespondenzbildpunkten plausibel erscheinen. Hierzu wird der Abstand der transformierten Bildpunkte und der entsprechenden Korrespondenzbildpunkte berechnet, wobei zur Abstandsberechnung eine Vielzahl von Distanzen bekannt ist. Zur Verfügung stehen beispielsweise die euklidische Distanz, die Mahalanobis-Distanz, die quadrierte euklidische Distanz oder auch der City-Block-Abstand. In diesem Fall wird der euklidische Abstand verwendet, da er in einem weitergehenden Schritt zur Berechnung des Gesamtabstandes geeignet ist. In einem ersten Ansatz wird der Abstand eines transformierten Bildpunktes und des entsprechenden Korrespondenzbildpunktes betrachtet und bei Überschreiten eines Schwellwerts dieses Bildpunktepaar als Fehlabbildung eingestuft. Dieser Vergleich mit einem Schwellwert wird für alle Bildpunktepaare durchgeführt. Überschreitet die Anzahl der Fehlabbildungen einen weiteren Schwellwert, wird die Abbildungsvorschrift bzw. ihre Parameter verworfen und eine neue Untermenge ausgesucht. Bleibt die Anzahl der Fehlabbildungen unter dem vorgegebenen Schwellwert, werden die Abstände der transformierten Bildpunkte zu den Korrespondenzbildpunkten zu einem Gesamtabstand zusammengefasst. Auch dieser darf einen Schwellwert nicht überschreiten, da sonst die Parameter der Abbildungsvorschrift verworfen werden.
  • Haben die Parameter der Abbildungsvorschrift bzw. die aus ihnen berechneten Bildpunkte alle Kriterien erfüllt, werden sie abgelegt. Im Anschluss wird wenigstens ein zweites Mal eine neue Untermenge ausgewählt, um einen neuen Parametersatz für die Abbildungsvorschrift zu ermitteln. Dieser wird mit dem abgelegten Parametersatz verglichen und in Abhängigkeit des Vergleichsergebnisses wird der bessere Parametersatz abgespeichert. Als besserer Parametersatz gilt der Parametersatz, dessen Gesamtfehler am kleinsten ist. Alternativ können auch andere Kriterien wie beispielsweise die kleinste Standardabweichung aller Abstände verwendet werden. Typischerweise werden die Schritte S4–S7 mehrere 100 mal durchgeführt, so dass nach einer Vielzahl von Parameterberechnungen und Vergleichen der Parametersatz mit den plausibelsten Parametern vorliegt. Anhand dieses Parametersatzes wird im letzten Schritt S8 die Abbildungsvorschrift zur Verfolgung des Objekts angewandt.
  • Trotz der Vielzahl an Berechnungsschritten ist dieses Verfahren sehr schnell, robust und effizient, da moderne Steuereinrichtungen zur Berechnung des wahrscheinlichsten Parametersatzes nur Bruchteile von Sekunden benötigen.
  • Dieses Vorgehen wird nun im Folgenden anhand der Verfolgung einer Person in einem Bild illustriert. 3 zeigt ein Bild 6, das mit einer Kamera 2 eines Kraftfahrzeugs 1 aufgenommen wurde, wobei in dem Bild 6 eine Person 7 erkennbar ist. Im Bild 6 wird ein Bereich 8 ausgewählt, der die Person 7 umfasst. Dies ist im Falle eines Menschen ein ovaler Bereich 8, wobei alternativ auch ein Rechteck verwendet werden kann. Jedenfalls muss die Person 7 den Bereich 8 im Wesentlichen weitgehend ausfüllen bzw. vollständig darin enthalten sein. Im Bereich 8 werden anschließend mittels eines Algorithmus für Zufallszahlen zufällig die Bildpunkte 10, 11, 12, 13, 14, 15, 16, 17, 18 und 19 ausgewählt. Alle Bildpunkte bis auf die Bildpunkte 12, 16 und 18 liegen innerhalb der Person 7. Der Bildpunkt 17, der sich am Arm der Person 7 befindet, ist dementsprechend beweglich im Vergleich zu den im Rumpf angeordneten Bildpunkten 10, 11 und 1315.
  • Zeitlich gesehen nach dem ersten Bild 6 wird das zweite Bild 9 aufgenommen das in 4 dargestellt ist. In diesem ist immer noch die Person 7 abgebildet, sie hat sich allerdings etwas nach rechts bewegt und den Arm, in dem ein Bildpunkt ausgewählt wurde, erhoben. Im zweiten Bild 9 wird eine Korrespondenzpunkt-Suche gemäß Lucas-Kanade durchgeführt, um die Bildpunkte 20, 21, 22, 23, 24, 25, 26, 27 und 28 zu ermitteln. Zum Bildpunkt 10 wurde dabei der Korrespondenzbildpunkt 20 ermittelt, und zum Bildpunkt 11 der Korrespondenzbildpunkt 21. Dies gilt für die weiteren Bildpunkte 1218 analog. Für den Bildpunkt 19 konnte der Algorithmus allerdings keinen Korrespondenzbildpunkt ermitteln.
  • 5 zeigt eine Untermenge an Paaren von ausgewählten Bildpunkten und Korrespondenzbildpunkten, wobei aus den ausgewählten Bildpunkten zufällig die Bildpunkte 11, 17 und 18 ausgewählt wurden und dementsprechend die Korrespondenzbildpunkte 21, 27 und 28. Der Abstand zwischen Bildpunkt 18 und Korrespondenzbildpunkt 28 ist genauso wie der Abstand zwischen Bildpunkt 17 und Korrespondenzbildpunkt 27 größer als der Abstand des Bildpunkts 11 vom Bildpunkt 21, da die ausgewählten Bildpunkte 17 und 18 außerhalb der Person bzw. an einer relativ zum Rumpf des Objekts bewegten Körperstelle lagen. Der aus diesen ausgewählten Bildpunkten und Korrespondenzbildpunkten ermittelte Translationsvektor überschreitet daher den vorgegebenen Schwellwert, weshalb die Untermenge und die daraus gewonnene Abbildungsvorschrift verworfen werden.
  • 6 zeigt eine neue Untermenge bestehend aus den ausgewählten Bildpunkten 11, 14 und 15 sowie den zugehörigen Korrespondenzbildpunkten 21, 24 und 25. Diese ausgewählten Bildpunkte lagen alle im Rumpf der Person 7, dementsprechend lässt sich mit Hilfe der Korrespondenzbildpunkte ein Translationsparameter ermitteln, der die Bewegung des Objekts beschreibt. Dieser und der Skalierungsparameter können dementsprechend als Abbildungsvorschrift gespeichert werden.
  • 7 zeigt die Anwendung der ermittelten Abbildungsvorschrift auf die ausgewählten Bildpunkte 1019, wodurch die transformierten Bildpunkte 30, 31, 32, 33, 34, 35, 36, 37, 38 und 39 berechnet werden.
  • Die transformierten Bildpunkte 3039 werden abschließend mit den entsprechenden Korrespondenzbildpunkten 2028 in Bezug gesetzt, siehe 8. In Abhängigkeit des aus den jeweiligen Wertepaaren resultierenden Gesamtabstands wird abschließend die Abbildungsvorschrift bzw. ihre Parameter akzeptiert oder verworfen.
  • Im Anschluss daran werden solange neue Untermengen der ausgewählten Bildpunkte 1019 bestimmt, bis entweder eine bestimmte Anzahl von Durchlaufen erreicht ist oder bis die Parameter der Abbildungsvorschrift bestimmte Abbruchsschwellwerte unterschreiten. In diesem Fall gilt das zu verfolgende Objekt, die Person 7, auch im zweiten Bild 9 als identifiziert.

Claims (11)

  1. Verfahren zur Verfolgung wenigstens eines Objekts, das in wenigstens zwei mittels eines Bildaufnahmemittels eines Kraftfahrzeugs aufgenommenen Bildern, bestehend aus Bildpunkten, abgebildet ist, dadurch gekennzeichnet, dass – in einem ersten Bild, in dem das Objekt mittels eines Objektidentifizierungsalgorithmus sicher identifiziert wurde, ein Bereich ausgewählt wird, der das Objekt umschließt, – in diesem Bereich wenigstens drei Bildpunkte ausgewählt werden, – in einem zweiten Bild, das nach dem ersten Bild aufgenommen wurde, Korrespondenzbildpunkte zu den ausgewählten Bildpunkten ermittelt werden, wobei für jeden ausgewählten Bildpunkt ein Korrespondenzbildpunkt ermittelt werden soll, – eine Untermenge der ausgewählten Bildpunkte und der entsprechenden Korrespondenzbildpunkte zufällig bestimmt wird, – aus der Untermenge eine Abbildungsvorschrift der ausgewählten Bildpunkte auf die Korrespondenzbildpunkte berechnet wird, – in Abhängigkeit eines ersten oder mehrerer erster Parameter bezüglich der transformierten Bildpunkte, die bei Anwendung der Abbildungsvorschrift auf die ausgewählten Bildpunkte der Untermenge ermittelt werden oder die bei der Berechnung der Abbildungsvorschrift bestimmt werden, und der diesen zugeordneten Korrespondenzbildpunkte eine neue Untermenge zufällig bestimmt wird, – die transformierten Bildpunkte der weiteren ausgewählten und nicht in der Untermenge enthaltenen Bildpunkte unter Verwendung der ermittelten Abbildungsvorschrift berechnet werden, – in Abhängigkeit eines zweiten oder mehrerer zweiter Parameter bezüglich der transformierten Bildpunkte aller ausgewählten Bildpunkte und der diesen zugeordneten Korrespondenzbildpunkte eine neue Untermenge zufällig bestimmt wird, und – die Abbildungsvorschrift zur Verfolgung des Objekts verwendet wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der im ersten Bild ausgewählte Bereich im Wesentlichen das Objekt umfasst.
  3. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Dichte der ausgewählten Bildpunkte im ausgewählten Bereich des ersten Bildes in der Mitte des Bereichs höher als am Rand des Bereichs gewählt wird.
  4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als erster Parameter die Standardabweichung der Abstände der transformierten Bildpunkte von den jeweiligen Korrespondenzbildpunkten verwendet wird.
  5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Abbildungsvorschrift eine Translation in Form eines Translationsparameters und eine Skalierung in Form eines Skalierungsparameters berücksichtigt werden.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass als gegebenenfalls weiterer erster Parameter der Translationsparameter verwendet wird.
  7. Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass als gegebenenfalls weiterer erster Parameter der Skalierungsparameter verwendet wird.
  8. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein gemäß der Abbildungsvorschrift transformierter Bildpunkt und der diesem zugeordnete Korrespondenzbildpunkt, deren Abstand einen Schwellwert überschreitet, als Fehlabbildung gezählt werden.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass als zweiter Parameter die Anzahl der Fehlabbildungen verwendet wird.
  10. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit der transformierten Bildpunkte und der entsprechenden Korrespondenzbildpunkte ein Gesamtabstand berechnet wird.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass als zweiter Parameter das Überschreiten eines Abstandsschwellwerts durch den Gesamtabstand verwendet wird.
DE102009007412A 2009-02-04 2009-02-04 Verfahren zur Verfolgung wenigstens eines Objekts Expired - Fee Related DE102009007412B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102009007412A DE102009007412B4 (de) 2009-02-04 2009-02-04 Verfahren zur Verfolgung wenigstens eines Objekts

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009007412A DE102009007412B4 (de) 2009-02-04 2009-02-04 Verfahren zur Verfolgung wenigstens eines Objekts

Publications (2)

Publication Number Publication Date
DE102009007412A1 DE102009007412A1 (de) 2010-08-19
DE102009007412B4 true DE102009007412B4 (de) 2012-12-06

Family

ID=42338511

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009007412A Expired - Fee Related DE102009007412B4 (de) 2009-02-04 2009-02-04 Verfahren zur Verfolgung wenigstens eines Objekts

Country Status (1)

Country Link
DE (1) DE102009007412B4 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818702B2 (en) * 2010-11-09 2014-08-26 GM Global Technology Operations LLC System and method for tracking objects
DE102012103669A1 (de) 2012-04-26 2013-10-31 Continental Teves Ag & Co. Ohg Verfahren zur Darstellung einer Fahrzeugumgebung
DE102012106932A1 (de) 2012-07-30 2014-05-15 Continental Teves Ag & Co. Ohg Verfahren zur Darstellung einer Fahrzeugumgebung mit Positionspunkten
CN110213565B (zh) * 2013-01-15 2021-03-09 移动眼视力科技有限公司 成像系统和用于深度计算的方法
DE102016002594A1 (de) * 2016-03-03 2017-09-07 Audi Ag Bildverarbeitungsverfahren, Bildverarbeitungseinrichtung für ein Kraftfahrzeug und Kraftfahrzeug

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008106725A1 (en) * 2007-03-05 2008-09-12 Seeing Machines Pty Ltd Efficient and accurate 3d object tracking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008106725A1 (en) * 2007-03-05 2008-09-12 Seeing Machines Pty Ltd Efficient and accurate 3d object tracking

Also Published As

Publication number Publication date
DE102009007412A1 (de) 2010-08-19

Similar Documents

Publication Publication Date Title
DE602004012962T2 (de) Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung
EP1836681B1 (de) Verfahren zur bestimmung der eigenbewegung eines fahrzeugs
DE102016203723A1 (de) Verfahren und System zum Bestimmen der Pose eines Fahrzeugs
DE102005034597A1 (de) Verfahren und Anordnung zur Erzeugung einer Tiefenkarte
DE102014207802B3 (de) Verfahren und System zum proaktiven Erkennen einer Aktion eines Verkehrsteilnehmers
DE102009007412B4 (de) Verfahren zur Verfolgung wenigstens eines Objekts
DE102012223481B4 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
DE102009019399B4 (de) Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße
EP2642425A1 (de) Verfahren und Vorrichtung zum Auswerten von Ergebnissen einer Blickerfassung
DE102013224502A1 (de) Verfahren zur Kalibrierung einer Stereokamera eines Fahrzeugs
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
DE102015214116A1 (de) Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
WO2018215031A1 (de) Verfahren zur erkennung von objekten in einem bild einer kamera
DE102017117593A1 (de) Fahrzeugfahrassistenzvorrichtung
DE102015208429A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnreflexionen
DE102018213268A1 (de) Verfahren zur anwendung in einem fahrzeug
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102017215283A1 (de) Verfahren zum Anonymisieren eines Bilds für ein Kamerasystem eines Kraftfahrzeugs, Bildverarbeitungseinrichtung, Kamerasystem sowie Kraftfahrzeug
DE102009007842A1 (de) Verfahren und Vorrichtung zum Betrieb eines videobasierten Fahrerassistenzsystems in einem Fahrzeug
DE102011113081A1 (de) Verfahren und Vorrichtung zur Erzeugung eines Gesichtsmodells eines Fahrers eines Kraftfahrzeugs
DE102013018561A1 (de) Verfahren zur Datenerfassung und Datenverarbeitung für eine Fahrspurkennung eines Fahrzeugs
DE102012018471A1 (de) Verfahren zur Erkennung einer Begrenzung eines Fahrbahnrandes für ein Fahrzeug
DE102015006569A1 (de) Verfahren zur bildbasierten Erkennung des Straßentyps
DE102011011931A1 (de) Verfahren zum Auswerten einer Mehrzahl zeitlich versetzter Bilder, Vorrichtung zur Auswertung von Bildern, Überwachungssystem
DE102008050456A1 (de) Verfahren und Vorrichtung zur Fahrspurerkennung

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20130307

R081 Change of applicant/patentee

Owner name: AUDI AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNERS: AUDI AG, 85057 INGOLSTADT, DE; AUDI ELECTRONICS VENTURE GMBH, 85080 GAIMERSHEIM, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee