-
Die Erfindung betrifft ein Verfahren zur Verfolgung wenigstens eines Objekts, das in wenigstens zwei mittels eines Bildaufnahmemittels eines Kraftfahrzeugs aufgenommenen Bildern, bestehend aus Bildpunkten, abgebildet ist.
-
Zur Erhöhung der Kraftfahrzeugsicherheit ist es bekannt, Sensorinformationen verschiedenster Sensoren auszuwerten, um ausgehend von der Analyse der Sensordaten den Betrieb des Kraftfahrzeugs zu steuern oder den Fahrer zu warnen. Generell ist hierbei eine hohe Genauigkeit des Auswertungsergebnisses wichtig, um Situationen nicht falsch einzuschätzen und beispielsweise den Fahrer unnötig zu warnen.
-
An die zur Auswertung stehenden Daten ist dabei die Anforderung zu stellen, dass sie einerseits zeitlich aktuell sind und andererseits eine genügende Genauigkeit aufweisen.
-
Speziell bei Bilddaten besteht das Problem, dass auf diesen angewendete Objekterkennungsalgorithmen zu rechenintensiv sind, um für jedes aufgenommene Bild eine Objekterkennung durchzuführen. Zusätzlich zu diesem Problem kommt hinzu, dass eine Objekterkennung aufgrund ungünstiger Parameter teilweise fehlschlägt. Es kann daher leicht passieren, dass sich aus den Bilddaten für einen Zeitraum von mehreren Sekunden über ein Objekt keine Aussagen treffen lässt. Für sicherheitsrelevante Fahrerassistenzsysteme ist dieser Zeitraum deutlich zu lange, um auf Veränderungen im Fahrzeugumfeld reagieren zu können.
-
Es ist daher bekannt, sogenannte Trackingalgorithmen zu benutzen. Bekannte Trackingalgorithmen sind der Kalmanfilter und der Partikelfilter. Durch diese lässt sich die Position des Objekts aus sicher erkannten Positionen zu früheren Zeitpunkten und den für das Objekt geltenden kinematischen Gesetzen schätzen. Für Anwendungen im Kraftfahrzeugumfeld und speziell zur Objekterkennung in der Fahrzeugumgebung sind diese Trackingalgorithmen aber nicht ausreichend, da die geschätzte Objektposition nicht notwendigerweise mit der tatsächlichen Position übereinstimmen muss.
-
Es ist daher notwendig, die Detektionslücken durch eine Wiederfindung bzw. Wiedererkennung des Objekts in zugehörigen, normalerweise mit zeitlichem Versatz aufgenommenen Bildern zu schließen.
-
Aus
WO 2008/106725 A1 ist ein Verfahren zur effizienten und genauen 3D-Objektverfolgung bekannt, bei dem zunächst ein Rendering eines dreidimensionalen Objektmodels vorgenommen wird, wonach eine Reihe von Punktmerkmalen des gerenderten Objekts extrahiert werden, woraufhin zu diesen korrespondierenden Punktmerkmale in einem Image Stream lokalisiert werden, basierend auf welchen entsprechende Vektoren abgeleitet werden. Das dortige Verfahren dient vornehmlich dem Gesichtstracking. Im Rahmen dieses Verfahrens besteht ferner die Möglichkeit, einen Satz konsistenter Merkmale auszuwählen, woraufhin eine Filterung dieser Merkmale zur Ableitung der neuen Vektoren erfolgt. Diese Merkmalsauswahl kann zufallsgesteuert erfolgen. Alternativ zur Extraktion respektive Auswahl der Punktmerkmale ist es auch möglich, diese rechnerisch zu ermitteln, gestützt auf eine entsprechende Bildanalyse von im Bild erfassbaren positionsabhängigen Gradienten.
-
Der Erfindung liegt damit die Aufgabe zugrunde, ein Verfahren zur Wiederfindung bzw. Wiedererkennung wenigstens eines Objekts in einem Bild anzugeben, das dadurch durchgängig Informationen für darauf aufbauende Sicherheitsfunktionen liefert.
-
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass
- – in einem ersten Bild, in dem das Objekt mittels eines Objektidentifizierungsalgorithmus sicher identifiziert wurde, ein Bereich ausgewählt wird, der das Objekt umschließt,
- – in diesem Bereich wenigstens drei Bildpunkte ausgewählt werden,
- – in einem zweiten Bild, das nach dem ersten Bild aufgenommen wurde, Korrespondenzbildpunkte zu den ausgewählten Bildpunkten ermittelt werden, wobei für jeden ausgewählten Bildpunkt ein Korrespondenzbildpunkt ermittelt werden soll,
- – eine Untermenge der ausgewählten Bildpunkte und der entsprechenden Korrespondenzbildpunkte zufällig bestimmt wird,
- – aus der Untermenge eine Abbildungsvorschrift der ausgewählten Bildpunkte auf die Korrespondenzbildpunkte berechnet wird,
- – in Abhängigkeit eines ersten oder mehrerer erster Parameter bezüglich der transformierten Bildpunkte, die bei Anwendung der Abbildungsvorschrift auf die ausgewählten Bildpunkte der Untermenge ermittelt werden oder die bei der Berechnung der Abbildungsvorschrift bestimmt werden, und der diesen zugeordneten Korrespondenzbildpunkte eine neue Untermenge zufällig bestimmt wird,
- – die transformierten Bildpunkte der weiteren ausgewählten und nicht in der Untermenge enthaltenen Bildpunkte unter Verwendung der ermittelten Abbildungsvorschrift berechnet werden,
- – in Abhängigkeit eines zweiten oder mehrerer zweiter Parameter bezüglich der transformierten Bildpunkte aller ausgewählten Bildpunkte und der diesen zugeordneten Korrespondenzbildpunkte eine neue Untermenge zufällig bestimmt wird, und
- – die Abbildungsvorschrift zur Verfolgung des Objekts verwendet wird.
-
Grundlage der Objektverfolgung ist also zunächst einmal die Identifizierung des interessierenden Objekts mittels eines Objektidentifizierungsalgorithmus. Bei dem Objekt kann es sich um ein vorausfahrendes Kraftfahrzeug, um einen Fußgänger oder jedes beliebige andere relevante Objekt handeln. Als Objektidentifizierungsalgorithmus wird selbstverständlich jeweils ein auf die Fragestellung zugeschnittener und optimierter Algorithmus verwendet. Abhängig von der Entfernung zum Bildaufnahmemittel des Kraftfahrzeugs und der Größe des Objekts umschließt dieses eine Vielzahl an Bildpunkten in dem Bild, in dem das Objekt identifiziert wurde. Aus dieser Vielzahl an Bildpunkten wird eine bestimmte Menge ausgesucht. Hierbei kann auf Bildpunkte abgestellt werden, die sich in irgendeiner Art und Weise auszeichnen und daher zur Verfolgung besonders geeignet sind. Die Auswahl kann aber auch nach beliebigen anderen Kriterien erfolgen.
-
Nach der Auswahl der Bildpunkte möglichst aus dem Bereich des Objekts im ersten Bild werden in einem darauffolgenden Bild Korrespondenzbildpunkte zu den ausgewählten Bildpunkten ermittelt. Auch hier kann auf bekannte Algorithmen zurückgegriffen werden. Als Beispiel sei der optische Fluss nach Lucas-Kanade genannt. Ein Problem bei der Ermittlung der Korrespondenzbildpunkte besteht darin, dass sich nicht zu jedem ausgewählten Bildpunkt auch wirklich mit Sicherheit ein Korrespondenzbildpunkt finden lässt. Ein weiteres Problem besteht selbstverständlich darin, dass auch ein falscher Korrespondenzbildpunkt bestimmt werden kann.
-
Daher ist vorgesehen, aus den ausgewählten Bildpunkten, zu denen ein Korrespondenzbildpunkt gefunden wurde, eine Untermenge auszuwählen. Diese sollte relativ klein sein und etwa zwei bis vier Bildpunkte aufweisen. Diese zwei bis vier Bildpunkte und die entsprechenden zwei bis vier Korrespondenzbildpunkte werden dann zur Berechnung einer Abbildungsvorschrift verwendet. Diese Berechnung beruht auf einer Modellanpassung, wobei in einem Modell beispielsweise Größen wie Translation oder Streckung berücksichtigt werden können. Im Rahmen der Modellanpassung werden mehrere erste Parameter oder auch Modellparameter gewonnen. Ein sich ergebender Modellparameter bezüglich eines Fußgängers könnte beispielsweise dessen Geschwindigkeit sein. Stimmt der oder einer der ersten Parameter nicht mit bestimmten Sollvorgaben überein, wird also beispielsweise ein Schwellwert bezüglich der Geschwindigkeit überschritten, so werden die Parameter bzw. die Abbildungsvorschrift verworfen und es wird eine neue Untermenge ausgewählt. Sollten die ersten Parameter sich im zulässigen Bereich bewegen, werden aus den ausgewählten Bildpunkten des ersten Bildes mittels der Abbildungsvorschrift transformierte Bildpunkte berechnet. Bei Übereinstimmung des der Abbildungsvorschrift zugrundeliegenden Modells mit dem Verhalten des Objekts würden die transformierten Bildpunkte und die Korrespondenzbildpunkte übereinstimmen. Dies ist in der Realität nicht der Fall und dementsprechend werden anhand der Abweichungen der transformierten Bildpunkte von den Korrespondenzbildpunkten ein oder mehrere zweite Parameter berechnet. Überschreiten der oder die zweiten Parameter einen vorgegebenen Schwellwert oder mehrere vorgegebene Schwellwerte, so wird eine neue Untermenge ausgewählt. Außer bei der ersten Ermittlung des oder der zweiten Parameter werden dieser oder diese auch mit einem oder mehreren vorher ermittelten zweiten Parametern verglichen und der jeweils bessere Satz an zweiten Parametern wird zumindest teilweise zur weiteren Verwendung abgelegt.
-
Die Auswahl einer Untermenge und die darauffolgenden Schritte werden solange wiederholt, bis entweder ein Satz an Parametern gefunden wurde, der eine bestimmte Zielvorgabe erfüllt oder bis eine gewissen Anzahl an Durchlaufen vorgenommen wurde. Die nach Maßgabe der ersten und zweiten Parameter gefundene optimale Abbildungsvorschrift wird abschließend zur Verfolgung des Objekts verwendet.
-
Dieses Verfahren ist trotz der Vielzahl an auszuführenden Operationen erheblich schneller durchzuführen als ein Objektidentifizierungsalgorithmus und robuster als bekannte Trackingalgorithmen.
-
Vorzugsweise kann der im ersten Bild ausgewählte Bereich im Wesentlichen das Objekt umfassen. Mit anderen Worten wird der Bereich im Wesentlichen von dem Objekt ausgefüllt. Die ausgewählten Bildpunkte liegen daher mit hoher Wahrscheinlichkeit im Objekt und mit größerer Wahrscheinlichkeit nicht außerhalb des Objekts, das es zu verfolgen gilt.
-
Mit besonderem Vorteil kann die Dichte der ausgewählten Bildpunkte im ausgewählten Bereich des ersten Bildes in der Mitte des Bereichs höher als am Rand des Bereichs gewählt werden. Typische zu verfolgende Objekte wie ein Kraftfahrzeug oder eine Person weisen in ihrer Mitte keine Löcher auf. Dementsprechend beziehen sich Bildpunkte in der Mitte des das Objekt enthaltenen Bereichs mit einer höheren Wahrscheinlichkeit auf das zu verfolgende Objekt als Bildpunkte am Rand des Bereichs. In diesem Randbereich könnte sich mit höherer Wahrscheinlichkeit ein nicht interessierender Hintergrund befinden. Werden zu viele Bildpunkte im Hintergrund ausgewählt, wird nämlich dieser verfolgt.
-
Vorzugsweise kann als Parameter die Standardabweichung der Abstände der transformierten Bildpunkte von den jeweiligen Korrespondenzbildpunkten verwendet werden. Bereits aus zwei ausgewählten Bildpunkten lässt sich nach Ermittlung der entsprechenden Korrespondenzbildpunkte und der Bestimmung der Abbildungsvorschrift eine durchschnittliche Differenz der transformierten Bildpunkte von den jeweiligen Korrespondenzbildpunkten mit einer zugehörigen Standardabweichung ermitteln. Diese Standardabweichung kann als Maß für die Güte der Abbildungsvorschrift herangezogen werden. Im Falle einer Standardabweichung, die einen gewissen Schwellwert überschreitet, wird dementsprechend die aus den ausgewählten Bildpunkten der Untermenge bestimmte Abbildungsvorschrift verworfen und eine neue Untermenge ausgewählt.
-
In besonders vorteilhafter Ausgestaltung kann der Abbildungsvorschrift eine Translation in Form eines Translationsparameters und eine Skalierung in Form eines Skalierungsparameters berücksichtigt werden. Die Translation erfasst dabei im Wesentlichen eine horizontale Bewegung bezüglich des Kraftfahrzeugs, während die Skalierung eine Abstandsänderung des zu verfolgenden Objekts berücksichtigt. Während sich in geringen Abständen vor allem die Translation bemerkbar macht, ist bei verhältnismäßig weit entfernten Objekten bzw. sich stark verändernden Abständen die Skalierung entscheidender. Ein Fußgänger, der sich vor dem Kraftfahrzeug und damit in der Nähe des Kraftfahrzeugs bewegt, verändert durch die Bewegung seine Größenverhältnisse und damit seine Skalierung nur unwesentlich. Im Gegensatz dazu wird ein beispielsweise 100 m vor dem eigenen Kraftfahrzeug befindliches Kraftfahrzeug sich, wenn es sich beispielsweise auf das eigene Kraftfahrzeug zubewegt, von der Translationsbewegung her kaum verändern, während aufgrund der Annäherung mit großer Geschwindigkeit die Skalierung deutlich variiert. Durch diese beiden Parameter können also die wesentlichen Bewegungsarten berücksichtigt werden.
-
Bei einer Verwendung der eben beschriebenen Abbildungsvorschrift können vorzugsweise als gegebenenfalls weitere erste Parameter der Translationsparameter und/oder der Skalierungsparameter verwendet werden. Der Translationsparameter ist ein Maß für die Ortsverschiebung des verfolgten Objekts. Aufgrund der Zeitdifferenz zwischen der Aufnahme des ersten und des weiteren Bildes lässt sich daraus auch eine Geschwindigkeit ermitteln. Dementsprechend lassen sich Grenzgeschwindigkeiten oder Grenzbewegungen vorgeben, bei deren Überschreiten von einer fehlerhaften Berechnung des Translationsparameters ausgegangen werden muss. Generell können alle Geschwindigkeiten eines Fußgängers, die 30 km/h überschreiten, als fehlerhaft ausgeschlossen werden. Hierbei ist selbstverständlich die Relativbewegung des Kraftfahrzeugs zum verfolgten Objekt zu berücksichtigen. Auch aus dem Skalierungsparameter kann eine Geschwindigkeitsinformation gezogen und analog angewandt werden.
-
In einer Weiterbildung kann ein gemäß der Abbildungsvorschrift transformierter Bildpunkt und der diesem zugeordnete Korrespondenzbildpunkt, deren Abstand einen Schwellwert überschreitet, als Fehlabbildung gezählt werden. Mit besonderem Vorteil wird dann als zweiter Parameter die Anzahl der Fehlabbildungen verwendet. D. h., dass basierend auf den Bildpunkten der Untermenge eine Abbildungsvorschrift ermittelt wird, und nach deren Anwendung auf alle ausgewählten Bildpunkte transformierte Bildpunkte ermittelt werden können. Liegen die Parameter der Abbildungsvorschrift, die ja nur aus der Untermenge ermittelt wurde, auch allen anderen ausgewählten Bildpunkten mit entsprechenden Korrespondenzbildpunkten zugrunde, so müssten die transformierten Bildpunkte in etwa den Korrespondenzbildpunkten entsprechen. Ist dies nicht der Fall, ist entweder wenigstens ein Parameter der Abbildungsvorschrift fehlerbehaftet oder ein Korrespondenzbildpunkt wurde fehlerhaft bestimmt. Die Anzahl der Fehlabbildungen soll daher beschreiben, ob ein Parameter der Abbildungsvorschrift fehlerbehaftet ist oder lediglich ein einzelner Korrespondenzpunkt. Weichen zu viele transformierte Bildpunkte von ihren Korrespondenzbildpunkten ab, ist von einem fehlerhaften Parameter in der Abbildungsvorschrift auszugehen und dementsprechend sind durch Ermittlung einer neuen Untermenge neue Parameter für die Abbildungsvorschrift zu bestimmen.
-
Zusätzlich oder alternativ kann in Abhängigkeit der transformierten Bildpunkte und der entsprechenden Korrespondenzbildpunkte ein Gesamtabstand berechnet werden. Dann kann als gegebenenfalls weiterer zweiter Parameter das Überschreiten eines Abstandsschwellwerts durch den Gesamtabstand verwendet werden. Die zusätzliche Überprüfung des Gesamtabstands bietet den Vorteil, dass auch dann eine Fehlerhaftigkeit wenigstens eines Parameters der Abbildungsvorschrift erkannt werden kann, wenn aufgrund des Fehlers der Abstand zwischen den transformierten Bildpunkten und den entsprechenden Korrespondenzbildpunkten oft knapp unter dem Schwellwert liegt und daher sich die Anzahl der Fehlabbildungen gering hält. In diesem Fall ist die Abbildungsvorschrift zwar nicht optimal, aufgrund der geringen Anzahl an Überschreitungen des Schwellwerts kann die Fehlerhaftigkeit der Abbildungsvorschrift allerdings nicht erkannt werden. Daher ist es sinnvoll, als weiteres Kriterium den Gesamtabstand zu verwenden.
-
Daneben betrifft die Erfindung auch ein Kraftfahrzeug mit einem Bildaufnahmemittel und einer Steuerungseinrichtung, wobei die Steuerungseinrichtung zur Durchführung des beschriebenen Verfahrens ausgebildet ist.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
-
1 ein erfindungsgemäßes Kraftfahrzeug,
-
2 ein Ablaufschema des erfindungsgemäßen Verfahrens,
-
3 eine Prinzipdarstellung eines mit der Bildaufnahmeeinrichtung aufgenommenen ersten Bildes,
-
4 eine Prinzipdarstellung eines mit der Bildaufnahmeeinrichtung aufgenommenen zweiten Bildes,
-
5 eine Prinzipdarstellung einer Untermenge auf ausgewählten Bildpunkten und entsprechenden Korrespondenzbildpunkten in einer ersten Ausführungsform,
-
6 eine Prinzipdarstellung einer Untermenge auf ausgewählten Bildpunkten und entsprechenden Korrespondenzbildpunkten in einer zweiten Ausgestaltung,
-
7 eine Prinzipdarstellung der ausgewählten und der transformierten Bildpunkte, und
-
8 eine Prinzipdarstellung der transformierten Bildpunkte und der Korrespondenzbildpunkte.
-
1 zeigt ein Kraftfahrzeug 1 mit einer Kamera 2, einem Fahrerassistenzsystem 3, einer Steuerungseinrichtung 4 und einem Bus 5, über den die Bilddaten der Kamera 2 an die Steuerungseinrichtung 4 übermittelt werden können.
-
Wie 2 zeigt, weist das Verfahren zur Verfolgung wenigstens eines Objekts acht Schritte S1–S8 auf. Im ersten Schritt S1 wird in einem Bild, in dem das zu verfolgenden Objekt bereits identifiziert wurde, ein Bereich um das Objekt herum ausgewählt. Dieser umfasst im Wesentlichen das Objekt. Dies ist wichtig, da bei der folgenden Korrespondenzbildpunktsuche das Objekt und nicht irgendwelche Gegenstände im Bildhintergrund verfolgt werden sollen. Dementsprechend liegen für unterschiedliche zu verfolgende Objekte unterschiedliche Modell-Bereiche vor. Ein Mensch wird beispielsweise am einfachsten durch ein schmales Oval umschlossen, während für ein Kraftfahrzeug ein Rechteck oder noch besser ein Trapez geeignet sind.
-
Als Schritt S2 werden in diesem Bereich überwiegen in der Mitte zehn Bildpunkte ausgewählt. Dabei wird zusätzlich darauf geachtet, dass sich diese Bildpunkte in irgendeiner Art und Weise auszeichnen, die für eine Korrespondenzbildpunktsuche vorteilhaft sind. Dabei kann es sich beispielsweise um die Farbe des Bildpunkts in Form der Signalintensität in den Farbkanälen des Bildes handeln.
-
Im darauffolgenden Schritt S3 werden in einem zweiten Bild, das nach dem ersten Bild aufgenommen wurde, die Korrespondenzbildpunkte zu den ausgewählten Bildpunkten des ersten Bildes ermittelt. Entsprechende Algorithmen hierfür, beispielsweise der optische Fluss nach Lucas-Kanade, sind bekannt.
-
Nach der Bestimmung der Korrespondenzbildpunkte liegen jeweils Paare von ausgewählten Bildpunkten und Korrespondenzbildpunkten vor. Von diesen Paaren wird eine Untermenge, d. h., ein Teil der Paare, ausgewählt (S4). Die Auswahl erfolgt zufällig, d. h., mit Hilfe eines Algorithmus, der Zufallszahlen generiert. Derartige Algorithmen sind hinreichend bekannt, als Beispiel sei die Monte-Carlo-Simulation genannt. Diese Untermenge wird dann verwendet, um als Schritt S5 die Parameter der Abbildungsvorschrift zu bestimmen. Berücksichtigt die Abbildungsvorschrift eine Translation und eine Skalierung, sind dementsprechend ein Translationsparameter und ein Skalierungsparameter zu ermitteln. Diese Parameter können beispielsweise mit der Methode der kleinsten Quadrate aufgefunden werden. Nach Ermittlung der Parameter kann sofort darüber entschieden werden, ob diese in einem sinnvollen Bereich liegen oder nicht. Aufgrund der Zeitdifferenz zwischen der Aufnahme des ersten und des zweiten Bildes kann mittels des Translationsparameters eine Geschwindigkeit des Objekts berechnet werden. Bei der Geschwindigkeitsberechnung muss selbstverständlich die Eigengeschwindigkeit des Kraftfahrzeugs in die Berechnung der Geschwindigkeit des Objekts mit einfließen, da diese die Relativgeschwindigkeit beeinflusst. Die Geschwindigkeit eines Menschen kann 30 km/h nicht überschreiten und die eines Kraftfahrzeugs sollte nicht über 250 km/h liegen. Diese Schwellwerte, die herangezogen werden, um die Güte der Parameter zu beurteilen, können dabei in Abhängigkeit der Fahrzeugumgebung getroffen werden. Beispielsweise kann für die Objektgeschwindigkeiten eines Kraftfahrzeugs innerhalb einer Stadt ein niedrigerer Grenzwert veranschlagt werden als auf einer Autobahn. Diese Plausibilitätsprüfung findet sich als Schritt S6 in 2.
-
Weisen die Parameter der Abbildungsvorschrift Werte auf, die plausibel sind, wird die Abbildungsvorschrift auf alle ausgewählten Bildpunkte zur Berechnung transformierter Bildpunkte in Schritt S7 eingesetzt. Im nächsten Schritt S8 folgt dann eine Überprüfung der transformierten Bildpunkte dahingehend, ob sie im Vergleich zu den Korrespondenzbildpunkten plausibel erscheinen. Hierzu wird der Abstand der transformierten Bildpunkte und der entsprechenden Korrespondenzbildpunkte berechnet, wobei zur Abstandsberechnung eine Vielzahl von Distanzen bekannt ist. Zur Verfügung stehen beispielsweise die euklidische Distanz, die Mahalanobis-Distanz, die quadrierte euklidische Distanz oder auch der City-Block-Abstand. In diesem Fall wird der euklidische Abstand verwendet, da er in einem weitergehenden Schritt zur Berechnung des Gesamtabstandes geeignet ist. In einem ersten Ansatz wird der Abstand eines transformierten Bildpunktes und des entsprechenden Korrespondenzbildpunktes betrachtet und bei Überschreiten eines Schwellwerts dieses Bildpunktepaar als Fehlabbildung eingestuft. Dieser Vergleich mit einem Schwellwert wird für alle Bildpunktepaare durchgeführt. Überschreitet die Anzahl der Fehlabbildungen einen weiteren Schwellwert, wird die Abbildungsvorschrift bzw. ihre Parameter verworfen und eine neue Untermenge ausgesucht. Bleibt die Anzahl der Fehlabbildungen unter dem vorgegebenen Schwellwert, werden die Abstände der transformierten Bildpunkte zu den Korrespondenzbildpunkten zu einem Gesamtabstand zusammengefasst. Auch dieser darf einen Schwellwert nicht überschreiten, da sonst die Parameter der Abbildungsvorschrift verworfen werden.
-
Haben die Parameter der Abbildungsvorschrift bzw. die aus ihnen berechneten Bildpunkte alle Kriterien erfüllt, werden sie abgelegt. Im Anschluss wird wenigstens ein zweites Mal eine neue Untermenge ausgewählt, um einen neuen Parametersatz für die Abbildungsvorschrift zu ermitteln. Dieser wird mit dem abgelegten Parametersatz verglichen und in Abhängigkeit des Vergleichsergebnisses wird der bessere Parametersatz abgespeichert. Als besserer Parametersatz gilt der Parametersatz, dessen Gesamtfehler am kleinsten ist. Alternativ können auch andere Kriterien wie beispielsweise die kleinste Standardabweichung aller Abstände verwendet werden. Typischerweise werden die Schritte S4–S7 mehrere 100 mal durchgeführt, so dass nach einer Vielzahl von Parameterberechnungen und Vergleichen der Parametersatz mit den plausibelsten Parametern vorliegt. Anhand dieses Parametersatzes wird im letzten Schritt S8 die Abbildungsvorschrift zur Verfolgung des Objekts angewandt.
-
Trotz der Vielzahl an Berechnungsschritten ist dieses Verfahren sehr schnell, robust und effizient, da moderne Steuereinrichtungen zur Berechnung des wahrscheinlichsten Parametersatzes nur Bruchteile von Sekunden benötigen.
-
Dieses Vorgehen wird nun im Folgenden anhand der Verfolgung einer Person in einem Bild illustriert. 3 zeigt ein Bild 6, das mit einer Kamera 2 eines Kraftfahrzeugs 1 aufgenommen wurde, wobei in dem Bild 6 eine Person 7 erkennbar ist. Im Bild 6 wird ein Bereich 8 ausgewählt, der die Person 7 umfasst. Dies ist im Falle eines Menschen ein ovaler Bereich 8, wobei alternativ auch ein Rechteck verwendet werden kann. Jedenfalls muss die Person 7 den Bereich 8 im Wesentlichen weitgehend ausfüllen bzw. vollständig darin enthalten sein. Im Bereich 8 werden anschließend mittels eines Algorithmus für Zufallszahlen zufällig die Bildpunkte 10, 11, 12, 13, 14, 15, 16, 17, 18 und 19 ausgewählt. Alle Bildpunkte bis auf die Bildpunkte 12, 16 und 18 liegen innerhalb der Person 7. Der Bildpunkt 17, der sich am Arm der Person 7 befindet, ist dementsprechend beweglich im Vergleich zu den im Rumpf angeordneten Bildpunkten 10, 11 und 13–15.
-
Zeitlich gesehen nach dem ersten Bild 6 wird das zweite Bild 9 aufgenommen das in 4 dargestellt ist. In diesem ist immer noch die Person 7 abgebildet, sie hat sich allerdings etwas nach rechts bewegt und den Arm, in dem ein Bildpunkt ausgewählt wurde, erhoben. Im zweiten Bild 9 wird eine Korrespondenzpunkt-Suche gemäß Lucas-Kanade durchgeführt, um die Bildpunkte 20, 21, 22, 23, 24, 25, 26, 27 und 28 zu ermitteln. Zum Bildpunkt 10 wurde dabei der Korrespondenzbildpunkt 20 ermittelt, und zum Bildpunkt 11 der Korrespondenzbildpunkt 21. Dies gilt für die weiteren Bildpunkte 12–18 analog. Für den Bildpunkt 19 konnte der Algorithmus allerdings keinen Korrespondenzbildpunkt ermitteln.
-
5 zeigt eine Untermenge an Paaren von ausgewählten Bildpunkten und Korrespondenzbildpunkten, wobei aus den ausgewählten Bildpunkten zufällig die Bildpunkte 11, 17 und 18 ausgewählt wurden und dementsprechend die Korrespondenzbildpunkte 21, 27 und 28. Der Abstand zwischen Bildpunkt 18 und Korrespondenzbildpunkt 28 ist genauso wie der Abstand zwischen Bildpunkt 17 und Korrespondenzbildpunkt 27 größer als der Abstand des Bildpunkts 11 vom Bildpunkt 21, da die ausgewählten Bildpunkte 17 und 18 außerhalb der Person bzw. an einer relativ zum Rumpf des Objekts bewegten Körperstelle lagen. Der aus diesen ausgewählten Bildpunkten und Korrespondenzbildpunkten ermittelte Translationsvektor überschreitet daher den vorgegebenen Schwellwert, weshalb die Untermenge und die daraus gewonnene Abbildungsvorschrift verworfen werden.
-
6 zeigt eine neue Untermenge bestehend aus den ausgewählten Bildpunkten 11, 14 und 15 sowie den zugehörigen Korrespondenzbildpunkten 21, 24 und 25. Diese ausgewählten Bildpunkte lagen alle im Rumpf der Person 7, dementsprechend lässt sich mit Hilfe der Korrespondenzbildpunkte ein Translationsparameter ermitteln, der die Bewegung des Objekts beschreibt. Dieser und der Skalierungsparameter können dementsprechend als Abbildungsvorschrift gespeichert werden.
-
7 zeigt die Anwendung der ermittelten Abbildungsvorschrift auf die ausgewählten Bildpunkte 10–19, wodurch die transformierten Bildpunkte 30, 31, 32, 33, 34, 35, 36, 37, 38 und 39 berechnet werden.
-
Die transformierten Bildpunkte 30–39 werden abschließend mit den entsprechenden Korrespondenzbildpunkten 20–28 in Bezug gesetzt, siehe 8. In Abhängigkeit des aus den jeweiligen Wertepaaren resultierenden Gesamtabstands wird abschließend die Abbildungsvorschrift bzw. ihre Parameter akzeptiert oder verworfen.
-
Im Anschluss daran werden solange neue Untermengen der ausgewählten Bildpunkte 10–19 bestimmt, bis entweder eine bestimmte Anzahl von Durchlaufen erreicht ist oder bis die Parameter der Abbildungsvorschrift bestimmte Abbruchsschwellwerte unterschreiten. In diesem Fall gilt das zu verfolgende Objekt, die Person 7, auch im zweiten Bild 9 als identifiziert.
