DE102021209296B4

DE102021209296B4 - Verfahren zum Bestimmen der Bewegung eines mit wenigstens einer Videokamera zur Bilderfassung ausgestatteten Objekts

Info

Publication number: DE102021209296B4
Application number: DE102021209296.9A
Authority: DE
Inventors: Christian David
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-08-25
Filing date: 2021-08-25
Publication date: 2023-04-27
Anticipated expiration: 2041-08-26
Also published as: DE102021209296A1

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen der Bewegung eines mit wenigstens einer Videokamera (2a, 2b) zur Bilderfassung ausgestatteten Objekts (1). Das Verfahren umfasst drei Maßnahmen a), b) und c).In Maßnahme a) wird wenigstens ein Kalibrierelements (3) mit einer Kalibrieroberfläche (4) bereitgestellt, die so ausgebildet ist, dass ein von der Videokamera erzeugtes Einzelbild (5) einer jeweiligen Kalibrieroberfläche (4) sich in Abhängigkeit vom Blickwinkel ändert, unter welchem eine Kalibrieroberfläche (4) gegenüber der Videokamera (2) angeordnet ist. In Maßnahme b) wird eine Videosequenz aus Einzelbildern (5) aufgezeichnet, in welcher die Kalibrieroberfläche (4) der Kalibrierelemente (3) enthalten ist, mittels der wenigstens einen Videokamera (2a, 2b), während das Objekt (1) mit der Videokamera (2a, 2b) relativ zu den Kalibrierelementen (3) bewegt wird, so dass sich der Blickwinkel (w1, w2) des Blickfelds (6a, 6b) der wenigstens einen Videokamera (2) gegenüber dem Kalibrierelement (3) ändert. In Maßnahme c) wird die Position der wenigstens einen Videokamera (2a, 2b) relativ zum Objekt (1) durch Auswertung der in Maßnahme b) aufgezeichneten Videosequenz bestimmt.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen der Bewegung eines mit wenigstens einer Videokamera zur Bilderfassung ausgestatteten Objekts. Die Erfindung betrifft ferner ein Tracking-System, das zur Durchführung dieses Verfahrens eingerichtet/programmiert ist.
In modernen Kraftfahrzeugen werden Videokameras eingesetzt, die eine Videosequenz aus Einzelbildern ihres Blickfelds erzeugen können.
Von Interesse ist es oftmals, aus besagter Videosequenz die Position der Videokamera relativ zum Kraftfahrzeug mit möglichst großer Genauigkeit bestimmen zu können.
Hierzu sind verschiedene Verfahren bekannt, die jedoch die Kenntnis bestimmter physikalischer - insbesondere optischer - Eigenschaften der Videokamera voraussetzen. Derartige Verfahren sind etwa in der US 2007/0280508 A1 und in der US 2002/179826 A1 beschrieben.
Die US 2012/0314073A1 offenbart ein Verfahren zum Bestimmen der Bewegung eines mit wenigstens einer Videokamera zur Bilderfassung ausgestatteten Objekts gemäß dem Oberbegriff des Anspruchs 1. Aus zwei zeitlich nacheinander mittels der sich bewegenden Videokamera aufgezeichneten Bildern eines Kalibrierelements wird die Position der Videokamera relativ zu der ruhenden Kalibrieroberfläche ermittelt.
Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Ausführungsform für ein Verfahren zu schaffen, bei welchem auf einfache Weise - insbesondere ohne genaue Kenntnis der physikalischen bzw. optischen Eigenschaften der Videokamera - die Position der Videokamera relativ zum Kraftfahrzeug mit erhöhter Genauigkeit ermittelt werden kann.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Patentansprüche.
Das erfindungsgemäße Verfahren dient zum Bestimmen der Bewegung eines mit wenigstens einer Videokamera zur Bilderfassung ausgestatteten Objekts, insbesondere eines Kraftfahrzeug. Das erfindungsgemäße Verfahren umfasst drei Maßnahmen a), b) und c). In der ersten Maßnahme a) wird wenigstens ein Kalibrierelement mit einer Kalibrieroberfläche bereitgestellt. Die Kalibrieroberfläche ist so ausgebildet, dass ein von der Videokamera erzeugtes Einzelbild der Kalibrieroberfläche sich in Abhängigkeit vom Blickwinkel ändert, unter welchem eine Kalibrieroberfläche gegenüber der Videokamera angeordnet ist.
Gemäß der zweiten Maßnahme b) wird von der Videokamera eine Videosequenz aus Einzelbildern aufgezeichnet, in welcher die Kalibrieroberfläche des Kalibrierelements enthalten ist. Dies geschieht, während das Objekt mit der Videokamera relativ zum Kalibrierelement bewegt wird. Somit ändert sich der Blickwinkel des Blickfelds der wenigstens einen Videokamera gegenüber dem Kalibrierelement. Dies wiederum hat zur Folge, dass sich die in den Einzelbildern enthaltene Darstellung der Kalibrieroberfläche ändert. Diese Änderung wird in der dritten Maßnahme c) des erfindungsgemäßen Verfahrens herangezogen, um daraus die Position der wenigstens einen Videokamera relativ zum Objekt der in Maßnahme b) aufgezeichneten Videosequenz aus Einzelbildern zu bestimmen. Dies erfolgt durch Auswertung derjenigen Einzelbilder, in welchen die Kalibrieroberfläche enthalten ist, mittels Bilderarbeitung. Erfindungsgemäß ist oder umfasst die Kalibrieroberfläche ein Moire-Muster. Ein solches Muster eignet sich besonders gut dazu, bei Änderung des Blickwinkels eine geänderte Darstellung des Einzelbildes der betreffenden Kalibrieroberflächen zu erzeugen.
Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird zur Positionsbestimmung gemäß Maßnahme c) die momentane Geschwindigkeit des Objekts relativ zu den Kalibrierelementen verwendet. Zur Geschwindigkeitsmessung kann ein am Objekt vorgesehener Geschwindigkeitssensor verwendet werden.
Besonders bevorzugt wird im Zuge von Maßnahme c) aus zwei zeitlich aufeinanderfolgenden, in Maßnahme b) aufgezeichneten Einzelbildern der Videosequenz eine momentane Winkelgeschwindigkeit des Objekts gegenüber den Kalibrierelementen berechnet. Dabei kann es sich um zwei zeitlich unmittelbar aufeinanderfolgende Einzelbilder handeln. Denkbar ist aber auch, dass wenigstens ein zeitlich zwischen diesen beiden Einzelbildern aufgezeichnetes weiteres Einzelbild bei der Auswertung unberücksichtigt bleibt.
Gemäß einer vorteilhaften Weiterbildung kann im Zuge von Maßnahme c) eine momentane Position des Objektsrelativ zu den Kalibrierelementen berechnet werden. Dies kann insbesondere mittels Triangulation geschehen.
Gemäß einer vorteilhaften Weiterbildung kann in Maßnahme a) eine Mehrzahl von Kalibrierelementen mit einer jeweiligen Kalibrieroberfläche bereitgestellt und im Abstand zueinander angeordnet werden, so dass in wenigstens einem aufgezeichneten Einzelbild, vorzugsweise in mehreren Einzelbildern, wenigstens zwei Kalibrierelemente enthalten sind. Auf diese Weise kann die Genauigkeit der Positionsbestimmung und/oder Geschwindigkeitsmessung in Maßnahme c) weiter verbessert werden. Dies gilt insbesondere für besonders niedrige oder besondere hohe Geschwindigkeiten sowie bei einem besonders geringen Abstand zwischen den Kalibierelementen und der Videokamera.
Zweckmäßig werden also die beiden Maßnahmen a) und b) so ausgeführt, dass in Maßnahme c) das Blickfeld der Videokamera zumindest temporär simultan auf wenigstens zwei Kalibrieroberflächen gerichtet ist. Auch diese Vorgehensweise führt dazu, dass die Genauigkeit der Positionsbestimmung in Maßnahme c) weiter verbessert werden kann.
Bei einer weiteren vorteilhaften Weiterbildung ist am Objekt nicht nur eine einzige Videokamera vorgesehen, sondern zwei oder mehr Videokameras. Somit kann im Zuge von Maßnahme b) von jeder Videokamera jeweils eine individuelle Videosequenz aus Einzelbildern aufgezeichnet werden. Diese erlaubt es, in Maßnahme c) die Positionen der wenigstens zwei Videokameras relativ zueinander zu bestimmen.
Die Erfindung betrifft ferner ein Tracking-System mit einem beweglichen Objekt, welches wenigstens eine Videokamera zum Erzeugen einer Videosequenz aus Einzelbildern aufweist. Bei Weiterbildungen des Tracking-Systems können auch zwei oder mehr solche Videokameras vorgesehen sein, die dann jeweils im Abstand zueinander am Objekt angeordnet sind. Das Tracking-System umfasst ferner wenigstens ein Kalibrierelement, umfassend eine Kalibrieroberfläche, die so ausgebildet ist, dass ein von der Videokamera erzeugtes Einzelbild der jeweiligen Kalibrieroberfläche sich in Abhängigkeit vom Blickwinkel ändert, welches ein Blickfeld der Videokamera mit den Kalibieroberflächen bildet. Ferner umfasst das Tracking-System eine Auswertungseinrichtung, die zur Berechnung von wenigstens einem die Bewegung des Objekts beschreibenden Bewegungsparameter aus der aufgezeichneten Videosequenz, unter Durchführung des voranstehend vorgestellten, erfindungsgemäßen Verfahrens eingerichtet/programmiert ist.
Bevorzugt kann das bewegliche Objekt ein Kraftfahrzeug sein. Somit lässt sich mittels des erfindungsgemäßen Verfahrens die Position der Videokamera am Kraftfahrzeug mit hoher Genauigkeit ermitteln.
Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus der Zeichnung und aus der zugehörigen Figurenbeschreibung anhand der Zeichnungen.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Komponenten beziehen.
Es zeigen, jeweils schematisch:

1 ein Beispiel eines erfindungsgemäßen Tracking-Systems mit zwei Kalibrierelementen,
2a ein Einzelbild der Kalibrieroberfläche eines der beiden Kalibrierelemente des Tracking-Systems gemäß 1,
2b ein unter einem anderen Blickwinkel aufgezeichnetes Einzelbild der Kalibrieroberfläche des Kalibrierelements gemäß 2a.

1 illustriert beispielspielhaft ein erfindungsgemäßes Tracking-System 10 bei der Durchführung des erfindungsgemäßen Verfahrens. Das Tracking-System 10 umfasst ein bewegliches Objekt 1, typischerweise ein Kraftfahrzeug, welches im Beispiel eine erste und eine zweite Videokamera 2a, 2b, jeweils zum Erzeugen einer Videosequenz aus Einzelbildern 5, aufweist. Die erste Videokamera 2a weist ein erstes Blickfeld 6a auf. Die zweite Videokamera 2b weist ein zweites Blickfeld 6b auf.
Ferner umfasst das Tracking-System 10 ein Kalibrierelement 3, welches eine Kalibrieroberfläche 4 aufweist. Die Kalibrieroberfläche ist ein - beispielhaft und stark vereinfacht in den 2a und 2b dargestelltes - Moire-Muster 7.
Als entscheidend bei der Wahl der Kalibrieroberfläche 4 erweist sich, dass ein jeweils von beiden Videokameras 2a, 2b erzeugtes Einzelbild 5 der Kalibrieroberfläche 4 - beispielhaft gezeigt in den 2a und 2b - sich in Abhängigkeit vom Blickwinkel w1, w2 ändert, welches das Blickfeld 6a bzw. 6b der jeweiligen Videokamera 2a, 2b mit der Kalibieroberfläche 4 bildet. Im Beispiel der 1 bewegt sich das Objekt 1 geradlinig mit konstanter Geschwindigkeit in Richtung R. Dies bedeutet, dass sich der jeweilige Blickwinkel w1, w2 der beiden Videokameras 2a, 2b zum Kalibierelement 3 aufgrund der Bewegung des Objekts 1 ändert. Das Tracking-System 10 umfasst ferner eine Auswertungseinrichtung 9, die Durchführung des erfindungsgemäßen Verfahrens eingerichtet bzw. programmiert ist. Hierzu ist die Auswertungseinrichtung 9 - beispielsweise ein Steuergerät, insbesondere, falls es sich bei dem Objekt 1 um ein Kraftfahrzeug handelt, datenübertragend mit den Videokameras 2a, 2b verbunden, so dass die von den Videokameras 2a, 2b aufgezeichneten Videosequenzen an die Auswertungs-einrichtung 9 übertragen und dort ausgewertet werden können.
Das Verfahren umfasst drei Maßnahmen a), b), und c). Gemäß einer ersten wird ein Kalibrierelement 3 mit einer Kalibrieroberfläche 4 bereitgestellt, die jeweils so ausgebildet ist, dass sich ein von den Videokameras 2a, 2b jeweils erzeugtes Einzelbild 5 der Kalibrieroberfläche 4 sich mit änderndem Blickwinkel w1 bzw. w2 ändert, unter welchem das erste bzw. zweite Blickfeld 6a, 6b der Videokamera 2a, 2b gegenüber der Kalibieroberfläche 4 angeordnet ist.
In einer zweiten Maßnahme b) wird mittels der beiden Videokameras 2a, 2b eine Videosequenz aus Einzelbildern 5 aufgezeichnet, in welchen die Kalibrieroberfläche 4 des Kalibrierelements 3 enthalten ist. Dies geschieht, während sich das Objekt 1 mit den Videokameras 2a, 2b relativ zum Kalibrierelement 3 bewegt. In der Folge ändert sich der Blickwinkel w1, w2 der beiden Videokameras 2a, 2b gegenüber dem Kalibrierelement 3. Somit ändert sich auch das von der jeweiligen Videokamera 2a, 2b aufgezeichnete Einzelbild 5 der Kalibrieroberfläche 4. Dies illustrieren die beiden 2a und 2b, welche ein von der Videokamera 2a an verschiedenen Positionen des sich bewegenden Objekts 1 aufgezeichnetes Einzelbild 5 des Moire-Musters 7, also der Kalibrieroberfläche 4 des Kalibierelements 3, wiedergeben. Man erkennt, dass sich aufgrund des sich ändernden Blickwinkels w1 auch das aufgezeichnete Moire-Muster 7 ändert.
Gemäß Maßnahme c) wird nun die Position der Videokameras 2a, 2b relativ zum Objekt 1 aus der in Maßnahme b) aufgezeichneten Videosequenz aus Einzelbildern 5 ermittelt. Hierzu wird die sich ergebende Änderung des Moire-Musters 7 ausgewertet. Hierzu wird vorab durch Simulation oder Messung eine Liste von Blickwinkeln und dazugehöriger Muster des Kalibrierelements erstellt. In den aufgenommenen Einzelbildern werden die Bildbereiche mit Kalibrierelementen erkannt und dann mit allen Bildern der Liste verglichen, um den Blickwinkel w nachzuschlagen. Hierbei kann w = (wx, wy) zweidimensional sein. Ferner sind im Allgemeinen die so bestimmten Blickwinkel aufgrund der möglichen Techniken zur Gestaltung der Kalibrieroberfläche nicht eindeutig. Für die Positionsbestimmung mittels Einzelbildern werden die Positionen der Kalibrierelemente mit einer weiteren, beliebigen geeigneten Methode vermessen. Sind mindestens zwei Kalibrierelemente für eine Kamera sichtbar, so kann die Kameraposition mittels Triangulation bestimmt werden.
Außerdem kann im Zuge von Maßnahme c) aus zwei zeitlich aufeinander folgenden, in Maßnahme b) aufgezeichneten Einzelbildern 5 der jeweiligen Videosequenz eine momentane Winkelgeschwindigkeit des Objekts 1 gegenüber den Kalibrierelementen 3 berechnet wird. Hierbei werden wie zuvor die Blickwinkel des Kalibrierelements 3, w1 und w2, bestimmt, jedoch zu unterschiedlichen Zeitpunkten mit dem zeitlichen Abstand t. Die Winkelgeschwindigkeit mit dem Kalibrierelement 3 ist dann wv = (w2 - w1)/t. Hierbei ist wieder zu beachten, dass sich das Muster des Kalibrierelements 3 im Allgemeinen wiederholt, sodass durch den genannten Vergleich der Liste mit dem aufgenommenen Einzelbild der Winkel (w1 bzw. w2) nicht unbedingt eindeutig zuordenbar ist. In diesem Fall kann beispielsweise das kleinste mögliche wv gewählt werden, oder durch alternative Filtermaßnahmen wv bestimmt werden, die auch weiteren Informationen einbeziehen können (z.B. Minimal- und Maximalgeschwindigkeiten, Abstände, etc.).
Zur Positionsbestimmung der Videokameras 2a, 2b wird in Maßnahme c) die Geschwindigkeit des Objekt 1 relativ zu den Kalibrierelementen 3 herangezogen.
In Weiterbildungen des Verfahrens können in Maßnahme a) zwei oder mehr Kalibrierelemente 3 mit einer jeweiligen Kalibrieroberfläche 4 bereitgestellt und so im Abstand zueinander angeordnet werden, dass in wenigstens einem in Maßnahme b) aufgezeichneten Einzelbild 5, vorzugsweise in mehreren Einzelbildern, wenigstens zwei Kalibrieroberflächen 4 enthalten sind.
Auch auf diese Weise kann die Genauigkeit der Positionsbestimmung verbessert werden. Ebenso ist es zur Genauigkeitsverbesserung denkbar, die Maßnahmen a) und b) so auszuführen, dass in Maßnahme c) das erste bzw. zweite Blickfeld 6a, 6b der ersten bzw. zweiten Videokamera 2a, 2b zumindest temporär simultan auf wenigstens zwei Kalibrieroberflächen 4 gerichtet wird.

Claims

Verfahren zum Bestimmen der Bewegung eines mit wenigstens einer Videokamera (2a, 2b) zur Bilderfassung ausgestatteten Objekts (1), umfassend die folgenden Maßnahmen: a) Bereitstellen wenigstens eines Kalibrierelements (3) mit einer Kalibrieroberfläche (4), die so ausgebildet ist, dass eine von der wenigstens einen Videokamera (2a, 2b) erzeugte Darstellung (5) einer jeweiligen Kalibrieroberfläche (4) sich in Abhängigkeit vom Blickwinkel (w1, w2) ändert, unter welchem die Kalibrieroberfläche (4) gegenüber der Videokamera (2) angeordnet ist, b) Aufzeichnen einer Videosequenz aus Einzelbildern (5), in welcher die Kalibrieroberfläche (4) des Kalibrierelements (3) enthalten ist, mittels der wenigstens einen Videokamera (2a, 2b), während das Objekt (1) mit der Videokamera (2a, 2b) relativ zum Kalibrierelement (3) bewegt wird, so dass sich der Blickwinkel (w1, w2) des Blickfelds (6a, 6b) der wenigstens einen Videokamera (2) gegenüber dem Kalibrierelement (3) ändert, c) Bestimmen der Position der wenigstens einer Videokamera (2a, 2b) relativ zum Objekt (1) durch Auswertung der in Maßnahme b) aufgezeichneten Videosequenz, dadurch gekennzeichnet, dass die Kalibrieroberfläche (4) ein Moire-Muster (7) ist oder umfasst.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Positionsbestimmung gemäß Maßnahme c) die sich aufgrund der Änderung des Blickwinkels (w1, w2) in den aufgezeichneten Einzelbildern ergebende geänderte Darstellung der Kalibrieroberfläche herangezogen wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Positionsbestimmung gemäß Maßnahme c) die momentane Geschwindigkeit des Objekts (1) relativ zum Kalibrierelement (3) verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass im Zuge von Maßnahme c) aus zwei in Maßnahme b) zu unterschiedlichen Zeitpunkten aufgezeichneten, bevorzugt zeitlich aufeinander folgenden, Einzelbildern (5) der Videosequenz eine momentane Winkelgeschwindigkeit des Objekts (1) gegenüber dem Kalibrierelement (3) berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im Zuge von Maßnahme c) eine momentane Position des Objekts (1) relativ zum Kalibrierelement (3) berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Maßnahme a) eine Mehrzahl von Kalibrierelementen (3) mit einer jeweiligen Kalibrieroberfläche (4) bereitgestellt und so im Abstand zueinander angeordnet werden, dass in wenigstens einem in Maßnahme b) aufgezeichneten Einzelbild (5), vorzugsweise in mehreren solchen Einzelbildern (5), wenigstens zwei Kalibrieroberflächen (4) enthalten sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Maßnahmen a) und b) so ausgeführt werden, dass in Maßnahme c) das Blickfeld (6) der Videokamera (2) zumindest temporär simultan auf wenigstens zwei Kalibrieroberflächen (4) gerichtet ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - auf dem Objekt (1) zwei oder mehr Videokameras (2a, 2b) angeordnet sind, mittels welchen in Maßnahme b) jeweils eine Videosequenz aus Einzelbildern (5) aufgezeichnet wird; - in Maßnahme c) die Positionen der Videokameras (2a, 2b) relativ zueinander und/oder zu dem Kalibrierelement (3) bestimmt werden.
Tracking-System (10), - mit einem beweglichen Objekt (1), welches wenigstens eine Videokamera (2a, 2b) zum Erzeugen einer Videosequenz aus Einzelbildern (5) eines Blickfelds (6a, 6b) der Videokamera (2a, 2b) aufweist, - mit wenigstens einem Kalibrierelement (3), umfassend eine Kalibrieroberfläche (4), die so ausgebildet ist, dass ein von der Videokamera (2a, 2b) erzeugtes Einzelbild (5) der jeweiligen Kalibrieroberfläche (4) sich in Abhängigkeit vom Blickwinkel (w1, w2) ändert, welches ein Blickfeld (6a, 6b) der Videokamera (2a, 2b) gegenüber den Kalibieroberflächen (4) bildet, - mit einer Auswertungseinrichtung (9), die zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, eingerichtet/programmiert ist.
Tracking-System (10) nach Anspruch 9, dadurch gekennzeichnet, dass das bewegliche Objekt (1) ein Kraftfahrzeug ist.