DE102016203710B4

DE102016203710B4 - Abstands- und Richtungsschätzung eines Zielpunkts von einem Fahrzeug unter Verwendung einer monokularen Videokamera

Info

Publication number: DE102016203710B4
Application number: DE102016203710.2A
Authority: DE
Inventors: Mark Gehrke
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2015-04-01
Filing date: 2016-03-08
Publication date: 2019-11-28
Anticipated expiration: 2036-03-09
Also published as: JP2016195390A; US20160288711A1; US9802539B2; DE102016203710A1; JP6726006B2

Abstract

Verfahren zum Bestimmen eines Abstands und einer Richtung zwischen einer auf einem Fahrzeug bereitgestellten Videokamera und einem Zielpunkt als einen Interessepunkt eines Objekts in einem Sichtfeld der Videokamera, umfassend:Vorinitialisieren durch Abbilden und Speichern eines Gitters von Punkten, das ein Weltkoordinatengitter repräsentiert, das auf ein Bildschirmkoordinatengitter abgebildet wird, in einer elektronischen Steuereinheit;Erzeugen eines Videobildes mit der Videokamera und Leiten des Videobildes zu einer elektronischen Steuereinheit, die einen Prozessor und einen Speicher umfasst;Anzeigen des Videobildes auf einem Display unter Verwendung des Bildschirmkoordinatengitters;Erhalten des Zielpunkts als den Interessepunkt für das Objekt in dem Videobild;Bestimmen eines Orts von vier Gitterpunkten des Bildschirmkoordinatengitters, die den Zielpunkt einkreisen;Bestimmen und Speichern von Bildschirmabständen von dem Zielpunkt zu jedem der den Zielpunkt einkreisenden vier Gitterpunkte;Abbilden der vier Gitterpunkte aus dem Bildschirmkoordinatengitter, die den Zielpunkt einkreisen, auf das Weltkoordinatengitter;Anwenden von Interpolation zur Bestimmung eines Orts des Zielpunkts in dem Weltkoordinatengitter, gewichtet durch die Bildschirmabstände; undBestimmen eines Abstands zwischen dem Ort der Videokamera und dem Zielpunkt des Objekts unter Verwendung eines bekannten Orts der Videokamera in Weltkoordinaten und des bestimmten Orts des Zielpunkts in Weltkoordinaten,wobei das Display einen Berührungsschirm umfasst und das Erhalten des Zielpunkts als den Interessepunkt für das in dem Videobild gezeigte Objekt Berühren des Berührungsschirms an dem Zielpunkt des Objekts in dem darauf angezeigten Videobild umfasst.

Description

STAND DER TECHNIK
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Schätzen des Abstands eines Objekts von einem Fahrzeug mit einer monokularen Videokamera.
Videokameras werden zunehmend aufgrund ihrer geringen Kosten und mäßigen Verarbeitungsanforderungen in Fahrzeuganwendungen verwendet. Obwohl sie ausgezeichnete Winkelauflösung bereitstellen, stellen monokulare Videokameras fast keine Abstandsauflösung bereit. Für Anwendungen, bei denen der Zielpunkt eines Objekts von einem Fahrzeug erwünscht ist, ist das Bestimmen des Abstands somit ein Problem. Eine Weise, mit einer monokularen Kamera einen Abstand zu bestimmen, geht aus der CN 102 141 398 A hervor.
KURZFASSUNG
Bei einer Ausführungsform stellt die Erfindung ein Verfahren zum Bestimmen eines Abstands und einer Richtung zwischen einer auf einem Fahrzeug bereitgestellten Videokamera und einem Zielpunkt als Interessepunkt eines Objekts in einem Sichtfeld der Videokamera bereit, umfassend: Vorinitialisieren durch Abbilden und Speichern eines Gitters von Punkten, die ein auf ein Bildschirmkoordinatengitter abgebildetes Weltkoordinatengitter repräsentieren, in einer elektronischen Steuereinheit; Erzeugen eines Videobildes mit der Videokamera und Leiten des Videobildes zu einer elektronischen Steuereinheit, die einen Prozessor und einen Speicher umfasst; Anzeigen des Videobildes auf einem Display unter Verwendung des Bildschirmkoordinatengitters; Erhalten des Zielpunkts als den Interessepunkt für ein Objekt in dem Videobild; Bestimmen eines Orts von vier Gitterpunkten des Bildschirmkoordinatengitters, die den Zielpunkt einkreisen; Bestimmen und Speichern von Bildschirmabständen von dem Zielpunkt zu jedem der vier Gitterpunkte, die den Zielpunkt einkreisen; Abbilden der vier Gitterpunkte aus dem Bildschirmkoordinatengitter, die den Zielpunkt einkreisen, auf das Weltkoordinatengitter; Anwenden von Interpolation zur Bestimmung eines Orts des Zielpunkts in dem Weltkoordinatengitter, gewichtet durch die Bildschirmabstände; und Bestimmen eines Abstands zwischen dem Ort der Videokamera und dem Zielpunkt des Objekts unter Verwendung eines bekannten Orts der Videokamera in Weltkoordinaten und des bestimmten Orts des Zielpunkts in Weltkoordinaten; wobei das Display einen Berührungsschirm umfasst und das Erhalten des Zielpunkts als den Interessepunkt für das in dem Videobild gezeigte Objekt Berühren des Berührungsschirms an dem Zielpunkt des Objekts in dem darauf angezeigten Videobild umfasst.
Bei einer Ausführungsform umfasst das Anwenden von Interpolation zur Bestimmung des Orts des Zielpunkts Anwenden von bilinearer Interpolation durch Gewichten jedes der vier Gitterpunkte in den Weltkoordinaten, die den Zielpunkt einkreisen, durch ein Quadrat eines Kehrwerts des Bildschirmabstands, der für jeden der vier Gitterpunkte in dem Bildschirmkoordinatengitter bestimmt wird, und Normieren durch eine Summe von Kehrwert-quadrierten Bildschirmabständen zur Bestimmung des Orts des Zielpunkts in Weltkoordinaten.
Bei einer Ausführungsform umfasst die Videokamera eine monokulare Panorama-Videokamera. Bei einer anderen Ausführungsform umfassen die extrinsischen Videokamera-Kalibrationsparameter Linseneigenschaften einer Linse der Videokamera.
Bei einer weiteren Ausführungsform umfasst Vorinitialisieren durch Abbilden und Speichern des das Weltkoordinatengitter repräsentierenden Gitters von Punkten auf das Bildschirmkoordinatengitter Folgendes: Leiten von extrinsischen Videokamera-Kalibrationsparametern zu der elektronischen Steuereinheit; Bereitstellen des Weltkoordinatengitters von Weltkoordinaten mit bekannten physikalischen Dimensionen; Transformieren des Weltkoordinatengitters in das Bildschirmkoordinatengitter im Hinblick auf die Kalibrationsparameter; und Bereitstellen des Bildschirmkoordinatengitters der Bildschirmkoordinaten.
Eine Ausführungsform umfasst Bestimmen von Änderungen des Abstands von der im Fahrzeug bereitgestellten Videokamera zu dem Zielpunkt des Objekts zur Vermeidung einer Kollision.
Bei einer anderen Ausführungsform umfasst Erhalten des Zielpunkts als den Interessepunkt für das in dem Videobild gezeigte Objekt ferner Vergrößern und Zentrieren des in dem Videobild gezeigten Objekts an dem berührten Zielpunkt auf dem Berührungsschirm; Auswählen eines exakten Zielpunkts des Objekts in dem vergrößerten Videobild, indem der Berührungsschirm an dem Zielpunkt ein zweites Mal berührt wird, und Definieren des exakten Zielpunkts als Reaktion auf das zweite Berühren des Berührungsschirms.
Bei einer weiteren Ausführungsform stellt die Erfindung ein System zum Bestimmen eines Abstands und einer Richtung zwischen einer in einem Fahrzeug bereitgestellten Videokamera und einem Zielpunkt als einen Interessepunkt eines Objekts in einem Sichtfeld der Videokamera bereit, umfassend: eine an einem Fahrzeug befestigte Videokamera zur Erzeugung von Videobildern und eine elektronische Steuereinheit mit einem Prozessor und einem Speicher. Die elektronische Steuereinheit ist ausgelegt zum Vorinitialisieren durch Abbilden und Speichern eines Gitters von Punkten, die ein Weltkoordinatengitter repräsentieren, das auf ein Bildschirmkoordinatengitter abgebildet wird, in Speicher; Empfangen von Videobildern von der Videokamera; Anzeigen des Videobildes auf einem Display unter Verwendung des Bildschirmkoordinatengitters; Erhalten des Zielpunkts als den Interessepunkt für das in dem Videobild auf dem Display gezeigte Objekt; Bestimmen eines Orts von vier Gitterpunkten des Bildschirmkoordinatengitters, die den Zielpunkt einkreisen; Bestimmen und Speichern von Bildschirmabständen von dem Zielpunkt zu jedem der vier Gitterpunkte; Abbilden der vier Gitterpunkte, die den Zielpunkt einkreisen, aus dem Bildschirmkoordinatengitter auf das Weltkoordinatengitter; Anwenden von Interpolation zur Bestimmung eines Orts des Zielpunkts im Weltkoordinatengitter, gewichtet durch die Bildschirmabstände; und Bestimmen eines Abstands und einer Richtung von dem Ort der Videokamera zu dem Zielpunkt des Objekts unter Verwendung eines bekannten Orts der Videokamera in Weltkoordinaten und des Orts des Zielpunkts in Weltkoordinaten; wobei das Display einen Berührungsschirm umfasst und die elektronische Steuereinheit ausgelegt ist zum Empfangen von Signalen von einer Berührung des Berührungsschirms durch einen Bediener am Zielpunkt.
Weitere Aspekte der Erfindung werden durch Betrachtung der ausführlichen Beschreibung und der beigefügten Zeichnungen ersichtlich.
Figurenliste

1 ist ein mit einer monokularen Videokamera ausgestattetes Fahrzeug.
2 ist ein Flussdiagramm von Vorinitialisierungsschritten für das System.
3 ist ein Graph von Weltkoordinaten.
4 ist ein Graph von Bildschirmkoordinaten.
5 ist ein Flussdiagramm der Funktionsweise des Systems.
6 ist ein Graph von Bildschirmkoordinaten mit einem Ziel als Interessepunkt.
7 ist ein vergrößerter Graphteil von 6, der einen Zielpunkt auf Bildschirmkoordinaten zeigt.
8 ist ein vergrößerter Graphteil, der entsprechende Weltkoordinaten für die Gitterpunkte von 5 und den Zielpunkt in Weltkoordinaten zeigt.

AUSFÜHRLICHE BESCHREIBUNG
Bevor irgendwelche Ausführungsformen der Erfindung ausführlich erläutert werden, versteht sich, dass die Erfindung bezüglich ihrer Anwendung nicht auf die Konstruktionsdetails und die Anordnung von Komponenten beschränkt ist, die in der folgenden Beschreibung dargelegt oder in den folgenden Zeichnungen dargestellt werden. Es kann andere Ausführungsformen der Erfindung geben, und sie kann auf verschiedene Weisen praktiziert oder ausgeübt werden.
1 zeigt ein Fahrzeug 18 mit einem System 20 zum Schätzen des Abstands eines Objekts vom Fahrzeug. Das System 20 umfasst eine elektronische Steuereinheit (ECU) 22 mit einem Prozessor 24 und einem flüchtigen Speicher und/oder einem nichtflüchtigen Speicher 26. In 1 umfasst das System 20 eine hinten am Fahrzeug 18 befestigte monokulare Videokamera 30. Die Videokamera 30 wird bereitgestellt, um einen Zielpunkt als Interessepunkt eines Objekts in einem Sichtfeld der Videokamera zu erhalten. Bei einigen Ausführungsformen ist die Videokamera 30 eine monokulare Panorama-Videokamera.
Die ECU 22 empfängt eine Eingabe von der Videokamera 30 und ist dafür ausgelegt, eine Ausgabe zu einem in Kommunikation damit befindlichen Display 32 zu leiten. Bei einigen Ausführungsformen ist das Display 32 ein Berührungsschirm-Display zum Empfangen von Eingaben. Es werden auch andere Schnittstellen zum Empfangen von Eingaben in Betracht gezogen. Die ECU 22 kommuniziert mit einem Lautsprecher 34 im Fahrzeug, um einem Fahrzeugbediener Audiowarnungen bereitzustellen. Der bestimmte Abstand zwischen der Videokamera 30 und einem Objekt wird für Parkhilfe und/oder Kollisionsvermeidung und/oder andere Zwecke benutzt.
KALIBRATION
Vor Betrieb des Systems 20 wird durch Vorinitialisieren des Systems 20 Kalibration der Videokamera 30 mit der ECU 22 und dem Display 32 durchgeführt. Das Flussdiagramm 40 von 2 zeigt, dass die Vorinitialisierung durch die ECU 22 im Schritt 42 damit beginnt, dass der Prozessor 24 extrinsische Videokamera-Kalibrationsparameter erhält. Zu den Parametern gehören das Sichtfeld, Linseneigenschaften, Videokameramodell und andere Videokameramerkmale für die Videokamera 30. Bei einer Ausführungsform werden die Parameter durch Kalibrationssignale von der Videokamera 30 erhalten. Bei einer anderen Ausführungsform werden die Parameter von einem auf dem Display 32 angezeigten Menü und Eingaben oder Auswahlen durch einen Bediener erhalten. Es werden andere Anordnungen in Betracht gezogen, wie etwa ein Flash-Laufwerk, das einer bestimmten Videokamera 30 entspricht.
In dem in 3 gezeigten Schritt 44 empfängt die elektronische Steuereinheit 22 außerdem ein rechteckiges Gitter von Punkten mit bekannten physikalischen Dimensionen, die Weltkoordinaten sind, und speichert oder enthält diese in Speicher 26. 3 zeigt eine Ausführungsform für ein Weltkoordinatengitter von Weltkoordinaten mit einem Abstand y an oder entlang dem Fahrzeug und einem Abstand x von dem Fahrzeug weg. Obwohl ein Gitter von Punkten besprochen wird, sind die Gitterpunkte an den Schnittpunkten der das Gitter bildenden Linien angeordnet.
In dem in 2 gezeigten Schritt 46 transformiert der Prozessor 24 ein Gitter von Punkten mit den Weltkoordinaten im Hinblick auf die Videokamera-Kalibrationsparameter durch Berechnen oder Bestimmen einer entsprechenden Abbildung von Bildschirmkoordinaten mit denselben Gitterlinien. 4 zeigt eine Ansicht von Bildschirmkoordinaten, die sich stark von den in 3 gezeigten Weltkoordinaten unterscheiden. Ein Faktor ist die Weitwinkel-Panoramalinse, die Verzerrungen der Videobilder verursacht. Wenn zum Beispiel die Videokameraparameter Daten für eine Panoramalinse umfassen, müssen die durch die Form verursachten Änderungen des Bildes durch Ändern der Bildschirmkoordinaten berücksichtigt werden. In Schritt 48 speichert der Prozessor 24 das Gitter von Punkten, das das Weltkoordinatengitter repräsentiert, so wie es auf ein entsprechendes Bildschirmkoordinatengitter abgebildet wird. Nach Schritt 48 endet die Vorinitialisierungsroutine. Somit wird ein Gitter von Punkten, das ein Weltkoordinatengitter repräsentiert, durch den Prozessor 24 auf ein Bildschirmkoordinatengitter abgebildet und im Speicher 26 gespeichert. Die Vorinitialisierungsschritte für das System 20 erfolgen typischerweise vor der Auslieferung eines Fahrzeugs oder bei einem ersten anfänglichen Herauffahren des Systems 20.
FUNKTIONSWEISE
Das in 5 gezeigte Flussdiagramm 50 veranschaulicht die Funktionsweise des Systems 20. Das System 20 wird entweder von einem Bediener betätigt oder automatisch mit der Videokamera 30 gestartet. Es werden auch andere Möglichkeiten zum Starten des Systems 20 in Betracht gezogen.
In Schritt 52 in 5 werden durch die Videokamera 30 erzeugte Videobilder zur ECU 22 übermittelt. Im Schritt 54 wird das Videobild unter Verwendung eines Bildschirmkoordinatengitters auf dem Display 32 angezeigt. Das Anzeigen eines Objekts auf einem Display wird in der eigenen US-Patentanmeldung, die als US 2016 / 0 288 601 A1 nachveröffentlicht ist, dargelegt. Dann schreitet der Prozessor 24 zu Schritt 56 voran.
In Schritt 56 wählt ein das Videobild betrachtender Bediener einen Zielpunkt auf dem Betrachtungsbildschirm, der dem interessierenden Objekt entspricht, zu Nachverfolgungszwecken. Bei einer Ausführungsform ist das Display 32 ein Berührungsschirm, und das Videobild wird darauf angezeigt. Der Bediener wählt den Zielpunkt für das interessierende Objekt durch Berühren des Berührungsschirms aus. Somit definiert der berührte Punkt den erhaltenen Zielpunkt. 6 zeigt den Zielpunkt p, der einem interessierenden Objekt entspricht, das auf dem Display 32 betrachtbar ist, der durch den Bediener auf dem Berührungsschirm ausgewählt wird. Der Zielpunkt p ist ein Zielpunkt für das interessierende Objekt und umfasst innerhalb seiner Grenzen nicht das gesamte Objekt. Somit wird 6 lediglich zur Veranschaulichung der Funktionsweise der Erfindung bereitgestellt und stellt das dem Zielpunkt entsprechende Objekt oder das Videobild auf dem Berührungsschirm nicht dar.
Bei einer anderen Ausführungsform ist Schritt 56 ein zweischrittiger Prozess. In einem ersten Schritt vergrößert eine erste Berührung des Berührungsschirms einen Bereich um den berührten Bildschirmort und zentriert ihn. Eine zweite Berührung des vergrößerten Videobildes auf dem Berührungsschirm lokalisiert und definiert den genauen Zielpunkt p. Der zweischrittige Ansatz gewährleistet größere Genauigkeit beim Auswählen des erhaltenen exakten Zielpunkts p.
Nach Schritt 56 rückt der Prozessor 24 das Programm zu Schritt 60 voran. In Schritt 60 in 5 wirkt der Prozessor 24 zum Finden oder Bestimmen eines Orts von vier Gitterpunkten in den Bildschirmkoordinaten, die den Zielpunkt p einkreisen und ihm am nächsten sind. Diese Anordnung ist in 7 gezeigt, wobei die Eckengitterpunkte q₁ , q₂ , q₃ , q₄ den Zielpunkt p umgeben. Danach schreitet der Prozessor 24 zu Schritt 62 voran. In Schritt 62 berechnet der Prozessor 24 den Abstand in Bildschirmkoordinaten von jedem der vier Eckbildschirmkoordinatengitterpunkte q₁ - q₄ zum Zielpunkt p. Die Bildschirmabstände werden im Speicher 26 gespeichert. Danach schreitet der Prozessor 24 zu Schritt 64 voran.
In Schritt 64 bildet der Prozessor 24 die vier Eckengitterpunkte q₁ , q₂ , q₃ , q₄ auf Weltkoordinaten eines Weltkoordinatengitters ab und schreitet zu Schritt 66 voran. Die abgebildeten Koordinaten sind in 8 als vier Welteckengitterpunkte Q₁ , Q₂ , Q₃ , Q₄ gezeigt.
In Schritt 66 in 5 wendet der Prozessor 24 lineare Interpolation an, um den Ort des Zielpunkts p in den Weltkoordinaten, gewichtet durch die Bildschirmabstände, zu bestimmen. Bei einer Ausführungsform wendet die lineare Interpolation bilineare Interpolation an. Genauer gesagt werden bei einer Ausführungsform die Eckengitterpunkte jeweils durch ein Quadrat eines Kehrwerts der jeweiligen für jeden der vier Gitterpunkte des Bildschirmkoordinatengitters bestimmten Bildschirmabstände gewichtet. Eine Summe der reziproken quadrierten Abstände wird normiert, um den Ort des Zielpunkts p in Weltkoordinaten zu bestimmen. Somit wird der Zielpunkt p wie in 8 gezeigt in Weltkoordinaten bereitgestellt. Wie in 3 gezeigt, sind die Weltkoordinaten ein Abstand, der zur Veranschaulichung in Zentimetern gegeben wird. Der Prozessor 24 schreitet dann zu Schritt 70 voran.
Der Ort der Videokamera 30 auf dem Fahrzeug 18 ist bekannt. In 3 sind x-Richtung und -Wert ein Abstand von der Videokamera 30 weg, bereitgestellt in Zentimetern. Für einen Fall, bei dem die Videokamera 30 außerhalb des Fahrzeugs vorgesehen ist, wird bei dieser Ausführungsform ein negativer Wert von -100 Zentimeter bereitgestellt. Die Videokamera 30 ist in 3 hinten am Fahrzeug bei einem Wert 00 zentriert. Bewegung nach rechts oder links in der y-Richtung wird somit in positiven und negativen Zentimetern bereitgestellt. Es können andere Werte den Orten in der y-Richtung zugewiesen werden, solange der Prozessor 24 die Orte für Zwecke von Berechnungen versteht. Werte für z-Koordinaten in Bezug auf die Höhe der Videokamera 30 vom Boden werden auch benutzt. Bei einigen Ausführungsformen entspricht die Höhe der Videokamera 30 einem gegebenen z-Weltkoordinatenwert von null. Es werden andere Anordnungen in Betracht gezogen. Die z-Richtung ist in 3 nicht bezeichnet, da die Richtung sowohl zur x-Richtung als auch zur y-Richtung senkrecht steht.
In Schritt 70 werden Abstand und Richtung des Zielpunkts p von der Videokamera 30 unter Verwendung der Weltkoordinaten x, y und z berechnet. Auf Triangulation basierende Gleichungen oder andere Programme, die durch den Prozessor 24 ausgeführt werden, bestimmen den Abstand und den Winkel/die Richtung von den Weltkoordinaten der Videokamera 30 und dem Zielpunkt p. Danach schreitet der Prozessor 24 zu Schritt 72 voran.
In Schritt 72 werden Abstand und/oder Richtung zwischen der Videokamera 30 und dem Zielpunkt p zu einer anderen verschiedenen ECU geleitet, oder die ECU 22 benutzt den Abstandswert und die entsprechende Richtung zur Kollisionsvermeidung beim Parken. Ferner werden die Änderungen des Abstands mit der Zeit bestimmt, um eine Kollision während des Parkens und in anderen Fahrsituationen zu vermeiden.
Obwohl die Videokamera 30 hinten am Fahrzeug 18 angebracht gezeigt ist, werden bei einigen Ausführungsformen die Videokamera oder zusätzliche Videokameras vorne und/oder an den Seiten des Fahrzeugs angebracht, um Hilfe für das Vorwärtsparken oder Winkelparken bereitzustellen.
Bei einigen Ausführungsformen stellt der Lautsprecher 34 auf der Basis des Abstands und der Richtung der Videokamera 30 vom Zielpunkt p Warnnachrichten bereit. Obwohl es hier nicht im Detail besprochen wird, ist das System 20 so ausgelegt, dass der Fahrzeugbediener mehrere Zielpunkte p auswählen kann und jedem Zielpunkt gefolgt wird, so dass dem Fahrzeugbediener die Orte der mehreren Zielpunkte, die mehreren Objekten entsprechen, bewusst ist.
Obwohl es hier nicht ausführlich besprochen wird, benutzt das System 20 bei einigen Ausführungsformen Bildanalyse zur Erkennung des Objekts an dem ausgewählten Zielpunkt p oder in einer Region darum, um Bewegung des Objekts und somit des Zielpunkts p relativ zu der an dem Fahrzeug 18 angebrachten Videokamera 30 zu bestimmen.
Somit stellt die Erfindung unter anderem ein Verfahren und ein System zum Verfolgen von Objekten hinter einem Fahrzeug 18 mit einer einzigen Videokamera 30 bereit. Solch eine Anordnung ist weniger kostspielig als Systeme, die mehrere Videokameras 30 und andere Sensoren erfordern. Ferner wird aufgrund der Auswahl durch den Bediener ein beliebiges Objekt detektiert. In den folgenden Ansprüchen werden verschiedene Merkmale und Vorteile der Erfindung dargelegt.

Claims

Verfahren zum Bestimmen eines Abstands und einer Richtung zwischen einer auf einem Fahrzeug bereitgestellten Videokamera und einem Zielpunkt als einen Interessepunkt eines Objekts in einem Sichtfeld der Videokamera, umfassend: Vorinitialisieren durch Abbilden und Speichern eines Gitters von Punkten, das ein Weltkoordinatengitter repräsentiert, das auf ein Bildschirmkoordinatengitter abgebildet wird, in einer elektronischen Steuereinheit; Erzeugen eines Videobildes mit der Videokamera und Leiten des Videobildes zu einer elektronischen Steuereinheit, die einen Prozessor und einen Speicher umfasst; Anzeigen des Videobildes auf einem Display unter Verwendung des Bildschirmkoordinatengitters; Erhalten des Zielpunkts als den Interessepunkt für das Objekt in dem Videobild; Bestimmen eines Orts von vier Gitterpunkten des Bildschirmkoordinatengitters, die den Zielpunkt einkreisen; Bestimmen und Speichern von Bildschirmabständen von dem Zielpunkt zu jedem der den Zielpunkt einkreisenden vier Gitterpunkte; Abbilden der vier Gitterpunkte aus dem Bildschirmkoordinatengitter, die den Zielpunkt einkreisen, auf das Weltkoordinatengitter; Anwenden von Interpolation zur Bestimmung eines Orts des Zielpunkts in dem Weltkoordinatengitter, gewichtet durch die Bildschirmabstände; und Bestimmen eines Abstands zwischen dem Ort der Videokamera und dem Zielpunkt des Objekts unter Verwendung eines bekannten Orts der Videokamera in Weltkoordinaten und des bestimmten Orts des Zielpunkts in Weltkoordinaten, wobei das Display einen Berührungsschirm umfasst und das Erhalten des Zielpunkts als den Interessepunkt für das in dem Videobild gezeigte Objekt Berühren des Berührungsschirms an dem Zielpunkt des Objekts in dem darauf angezeigten Videobild umfasst.
Verfahren nach Anspruch 1, wobei das Anwenden von Interpolation zur Bestimmung des Orts des Zielpunkts Anwenden von bilinearer Interpolation umfasst.
Verfahren nach Anspruch 2, wobei die bilineare Interpolation für den Ort des Zielpunkts Folgendes umfasst: Gewichten jedes der vier Gitterpunkte in den Weltkoordinaten, die den Zielpunkt einkreisen, durch ein Quadrat eines Kehrwerts des für jeden der vier Gitterpunkte in dem Bildschirmkoordinatengitter bestimmten Bildschirmabstands; und Normieren durch eine Summe der reziproken quadrierten Distanzen zur Bestimmung des Orts des Zielpunkts in Weltkoordinaten.
Verfahren nach Anspruch 1, wobei die Videokamera eine monokulare Panorama-Videokamera umfasst.
Verfahren nach Anspruch 1, wobei das Vorinitialisieren durch Abbilden und Speichern des Gitters von Punkten, das das Weltkoordinatengitter repräsentiert, auf das Bildschirmkoordinatengitter Folgendes umfasst: Leiten von extrinsischen Videokamera-Kalibrationsparametern zu der elektronischen Steuereinheit; Bereitstellen des Weltkoordinatengitters von Weltkoordinaten mit bekannten physikalischen Dimensionen; Transformieren des Weltkoordinatengitters in das Bildschirmkoordinatengitter im Hinblick auf die Kalibrationsparameter; und Bereitstellen des Bildschirmkoordinatengitters der Bildschirmkoordinaten.
Verfahren nach Anspruch 5, wobei die extrinsischen Videokamera-Kalibrationsparameter Linseneigenschaften einer Linse der Videokamera umfassen.
Verfahren nach Anspruch 1, umfassend Bestimmen von Änderungen des Abstands von der auf dem Fahrzeug bereitgestellten Videokamera zum Zielpunkt des Objekts, um eine Kollision zu vermeiden.
Verfahren nach Anspruch 1, wobei das Erhalten des Zielpunkts als den Interessepunkt für das in dem Videobild gezeigte Objekt ferner Folgendes umfasst: Vergrößern und Zentrieren des in dem Videobild gezeigten Objekts an dem berührten Zielpunkt auf dem Berührungsschirm; Auswählen eines exakten Zielpunkts des Objekts in dem vergrößerten Videobild, indem der Berührungsschirm an dem Zielpunkt ein zweites Mal berührt wird; und Definieren des exakten Zielpunkts als Reaktion auf das zweite Berühren des Berührungsschirms.
System zum Bestimmen eines Abstands und einer Richtung zwischen einer auf einem Fahrzeug bereitgestellten Videokamera und einem Zielpunkt als einen Interessepunkt eines Objekts in einem Sichtfeld der Videokamera, umfassend: eine an einem Fahrzeug befestigte Videokamera zum Erzeugen von Videobildern; und eine elektronische Steuereinheit, die einen Prozessor und einen Speicher umfasst, wobei die elektronische Steuereinheit ausgelegt ist zum Vorinitialisieren durch Abbilden und Speichern eines Gitters von Punkten, das ein Weltkoordinatengitter repräsentiert, das auf ein Bildschirmkoordinatengitter abgebildet wird, in einer elektronischen Steuereinheit; Erhalten von Videobildern von der Videokamera; Anzeigen des Videobildes auf einem Display unter Verwendung des Bildschirmkoordinatengitters; Erhalten des Zielpunkts als den Interessepunkt für das Objekt in dem Videobild auf dem Display; Bestimmen eines Orts von vier Gitterpunkten des Bildschirmkoordinatengitters, die den Zielpunkt einkreisen; Bestimmen und Speichern von Bildschirmabständen von dem Zielpunkt zu jedem der vier Gitterpunkte; Abbilden der vier Gitterpunkte die den Zielpunkt einkreisen, aus dem Bildschirmkoordinatengitter, auf das Weltkoordinatengitter; Anwenden von Interpolation zur Bestimmung eines Orts des Zielpunkts in dem Weltkoordinatengitter, gewichtet durch die Bildschirmabstände; und Bestimmen eines Abstands und einer Richtung von dem Ort der Videokamera zu dem Zielpunkt des Objekts unter Verwendung eines bekannten Orts der Videokamera in Weltkoordinaten und des Orts des Zielpunkts in Weltkoordinaten, wobei das Display einen Berührungsschirm umfasst und die elektronische Steuereinheit ausgelegt ist zum Empfangen von Signalen von einer Berührung des Berührungsschirms durch einen Bediener am Zielpunkt.
System nach Anspruch 9, wobei die Interpolation zum Bestimmen des Orts des Zielpunkts bilineare Interpolation umfasst.
System nach Anspruch 10, wobei die bilineare Interpolation für den Ort des Zielpunkts ferner Folgendes umfasst: Gewichten jedes der vier Gitterpunkte in den Weltkoordinaten, die den Zielpunkt einkreisen, durch ein Quadrat eines Kehrwerts des für jeden der vier Gitterpunkte des Bildschirmkoordinatengitters bestimmten Bildschirmabstands; und Normieren durch eine Summe der reziproken quadrierten Distanzen zur Bestimmung des Orts des Zielpunkts in Weltkoordinaten.
System nach Anspruch 9, wobei die Videokamera eine monokulare Panorama-Videokamera umfasst.
System nach Anspruch 9, wobei die elektronische Steuereinheit ausgelegt ist zum Vorinitialisieren durch Abbilden und Speichern eines Gitters von Punkten, das das Weltkoordinatengitter repräsentiert, das auf ein Bildschirmkoordinatengitter abgebildet wird, in dem Speicher durch: Erhalten von extrinsischen Videokamera-Kalibrationsparametern für die Videokamera; Erhalten des Weltkoordinatengitters von Weltkoordinaten mit bekannten physikalischen Dimensionen; Transformieren der Weltkoordinaten in Bildschirmkoordinaten im Hinblick auf die Kalibrationsparameter; und Bereitstellen des Bildschirmkoordinatengitters mit den transformierten Weltkoordinaten.
System nach Anspruch 13, wobei die extrinsischen Videokamera-Kalibrationsparameter Linseneigenschaften einer Linse der Videokamera umfassen.
System nach Anspruch 14, wobei die Videokamera eine monokulare Panorama-Videokamera umfasst.
System nach Anspruch 9, wobei die elektronische Steuereinheit ausgelegt ist zum Bestimmen von Änderungen des Abstands von der auf dem Fahrzeug bereitgestellten Videokamera zum Zielpunkt des Objekts, um eine Kollision zu vermeiden.
System nach Anspruch 9, wobei die elektronische Steuereinheit ferner ausgelegt ist zum: Vergrößern und Zentrieren des in dem Videobild gezeigten Objekts an dem berührten Zielpunkt auf dem Berührungsschirm; und Empfangen von Signalen von einer anderen Berührung des vergrößerten Videobildes auf dem Berührungsschirm durch einen Bediener, um einen exakten Zielpunkt des Objekts in dem vergrößerten Videobild zu erhalten; und Definieren und Speichern des exakten Zielpunkts auf dem vergrößerten Videobild.