DE112017001515T5

DE112017001515T5 - Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm

Info

Publication number: DE112017001515T5
Application number: DE112017001515.4T
Authority: DE
Inventors: Shusaku SHIGEMURA
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-03-22
Filing date: 2017-03-22
Publication date: 2018-12-06
Also published as: JP6512145B2; CN108780564A; WO2017164245A1; JP2017175268A

Abstract

Eine Bildverarbeitungsvorrichtung (1) weist auf: eine Bilderfassungseinheit (7), die dazu ausgelegt ist, Bilder um ein Fahrzeug herum zu erhalten; eine Wandlungseinheit (9), die dazu ausgelegt ist, die Bilder in Vogelperspektivansichten zu wandeln; eine Signalerfassungseinheit (11), die dazu ausgelegt ist, ein Fahrzeugsignal von einem fahrzeugeigenen Netzwerk zu erhalten; eine Positionsbestimmungseinheit (13), die dazu ausgelegt ist, ein Positionsverhältnis zwischen den Vogelperspektivansichten zu bestimmen; eine Zusammensetzungseinheit (15), die dazu ausgelegt ist, ein Verbundbild zu erzeugen; eine Vorhersageeinheit (17), die dazu ausgelegt ist, eine Fahrzeuggeschwindigkeit vorherzusagen, mit der das Fahrzeug an einem Zeitpunkt um eine Signalverzögerungszeit des fahrzeugeigenen Netzwerks später fahren wird; und eine Anhaltebestimmungseinheit (19), die dazu ausgelegt ist, zu bestimmen, ob das Fahrzeug gestoppt ist. Wenn das Fahrzeug als gestoppt bestimmt wird, bestimmt die Positionsbestimmungseinheit das Positionsverhältnis, wenn das Fahrzeug gestoppt ist.

Description

[Querverweis auf verwandte Anmeldungen]
Diese internationale Anmeldung basiert auf und beansprucht die Priorität der am 22. März 2016 eingereichten japanischen Patentanmeldung Nr. 2016-056975 , auf deren Offenbarung hiermit vollinhaltlich Bezug genommen ist.
[Gebiet der Erfindung]
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm.
[Bisheriger Stand der Technik]
Die folgende Bildverarbeitungsvorrichtung ist bekannt. Die Bildverarbeitungsvorrichtung erhält mehrere Bilder um ein Fahrzeug herum in einem Zeitintervall unter Verwendung einer am Fahrzeug befestigten Kamera. Die Bildverarbeitungsvorrichtung wandelt jedes der mehreren Bilder in eine Vogelperspektivansicht. Die Bildverarbeitungsvorrichtung erhält Fahrzeugsignale, die eine Bewegung des Fahrzeugs anzeigen, von einem fahrzeugeigenen Netzwerk. Die Bildverarbeitungsvorrichtung bestimmt ein Positionsverhältnis zwischen den mehreren Vogelperspektivansichten auf der Grundlage der Fahrzeugsignale. Die Bildverarbeitungsvorrichtung erzeugt ein Verbundbild, indem es die mehreren Vogelperspektivansichten in Übereinstimmung mit dem gemäß obiger Beschreibung bestimmten Positionsverhältnis anordnet. Das nachfolgende Patentdokument (PD) 1 offenbart solch eine Bildverarbeitungsvorrichtung.
[Literaturliste]
[Patentdokument]
[PD 1] JP 4 156 214 B
[Kurzdarstellung der Erfindung]
Eine detaillierte Studie der Erfinder hat jedoch folgendes Problem aufgetan. Die Fahrzeugsignale, die von dem fahrzeugeigenen Netzwerk erhalten werden, weisen eine Verzögerung auf. Für den Fall, dass die Bewegung des Fahrzeugs nicht gleichförmig ist, tritt eine Abweichung zwischen einem Verbundbild und einer Ist-Situation auf, wenn das Verbundbild in dem vorstehend beschriebenen Verfahren unter Verwendung der verzögerten Fahrzeugsignale erzeugt wird.
Es ist Aufgabe der vorliegenden Erfindung, eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm bereitzustellen, die eine Abweichung zwischen einem Verbundbild und einer Ist-Situation verringern können.
Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Erfindung weist auf: eine Bilderfassungseinheit, die dazu ausgelegt ist, mehrere Bilder um ein Fahrzeug herum in einem Zeitintervall unter Verwendung einer an einem Fahrzeug befestigten Kamera zu erhalten; eine Wandlungseinheit, die dazu ausgelegt ist, mehrere Vogelperspektivansichten zu erzeugen, indem sie jedes der mehreren Bilder in eine Vogelperspektivansicht wandelt; eine Signalerfassungseinheit, die dazu ausgelegt ist, ein Fahrzeugsignal, das eine Bewegung des Fahrzeugs anzeigt, von einem fahrzeugeigenen Netzwerk zu erhalten, wenn die Bilderfassungseinheit die mehreren Bilder erhält; eine Positionsbestimmungseinheit, die dazu ausgelegt ist, ein Positionsverhältnis zwischen den mehreren Vogelperspektivansichten unter Verwendung des durch die Signalerfassungseinheit erhaltenen Fahrzeugsignals zu bestimmen; und eine Zusammensetzungseinheit, die dazu ausgelegt ist, ein Verbundbild, in dem wenigstens ein Teil der mehreren Vogelperspektivansichten angeordnet ist, in Übereinstimmung mit dem durch die Positionsbestimmungseinheit bestimmten Positionsverhältnis zu erzeugen.
Die Bildverarbeitungsvorrichtung gemäß dem einen Aspekt der vorliegenden Erfindung weist ferner auf: eine Vorhersageeinheit, die dazu ausgelegt ist, unter Verwendung einer zeitlichen Änderung des durch die Signalerfassungseinheit erhaltenen Fahrzeugsignals, eine Fahrzeuggeschwindigkeit vorherzusagen, mit der das Fahrzeug an einem Zeitpunkt um eine Signalverzögerungszeit des fahrzeugeigenen Netzwerks später fahren wird; und eine Anhaltebestimmungseinheit, die dazu ausgelegt ist, dann, wenn die durch die Vorhersageeinheit vorhergesagte Fahrzeuggeschwindigkeit kleiner oder gleich einem voreingestellten Schwellenwert ist, mehrere Bilder zu vergleichen, die an verschiedenen Zeitpunkten unter Verwendung der Kamera erhalten werden, und zu bestimmen, ob das Fahrzeug gestoppt ist. Die Positionsbestimmungseinheit ist dazu ausgelegt, dann, wenn die Anhaltebestimmungseinheit bestimmt, dass das Fahrzeug gestoppt ist, das Positionsverhältnis zu bestimmen, wenn das Fahrzeug gestoppt ist.
Mit der Bildverarbeitungsvorrichtung gemäß dem einen Aspekt der vorliegenden Erfindung kann die Abweichung zwischen dem Verbundbild und der Ist-Situation verringert werden, auch wenn die Bewegung des Fahrzeugs nicht gleichförmig ist.
Ein Bildverarbeitungsverfahren gemäß einem weiteren Aspekt der vorliegenden Erfindung weist die folgenden Schritte auf: Erhalten von mehreren Bildern um ein Fahrzeug herum in einem Zeitintervall unter Verwendung einer am Fahrzeug befestigten Kamera; Erzeugen von mehreren Vogelperspektivansichten durch Wandeln jedes der mehreren Bilder in eine Vogelperspektivansicht; Erhalten eines Fahrzeugsignals, das eine Bewegung des Fahrzeugs anzeigt, von einem fahrzeugeigenen Netzwerk, wenn die mehreren Bilder unter Verwendung der Kamera erhalten werden; Bestimmen eines Positionsverhältnisses zwischen den mehreren Vogelperspektivansichten unter Verwendung des Fahrzeugsignals; und Erzeugen eines Verbundbildes, in dem wenigstens ein Teil der mehreren Vogelperspektivansichten angeordnet ist, in Übereinstimmung mit dem Positionsverhältnis.
Das Bildverarbeitungsverfahren gemäß dem weiteren Aspekt der vorliegenden Erfindung weist ferner die folgenden Schritte auf: Vorhersagen, unter Verwendung einer zeitlichen Änderung des Fahrzeugsignals, einer Fahrzeuggeschwindigkeit, mit der das Fahrzeug an einem Zeitpunkt um die Signalverzögerungszeit des fahrzeugeigenen Netzwerks später fahren wird; Vergleichen von mehreren Bildern, die an verschiedenen Zeitpunkten unter Verwendung der Kamera erhalten werden, und Bestimmen, ob das Fahrzeug gestoppt ist, wenn die Fahrzeuggeschwindigkeit, die vorhergesagt wird, kleiner oder gleich einem voreingestellten Schwellenwert ist; und Bestimmen des Positionsverhältnisses, wenn das Fahrzeug gestoppt ist, wenn das Fahrzeug als gestoppt bestimmt wird.
Bei dem Bildverarbeitungsverfahren gemäß dem weiteren Aspekt der vorliegenden Erfindung kann die Abweichung zwischen dem Verbundbild und der Ist-Situation verringert werden, auch wenn die Bewegung des Fahrzeugs nicht gleichförmig ist.
Es sollte beachtet werden, dass die Bezugszeichen in Klammern in den Ansprüchen Zuordnungen zu bestimmten Elementen in den Ausführungsformen zeigen, die nachstehend als ein Aspekt beschrieben sind, und den Schutzumfang der vorliegenden Erfindung nicht beschränken.
Figurenliste

1 zeigt ein Blockdiagramm zur Veranschaulichung einer Konfiguration einer Bildverarbeitungsvorrichtung;
2 zeigt ein Blockdiagramm zur Veranschaulichung einer funktionalen Konfiguration der Bildverarbeitungsvorrichtung;
3 zeigt eine Anordnung einer Kamera und einer Anzeige an einem Eigenfahrzeug;
4 zeigt ein Ablaufdiagramm zur Veranschaulichung eines von der Bildverarbeitungsvorrichtung ausgeführten Prozesses;
5 zeigt ein Verfahren zur Vorhersage der Fahrzeuggeschwindigkeit, mit der das Eigenfahrzeug an einem Zeitpunkt um ΔT nach einem aktuellen Zeitpunkt T fahren wird;
6 zeigt ein Verfahren zur Erzeugung eines Verbundbildes G(i) an dem aktuellen Zeitpunkt;
7 zeigt ein Verfahren zur Erzeugung eines Verbundbildes G(i) an dem aktuellen Zeitpunkt, wenn ein Bewegungsbetrag ΔX gleich 0 ist;
8 zeigt ein Anzeigebeispiel einer Anzeige;
9 zeigt ein Verfahren zum Vergleichen eines Bildes P(i) und eines Bildes P(i-1);
10 zeigt das Eigenfahrzeug, Pfosten und eine Haltelinie;
11 zeigt ein Verbundbild um ΔT nach einem Stoppzeitpunkt, das aus einer konstanten Berechnung eines Bewegungsbetrags ΔX auf der Grundlage eines Fahrzeugsignals resultiert;
12 zeigt ein Verbundbild G(i), das von der Bildverarbeitungsvorrichtung um ΔT nach einem Stoppzeitpunkt erzeugt wird; und
13 zeigt ein Verfahren zum Vergleichen eines Bildes P(i) und eines Bild P(i-1) auf der Grundlage des Ortes eines Objekts.

[Beschreibung der Ausführungsformen]
Nachstehend sind Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
<Erste Ausführungsform>
Konfiguration von Bildverarbeitungsvorrichtung 1
Nachstehend ist die Konfiguration einer Bildverarbeitungsvorrichtung 1 unter Bezugnahme auf die 1 bis 3 beschrieben. Die Bildverarbeitungsvorrichtung 1 ist eine In-Vehicle-Vorrichtung, die an einem Fahrzeug befestigt ist. Nachstehend ist ein Fahrzeug, an dem die Bildverarbeitungsvorrichtung 1 befestigt ist, als ein Eigenfahrzeug bezeichnet. Die Bildverarbeitungsvorrichtung 1 weist einen Mikrocomputer mit einer CPU 3 und einem Halbleiterspeicher (nachstehend als Speicher 5 bezeichnet), wie beispielsweise ein Schreib-Lese-Speicher (RAM), ein Nur-Lese-Speicher (ROM) und ein Flash-Speicher, auf. Verschiedene Funktionen der Bildverarbeitungsvorrichtung 1 werden durch die CPU 3 realisiert, die ein auf einem nicht-flüchtigen körperlichen Speichermedium gespeichertes Programm ausführt. Bei diesem Beispiel entspricht der Speicher 5 dem nicht-flüchtigen körperlichen Speichermedium, das das Programm speichert. Ferner resultiert eine Ausführung dieses Programms in einer Ausführung eines Verfahrens entsprechend dem Programm. Es sollte beachtet werden, dass die Bildverarbeitungsvorrichtung 1 einen Mikrocomputer oder mehr als einen Mikrocomputer aufweisen kann.
Wie in 2 gezeigt, weist die Bildverarbeitungsvorrichtung 1 eine Bilderfassungseinheit 7, eine Wandlungseinheit 9, eine Signalerfassungseinheit 11, eine Positionsbestimmungseinheit 13, eine Zusammensetzungseinheit 15, eine Vorhersageeinheit 17, eine Anhaltebestimmungseinheit 19 und eine Anzeigeeinheit 20 als Elemente für die Funktionen auf, die durch die CPU 3 realisiert werden, die das Programm ausführt. Das Verfahren zur Realisierung dieser Elemente, die in der Bildverarbeitungsvorrichtung 1 enthalten sind, ist nicht auf Software beschränkt, sondern ein Teil oder alle dieser Elemente können unter Verwendung von Hardware, die eine logische Schaltung, eine analoge Schaltung und dergleichen kombiniert, realisiert sein.
Das Eigenfahrzeug weist eine Kamera 21, eine Anzeige 23 und ein fahrzeugeigenes Netzwerk 25 zusätzlich zu der Bildverarbeitungsvorrichtung 1 auf. Wie in 3 gezeigt, ist die Kamera 21 an einem Heckende des Eigenfahrzeugs 27 befestigt. Die Kamera 21 erzeugt ein Bild, indem es eine Szenerie hinter dem Eigenfahrzeug 27 aufnimmt. Ein Bereich hinter dem Eigenfahrzeug entspricht einem Bereich um das Eigenfahrzeug herum.
Wenn das Eigenfahrzeug 27 von oben betrachtet wird, verläuft eine optische Achse 29 der Kamera 21 parallel zu einer Längsachse des Eigenfahrzeugs 27. Ferner weist die optische Achse 29 einen Neigungswinkel auf. Die optische Achse 29 ist bezüglich des Eigenfahrzeugs 27 stets konstant. Folglich befindet sich, wenn das Eigenfahrzeug 27 nicht geneigt und die Straße eben ist, ein Bereich 31, der in dem von der Kamera 21 aufgenommenen Bild enthalten ist, stets an einer konstanten Position bezüglich des Eigenfahrzeugs 27. Der Bereich 31 beinhaltet die Straßenoberfläche.
Wie in 3 gezeigt, ist die Anzeige 23 in einem Innenraum des Eigenfahrzeugs 27 angeordnet. Ein Fahrer des Eigenfahrzeugs 27 kann die Anzeige 23 visuell erkennen. Die Anzeige 23 wird durch die Bildverarbeitungsvorrichtung 1 gesteuert und zeigt ein Bild.
Das fahrzeugeigene Netzwerk 25 ist mit der Bildverarbeitungsvorrichtung 1 verbunden. Die Bildverarbeitungsvorrichtung 1 kann ein Fahrzeugsignal, das eine Bewegung des Eigenfahrzeugs anzeigt, von dem fahrzeugeigenen Netzwerk 25 erhalten. Das Fahrzeugsignal ist insbesondere ein Signal, das die Fahrzeuggeschwindigkeit des Eigenfahrzeugs anzeigt. Beispiele für das fahrzeugeigene Netzwerk 25 beinhalten CAN (eingetragene Marke).
Das über das fahrzeugeigene Netzwerk 25 übertragene Fahrzeugsignal wird um eine Signalverzögerungszeit ΔT verzögert. Genauer gesagt, das Fahrzeugsignal, das an einem Zeitpunkt T durch die Bildverarbeitungsvorrichtung 1 von dem fahrzeugeigenen Netzwerk 25 erhalten wird, zeigt die Bewegung des Eigenfahrzeugs an einem Zeitpunkt (T - ΔT). Die Signalverzögerungszeit ΔT ist ein positiver Wert, der für das fahrzeugeigene Netzwerk 25 spezifisch ist, und ist ein bekannter Wert.
Bildverarbeitung durch die Bildverarbeitungsvorrichtung 1
Nachstehend ist eine von der Bildverarbeitungsvorrichtung 1 wiederholt in einem festen Zyklus I ausgeführte Bildverarbeitung unter Bezugnahme auf die 4 bis 9 beschrieben. Die Einheit der Periode I ist die Zeit. Nachstehend ist eine einmalige Ausführung der in der 4 gezeigten Verarbeitung auch als ein Zyklus bezeichnet.
In Schritt 1 der 4 erhält die Bilderfassungseinheit 7 ein Bild unter Verwendung der Kamera 21. Es sollte beachtet werden, dass die Bildverarbeitungsvorrichtung 1 den Zyklus mit der festen Periode I wiederholt. Folglich erhält die Bilderfassungseinheit 7 mehrere Bilder in einem Zeitintervall gleichbedeutend mit der Periode I. Die Bilderfassungseinheit 7 erhält beispielsweise ein erstes Bild in dem Zyklus, der an einem Zeitpunkt t₀ ausgeführt wird, erhält ein zweites Bild in dem Zyklus, der an einem Zeitpunkt (to + I) ausgeführt wird, erhält ein drittes Bild in dem Zyklus, der an dem Zeitpunkt (t₀ + 2I) ausgeführt wird, und erhält ein viertes Bild in dem Zyklus, der an dem Zeitpunkt (t₀ + 3I) ausgeführt wird.
In Schritt 2 erhält die Signalerfassungseinheit 11 das Fahrzeugsignal von dem fahrzeugeigenen Netzwerk 25. Es sollte beachtet werden, dass, da jeder Zyklus Schritt 2 zusätzlich zu Schritt 1 aufweist, die Signalerfassungseinheit 11 das Fahrzeugsignal erhält, wenn die Bilderfassungseinheit 7 das Bild erhält.
In Schritt 3 speichert die Signalerfassungseinheit 11 das in Schritt 2 erhaltene Fahrzeugsignal in dem Speicher 5 in Verbindung mit dem Zeitpunkt, an dem das Fahrzeugsignal erhalten wird.
In Schritt 4 wandelt die Wandlungseinheit 9 das in Schritt 1 in dem aktuellen Zyklus erhaltene Bild in eine Vogelperspektivansicht. Als ein Verfahren für eine Wandlung in eine Vogelperspektivansicht kann ein bekanntes Verfahren angewandt werden. Als ein Beispiel für das Verfahren für eine Wandlung in eine Vogelperspektivansicht kann beispielsweise das in der japanischen Patentanmeldung Nr. H10-211849 beschriebene Verfahren angewandt werden.
Es sollte beachtet werden, dass die Bildverarbeitungsvorrichtung 1 den Prozess in Schritt 4 in jedem Zyklus wiederholt ausführt. In jedem Prozess in Schritt 4 wandelt die Wandlungseinheit 9 das in Schritt 1 in demselben Zyklus erhaltene Bild in eine Vogelperspektivansicht. Folglich wandelt die Wandlungseinheit 9 jedes der mehreren Bilder, die in Schritt 1 erhalten werden, in eine Vogelperspektivansicht. Die Wandlungseinheit 9 speichert die Vogelperspektivansicht in dem Speicher 5.
In Schritt 5 wird bestimmt, ob der Zeitpunkt, um die Erzeugung des Verbundbilds zu starten, bereits gekommen ist. Der Zeitpunkt, um die Erzeugung des Verbundbildes zu starten, ist der Zeitpunkt, an dem sich das Eigenfahrzeug eine voreingestellte Entfernung bewegt hat, nachdem die Vogelperspektivansicht das erste Mal in Schritt 4 gespeichert wurde. Wenn der Zeitpunkt zum Starten der Erzeugung des Verbundbildes bereits gekommen ist, schreitet die Verarbeitung zu Schritt 6 voran; andernfalls endet die laufende Verarbeitung.
In Schritt 6 sagt die Vorhersageeinheit 17 wie folgt die Fahrzeuggeschwindigkeit voraus, mit der das Eigenfahrzeug an einem Zeitpunkt um ΔT nach dem aktuellen Zeitpunkt T fahren wird.
Zunächst liest die Vorhersageeinheit 17 die in Schritt 3 in dem aktuellen Zyklus und in Schritt 3 in jedem der vorherigen Zyklen gespeicherten Fahrzeugsignale aus. Das Fahrzeugsignal zeigt, wie vorstehend beschrieben, die Fahrzeuggeschwindigkeit des Eigenfahrzeugs. Anschließend plottet bzw. zeichnet die Vorhersageeinheit 17, wie in 5 gezeigt, eine Kurve des gelesenen Fahrzeugsignals mit der Fahrzeuggeschwindigkeit entlang der vertikalen Achse und der Zeit, bei der das Fahrzeugsignal erhalten wird, entlang der horizontalen Achse.
Anschließend berechnet die Vorhersageeinheit 17 eine Annäherungskurve 33, die das Verhältnis zwischen der Fahrzeuggeschwindigkeit und dem Zeitpunkt, an dem das Fahrzeugsignal erhalten wird, zeigt, unter Verwendung einer zeitlichen Änderung der Fahrzeuggeschwindigkeit, die in diesem Diagramm auftritt. Die Annäherungskurve 33 kann eine lineare Funktion der Zeit, eine quadratische Funktion der Zeit oder kann eine kubische Funktion der Zeit sein. Anschließend sagt die Vorhersageeinheit 17 die Fahrzeuggeschwindigkeit, mit der das Eigenfahrzeug an einem Zeitpunkt um ΔT nach dem aktuellen Zeitpunkt T fahren wird, unter Verwendung der Annäherungskurve 33 vorher.
In Schritt 7 bestimmt die Anhaltebestimmungseinheit 19, ob die in Schritt 6 vorhergesagte Fahrzeuggeschwindigkeit kleiner oder gleich einem voreingestellten Schwellenwert ist. Wenn die vorhergesagte Fahrzeuggeschwindigkeit den Schwellenwert überschreitet, schreitet die Verarbeitung zu Schritt 8 voran, und wenn die vorhergesagte Fahrzeuggeschwindigkeit kleiner oder gleich dem Schwellenwert ist, schreitet die Verarbeitung zu Schritt 12 voran.
In Schritt 8 wird ein Bewegungsbetrag ΔX des Eigenfahrzeugs in der Periode zwischen dem vorherigen Zyklus und dem aktuellen Zyklus berechnet. Der Bewegungsbetrag ΔX ist das Produkt der Periode I und der Fahrzeuggeschwindigkeit, die durch das Fahrzeugsignal beschrieben wird, das in Schritt 2 in dem aktuellen Zyklus erhalten wird. Wenn die Fahrzeuggeschwindigkeit beispielsweise 60 km/h beträgt und die Periode I beispielsweise 33 Millisekunden beträgt, ist ΔX gleich 0,55 m.
In Schritt 9 erzeugt die Zusammensetzungseinheit 15 wie folgt ein Verbundbild. Wenn die Erzeugung des Verbundbildes bereits in einem der vorherigen Zyklen gestartet wurde, liest die Zusammensetzungseinheit 15 die Position und den Inhalt des Verbundbildes, das in Schritt 10 in dem vorherigen Zyklus in dem Speicher 5 gespeichert wurde. Die Position des Verbundbildes beschreibt die Position, an der das Verbundbild auf der Anzeige 23 angezeigt wird. Wenn die Erzeugung des Verbundbildes in dem aktuellen Zyklus beginnt, wird das Verbundbild nicht ausgelesen.
6 zeigt ein Beispiel für das gelesene Verbundbild. In der 6 ist das Verbundbild G(i-1) ein Verbundbild, das in dem vorherigen Zyklus erzeugt und gespeichert wurde. Das Verbundbild G(i-1) ist beispielsweise eine Kombination aus Vogelperspektivansichten TV(i-1), TV(i-2), TV(i-3) und TV(i-4). Hierin zeigt TV(i-1) eine Vogelperspektivansicht, die in Schritt 4 in dem Zyklus erzeugt wurde, der (n+1) Zyklen früher erfolgt, TV(i-2) eine Vogelperspektivansicht, die in Schritt 4 in dem Zyklus erzeugt wurde, der (n+2) Zyklen früher erfolgt, TV(i-3) eine Vogelperspektivansicht, die in Schritt 4 in dem Zyklus erzeugt wurde, der (n+3) Zyklen früher erfolgt, und TV(i-4) eine Vogelperspektivansicht, die in Schritt 4 in dem Zyklus erzeugt wurde, der (n+4) Zyklen früher erfolgt. Hierin beschreibt n eine natürliche Zahl, die größer oder gleich 1 und konstant ist.
Es sollte beachtet werden, dass dieses Verbundbild G(i-1) gemäß dem nachfolgenden Verfahren erzeugt wird. Zunächst wird in Schritt 9 in einem Zyklus, der vier Zyklen früher erfolgt, ein Verbundbild G(i-4) mit einer Vogelperspektivansicht TV(i-4) erzeugt. Anschließend wird in Schritt 9 in einem Zyklus, der drei Zyklen früher erfolgt, ein Verbundbild G(i-3) erzeugt, indem eine Vogelperspektivansicht TV(i-3) zu dem Verbundbild G(i-4) hinzugefügt wird. Anschließend wird in Schritt 9 in einem Zyklus, der zwei Zyklen früher erfolgt, ein Verbundbild G(i-2) erzeugt, indem eine Vogelperspektivansicht TV(i-2) zu dem Verbundbild G(i-3) hinzugefügt wird. Anschließend wird, in Schritt 9 in dem vorherigen Zyklus, ein Verbundbild G(i-1) erzeugt, indem eine Vogelperspektivansicht TV(i-1) zu dem Verbundbild G(i-2) hinzugefügt wird.
Anschließend bewegt die Zusammensetzungseinheit 15 die Position des Verbundbildes G(i-1) um kΔX in einer Richtung entgegengesetzt zu einer Fahrtrichtung D des Eigenfahrzeugs. Hierin ist kΔX das Produkt einer Konstanten k und des Bewegungsbetrags ΔX. Die Konstante k ist ein Pixelabstand. Die Einheit des Pixelabstands ist m/pix.
Anschließend erzeugt die Zusammensetzungseinheit 15 ein Verbundbild G(i) in dem aktuellen Zyklus, indem sie, zu dem Verbundbild G(i-1), eine Vogelperspektivansicht TV(i) addiert, die einen Zyklus nach der letzten Vogelperspektivansicht TV(i-1) erzeugt wird, die in dem Verbundbild G(i-1) enthalten ist. Wenn TV(i-1) beispielsweise eine Vogelperspektivansicht ist, die in Schritt 4 in dem Zyklus erzeugt wird, der (n+1) Zyklen früher erfolgt, ist TV(i) eine Vogelperspektivansicht, die in Schritt 4 in dem Zyklus erzeugt wird, der n Zyklen früher erfolgt.
Die Position der Vogelperspektivansicht TV(i), die neu hinzugefügt wird, ist stets konstant. Folglich wird das Positionsverhältnis zwischen der Vogelperspektivansicht TV(i) und den Vogelperspektivansichten TV(i-1), TV(i-2), TV(i-3) und TV(i-4) in Übereinstimmung mit kΔX bestimmt. Genauer gesagt, kΔX entspricht dem Positionsverhältnis zwischen den mehreren Vogelperspektivansichten.
Die Position der Vogelperspektivansicht TV(i) ist von der Vogelperspektivansicht TV(i-1) um kΔX in der Richtung D versetzt. Wenn die Vogelperspektivansicht TV(i) und das Verbundbild G(i-1) einen Überlappungsbereich aufweisen, ist der Inhalt des Verbundbildes G(i) in dem Überlappungsbereich der Inhalt der Vogelperspektivansicht TV(i).
Die Länge des Verbundbildes G(i) in einer vertikalen Richtung weist einen festen oberen Grenzwert auf. Auch wenn die Vogelperspektivansicht TV(i) hinzugefügt wird, werden die alten Vogelperspektivansichten nicht gelöscht, bis die Länge des Verbundbildes G(i) in der vertikalen Richtung den oberen Grenzwert erreicht.
Demgegenüber wird, wenn das Hinzufügen der Vogelperspektivansicht TV(i) bewirkt, dass die Länge des Verbundbildes G(i) in der vertikalen Richtung den oberen Grenzwert überschreitet, die älteste der Vogelperspektivansichten, die in dem Verbundbild G(i) enthalten ist, gelöscht. In dem Beispiel gemäß 6 wird die Vogelperspektivansicht TV(i-4) gelöscht.
In Schritt 14, der nachstehend noch beschrieben ist, bewegt sich, wenn der Bewegungsbetrag ΔX gleich 0 ist, wie in 7 gezeigt, die Position des Verbundbildes G(i-1) nicht. Die Position der Vogelperspektivansicht TV(i-1) in dem Verbundbild G(i-1) ist gleich der Position der Vogelperspektivansicht TV(i), die hinzuzufügen ist. Folglich überlappen sich die Vogelperspektivansicht TV(i-1) und die Vogelperspektivansicht TV(i) vollständig. Das Verbundbild G(i) wird erhalten, indem ein Teil der Vogelperspektivansicht TV(i-1) in dem Verbundbild G(i-1) durch die Vogelperspektivansicht TV(i) ersetzt wird.
In Schritt 10 speichert die Zusammensetzungseinheit 15 die Position und den Inhalt des in Schritt 9 erzeugten Verbundbildes G(i) in dem Speicher 5.
In Schritt 11 zeigt die Anzeigeeinheit 20 ein Bild mit dem in Schritt 9 erzeugten Verbundbild G(i) auf der Anzeige 23. Das Anzeigebeispiel ist in der 8 gezeigt. Das Verbundbild G(i) wird in der Mitte in dem Bereich auf der linken Seite der Anzeige 23 angezeigt. Der Bereich, der in der 8 als „Fahrtrichtungsbild“ gekennzeichnet ist, ist ein Bereich, in dem ein Echtzeitbild von der Kamera 21 angezeigt wird. Der Bereich „Aktuelles Bild“ ist ein Bereich, in dem die Vogelperspektivansicht angezeigt wird, die in Schritt 4 in dem aktuellen Zyklus erzeugt wird. Der Bereich „Leer“ ist ein Bereich, in dem nichts angezeigt ist.
Es sollte beachtet werden, dass der Bereich links oben der Anzeige 23 ein Bereich ist, in dem die Vogelperspektivansicht angezeigt wird, die erzeugt wird, indem ein Bild gewandelt wird, das unter Verwendung einer Frontkamera erhalten wird. 8 zeigt ein Bild, das angezeigt wird, wenn das Eigenfahrzeug zurücksetzt. Wenn das Eigenfahrzeug zurücksetzt, wird die Frontkamera nicht verwendet. Folglich ist der Bereich links oben der Anzeige 23 in der 8 „Leer“. Wenn sich das Eigenfahrzeug vorwärts bewegt, wird die Vogelperspektivansicht, die erzeugt wird, indem das Bild gewandelt wird, das unter Verwendung der Frontkamera erhalten wird, in dem Bereich links oben der Anzeige 23 angezeigt.
Wenn in Schritt 7 eine positive Bestimmung getroffen wird, schreitet die Verarbeitung zu Schritt 12 voran. In Schritt 12 vergleicht die Anhaltebestimmungseinheit 19 ein Bild P(i), das in Schritt 1 in dem aktuellen Zyklus erhalten wird, und ein Bild P(i-1), das in Schritt 1 in dem vorherigen Zyklus erhalten wurde. Das Bild P(i) und das Bild P(i-1) entsprechen mehreren Bildern, die an verschiedenen Zeitpunkten unter Verwendung der Kamera 21 erhalten werden.
Der Vergleich erfolgt wie folgt. Wie in 9 gezeigt, werden Pixel des Bildes P(i) und des Bildes P(i-1) an den gleichen Koordinaten verglichen und Unterschiede in der Leuchtstärke, Farbe und dergleichen zwischen beiden berechnet. Diese Verarbeitung erfolgt für alle der Pixel des Bildes P(i) und des Bildes P(i-1), und es wird eine Differenz zwischen den gesamten Bildern berechnet.
In Schritt 13 bestimmt die Anhaltebestimmungseinheit 19 auf der Grundlage des Vergleichsergebnisses in Schritt 12, ob das Eigenfahrzeug gestoppt ist. Insbesondere bestimmt die Anhaltebestimmungseinheit 19, wenn die Differenz zwischen den gesamten Bildern, die in Schritt 12 berechnet wird, kleiner oder gleich einem voreingestellten Schwellenwert ist, dass das Eigenfahrzeug gestoppt ist; andernfalls bestimmt die Anhaltebestimmungseinheit 19, dass sich das Eigenfahrzeug in Bewegung befindet. Wenn bestimmt wird, dass das Eigenfahrzeug gestoppt ist, schreitet die Verarbeitung zu Schritt 14 voran, und wenn bestimmt wird, dass sich das Eigenfahrzeug in Bewegung befindet, schreitet die Verarbeitung zu Schritt 8 voran.
In Schritt 14 wird der Bewegungsbetrag ΔX auf 0 gesetzt. Der Bewegungsbetrag ΔX mit einem Wert von 0 entspricht dem sich nicht in Bewegung befindlichen Eigenfahrzeug. Anschließend schreitet die Verarbeitung zu Schritt 9 voran.
Vorteilhafte Effekte durch die Bildverarbeitungsvorrichtung 1
(1A) Die Bildverarbeitungsvorrichtung 1 sagt die Fahrzeuggeschwindigkeit vorher, mit der das Eigenfahrzeug an einem Zeitpunkt um die Signalverzögerungszeit ΔT später fährt. Wenn die vorhergesagte Fahrzeuggeschwindigkeit kleiner oder gleich einem voreingestellten Schwellenwert ist, vergleicht die Bildverarbeitungsvorrichtung 1 mehrere Bilder, die an verschiedenen Zeitpunkten unter Verwendung der Kamera 21 erhalten werden, und bestimmt die Bildverarbeitungsvorrichtung 1, ob das Eigenfahrzeug gestoppt ist. Ferner setzt die Bildverarbeitungsvorrichtung 1, wenn das Eigenfahrzeug als gestoppt bestimmt wird, den Bewegungsbetrag ΔX auf 0.
Hierdurch kann die Abweichung zwischen dem Verbundbild und der Ist-Situation verringert werden, auch wenn die Bewegung des Eigenfahrzeugs variiert. Dieser vorteilhafte Effekt ist nachstehend unter Verwendung des in den 10 bis 12 gezeigten Beispiels beschrieben.
Wie in 10 gezeigt, setzt das Eigenfahrzeug 27 zwischen Pfosten 35 auf der linken und rechten Seite zurück und stoppt das Eigenfahrzeug 27 vor einer Haltelinie 37. Genauer gesagt, die Bewegungen des Eigenfahrzeugs 27 ändern sich von dem Zustand des Zurücksetzens zu dem Zustand, in dem das Eigenfahrzeug 27 gestoppt ist. Die Bildverarbeitungsvorrichtung 1 erzeugt wiederholt die Verbundbilder und zeigt die Verbundbilder auf der Anzeige 23, wenn das Eigenfahrzeug 27 zurücksetzt und wenn das Eigenfahrzeug 27 gestoppt ist.
Es wird ein Fall angenommen, in dem die Prozesse in den Schritten 6, 7, 12, 13 und 14 nicht ausgeführt werden und der Bewegungsbetrag ΔX stets in Schritt 8 berechnet wird. In diesem Fall ist das Verbundbild an einem Zeitpunkt um ΔT nach dem Zeitpunkt, an dem das Eigenfahrzeug 27 vor der Haltelinie 37 stoppt (nachstehend als Stoppzeitpunkt bezeichnet), dasjenige, das in der 11 gezeigt ist. In diesem Verbundbild sind Pfosten 35A, die der Haltelinie 37 unter den Pfosten 35 am nächsten sind, an Positionen oberhalb der tatsächlichen Positionen 39 gezeigt. Dies bedeutet, dass eine Abweichung zwischen dem Verbundbild und der Ist-Situation vorliegt.
Dies hat den folgenden Grund. Die Bildverarbeitungsvorrichtung 1 erhält ein Fahrzeugsignal, das an einem Zeitpunkt um die Signalverzögerungszeit ΔT früher erhalten wird. Folglich zeigt das Fahrzeugsignal in der Zeitspanne zwischen dem Stoppzeitpunkt und einem Zeitpunkt um ΔT später die Fahrzeuggeschwindigkeit des Eigenfahrzeugs 27, das immer noch zurücksetzt. Genauer gesagt, in der Zeitspanne zwischen dem Stoppzeitpunkt und dem Zeitpunkt um ΔT später erhält die Bildverarbeitungsvorrichtung 1 das Fahrzeugsignal, das die Fahrzeuggeschwindigkeit des Eigenfahrzeugs 27 anzeigt, das zurücksetzt, obgleich das Eigenfahrzeug 27 tatsächlich gestoppt ist. Folglich ist der Bewegungsbetrag ΔX, der an dem Zeitpunkt um ΔT nach dem Stoppzeitpunkt berechnet wird, größer als der tatsächliche Wert.
Anschließend, wenn das Verbundbild G(i) an dem Zeitpunkt um ΔT nach dem Stoppzeitpunkt erzeugt wird, bewegt sich das Verbundbild G(i-1), wie in 6 gezeigt, weiter aufwärts als es tatsächlich der Fall ist. Dies führt dazu, dass sich die Pfosten 35A, die in dem Verbundbild G(i-1) gezeigt sind, wie in 11 gezeigt, aufwärts bewegen und an den Positionen über den tatsächlichen Positionen 39 in dem Verbundbild G(i) gezeigt werden. Es sollte beachtet werden, dass die Eigenfahrzeuge 27 in der 11 und in der 12, die nachstehend noch beschrieben ist, diejenigen sind, die als Computergraphiken angezeigt werden.
Demgegenüber kann, nach dem Stoppzeitpunkt, die Bildverarbeitungsvorrichtung 1 den Bewegungsbetrag ΔX auf 0 setzen, indem sie in Schritt 7 eine positive Bestimmung trifft und anschließend in Schritt 13 eine positive Bestimmung trifft. Hierauf folgend, wenn das Verbundbild G(i) an einem Zeitpunkt um ΔT nach dem Stoppzeitpunkt erzeugt wird, bewegt die Bildverarbeitungsvorrichtung 1 das Verbundbild G(i-1), wie in 7 gezeigt, nicht. Dies führt dazu, dass sich die Pfosten 35A, die in dem Verbundbild G(i-1) angezeigt werden, wie in 12 gezeigt, nicht aufwärts bewegen und an den tatsächlichen Positionen 39 in dem Verbundbild G(i) angezeigt werden. Folglich wird die Abweichung zwischen dem Verbundbild und der Ist-Situation verringert.
(1B) Das Fahrzeugsignal, das durch die Bildverarbeitungsvorrichtung 1 erhalten wird, zeigt die Fahrzeuggeschwindigkeit des Eigenfahrzeugs. Folglich kann der Bewegungsbetrag ΔX auf einfache Weise berechnet werden.
(1C) Die Bildverarbeitungsvorrichtung 1 vergleicht die Pixel der mehreren Bilder an den gleichen Koordinaten und bestimmt, ob das Eigenfahrzeug gestoppt ist. Folglich kann einfach und genau bestimmt werden, ob das Eigenfahrzeug gestoppt ist.
<Zweite Ausführungsform>
Unterschiede zur ersten Ausführungsform
Basiselemente in der zweiten Ausführungsform entsprechen im Wesentlichen denjenigen in der ersten Ausführungsform, so dass nachstehend hauptsächlich auf die Unterschiede zwischen beiden Ausführungsformen eingegangen ist und gleiche Elemente nicht wiederholt beschrieben sind. Es sollte beachtet werden, dass gleiche Elemente in beiden Ausführungsformen mit den gleichen Bezugszeichen versehen sind und nicht wiederholt beschrieben sind.
In Schritt 12 vergleicht die Anhaltebestimmungseinheit 19 das Bild P(i) und das Bild P(i-1) in dem nachfolgenden Verfahren.
Wie in 13 gezeigt, erkennt die Anhaltebestimmungseinheit 19 dasselbe Objekt 41 in den Bildern P(i) und P(i-1). Es kann ein bekanntes Bilderkennungsverfahren angewandt werden, um das Objekt 41 bzw. die Objekte 41 zu erkennen. Ein bevorzugtes Beispiel für das Objekt 41 ist etwas, das sich nicht bezüglich der Erde bewegt. Beispiele für solch ein Objekt umfassen eine weiße Linie, ein Gebäude und eine Struktur. Ob das in dem Bild P(i) erkannte Objekt und das in dem Bild P(i) erkannte Objekt dasselbe Objekt sind, kann in Übereinstimmung mit Ähnlichkeiten zwischen beiden, wie beispielsweise Ähnlichkeiten in der Form, Größe und Farbe, bestimmt werden.
Anschließend vergleicht die Anhaltebestimmungseinheit 19 den Ort des Objekts 41, das in dem Bild P(i) erkannt wird, und den Ort des Objekts 41, das in dem Bild P(i-1) erkannt wird, und berechnet die Anhaltebestimmungseinheit 19 den Abstand zwischen beiden.
In Schritt 13 bestimmt die Anhaltebestimmungseinheit 19 auf der Grundlage des Vergleichsergebnisses von Schritt 12, ob das Eigenfahrzeug gestoppt ist. Insbesondere bestimmt die Anhaltebestimmungseinheit 19, wenn der in Schritt 12 berechnete Abstand kleiner oder gleich einem voreingestellten Schwellenwert ist, dass das Eigenfahrzeug gestoppt ist; andernfalls bestimmt die Anhaltebestimmungseinheit 19, dass das Eigenfahrzeug in Bewegung ist. Wenn das Eigenfahrzeug als gestoppt bestimmt wird, schreitet die Verarbeitung zu Schritt 14 voran, und wenn das Eigenfahrzeug als in Bewegung bestimmt wird, schreitet die Verarbeitung zu Schritt 8 voran.
Vorteilhafter Effekt durch die Bildverarbeitungsvorrichtung 1
Gemäß der zweiten Ausführungsform, die vorstehend näher beschrieben ist, wird der folgende vorteilhafte Effekt zusätzlich zu den vorteilhaften Effekten (1A) und (1B) in der obigen ersten Ausführungsform erzielt.
(2A) Die Bildverarbeitungsvorrichtung 1 erkennt dasselbe Objekt 41 in den Bildern P(i) und P(i-1). Ferner vergleicht die Bildverarbeitungsvorrichtung 1 die Orte bzw. Standorte des Objekts 41 in dem Bild P(i) und in dem Bild P(i-1) und bestimmt die Bildverarbeitungsvorrichtung 1, ob das Eigenfahrzeug gestoppt ist. Folglich kann auf einfache Weise und genau bestimmt werden, ob das Eigenfahrzeug gestoppt ist.
<Weitere Ausführungsformen>
Obgleich die vorliegende Erfindung vorstehend in Verbindung mit ihren Ausführungsformen beschrieben ist, ist sie nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt, sondern kann auf verschiedene Weise modifiziert werden.

(1) Die Kamera 21 kann an dem Frontende des Eigenfahrzeugs 27 befestigt sein. In diesem Fall kann die Bildverarbeitungsvorrichtung 1 ein Bild erhalten, das die Kamera 21 von einem Bereich vor dem Eigenfahrzeug aufgenommen hat. Der Bereich vor dem Eigenfahrzeug entspricht einem Bereich um das Eigenfahrzeug herum. Die Bildverarbeitungsvorrichtung 1 kann unter Verwendung des den Bereich vor dem Eigenfahrzeug zeigenden Bildes ein Verbundbild erzeugen.
(2) Das Fahrzeugsignal kann den Ort des Eigenfahrzeugs oder den Bewegungsbetrag des Eigenfahrzeugs anzeigen. Das Fahrzeugsignal kann beispielsweise wenigstens einen gewählten von den Werten eines Impulszählers, der Fahrtrichtung des Eigenfahrzeugs und des Lenkwinkels des Eigenfahrzeugs anzeigen.
(3) Die Bilder, die in Schritt 12 verglichen werden, können Vogelperspektivansichten sein.
(4) Mehrere Funktionen eines strukturellen Elements in den obigen Ausführungsformen können durch mehr als ein strukturelles Element realisiert sein, und eine Funktion von einem strukturellen Element in den obigen Ausführungsformen kann durch mehr als ein strukturelles Element realisiert sein. Ferner können mehrere Funktionen von mehr als einem strukturellen Element in den obigen Ausführungsformen durch ein strukturelles Element realisiert sein, und eine Funktion, die durch mehr als ein strukturelles Element in den obigen Ausführungsformen realisiert ist, kann durch ein strukturelles Element realisiert sein. Ferner kann ein Abschnitt der Konfigurationen in den obigen Ausführungsformen ausgelassen sein. Ferner kann wenigstens ein Abschnitt der Konfiguration in jeder der obigen Ausführungsformen zu der Konfiguration in einer anderen der obigen Ausführungsformen hinzugefügt oder durch die Konfiguration in einer anderen der obigen Ausführungsformen ersetzt werden. Es sollte beachtet werden, dass alle Ausführungsformen innerhalb des Schutzumfang gemäß dem Wortlaut der Ansprüche Ausführungsformen der vorliegenden Erfindung sind.
(5) Die vorliegende Erfindung ist nicht auf die vorstehend beschriebene Bildverarbeitungsvorrichtung beschränkt, sondern auf verschiedene Weise realisierbar, wie beispielsweise als ein System, das die Bildverarbeitungsvorrichtung als ein strukturelles Element aufweist, ein Programm, das einen Computer dazu veranlasst, als die Bildverarbeitungsvorrichtung zu dienen, ein nicht-flüchtiges körperliches Speichermedium, wie beispielsweise ein Halbleiterspeicher, auf dem dieses Programm gespeichert ist, und ein Bildverarbeitungsverfahren.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016056975 [0001]
JP 4156214 B [0004]
JP H10211849 [0026]

Claims

Bildverarbeitungsvorrichtung (1) mit: - einer Bilderfassungseinheit (7), die dazu ausgelegt ist, mehrere Bilder um ein Fahrzeug (27) herum in einem Zeitintervall unter Verwendung einer am Fahrzeug befestigten Kamera (21) zu erhalten; - einer Wandlungseinheit (9), die dazu ausgelegt ist, mehrere Vogelperspektivansichten durch Wandeln jedes der mehreren Bilder in eine Vogelperspektivansicht zu erzeugen; - einer Signalerfassungseinheit (11), die dazu ausgelegt ist, ein Fahrzeugsignal, das eine Bewegung des Fahrzeugs anzeigt, von einem fahrzeugeigenen Netzwerk (25) zu erhalten, wenn die Bilderfassungseinheit die mehreren Bilder erhält; - einer Positionsbestimmungseinheit (13), die dazu ausgelegt ist, ein Positionsverhältnis zwischen den mehreren Vogelperspektivansichten unter Verwendung des durch die Signalerfassungseinheit erhaltenen Fahrzeugsignals zu bestimmen; - einer Zusammensetzungseinheit (15), die dazu ausgelegt ist, ein Verbundbild, in dem wenigstens ein Teil der mehreren Vogelperspektivansichten angeordnet ist, in Übereinstimmung mit dem durch die Positionsbestimmungseinheit bestimmten Positionsverhältnis zu erzeugen; - einer Vorhersageeinheit (17), die dazu ausgelegt ist, unter Verwendung einer zeitlichen Änderung des durch die Signalerfassungseinheit erhaltenen Fahrzeugsignals, eine Fahrzeuggeschwindigkeit vorherzusagen, mit der das Fahrzeug an einem Zeitpunkt um eine Signalverzögerungszeit des fahrzeugeigenen Netzwerks später fahren wird; und - einer Anhaltebestimmungseinheit (19), die dazu ausgelegt ist, dann, wenn die durch die Vorhersageeinheit vorhergesagte Fahrzeuggeschwindigkeit kleiner oder gleich einem voreingestellten Schwellenwert ist, mehrere Bilder zu vergleichen, die an verschiedenen Zeitpunkten unter Verwendung der Kamera erhalten werden, und zu bestimmen, ob das Fahrzeug gestoppt ist, wobei - die Positionsbestimmungseinheit dazu ausgelegt ist, dann, wenn die Anhaltebestimmungseinheit bestimmt, dass das Fahrzeug gestoppt ist, das Positionsverhältnis zu bestimmen, wenn das Fahrzeug gestoppt ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das Fahrzeugsignal wenigstens einen gewählten Wert von der Fahrzeuggeschwindigkeit, einem Impulszähler, einer Fahrtrichtung und einem Lenkwinkel des Fahrzeugs anzeigt.
Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Anhaltebestimmungseinheit dazu ausgelegt ist, Pixel der mehreren Bilder an den gleichen Koordinaten zu vergleichen und zu bestimmen, ob das Fahrzeug gestoppt ist.
Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Anhaltebestimmungseinheit dazu ausgelegt ist, dasselbe Objekt in jedem der mehreren Bilder zu erkennen, Standorte des Objekts in den mehreren Bildern zu vergleichen, und zu bestimmen, ob das Fahrzeug gestoppt ist.
Bildverarbeitungsverfahren, die folgenden Schritte aufweisend: - Erhalten mehrerer Bilder um ein Fahrzeug herum in einem Zeitintervall unter Verwendung einer am Fahrzeug befestigten Kamera (S1); - Erzeugen mehrerer Vogelperspektivansichten durch Wandeln jedes der mehreren Bilder in eine Vogelperspektivansicht (S4); - Erhalten eines Fahrzeugsignals, das eine Bewegung des Fahrzeugs anzeigt, von einem fahrzeugeigenen Netzwerk, wenn die mehreren Bilder unter Verwendung der Kamera erhalten werden (S2); - Bestimmen eines Positionsverhältnisses zwischen den mehreren Vogelperspektivansichten unter Verwendung des Fahrzeugsignals (S8, S15); - Erzeugen eines Verbundbildes, in dem wenigstens ein Teil der mehreren Vogelperspektivansichten angeordnet ist, in Übereinstimmung mit dem Positionsverhältnis (S9); - Vorhersagen, unter Verwendung einer zeitlichen Änderung des Fahrzeugsignals, einer Fahrzeuggeschwindigkeit, mit der das Fahrzeug an einem Zeitpunkt um eine Signalverzögerungszeit des fahrzeugeigenen Netzwerks später fahren wird (S5); - Vergleichen mehrerer Bilder, die an verschiedenen Zeitpunkten unter Verwendung der Kamera erhalten werden, und Bestimmen, ob das Fahrzeug gestoppt ist, wenn die Fahrzeuggeschwindigkeit, die vorhergesagt wird, kleiner oder gleich einem voreingestellten Schwellenwert ist (S13, S14); und - Bestimmen des Positionsverhältnisses, wenn das Fahrzeug gestoppt ist, wenn das Fahrzeug als gestoppt bestimmt wird (S15).
Bildverarbeitungsverfahren nach Anspruch 5, dadurch gekennzeichnet, dass das Fahrzeugsignal wenigstens einen gewählten Wert von der Fahrzeuggeschwindigkeit, einem Impulszähler, einer Fahrtrichtung und einem Lenkwinkel des Fahrzeugs anzeigt.
Bildverarbeitungsverfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass Pixel der mehreren Bilder an den gleichen Koordinaten verglichen werden und bestimmt wird, ob das Fahrzeug gestoppt ist (S13).
Bildverarbeitungsverfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass dasselbe Objekt in jedem der mehreren Bilder erkannt wird, Standorte des Objekts in den mehreren Bildern verglichen werden und bestimmt wird, ob das Fahrzeug gestoppt ist (S13).
Nicht-flüchtiges computerlesbares Speichermedium, das einen Befehl aufweist, der einen Computer dazu veranlasst, als jede Einheit in der Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4 zu dienen.