DE102019131565A1

DE102019131565A1 - Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren

Info

Publication number: DE102019131565A1
Application number: DE102019131565.4A
Authority: DE
Inventors: Yuichi Sugiyama; Wataru Hasegawa
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2018-12-13
Filing date: 2019-11-22
Publication date: 2020-06-18
Also published as: US20200193633A1

Abstract

Eine Bildverarbeitungsvorrichtung (10) beinhaltet eine Positionsschätzeinheit (22), eine Positionsdifferenzberechnungseinheit (23) und eine Bildaufnahmezeitverzögerungserkennungseinheit (24). Die Positionsschätzeinheit (22) schätzt jeweils Selbstpositionen einer Vielzahl von Kameras (40), die an einem beweglichen Körper (C) angebracht sind und Bilder einer Peripherie des beweglichen Körpers aufnehmen (C). Die Positionsdifferenzberechnungseinheit (23) berechnet als eine Positionsdifferenz eine Differenz zwischen einer ersten Selbstposition einer Kamera (40), die zu einem ersten Zeitpunkt geschätzt wird bevor der bewegliche Körper (C) zur Bewegung beschleunigt oder verzögert wird, und eine zweite Selbstposition der Kamera (40), die zu einem zweiten Zeitpunkt geschätzt wird, wenn der bewegliche Körper (C) zur Bewegung beschleunigt oder verzögert wird. Die Bildaufnahmezeitverzögerungserkennungseinheit (24) erkennt eine Bilderfassungszeitverzögerung, die eine Verzögerung der Bildaufnahmezeit eines Bildes unter der Vielzahl von Kameras (40) basierend auf einer Positionsdifferenz angibt, die von der Positionsdifferenzberechnungseinheit (23) berechnet wurde.

Description

GEBIET
Eine offenbarte Ausführungsform betrifft eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren.
HINTERGRUND
Herkömmlich wurde eine Bildverarbeitungsvorrichtung vorgeschlagen, bei der eine Kamera an einem beweglichen Körper, wie etwa einem Fahrzeug, montiert ist, und beispielsweise Schätzung einer Selbstposition der Kamera oder dergleichen basierend auf einem Bild einer Peripherie des beweglichen Körpers durchgeführt wird, das von der Kamera erhalten wird (siehe beispielsweise japanische Patentanmeldungspublikation Nr. 2017 -207942 ).
In der Zwischenzeit kann eine Bildverarbeitungsvorrichtung gemäß einer herkömmlichen Technik, beispielsweise in einem Fall, in dem eine Vielzahl von Kameras an einem beweglichen Körper montiert ist, Informationen von Bildern integrieren, die durch jeweilige Kameras aufgenommen werden, um Karteninformationen einer Peripherie des beweglichen Körpers zu erzeugen.
Unter einer Vielzahl von Kameras unterscheiden sich Bildaufnahmezeiten (Bildaufnahme-Timings) jedoch voneinander, so dass eine Verschlechterung der Genauigkeit der Karteninformationen, die in einer Bildverarbeitungsvorrichtung erzeugt werden, verursacht werden kann. Das heißt, unter der Vielzahl von Kameras kommt es zu einer Verzögerung der Bildaufnahmezeit, so dass, beispielsweise in einem Fall, in dem sich ein beweglicher Körper bewegt, eine Position des beweglichen Körpers zu einer Zeit, zu der ein Bild von einer ersten Kamera unter der Vielzahl von Kameras aufgenommen wird, sich von einer Position des beweglichen Körpers zu Zeit, zu der ein Bild von einer nächsten Kamera aufgenommen wird, unterscheidet, und in der Folge wird eine Positionsverschiebung in Informationen der Bilder verursacht, die von jeweiligen Kameras erhalten werden. Da Bildinformationen integriert werden, um Karteninformationen zu erzeugen, während solch eine Positionsverschiebung verursacht wird, kann eine Verschlechterung der Genauigkeit der Karteninformationen verursacht werden.
Wenn es also möglich ist, eine Verzögerung von Bildaufnahmezeit unter einer Vielzahl von Kameras zu erkennen, ist es möglich, Genauigkeit von Karteninformationen zu verbessern, indem eine Positionsverschiebung der Informationen der Bilder beispielsweise basierend auf der Verzögerung der Bildaufnahmezeit oder dergleichen korrigiert wird. Es ist daher wünschenswert, dass eine Verzögerung der Bildaufnahmezeit unter einer Vielzahl von Kameras, die an einem beweglichen Körper montiert sind, erkannt wird.
Ein Beispiel einer Ausführungsform der vorliegenden Anmeldung wird unter Erwägung des Vorgenannten bereitgestellt und zielt darauf ab, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren bereitzustellen, die dazu in der Lage sind, eine Verzögerung der Bildaufnahmezeit unter einer Vielzahl von Kameras, die an einem beweglichen Körper montiert sind, zu erkennen.
KURZDARSTELLUNG
Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt einer Ausführungsform beinhaltet eine Positionsschätzeinheit, eine Positionsdifferenzberechnungseinheit und eine Bildaufnahmezeitverzögerungserkennungseinheit. Die Positionsschätzeinheit schätzt jeweils Selbstpositionen einer Vielzahl von Kameras, die an einem beweglichen Körper angebracht sind und Bilder einer Peripherie des beweglichen Körpers aufnehmen. Die Positionsdifferenzberechnungseinheit berechnet, als eine Positionsdifferenz, eine Differenz zwischen einer ersten Selbstposition einer Kamera, die zu einem ersten Zeitpunkt geschätzt wird bevor der bewegliche Körper zur Bewegung beschleunigt oder verzögert wird, und einer zweiten Selbstposition der Kamera, die zu einem zweiten Zeitpunkt geschätzt wird, wenn der bewegliche Körper zur Bewegung beschleunigt oder verzögert wird. Die Bildaufnahmezeitverzögerungserkennungseinheit erkennt eine Bilderfassungszeitverzögerung, die eine Verzögerung der Bildaufnahmezeit eines Bildes unter der Vielzahl von Kameras basierend auf der Positionsdifferenz angibt, die von der Positionsdifferenzberechnungseinheit berechnet wurde.
Gemäß einer offenbarten Ausführungsform ist es möglich, eine Verzögerung der Bildaufnahmezeit unter einer Vielzahl von Kameras zu erkennen, die an einem beweglichen Körper befestigt sind.
Figurenliste
Eine umfassendere Anerkennung der vorliegenden Erfindung und ein damit verbundener Vorteil lassen sich leicht durch Lesen der folgenden ausführlichen Beschreibung der Erfindung unter Betrachtung der beigefügten Zeichnungen verstehen.

1A ist ein Diagramm, das ein Bildverarbeitungssystem veranschaulicht, das eine Bildverarbeitungsvorrichtung gemäß einer ersten Ausführungsform beinhaltet.
1 B ist ein Diagramm, das einen Überblick über ein Bildverarbeitungsverfahren veranschaulicht.
2 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Bildverarbeitungssystems veranschaulicht, das eine Bildverarbeitungsvorrichtung gemäß einer ersten Ausführungsform beinhaltet.
3 ist ein Flussdiagramm, das Prozessschritte veranschaulicht, die von einer Bildverarbeitungsvorrichtung ausgeführt werden.
4 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Bildverarbeitungssystems veranschaulicht, das eine Bildverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform beinhaltet.
5 ist ein Diagramm zur Erklärung einer Bildverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform.
6 ist ein Flussdiagramm, das Prozessschritte veranschaulicht, die von einer Bildverarbeitungsvorrichtung ausgeführt werden, gemäß einer zweiten Ausführungsform.
7 ist ein Diagramm zur Erklärung eines Bildverarbeitungsverfahrens gemäß einer dritten Ausführungsform.
8 ist ein Flussdiagramm, das Prozessschritte veranschaulicht, die von einer Bildverarbeitungsvorrichtung ausgeführt werden, gemäß einer dritten Ausführungsform.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Erste Ausführungsform
Überblick über eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren
Nachfolgend wird ein Überblick über eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren gemäß einer ersten Ausführungsform unter Bezugnahme auf 1A und 1B erläutert. 1A ist ein Diagramm, das ein Bildverarbeitungssystem veranschaulicht, das eine Bildverarbeitungsvorrichtung gemäß einer ersten Ausführungsform FIG beinhaltet, und 1B ist ein Diagramm, das einen Überblick über ein Bildverarbeitungsverfahren veranschaulicht.
Wie in 1A veranschaulicht, beinhaltet ein Bildverarbeitungssystem 1 gemäß einer ersten Ausführungsform eine Bildverarbeitungsvorrichtung 10 und eine Vielzahl von Kameras 40. Solch eine Bildverarbeitungsvorrichtung 10 und eine Vielzahl von Kameras 40 sind an einem Fahrzeug C montiert.
Darüber hinaus ist solch ein Fahrzeug C ein Beispiel für einen beweglichen Körper. Obwohl die Bildverarbeitungsvorrichtung 10 und die Vielzahl von Kameras 40 an solch einem Fahrzeug C (nachfolgend: ein Auto) montiert sind, wie oben beschrieben, ist dies des Weiteren nicht einschränkend und sie können auf einer anderen Art von beweglichem Körper montiert sein, solange es sich um einen beweglichen Körper handelt, der dazu in der Lage ist, sich zu bewegen, wie beispielsweise ein Motorrad, ein mobiler Roboter oder ein mobiler Staubsauger.
Obwohl die Anzahl der Vielzahl von Kameras 40 beispielsweise vier beträgt, ist dies nicht einschränkend und sie kann zwei, drei oder fünf oder mehr betragen. Darüber hinaus beinhaltet die Vielzahl von Kameras 40 eine erste Kamera 41, eine zweite Kamera 42, eine dritte Kamera 43 und eine vierte Kamera 44.
Die erste Kamera 41 ist an einer Vorderseite eines Fahrzeugs C angeordnet. Darüber hinaus ist die zweite Kamera 42 an einer rechten Seite des Fahrzeugs C angeordnet, die dritte Kamera 43 ist auf einer Rückseite des Fahrzeugs C angeordnet und die vierte Kamera 44 ist an einer linken Seite des Fahrzeugs C angeordnet. Weiterhin ist die Anordnung der ersten bis vierten Kameras 41 bis 44 an dem Fahrzeug C, wie in 1A veranschaulicht, lediglich veranschaulichend und nicht einschränkend. Des Weiteren werden nachfolgend in einem Fall, in dem die ersten bis vierten Kameras 41 bis 44 ohne besondere Unterscheidung erläutert werden, „Kamera(s) 40“ beschrieben.
Eine Kamera 40 beinhaltet beispielsweise ein Bildaufnahmeelement, wie etwa eine ladungsgekoppelte Vorrichtung (Charge Coupled Device; CCD) oder einen ergänzenden Metalloxidhalbleiter (Complementary Metal Oxide Semiconductor; CMOS), und nimmt ein Bild einer Peripherie eines Fahrzeugs C unter Verwendung solch eines Bildaufnahmeelements auf. Insbesondere nehmen die erste Kamera 41, die zweite Kamera 42, die dritte Kamera 43 und die vierte Kamera 44 jeweils ein Bild einer Vorderseite eines Fahrzeugs C, ein Bild einer rechten Seite des Fahrzeugs C, ein Bild einer Rückseite des Fahrzeugs C und ein Bild einer linken Seite des Fahrzeugs C auf.
Darüber hinaus beinhaltet eine Kamera 40 beispielsweise ein Weitwinkelobjektiv, wie etwa ein Fischaugenobjektiv, und hat somit einen vergleichsweise breiten Blickwinkel. Es ist daher möglich, ein Bild einer vollständigen Peripherie eines Fahrzeugs C durch Nutzung solch einer Kamera 40 aufzunehmen. Zusätzlich veranschaulicht 1A einen Bereich, in dem ein Bild von der ersten Kamera 41 aufgenommen wird, als einen „ersten Bildaufnahmebereich 101“. Ebenso ist ein Bereich, in dem ein Bild von der zweiten Kamera 42 aufgenommen wird, als ein „zweiter Bildaufnahmebereich 102“ veranschaulicht, ein Bereich, in dem ein Bild von der dritten Kamera 43 aufgenommen wird, ist als ein „dritter Bildaufnahmebereich 103“ veranschaulicht und ein Bereich, in dem ein Bild von der vierten Kamera 44 aufgenommen wird, ist als ein „vierter Bildaufnahmebereich 104“ veranschaulicht.
Jede der Vielzahl von Kameras 40 gibt Informationen über aufgenommene Bilder an die Bildverarbeitungsvorrichtung 10 aus. Die Bildverarbeitungsvorrichtung 10 kann Informationen der Bilder, die von der Vielzahl von Kameras 40 aufgenommen wurden, integrieren, um Karteninformationen einer Peripherie eines Fahrzeugs C zu erzeugen. Des Weiteren ist dies, obwohl solche Karteninformationen beispielsweise Karteninformationen sind, die Informationen in Bezug auf ein Ziel oder ein Hindernis beinhalten, das um ein Fahrzeug C vorhanden ist oder dergleichen, nicht einschränkend. Darüber hinaus werden vorstehend beschriebene Karteninformationen auch als Informationen bezeichnet, die eine Positionsbeziehung zu einem Ziel oder einem Hindernis angeben, das um ihr eigenes Fahrzeug (ein Fahrzeug C) vorhanden ist.
Die Bildverarbeitungsvorrichtung 10 kann Fahrzeugpositionsinformationen, die eine Position eines Fahrzeugs C angeben, basierend auf Selbstpositionen der Vielzahl von Kameras 40, die aus Informationen der Bilder erhalten werden, die von der Vielzahl von Kameras 40 aufgenommen werden, was später zu beschreiben ist, erzeugen. Darüber hinaus sind Fahrzeugpositionsinformationen ein Beispiel für mobile Körperpositionsinformationen. Darüber hinaus können Fahrzeugpositionsinformationen in Karteninformationen, wie vorstehend beschrieben, beinhaltet sein.
Unterdessen unterscheiden sich Bildaufnahmezeiten unter der Vielzahl von Kameras 40, wie vorstehend beschrieben, voneinander, so dass in einer herkömmlichen Technik eine Verschlechterung der Genauigkeit der Karteninformationen, die erzeugt werden, verursacht werden kann. Dies wird unter Bezugnahme auf 1B erläutert.
1B veranschaulicht einen Bewegungsbetrag eines Fahrzeugs C in einem oberen Abschnitt, veranschaulicht eine Zeit zur Aufnahme eines Bildes (eine Bildaufnahmezeit oder ein Bildaufnahme-Timing) in einer Kamera 40 an einem mittleren Abschnitt und veranschaulicht eine Positionsdifferenz der Kamera 40 (wie später beschrieben) an einem unteren Abschnitt. Darüber hinaus sind Zeitpunkte T0 bis T4, wie in 1B veranschaulicht, Betriebszeitpunkte zum Ausführen einer Operation in der Bildverarbeitungsvorrichtung 10. Darüber hinaus ist eine Bildaufnahmezeit hierin ein Zeitraum ab einem bestimmten Referenzzeitpunkt (zum Beispiel ein Operationszeitpunkt T1 der Bildverarbeitungsvorrichtung 10) bis zu einem Zeitpunkt, wenn eine Kamera 40 ein Bild aufnimmt.
Darüber hinaus veranschaulicht 1B einen Fall, in dem ein gestopptes Fahrzeug C gestartet wird; das heißt, es beginnt sich nach einem Zeitpunkt T1 zu bewegen. Obwohl ein Beispiel in 1B veranschaulicht, dass Bildaufnahme in der Reihenfolge erste Kamera 41, zweite Kamera 42, dritte Kamera 43 und vierte Kamera 44 ausgeführt wird, ist solch eine Reihenfolge des Weiteren lediglich veranschaulichend und nicht einschränkend.
Wie in 1B veranschaulicht, treten Verzögerungen der Bildaufnahmezeit unter den ersten bis vierten Kameras 41 bis 44 auf, so dass in einem Fall, in dem sich ein Fahrzeug C bewegt, eine Position des Fahrzeugs C sich beispielsweise zu einer Zeit, wenn ein Bild von einer ersten Kamera 40 (hier die erste Kamera 41) aufgenommen wird, von einer Position des Fahrzeugs C zu einer Zeit, wenn eine Bild von einer nächsten Kamera 40 (hier die zweite Kamera 42) aufgenommen wird, unterscheidet. Dadurch werden Positionsverschiebungen in Informationen der Bilder verursacht, die von den jeweiligen Kameras 40 erhalten werden, und wenn Informationen der Bilder integriert werden, um Karteninformationen zu erzeugen, während solche Positionsverschiebungen verursacht werden, kann eine Verschlechterung der Genauigkeit der Karteninformationen verursacht werden.
Daher ist die Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform derart konfiguriert, dass es möglich ist eine oder mehrere Verzögerung(en) der Bildaufnahmezeit unter der Vielzahl von Kameras 40 zu erkennen. Darüber hinaus wird/werden in der vorliegenden Ausführungsform eine oder mehrere Positionsverschiebung(en) basierend auf einer oder mehreren Verzögerung(en) der Bildaufnahmezeit korrigiert, um die Genauigkeit der Karteninformationen zu verbessern.
Wie konkret erläutert, erfasst die Bildaufnahmevorrichtung 10 jeweils Informationen von Bildern von den ersten bis vierten Kameras 41 bis 44 zu einem zu einem Zeitpunkt T1 und schätzt Selbstpositionen der ersten bis vierten Kameras 41 bis 44 basierend auf erfassten Informationen der Bilder (Schritt S1). Die Bildverarbeitungsvorrichtung 10 erfasst beispielsweise Informationen von Bildern, die von den ersten bis vierten Kameras 41 bis 44 zwischen Zeitpunkten T0 bis T1 aufgenommen werden. Dann wendet die Bildverarbeitungsvorrichtung 10 beispielsweise eine SLAM-Technik (Simultaneous Localization And Mapping) auf erfasste Bildinformationen an, so dass es möglich ist, Selbstpositionen der ersten bis vierten Kameras 41 bis 44 zu schätzen.
Darüber hinaus beginnt ein Fahrzeug C sich nach einem Zeitpunkt T1 zu bewegen, so dass, am Schritt S1, die Bildverarbeitungsvorrichtung 10 Selbstpositionen der ersten bis vierten Kameras 41 bis 44 schätzt bevor das Fahrzeug C zur Bewegung beschleunigt. Darüber hinaus ist ein Zeitpunkt T1 ein Beispiel für einen ersten Zeitpunkt und Selbstpositionen der ersten bis vierten Kameras 41 bis 44, die zu dem Zeitpunkt T1 geschätzt werden, sind Beispiele einer ersten Selbstposition.
Hierin wird als eine Positionsdifferenz einer Kamera 40, wie in einem unteren Abschnitt von 1B veranschaulicht, erklärt. Solch eine Positionsdifferenz ist eine Differenz zwischen einer Selbstposition einer Kamera 40, die in einem vorherigen Prozess geschätzt wird, und einer Selbstposition einer entsprechenden Kamera 40, die in einem aktuellen Prozess geschätzt wird. Insbesondere ist eine Positionsdifferenz der ersten Kamera 41, da die erste Kamera 41 als ein Beispiel gegeben wird, eine Differenz zwischen einer Selbstposition der ersten Kamera 41, die in einem vorhergehenden Prozess geschätzt wurde, und einer Selbstposition der ersten Kamera 41, die in einem aktuellen Prozess geschätzt wird. Daher ist die erste Kamera 41 an einem Fahrzeug C montiert und solch ein Fahrzeug C wird zu einem Zeitpunkt T1 in 1B gestoppt, so dass eine Positionsdifferenz, die eine Differenz zwischen einer Selbstposition der ersten Kamera 41 ist, die in einem vorherigen Prozess zu einem Zeitpunkt T0 geschätzt wird, und einer Selbstposition der ersten Kamera 41, die zu einem Zeitpunkt T1 in einem aktuellen Prozess geschätzt wird, Null ist. Darüber hinaus sind Positionsdifferenzen der zweiten bis vierten Kameras 42 bis 44 ebenfalls Null, ähnlich wie bei der ersten Kamera 41, so dass Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44 veranschaulicht sind, um zu einem Zeitpunkt T1 in 1B überlagert zu werden.
Darüber hinaus überwacht die Bildverarbeitungsvorrichtung 10 Positionsdifferenzen solcher erster bis vierter Kameras 41 bis 44 und wenn sie nicht Null sind oder wenn solche Positionsdifferenzen unterschiedliche Werte unter den ersten bis vierten Kameras 41 bis 44 aufweisen, wird ein Prozess zum Erkennen von Verzögerungen der Bildaufnahmezeit oder dergleichen ausgeführt, was später beschrieben wird.
Dann erfasst die Bildaufnahmevorrichtung 10 jeweils Informationen von Bildern von den ersten bis vierten Kameras 41 bis 44 zu einem Zeitpunkt T2 und schätzt Selbstpositionen der ersten bis vierten Kameras 41 bis 44 basierend auf erfassten Informationen der Bilder (Schritt S2). Die Bildverarbeitungsvorrichtung 10 erfasst beispielsweise Informationen der Bilder, die von den ersten bis vierten Kameras 41 bis 44 zwischen Zeitpunkten T1 bis T2 aufgenommen werden, und schätzt Selbstpositionen der ersten bis vierten Kameras 41 bis 44.
Hier beginnt sich ein Fahrzeug C nach einem Zeitpunkt T1 zu bewegen, so dass die Bildverarbeitungsvorrichtung 10 im Schritt S2 Selbstpositionen der ersten bis vierten Kameras 41 bis 44 zu einer Zeit schätzt, wenn das Fahrzeug C zur Bewegung beschleunigt wird. Darüber hinaus ist ein Zeitpunkt T2, wenn sich ein Fahrzeug C bewegt, ein Beispiel für einen zweiten Zeitpunkt und Selbstpositionen der ersten bis vierten Kameras 41 bis 44, die zum Zeitpunkt T2 geschätzt werden, sind Beispiele einer zweiten Selbstposition.
Dann berechnet die Bildverarbeitungsvorrichtung 10 Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44 (Schritt S3). Wie vorstehend beschrieben, berechnet die Bildverarbeitungsvorrichtung 10, als Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44, Differenzen zwischen Selbstpositionen der ersten bis vierten Kameras 41 bis 44, die in einem vorherigen Prozess (hierin ein Prozess zu einem Zeitpunkt T1) geschätzt wurden, und Selbstpositionen der entsprechenden ersten bis vierten Kameras 41 bis 44, die in einem aktuellen Prozess (hierin ein Prozess zu einem Zeitpunkt T2) geschätzt werden.
Mit anderen Worten, die Bildverarbeitungsvorrichtung 10 berechnet als Positionsdifferenzen Differenzen zwischen Selbstpositionen der ersten bis vierten Kameras 41 bis 44, die geschätzt wurden bevor ein Fahrzeug C zur Bewegung beschleunigt wird, und jene der ersten bis vierten Kameras 41 bis 44, die zu einer Zeit geschätzt wird, wenn das Fahrzeug C zur Bewegung beschleunigt wird.
Die Bildverarbeitungsvorrichtung 10 berechnet insbesondere als eine Positionsdifferenz der ersten Kamera 41, eine Differenz a1 zwischen einer Selbstposition der ersten Kamera 41, die in einem Prozess zu einem Zeitpunkt T1 geschätzt wird, und einer Selbstposition der ersten Kamera 41, die in einem Prozess zu einem Zeitpunkt T2 geschätzt wird. Darüber hinaus berechnet die Bildverarbeitungsvorrichtung 10 als eine Positionsdifferenz der zweiten Kamera 42 eine Differenz a2 zwischen einer Selbstposition der zweiten Kamera 42, die in einem Prozess zu einem Zeitpunkt t1 geschätzt wird, und einer Selbstposition der zweiten Kamera 42, die in einem Prozess zu einem Zeitpunkt T2 geschätzt wird.
Darüber hinaus berechnet die Bildverarbeitungsvorrichtung 10, als eine Positionsdifferenz der dritten Kamera 43, eine Differenz a3 zwischen einer Selbstposition der dritten Kamera 43, die in einem Prozess zu einem Zeitpunkt T1 geschätzt wird, und einer Selbstposition der dritten Kamera 43, die in einem Prozess zu einem Zeitpunkt T2 geschätzt wird. Darüber hinaus berechnet die Bildverarbeitungsvorrichtung 10 als eine Positionsdifferenz der vierten Kamera 44, eine Differenz a4 zwischen einer Selbstposition der vierten Kamera 44, die in einem Prozess zu einem Zeitpunkt T1 geschätzt wird, und einer Selbstposition der vierten Kamera 44, die in einem Prozess zu einem Zeitpunkt T2 geschätzt wird.
Hierin sind die berechneten Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44 nicht Null, so dass die Bildverarbeitungsvorrichtung 10 einen Prozess zum Erkennen von Verzögerungen der Bildaufnahmezeit oder dergleichen ausführt. Insbesondere berechnet die Bildaufnahmevorrichtung 10 jeweils Bildaufnahmezeiten der Bilder in den ersten bis vierten Kameras 41 bis 44 basierend auf berechneten Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44 (Schritt S4).
Konkreter, dividiert die Bildverarbeitungsvorrichtung 10 jeweils berechnete Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44 durch eine Geschwindigkeit zu einer Zeit, wenn ein Fahrzeug C sich bewegt, um jeweils Bildaufnahmezeiten der Bilder in den ersten bis vierten Kameras 41 bis 44 zu berechnen.
Die Bildverarbeitungsvorrichtung 10 dividiert beispielsweise eine Positionsdifferenz der ersten Kamera 41 durch eine Geschwindigkeit eines Fahrzeugs C, um eine Bildaufnahmezeit t1 eines Bildes in der ersten Kamera 41 zu berechnen. Darüber hinaus dividiert die Bildverarbeitungsvorrichtung 10 eine Positionsdifferenz der zweiten Kamera 42 durch eine Geschwindigkeit eines Fahrzeugs C, um eine Bildaufnahmezeit t2 eines Bildes in der zweiten Kamera 42 zu berechnen.
Darüber hinaus dividiert die Bildverarbeitungsvorrichtung 10 eine Positionsdifferenz der dritten Kamera 43 durch eine Geschwindigkeit eines Fahrzeugs C, um eine Bildaufnahmezeit t3 eines Bildes in der dritten Kamera 43 zu berechnen. Darüber hinaus dividiert die Bildverarbeitungsvorrichtung 10 eine Positionsdifferenz der vierten Kamera 44 durch eine Geschwindigkeit eines Fahrzeugs C, um eine Bildaufnahmezeit t4 eines Bildes in der vierten Kamera 44 zu berechnen.
Darüber hinaus kann eine Geschwindigkeit eines Fahrzeugs C, die zur Berechnung einer Bilderfassungszeit wie vorstehend beschrieben verwendet wurde, über einer Geschwindigkeit liegen, die in einem nächsten Operationsprozess (hierin zu einem Zeitpunkt T3) geschätzt wird, wie später beschrieben, oder sie kann eine Geschwindigkeit sein, die von einem nicht veranschaulichten Fahrzeuggeschwindigkeitssensor erhalten wird.
Dann erkennt die Bildverarbeitungsvorrichtung 10 Bildaufnahmezeitverzögerungen, die Verzögerungen der Bildaufnahmezeit der Bilder unter der Vielzahl von Kameras 40 angeben; das heißt, unter den ersten bis vierten Kameras 41 bis 44 (Schritt S5).
Nachfolgend wird ein Fall beispielhaft erläutert, in dem eine oder mehrere Bildaufnahmezeitverzögerung(en) in Bezug auf eine Bildaufnahmezeit t4 eines Bildes der vierten Kamera 44 erkannt wird bzw. werden. Die Bildverarbeitungsvorrichtung 10 erkennt beispielsweise eine Zeitdifferenz t1a, die durch Subtrahieren einer Bildaufnahmezeit t1 der ersten Kamera 41 von einer Bildaufnahmezeit t4 der vierten Kamera 44 erhalten wird, als eine Bildaufnahmezeitverzögerung t1a der ersten Kamera 41 relativ zu der vierten Kamera 44.
Darüber hinaus erkennt die Bildverarbeitungsvorrichtung 10 eine Zeitdifferenz t2a, die durch Subtrahieren einer Bildaufnahmezeit t2 der zweiten Kamera 42 von einer Bildaufnahmezeit t4 der vierten Kamera 44 erhalten wurde, als eine Bildaufnahmezeitverzögerung t2a der zweiten Kamera 42 relativ zu der vierten Kamera 44. Darüber hinaus erkennt die Bildverarbeitungsvorrichtung 10 eine Zeitdifferenz t3a, die durch Subtrahieren einer Bildaufnahmezeit t3 der dritten Kamera 43 von einer Bildaufnahmezeit t4 der vierten Kamera 44 erhalten wurde, als eine Bildaufnahmezeitverzögerung t3a der dritten Kamera 43 relativ zu der vierten Kamera 44.
Darüber hinaus ist dies, obwohl oben eine Bildaufnahmezeitverzögerung relativ zu einer Bildaufnahmezeit t4 der vierten Kamera 44 erkannt wird, nicht einschränkend, und eine beliebige der Bildaufnahmezeiten t1 bis t3 der ersten bis dritten Kameras 41 bis 43 kann beispielsweise eine Referenz sein, und eine beliebige vorbestimmte Zeit, wie beispielsweise Zeitpunkt T2, kann eine Referenz sein.
In der vorliegenden Ausführungsform wird eine Differenz zwischen einer Selbstposition einer Kamera 40, die geschätzt wird bevor ein Fahrzeug C zur Bewegung beschleunigt wird, und eine Selbstposition der Kamera 40, die zu einem Zeitpunkt geschätzt wird, wenn das Fahrzeug C zur Bewegung beschleunigt wird, als eine Positionsdifferenz berechnet. Mit anderen Worten, in der vorliegenden Ausführungsform wird eine Positionsdifferenz einer Kamera 40 zu einem Zeitpunkt berechnet, zu dem sich Positionsdifferenzen unter der Vielzahl von Kameras 40 unterscheiden, insbesondere zu einem Zeitpunkt bevor oder nachdem ein Fahrzeug C zur Bewegung beschleunigt wird und wenn eine Verzögerung der Bildaufnahmezeit verursacht wird.
Dabei unterscheiden sich in der vorliegenden Ausführungsform berechnete Positionsdifferenzen unter der Vielzahl von Kameras 40, so dass es möglich ist, Bildaufnahmezeitverzögerungen unter der Vielzahl von Kameras 40 unter Verwendung solcher Positionsdifferenzen zu erkennen.
Wie vorstehend beschrieben, führt die Bildverarbeitungsvorrichtung 10, da Bildaufnahmezeitverzögerungen unter der Vielzahl von Kameras 40 erkannt wurden, einen Korrekturprozess durch, um Positionsverschiebungen der Bildinformationen unter Verwendung erkannter Bildaufnahmezeitverzögerungen oder dergleichen zu korrigieren.
In einem Beispiel, wie in 1B veranschaulicht, wird ein Fall beispielhaft erläutert, in dem ein Korrekturprozess oder dergleichen zu einem Zeitpunkt T4 ausgeführt wird. Die Bildaufnahmevorrichtung 10 erfasst jeweils Informationen von Bildern von den ersten bis vierten Kameras 41 bis 44 zu einem Zeitpunkt T4 und schätzt Selbstpositionen der ersten bis vierten Kameras 41 bis 44 basierend auf erfassten Informationen der Bilder (Schritt S6). Die Bildverarbeitungsvorrichtung 10 erfasst beispielsweise Informationen von Bildern, die von den ersten bis vierten Kameras 41 bis 44 zwischen Zeitpunkten T3 bis T4 aufgenommen werden. Zusätzlich beinhalten solche Bildinformationen Positionsverschiebungen, die durch Bildaufnahmezeitverzögerungen unter der Vielzahl von Kameras 40 verursacht werden.
Dann multipliziert die Bildverarbeitungsvorrichtung 10 Bildaufnahmezeitverzögerungen, die im Schritt S5 erkannt wurden, mit einer aktuellen Geschwindigkeit eines Fahrzeugs C, um Korrekturbeträge der Selbstpositionen jeweiliger Kameras 40 zu berechnen (Schritt S7).
Die Bildverarbeitungsvorrichtung 10 multipliziert beispielsweise eine Bildaufnahmezeitverzögerung t1a der ersten Kamera 41 relativ zu der vierten Kamera 44 mit einer aktuellen Geschwindigkeit eines Fahrzeugs C, um einen Korrekturbetrag einer Selbstposition der ersten Kamera 41 zu berechnen. Darüber hinaus multipliziert die Bildverarbeitungsvorrichtung 10 eine Bildaufnahmezeitverzögerung t2a der zweiten Kamera 42 relativ zu der vierten Kamera 44 mit einer aktuellen Geschwindigkeit eines Fahrzeugs C, um einen Korrekturbetrag einer Selbstposition der zweiten Kamera 42 zu berechnen.
Des Weiteren multipliziert die Bildverarbeitungsvorrichtung 10 eine Bildaufnahmezeitverzögerung t3a der dritten Kamera 43 relativ zu der vierten Kamera 44 mit einer aktuellen Geschwindigkeit eines Fahrzeugs C, um einen Korrekturbetrag einer Selbstposition der dritten Kamera 43 zu berechnen. Zusätzlich ist, in einem Beispiel, wie in 1B veranschaulicht, die vierte Kamera 44 eine Referenz zum Berechnen einer Bildaufnahmezeitverzögerung, so dass ein Korrekturbetrag einer Selbstposition der vierten Kamera 44 Null ist.
Darüber hinaus kann beispielsweise eine aktuelle Geschwindigkeit eines Fahrzeugs C, die zum Berechnen eines Korrekturbetrags verwendet wird, wie vorstehend beschrieben, eine aktuelle Geschwindigkeit sein, die in einem Operationsprozess zu einem Zeitpunkt T4 geschätzt wird, oder sie kann eine aktuelle Geschwindigkeit sein, die von einem nicht veranschaulichten Fahrzeuggeschwindigkeitssensor erhalten wird. In einem Fall, in dem eine aktuelle Geschwindigkeit in einem Operationsprozess geschätzt wird, berechnet die Bildverarbeitungsvorrichtung 10 zuerst eine Positionsdifferenz einer Kamera 40. Eine Positionsdifferenz einer Kamera 40 ist eine Differenz zwischen Selbstpositionen der Kamera 40, die in einem vorherigen Prozess geschätzt wurden, und einem aktuellen Prozess, so dass die Bildverarbeitungsvorrichtung 10 eine berechnete Positionsdifferenz durch einen Zeitraum ab dem vorherigen Prozess bis zu dem aktuellen Prozess (hierin ein Zeitrahmen von einem Zeitpunkt T3 bis zu einem Zeitpunkt T4) dividiert, und dadurch ist es möglich, eine aktuelle Geschwindigkeit eines Fahrzeugs C zu schätzen.
Dann korrigiert die Bildverarbeitungsvorrichtung 10 Selbstpositionen der ersten bis vierten Kameras 41 bis 44, die im Schritt S6 basierend auf Korrekturbeträgen geschätzt werden, die im Schritt S7 berechnet werden (Schritt S8). Die Bildverarbeitungsvorrichtung 10 addiert beispielsweise einen Korrekturbetrag einer Selbstposition der ersten Kamera 41 zu einer geschätzten Selbstposition der ersten Kamera 41, um die geschätzte Selbstposition der ersten Kamera 41 zu korrigieren. Dabei ist eine Selbstposition der ersten Kamera 41 eine Position, die mit einer Selbstposition der vierten Kamera 44 synchronisiert ist, so dass es möglich ist, einen Einfluss einer Positionsverschiebung zu reduzieren, die durch eine Bildaufnahmezeitverzögerung t1a zwischen der ersten Kamera 41 und der vierten Kamera 44 verursacht wird.
Darüber hinaus addiert die Bildverarbeitungsvorrichtung 10 einen Korrekturbetrag einer Selbstposition der zweiten Kamera 42 zu einer geschätzten Selbstposition der zweiten Kamera 42, um die geschätzte Selbstposition der zweiten Kamera 42 zu korrigieren. Dabei ist eine Selbstposition der zweiten Kamera 42 eine Position, die mit einer Selbstposition der vierten Kamera 44 synchronisiert ist, so dass es möglich ist, einen Einfluss einer Positionsverschiebung zu reduzieren, die durch eine Bildaufnahmezeitverzögerung t2a zwischen der zweiten Kamera 42 und der vierten Kamera 44 verursacht wird.
Darüber hinaus addiert die Bildverarbeitungsvorrichtung 10 einen Korrekturbetrag einer Selbstposition der dritten Kamera 43 zu einer geschätzten Selbstposition der dritten Kamera 43, um die geschätzte Selbstposition der dritten Kamera 43 zu korrigieren. Dabei ist eine Selbstposition der dritten Kamera 43 eine Position, die mit einer Selbstposition der vierten Kamera 44 synchronisiert ist, so dass es möglich ist, einen Einfluss einer Positionsverschiebung zu reduzieren, die durch eine Bildaufnahmezeitverzögerung t3a zwischen der dritten Kamera 43 und der vierten Kamera 44 verursacht wird.
Dann integriert die Bildverarbeitungsvorrichtung 10 Informationen von Bildern, die von der Vielzahl von Kameras 40 aufgenommen wurden, basierend auf einer korrigierten Selbstposition der Kamera 40, um Karteninformationen um ein Fahrzeug C zu erzeugen (Schritt S9).
Somit wird in der vorliegenden Ausführungsform eine Selbstposition einer Kamera 40, wenn ein Einfluss einer Positionsverschiebung, die durch eine Bildaufnahmezeitverzögerung unter der Vielzahl von Kameras 40 verursacht wird, durch Korrektur mit einem Korrekturbetrag, wie vorstehend beschrieben, reduziert wird, verwendet, so dass es möglich ist, die Genauigkeit von Karteninformationen, die erzeugt werden, zu verbessern.
Darüber hinaus kann eine automatisierte Autoparkvorrichtung beispielsweise, die ein Fahrzeug C durch automatisiertes Fahren oder dergleichen in einer vergleichsweise großen Parkfläche einer kommerziellen Einrichtung oder dergleichen, einer kleinen Parkfläche eines Standardhaushalts oder dergleichen, oder dergleichen parkt, das Fahrzeug C unter Verwendung von Karteninformationen um das Fahrzeug C steuern. In solch einem Fall werden Karteninformationen mit hoher Genauigkeit, die von der Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Erfindung erzeugt werden, verwendet, so dass es einer automatisierten Autoparkvorrichtung oder dergleichen möglich ist, ein Fahrzeug C genau zu steuern, und infolgedessen ist es möglich, das Fahrzeug C entsprechend automatisch zu parken.
Darüber hinaus können, obwohl bei der Parksteuerung eines Fahrzeugs C, das automatisierte Fahrsteuerung verwendet (automatisierte Parksteuerung, die sog. „Automatic Valet Parking“ beinhaltet), wie vorstehend beschrieben, auf einer Parkfläche Karteninformationen verwendet, stattdessen oder zusätzlich dazu Fahrzeugpositionsinformationen verwendet werden, die eine Position solch eines Fahrzeugs C angeben. In solch einem Fall ist es auch möglich, ein Fahrzeug C entsprechend automatisch zu parken.
Wie konkret erläutert, wird Anordnung oder eine Position einer Kamera 40 an einem Fahrzeug C im Voraus festgelegt, so dass es möglich ist, dass die Bildverarbeitungsvorrichtung 10 Fahrzeugpositionsinformationen erzeugt, die eine Position des Fahrzeugs C basierend auf einer korrigierten Selbstposition der Kamera 40 angeben. Somit wird in der vorliegenden Ausführungsform eine Selbstposition einer Kamera 40, wenn ein Einfluss einer Positionsverschiebung, die durch eine Bildaufnahmezeitverzögerung unter der Vielzahl von Kameras 40 verursacht wird, durch Korrektur mit einem Korrekturbetrag, wie vorstehend beschrieben, reduziert wird, verwendet, so dass es möglich ist, die Genauigkeit von Fahrzeugpositionsinformationen, die erzeugt werden, zu verbessern. Dann werden in der vorliegenden Ausführungsform erzeugte Fahrzeugpositionsinformationen mit hoher Genauigkeit verwendet, so dass einer automatisierten Autoparkvorrichtung oder dergleichen möglich ist, ein Fahrzeug C genau zu steuern, und somit ist es möglich, das Fahrzeug C entsprechend automatisch zu parken.
Konfiguration des Bildverarbeitungssystems, das eine Bildverarbeitungsvorrichtung beinhaltet
Als nächstes wird eine Konfiguration eines Bildverarbeitungssystems 1, das eine Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform beinhaltet, unter Verwendung von 2 erläutert. 2 ist ein Blockdiagramm, das ein Konfigurationsbeispiel des Bildverarbeitungssystems 1 veranschaulicht, das die Bildverarbeitungsvorrichtung 10 gemäß einer ersten Ausführungsform beinhaltet. Darüber hinaus veranschaulicht ein Blockdiagramm, wie etwa 2, nur Komponente(n), die zur Erklärung eines Merkmals der vorliegenden Ausführungsform als funktionaler Block bzw. funktionale Blöcke benötigt wird bzw. werden und lässt Beschreibung(en) allgemeiner Komponent(en) aus.
Mit anderen Worten, jede Komponente, die in einem Blockdiagramm, wie etwa 2 veranschaulicht ist, ist funktional konzeptionell und muss physisch nicht wie in solch einem Diagramm veranschaulicht konfiguriert sein. Eine konkrete Form der Dispersion oder Integration der jeweiligen Blöcke ist beispielsweise nicht auf jene beschränkt, die in solch einem Diagramm veranschaulicht sind, und eine funktionale oder physische Dispersion oder Integration aller oder eines Teils davon in einer Einheit in Abhängigkeit von verschiedenen Last- oder Nutzungsarten oder dergleichen zum Bereitstellen einer Konfiguration ist möglich.
Wie in 2 veranschaulicht, beinhaltet das Bildverarbeitungssystem 1 die Bildverarbeitungsvorrichtung 10 und die ersten bis vierten Kameras 41 bis 44, wie vorstehend beschrieben. Die ersten bis vierten Kameras 41 bis 44 geben jeweils Informationen von Bildern, die durch sie aufgenommen werden, an die Bildverarbeitungsvorrichtung 10 aus.
Die Bildverarbeitungsvorrichtung 10 beinhaltet eine Steuereinheit 20 und eine Speichereinheit 30. Die Speichereinheit 30 ist eine Speichereinheit, die aus einer Speichervorrichtung besteht, wie etwa einen nichtflüchtigen Speicher oder ein Festplattenlaufwerk. Die Speichereinheit 30 speichert ein erstes Bild 31, ein zweites Bild 32, ein drittes Bild 33, ein viertes Bild 34, verschiedene Arten von Programmen, Einstellungsdaten und dergleichen.
Ein erstes Bild 31 sind Informationen eines Bildes, das von der ersten Kamera 41 aufgenommen wird. Darüber hinaus sind ein zweites Bild 32, ein drittes Bild 33 und ein viertes Bild 34 Informationen von Bildern, die jeweils von der zweiten Kamera 42, der dritten Kamera 43 und der vierten Kamera 44 aufgenommen werden. Darüber hinaus können Informationen von Bildern, die in ersten bis vierten Bildern 31 bis 34 beinhaltet sind, einzeln oder mehrfach.
Die Steuereinheit 20 beinhaltet eine Erfassungseinheit 21, eine Positionsschätzeinheit 22, eine Positionsdifferenzberechnungseinheit 23, eine Bildaufnahmezeitverzögerungserkennungseinheit 24, eine Korrektureinheit 25 und eine Erzeugungseinheit 26 und ist ein Mikrocomputer, der eine zentrale Verarbeitungseinheit (CPU) oder dergleichen aufweist.
Die Erfassungseinheit 21 erfasst Informationen von Bildern, die von den ersten bis vierten Kameras 41 bis 44 ausgegeben werden. Dann speichert die Erfassungseinheit 21 Informationen eines Bildes, das von der ersten Kamera 41 ausgegeben wird, als ein erstes Bild 31 in der Speichereinheit 30. Darüber hinaus speichert die Erfassungseinheit 21 Informationen eines Bildes, das von der zweiten Kamera 42 ausgegeben wird, als ein zweites Bild 32 in der Speichereinheit 30. Des Weiteren speichert die Erfassungseinheit 21 Informationen eines Bildes, das von der dritten Kamera 43 ausgegeben wird, als ein drittes Bild 33 in der Speichereinheit und speichert Informationen eines Bildes, das von der vierten Kamera 44 ausgegeben wird, als ein viertes Bild 34 in der Speichereinheit 30.
Die Positionsschätzeinheit 22 schätzt jeweils Selbstpositionen der ersten bis vierten Kameras 41 bis 44. Die Positionsschätzeinheit 22 greift beispielsweise auf die Speichereinheit 30 zu, um ein erstes Bild 31 auszulesen, und wendet eine SLAM-Technik auf das erste Bild 31 an, um eine Selbstposition der ersten Kamera 41 zu schätzen. Auf ähnliche Weise liest die Positionsschätzeinheit 22 sequenziell zweite bis vierte Bilder 31 bis 34 aus und schätzt Selbstpositionen der zweiten bis vierten Kameras 42 bis 44 basierend auf den zweiten bis vierten Bildern 32 bis 34. Weiterhin ist dies, obwohl Selbstpositionen der ersten bis vierten Kameras 41 bis 44, wie vorstehend beschrieben beispielsweise Koordinatenwerte sind, nicht einschränkend.
Die Positionsdifferenzberechnungseinheit 23 berechnet Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44. Die Positionsdifferenzberechnungseinheit 23 berechnet beispielsweise, als Positionsdifferenzen, Differenzen zwischen Selbstpositionen der ersten bis vierten Kameras 41 bis 44, die in einem vorherigen Prozess geschätzt werden und Selbstpositionen der ersten bis vierten Kameras 41 bis 44, die in einem aktuellen Prozess geschätzt werden.
Hierin wird beispielsweise in einem Fall, in dem ein Fahrzeug C in einem vorherigen Prozess und einem aktuellen Prozess im Stillstand ist, Selbstpositionen der ersten bis vierten Kameras 41 bis 44 nicht verändert, so dass Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44, die von der Positionsdifferenzberechnungseinheit 23 berechnet werden, Null sind (siehe einen Zeitpunkt T1 in 1B).
Darüber hinaus sind Positionsdifferenzen unter den ersten bis vierten Kameras 41 bis 44, die von der Positionsdifferenzberechnungseinheit 23 berechnet werden, beispielsweise in einem Fall, in dem Geschwindigkeiten eines Fahrzeugs C in einem vorherigen Prozess und einem aktuellen Prozess identisch oder im Wesentlichen identisch sind, das heißt, solch ein Fahrzeug C bewegt sich mit einer konstanten Geschwindigkeit, identische Werte oder im Wesentlichen identische Werte (siehe Zeitpunkt T3 oder T4 in 1B).
Andererseits sind Positionsdifferenzen unter den ersten bis vierten Kameras 41 bis 44, die von der Positionsdifferenzberechnungseinheit 23 berechnet werden, in einem Fall, in dem Geschwindigkeiten eines Fahrzeugs C in einem vorherigen Prozess und einem aktuellen Prozess unterschiedlich sind, beispielsweise in einem Fall, in dem solch ein Fahrzeug C von einem angehaltenen Zustand aus gestartet wird, so dass es beginnt sich zu bewegen, unterschiedliche Werte. Mit anderen Worten, sie sind nicht Null (siehe Zeitpunkt T2 in 1B).
Dann gibt die Positionsdifferenzberechnungseinheit 23, in einem Fall, in dem Erkennung derart ausgeführt wird, dass Positionsdifferenzen unter den ersten bis vierten Kameras 41 bis 44 Differenzwerte sind, oder einem Fall, in dem Erkennung derart ausgeführt wird, dass sie nicht Null sind, Informationen aus, die berechnete Positionsdifferenzen der Bildaufnahmezeitverzögerungserkennungseinheit 24 angeben, wo ein Prozess zum Erkennen von Bildaufnahmezeitverzögerungen oder dergleichen ausgeführt wird.
Es ist der Positionsdifferenzberechnungseinheit 23 somit möglich, als Positionsdifferenzen Differenzen zwischen Selbstpositionen der ersten bis vierten Kameras 41 bis 44 zu berechnen, die zu einer Zeit geschätzt werden, wenn ein Fahrzeug C im Stillstand ist, und Selbstpositionen der ersten bis vierten Kameras 41 bis 44, die zu einer Zeit geschätzt werden, wenn ein Fahrzeug C zur Bewegung gestartet wird.
Dadurch ist es in der vorliegenden Ausführungsform möglich, leicht zu erkennen, dass berechnete Positionsdifferenzen unter den ersten bis vierten Kameras 41 bis 44 unterschiedliche Werte bzw. nicht Null sind und somit ist es möglich einen Bildaufnahmezeitverzögerungserkennungsprozess nach Erkennen oder dergleichen zuverlässig auszuführen.
Darüber hinaus sind berechnete Positionsdifferenzen unter den ersten bis vierten Kameras 41 bis 44 nicht auf jene zu einer Zeit des Startens eines Fahrzeugs C, wie vorstehend beschrieben, beschränkt. Das heißt, wenn beispielsweise ein Fahrzeug C sich bewegt, während es beschleunigt wird, wenn es sich bewegt, während es verzögert wird, wenn es zu einem Halt verzögert wird, wenn es von einem konstanten Geschwindigkeitszustand aus be- oder verzögert wird oder dergleichen, können Positionsdifferenzen unter den ersten bis vierten Kameras 41 bis 44 unterschiedliche Werte sein. In solch einem Fall kann die Positionsdifferenzberechnungseinheit 23 auch Informationen ausgeben, die berechnete Positionsdifferenzen der Bildaufnahmezeitverzögerungserkennungseinheit 24 angeben, wenn ein Prozess zum Erkennen von Bildaufnahmezeitverzögerungen oder dergleichen ausgeführt wird.
Somit ist es der Positionsdifferenzberechnungseinheit 23 möglich, als eine Positionsdifferenz, eine Differenz zwischen einer Selbstposition einer Kamera, die geschätzt wird bevor ein Fahrzeug C zur Bewegung be- oder verzögert wird, und einer Selbstposition der Kamera, die zu einer Zeit geschätzt wird, wenn das Fahrzeug C zur Bewegung be- oder verzögert wird, zu berechnen.
Dadurch ist es in der vorliegenden Ausführungsform möglich, in Abhängigkeit von einer Vielzahl von Fahrsituationen eines Fahrzeugs C entsprechend zu erkennen, dass berechnete Positionsdifferenzen unter den ersten bis vierten Kameras 41 bis 44 unterschiedliche Werte oder nicht Null sind, und somit ist es möglich, einen Bildaufnahmezeitverzögerungserkennungsprozess nach Erkennung oder dergleichen zuverlässig auszuführen.
Weiterhin ist dies, obwohl Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44, wie vorstehend beschrieben, beispielsweise Vektorgrößen sind, die Bewegungsentfernungen jeweiliger Kameras 40, deren Bewegungsrichtungen (eine Bewegungsrichtung) oder dergleichen sie beinhalten, nicht einschränkend, und sie können beispielsweise skalare Größen oder dergleichen sein.
Die Bildaufnahmezeitverzögerungseinheit 24 erkennt Bildaufnahmezeitverzögerungen, die Bildaufnahmezeitverzögerungen von Bildern unter den ersten bis vierten Kameras 41 bis 44 angeben, basierend auf Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44, die von der Positionsdifferenzberechnungseinheit 23 berechnet werden.
Insbesondere dividiert die Bildaufnahmezeitverzögerungserkennungseinheit 24 beispielsweise Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44, die von der Positionsdifferenzberechnungseinheit 23 berechnet werden, durch eine Geschwindigkeit zu einer Zeit, zu der sich ein Fahrzeug C bewegt, um jeweils Bildaufnahmezeiten von Bildern in den ersten bis vierten Kameras 41 bis 44 zu berechnen.
Hierbei kann, wie vorstehend beschrieben, eine Geschwindigkeit eines Fahrzeugs C, die zur Berechnung einer oder mehrerer Bildaufnahmezeit(en) verwendet wird, eine Geschwindigkeit sein, die in einem nächsten Operationsprozess geschätzt wird (zum Beispiel zum Zeitpunkt T3 in 1B). Insbesondere in einem Fall, in dem eine Geschwindigkeit eines Fahrzeugs C in einem nächsten Operationsprozess geschätzt wird, berechnet die Positionsdifferenzberechnungseinheit 23 zuerst eine Positionsdifferenz einer Kamera 40. Eine Positionsdifferenz einer Kamera 40 ist eine Differenz zwischen Selbstpositionen der Kamera 40, die in einem vorherigen Prozess und einem aktuellen Prozess geschätzt werden, und somit dividiert die Bildaufnahmezeitverzögerungserkennungseinheit 24 eine berechnete Positionsdifferenz durch einen Zeitraum ab einem vorherigen Prozess bis zu einem aktuellen Prozess (beispielsweise einen Zeitrahmen von einem Zeitpunkt T2 bis zu einem Zeitpunkt T3 in 1B), so dass es möglich ist, eine Geschwindigkeit eines Fahrzeugs C zu schätzen.
Obwohl angenommen wird, dass eine Geschwindigkeitsveränderung eines Fahrzeugs C zur Bewegung bei einer konstanten Geschwindigkeit bei einem Starten des Fahrzeugs C vergleichsweise gering ist, und vorstehend eine Geschwindigkeit, die in einem nächsten Operationsprozess geschätzt wird, verwendet wird, ist dies darüber hinaus nicht einschränkend. Das heißt, es kann eine Konfiguration derart bereitgestellt werden, dass angenommen wird, dass ein Fahrzeug C sich zu einer Zeit des Startens des Fahrzeugs C mit einer konstanten Geschwindigkeit bewegt und eine Geschwindigkeit des Fahrzeugs C, die zur Berechnung einer Bildaufnahmezeit verwendet wird, aus einer Beschleunigung geschätzt wird, die in einem nächsten Operationsprozess geschätzt wird.
Dann erkennt die Bildaufnahmezeitverzögerungserkennungseinheit 24 Bildaufnahmezeitverzögerungen unter den ersten bis vierten Kameras 41 bis 44 basierend auf berechneten Bilderfassungszeiten der ersten bis vierten Kameras 41 bis 44. Die Bildaufnahmezeitverzögerungserkennungseinheit 24 erkennt beispielsweise Zeitdifferenzen, die durch jeweiliges Subtrahieren von Bildaufnahmezeiten der ersten bis vierten Kameras 41 bis 44 von einer vorbestimmten Zeit, die eine Referenz ist, erhalten werden, als Bildaufnahmezeitverzögerungen unter den ersten bis vierten Kameras 41 bis 44.
Die Korrektureinheit 25 multipliziert Bildaufnahmezeitverzögerungen, die von der Bildaufnahmezeitverzögerungserkennungseinheit 24 erkannt werden, mit einer aktuellen Geschwindigkeit eines Fahrzeugs C, um Korrekturbeträge von Selbstpositionen der ersten bis vierten Kameras 41 bis 44 zu berechnen. Dann korrigiert die Korrektureinheit 25 Selbstpositionen, die von der Positionsschätzeinheit 22 geschätzt werden, basierend auf berechneten Korrekturbeträgen (siehe zum Beispiel einen Zeitpunkt T4 in 1B).
Dabei sind Selbstpositionen der ersten bis vierten Kameras 41 bis 44 Positionen, die miteinander synchronisiert sind, so dass es möglich ist, einen Einfluss von Positionsverschiebungen zu reduzieren, die von Bildaufnahmezeitverzögerungen unter den ersten bis vierten Kameras 41 bis 44 verursacht werden.
Die Erzeugungseinheit 26 integriert Informationen von Bildern, die von den ersten bis vierten Kameras 41 bis 44 aufgenommen werden, um basierend auf Selbstpositionen der ersten bis vierten Kameras 41 bis 44 Karteninformationen zu erzeugen, die von der Korrektureinheit 25 korrigiert werden. Somit werden Selbstpositionen der ersten bis vierten Kameras 41 bis 44 synchronisiert, indem Bildaufnahmezeitverzögerungen unter den ersten bis vierten Kameras 41 bis 44 berücksichtigt werden, so dass es möglich ist, Genauigkeit der Karteninformationen zu verbessern, die durch Integration von Bildinformationen erzeugt werden.
Darüber hinaus erzeugt die Erzeugungseinheit 26 basierend auf Selbstpositionen der Vielzahl von Kameras 40, die durch die Korrektureinheit 25 korrigiert werden, Fahrzeugpositionsinformationen, die eine Position eines Fahrzeugs C angeben. Anordnungspositionsinformationen, die Anordnung oder Positionen der Kameras 40 in Bezug auf ein Fahrzeug C angeben, werden beispielsweise vorläufig in der Speichereinheit 30 gespeichert und die Erzeugungseinheit 26 erzeugt Fahrzeugpositionsinformationen basierend auf den Anordnungspositionsinformationen und korrigierten Selbstpositionen der Vielzahl von Kameras 40 (die ersten bis vierten Kameras 41 bis 44). Somit werden in der vorliegenden Ausführungsform Selbstpositionen der Kameras 40, wenn ein Einfluss von Positionsverschiebungen, die durch eine Bildaufnahmezeitverzögerung unter der Vielzahl von Kameras 40 verursacht werden, durch Korrektur mit Korrekturbeträgen, wie vorstehend beschrieben, reduziert wird, verwendet, so dass es möglich ist, die Genauigkeit von Fahrzeugpositionsinformationen, die erzeugt werden, zu verbessern.
Darüber hinaus werden, wie bereits beschrieben, beispielsweise Karteninformationen oder Fahrzeugpositionsinformationen mit hoher Genauigkeit bei automatisierter Parksteuerung, die automatisiertes Valet-Parking beinhaltet, verwendet, so dass es möglich ist, ein Fahrzeug C entsprechend automatisch zu parken.
Steuerprozess der Bildverarbeitungsvorrichtung gemäß der ersten Ausführungsform
Als nächstes werden spezifische Prozessschritte in der Bildverarbeitungsvorrichtung 10 unter Verwendung von 3 erläutert. 3 ist ein Flussdiagramm, das Prozessschritte veranschaulicht, die von der Bildverarbeitungsvorrichtung 10 ausgeführt werden.
Wie in 3 veranschaulicht, schätzt die Steuereinheit 20 der Bildverarbeitungsvorrichtung 10 jeweils Selbstpositionen der Kameras 40 basierend auf Informationen der Bilder der jeweiligen Kameras 40 (Schritt S10). Dann berechnet die Steuereinheit 20 Positionsdifferenzen zwischen Selbstpositionen der Vielzahl von Kameras 40, die in einem vorherigen Prozess geschätzt wurden, und Selbstpositionen der entsprechenden Vielzahl von Kameras 40, die in einem aktuellen Prozess geschätzt werden (Schritt S11).
Dann bestimmt die Steuereinheit 20, ob berechnete Positionsdifferenzen unter der Vielzahl von Kameras 40 unterschiedliche Wert sind, oder ob sie nicht Null oder nicht sind (Schritt S12). In einem Fall, in dem bestimmt wird, dass die Positionsdifferenzen unter der Vielzahl von Kameras 40 nicht unterschiedliche Werte sind oder Null bleiben (Schritt S12: Nein), kehrt die Steuereinheit 20 zu einem Prozess in Schritt S10 zurück.
Andererseits, in einem Fall, in dem bestimmt wird, dass Positionsdifferenzen unter der Vielzahl von Kameras 40 unterschiedliche Werte oder nicht Null sind (Schritt S12: Ja), erkennt die Steuereinheit 20 Bildaufnahmezeitverzögerungen unter der Vielzahl von Kameras 40 basierend auf den Positionsdifferenzen (Schritt S13).
Dann multipliziert die Steuereinheit 20 Bildaufnahmezeitverzögerungen mit einer aktuellen Geschwindigkeit eines Fahrzeugs C, um Korrekturbeträge für Selbstpositionen der Kameras 40 zu berechnen (Schritt S14). Anschließend korrigiert die Steuereinheit 30 geschätzte Selbstpositionen der Vielzahl von Kameras 40 basierend auf berechneten Korrekturbeträgen (Schritt S15).
Dann integriert die Steuereinheit 20 Informationen von Bildern, die von der Vielzahl von Kameras 40 aufgenommen wurden, um basierend auf korrigierten Selbstpositionen der Kameras 40 Karteninformationen zu erzeugen (Schritt S16). Darüber hinaus ist dies, obwohl die Steuereinheit 20 Karteninformationen am Schritt S16 erzeugt, nicht einschränkend, und es können beispielsweise Fahrzeugpositionsinformationen basierend auf korrigierten Selbstpositionen der Vielzahl von Kameras 40 erzeugt werden.
Wie vorstehend beschrieben, beinhaltet die Bildverarbeitungsvorrichtung 10 gemäß einer ersten Ausführungsform die Positionsschätzeinheit 22, die Positionsdifferenzberechnungseinheit 23 und die Bildaufnahmezeitverzögerungserkennungseinheit 24. Die Positionsdifferenzberechnungseinheit 23 schätzt jeweils Selbstpositionen der Vielzahl von Kameras 40, die an einem Fahrzeug C (ein Beispiel eines beweglichen Körpers) montiert sind und Bilder einer Peripherie des Fahrzeugs C aufnehmen. Die Positionsdifferenzberechnungseinheit 23 berechnet als eine Positionsdifferenz eine Differenz zwischen einer ersten Selbstposition einer Kamera, die zu einem ersten Zeitpunkt geschätzt wird, bevor ein Fahrzeug C zur Bewegung be- oder verzögert wird, und einer zweiten Selbstposition einer Kamera 40, die zu einem zweiten Zeitpunkt geschätzt wird, wenn das Fahrzeug C zur Bewegung be- oder verzögert wird. Die Bildaufnahmezeitverzögerungserkennungseinheit 24 erkennt eine Bildaufnahmezeitverzögerung, die eine Verzögerung der Bildaufnahmezeit eines Bildes unter der Vielzahl von Kameras 40 basierend auf einer Positionsdifferenz angibt, die von der Positionsdifferenzberechnungseinheit 23 berechnet wird. Dadurch ist es möglich, eine Verzögerung der Bildaufnahmezeit unter der Vielzahl von Kameras 40 zu erkennen, die an einem Fahrzeug C befestigt sind
Darüber hinaus wird, in dem Fall oben, eine Differenz zwischen einer Selbstposition einer Kamera 40, die geschätzt wird bevor ein Fahrzeug C zur Bewegung be- oder verzögert wird, und einer Selbstposition der Kamera 40, die zu einer Zeit geschätzt wird, wenn das Fahrzeug C zur Bewegung be- oder verzögert wird, als eine Positionsdifferenz berechnet und es wird basierend auf solch einer Positionsdifferenz eine Bildaufnahmezeitverzögerung erkannt. Mit anderen Worten, die Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Erfindung berechnet als eine Positionsdifferenz eine Differenz zwischen Selbstpositionen einer Kamera 40, die bevor und nachdem eine Bewegungsgeschwindigkeit eines Fahrzeugs C geändert wird geschätzt werden, und es wird basierend auf solch einer Positionsdifferenz eine Bildaufnahmezeitverzögerung erkannt. Dabei kann eine Änderung einer Bewegungsgeschwindigkeit eine Änderung einer Geschwindigkeit und einer Richtung (ein Bewegungsvektor) beinhalten.
Das heißt, in der vorliegenden Ausführungsform ist es ausreichend, dass es möglich ist, beispielsweise eine Situation zu erfassen, in der ein Bewegungsvektor zwischen Bildern, die von einer identischen Kamera 40 aufgenommen werden, (der in einem Frame oder in einem vorbestimmten Frame sein kann) sich unter jeweiligen Kameras unterscheidet; das heißt, eine Situation, die keine Bewegung mit einer konstanten Geschwindigkeit ist und ein Bewegungszustand davon (beispielsweise eine Geschwindigkeit oder eine Bewegungsrichtung). Es ist der Bildverarbeitungsvorrichtung 10 daher beispielsweise möglich, eine Bewegung (einen Bewegungszustand) eines Bildes zwischen aufgenommenen Bildern zu erkennen, eine Positionsdifferenz, wie vorstehend beschrieben, basierend auf der Bewegung eines Bildes zu berechnen und eine Bildaufnahmezeitverzögerung basierend auf der Positionsdifferenz zu erkennen. Dadurch ist es, wie bereits beschrieben, möglich, eine Verzögerung der Bildaufnahmezeit unter der Vielzahl von Kameras 40 zu erkennen, die an einem beweglichen Körper montiert sind
Variation
Obwohl die Bildverarbeitungsvorrichtung 10 in einer ersten Ausführungsform, wie vorstehend beschrieben, eine Bildaufnahmezeitverzögerung, wenn Positionsdifferenzen unter der Vielzahl von Kameras 40 vor und nach Starten eines Fahrzeugs C oder dergleichen unterschiedliche Werte oder nicht Null sind, als einen Zustand erkennt, in dem Positionsdifferenzen unter der Vielzahl von Kameras 40 unterschiedliche Werte oder dergleichen sind, ist dies nicht auf vor und nach Starten des Fahrzeugs C oder dergleichen beschränkt.
Das heißt, Positionsdifferenzen unter der Vielzahl von Kameras 40 sind beispielsweise auch unterschiedliche Werte in Abhängigkeit von einem Lenkwinkel eines Fahrzeugs C oder Bewegung des Fahrzeugs C in einer Neigungs- oder einer Rollrichtung davon, so dass Positionsdifferenzen berechnet werden können, indem solch ein Lenkwinkel oder dergleichen berücksichtigt werden, um eine Verzögerung der Bildaufnahmezeit zu erkennen.
Das Bildverarbeitungssystem 1, das die Bildverarbeitungsvorrichtung 10 gemäß einer Variation beinhaltet, beinhaltet einen Lenkwinkelsensor 60 oder einen Gyrosensor 61, wie in 2 durch eine imaginäre Linie angegeben. Der Lenkwinkelsensor 60 gibt ein Signal aus, das einen Lenkwinkel eines Fahrzeugs C an die Bildverarbeitungsvorrichtung 10 ausgibt. Darüber hinaus gibt der Gyrosensor 61 beispielsweise ein Signal aus, das einen Winkel eines Fahrzeugs C in einer Neigungsrichtung oder einer Rollrichtung davon an die Bildverarbeitungsvorrichtung 10 angibt.
In der Bildverarbeitungsvorrichtung 10 erfasst die Erfassungseinheit 21 ein Signal, das von dem Lenkwinkelsensor 60 oder dem Gyrosensor 61 ausgegeben wird, und gibt es an die Positionsdifferenzberechnungseinheit 23 aus. Die Positionsdifferenzberechnungseinheit 23 kann Positionsdifferenzen der Vielzahl von Kameras 40 in Abhängigkeit von einem Lenkwinkel berechnen, der basierend auf einer Ausgabe des Lenkwinkelsensors 60 erhalten wird. Darüber hinaus kann die Positionsdifferenzberechnungseinheit 23 Positionsdifferenzen der Vielzahl von Kameras 40 in Abhängigkeit von einem Winkel in einer Neigungsrichtung oder einer Rollrichtung berechnen, der basierend auf einer Ausgabe des Gyrosensors 61 erhalten wird.
Dadurch ist es in einer Variation möglich, Positionsdifferenzen der Vielzahl von Kameras 40 genau zu berechnen, beispielsweise selbst wenn ein Fahrzeug C gesteuert wird, um auf einer Kurvenstraße zu fahren oder selbst wenn ein Fahrzeug C durch Beschleunigung, Entschleunigung oder dergleichen des Fahrzeugs C geneigt wird.
Obwohl das Bildverarbeitungssystem 1 in einer Variation, wie vorstehend beschrieben, den Lenkwinkelsensor 60 und den Gyrosensor 61 beinhaltet, ist dies nicht einschränkend und es kann eine Konfiguration bereitgestellt werden, die eines von Lenkwinkelsensor 60 und dem Gyrosensor 61 beinhaltet.
Zweite Ausführungsform
Konfiguration der Bildverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform
Als nächstes wird eine Konfiguration der Bildverarbeitungsvorrichtung 10 gemäß einer zweiten Ausführungsform unter Bezugnahme auf 4 und nachfolgende Figuren erläutert. 4 ist ein Blockdiagramm, das ein Konfigurationsbeispiel des Bildverarbeitungssystems 1 veranschaulicht, das die Bildverarbeitungsvorrichtung 10 gemäß einer zweiten Ausführungsform beinhaltet. Darüber hinaus ist 5 ein Diagramm zur Erklärung der Bildverarbeitungsvorrichtung 10 gemäß einer zweiten Ausführungsform. Darüber hinaus wird im Folgenden eine Komponente, die derjenigen der ersten Ausführungsform gemeinsam ist, mit einem identischen Zeichen angegeben, um Erklärung(en) davon auszulassen.
Wie in 4 und 5 veranschaulicht, wird in einer zweiten Ausführungsform eine Position eines Merkmalpunktes, der in einem Überlappungsbereich von Bildern vorhanden ist, die von der Vielzahl von Kameras 40 aufgenommen werden, zwischen den Kameras 40 verglichen, um eine oder mehrere Bildaufnahmezeitverzögerung(en) zu erkennen.
Wie konkret erläutert, beinhaltet die Steuereinheit 20 der Bildverarbeitungsvorrichtung 10 gemäß einer zweiten Ausführungsform die Erfassungseinheit 21, die Positionsschätzeinheit 22, eine Überlappungsbereichsauswahleinheit 22a, eine Paarungseinheit 22b, eine Merkmalpunktpositionsschätzeinheit 22c, eine Merkmalpunktpositionsdifferenzberechnungseinheit 22d, die Bildaufnahmezeitverzögerungserkennungseinheit 24, die Korrektureinheit 25 und die Erzeugungseinheit 26.
Die Überlappungsbereichsauswahleinheit 22a wählt einen oder mehrere Überlappungsbereich(e) in einer Vielzahl von Bildern aus, die von der Vielzahl von Kameras 40, das heißt, die ersten bis vierten Kameras 41 bis 44, aufgenommen wurden. Hierin wird ein oder mehrere Überlappungsbereich(e) unter Bezugnahme auf 5 erläutert.
Wie in 5 veranschaulicht, verfügen die ersten bis vierten Kameras 41 bis 44 über einen vergleichsweise breiten Sichtwinkel, so dass eine Vielzahl von aufgenommenen Bildern teilweise mit jenen benachbarter Kameras 40 überlappt. Ein erster Bildaufnahmebereich 101 der ersten Kamera 41 und ein zweiter Bildaufnahmebereich 102 der zweiten Kamera 42 überlappen beispielsweise teilweise, um einen Überlappungsbereich 201 zu bilden.
Darüber hinaus überlappen sich der zweite Bildaufnahmebereich 102 der zweiten Kamera 42 und ein dritter Bildaufnahmebereich 103 der dritten Kamera 43 teilweise, um einen Überlappungsbereich 202 zu bilden. Weiterhin überlappen sich der dritte Bildaufnahmebereich 103 der dritten Kamera 43 und ein vierter Bildaufnahmebereich 104 der vierten Kamera teilweise, um einen Überlappungsbereich 203 zu bilden. Des Weiteren überlappen sich der vierte Bildaufnahmebereich 104 der vierten Kamera 44 und der erste Bildaufnahmebereich 101 der ersten Kamera 41 teilweise, um einen Überlappungsbereich 204 zu bilden.
Die Überlappungsbereichsauswahleinheit 22a bildverarbeitet Informationen von Bildern, die von jeweiligen Kameras 40 aufgenommen wurden, und wählt Überlappungsbereiche 201 bis 204, die einen oder mehrere Merkmalpunkt(e) aufweisen, wie etwa ein oder mehrere Ziel(e) (z.B. ein anderes Fahrzeug, ein Mast oder dergleichen), aus der Vielzahl von Überlappungsbereichen 201 bis 204 basierend auf einem Ergebnis der Bildverarbeitung aus. Zusätzlich wird, in einem Beispiel, wie in 5 veranschaulicht, angenommen, dass ein Merkmalpunkt D1 in dem Überlappungsbereich 201 in dem ersten Bildaufnahmebereich 101 der ersten Kamera 41 erkannt wird, und ein Merkmalpunkt D2 in dem Überlappungsbereich D2 in dem zweiten Bildaufnahmebereich 102 der zweiten Kamera 42 erkannt wird.
Die Paarungseinheit 22b paart (oder kombiniert) beide Merkmalpunkte, die als identische Merkmalpunkte unter Merkmalpunkten geschätzt werden, die in einem Überlappungsbereich benachbarter Kameras 40 vorhanden sind. Die Paarungseinheit 22b paart beispielsweise beide Merkmalpunkt, wenn ein Ähnlichkeitsgrad (oder eine Ähnlichkeit) zwischen Merkmalbeträgen der Merkmalpunkte vergleichsweise hoch ist oder beide Merkmalpunkte einen minimalen Fehler in einer Positionspunktverteilung aufweisen. Darüber hinaus wird in einem Beispiel in 5 angenommen, dass ein Merkmalpunkt D1 und ein Merkmalpunkt D2 gepaart sind.
Die Merkmalpunktpositionsschätzeinheit 22c schätzt jeweils Positionen gepaarter Merkmalpunkte basierend auf Informationen der Bilder, die von Kameras 40 aufgenommen werden. In einem Beispiel in 5 wird eine Position eines Merkmalpunktes D1 basierend auf Informationen eines Bildes geschätzt, das von der ersten Kamera 41 aufgenommen wird, und eine Position eines Merkmalpunktes D2 wird basierend auf Informationen eines Bildes geschätzt, das von der zweiten Kamera 42 aufgenommen wird.
Die Merkmalpunktpositionsdifferenzberechnungseinheit 22d berechnet als eine Merkmalpunktpositionsdifferenz (eine Paarentfernungsdifferenz) eine Differenz zwischen Positionen gepaarter Merkmalpunkte, die von der Merkmalpunktpositionsschätzeinheit 22c geschätzt werden. In einem Beispiel, wie in 5 veranschaulicht, berechnet die Merkmalpunktpositionsdifferenzberechnungseinheit 22d beispielsweise als eine Merkmalpunktpositionsdifferenz eine Differenz zwischen einer Position eines Merkmalpunktes D1, die in einem Bild geschätzt wird, das von der ersten Kamera 41 (ein Beispiel einer Kamera) aufgenommen wird, die ein Bild aufnimmt, das den Überlappungsbereich 201 aufweist, und einer Position eines Merkmalpunktes D2, der in einem Bild geschätzt wird, das von der zweiten Kamera 42 (ein Beispiel einer anderen Kamera) aufgenommen wird.
Solch eine Merkmalpunktpositionsdifferenz ist proportional zu einer Geschwindigkeit eines Fahrzeugs C. Daher dividiert die Bildaufnahmezeitverzögerungserkennungseinheit 24 eine Merkmalpunktpositionsdifferenz durch eine aktuelle Geschwindigkeit eines Fahrzeugs C, um eine Bildaufnahmezeitverzögerung zu erkennen. Darüber hinaus kann die Bildaufnahmezeitverzögerungserkennungseinheit 24, in einem Fall, in dem eine Geschwindigkeit eines Fahrzeugs C Null beträgt, eine Merkmalpunktpositionsdifferenz an sich nicht vorhanden oder im Wesentlichen nicht vorhanden ist, keinen Prozesse zum Erkennen einer Bildaufnahmezeitverzögerung ausführen.
Somit wird in einer zweiten Ausführungsform eine berechnete Merkmalpunktpositionsdifferenz verwendet, so dass es möglich ist, Bildaufnahmezeitverzögerungen unter der Vielzahl von Kameras 40 zu erkennen.
Wie vorstehend beschrieben, korrigiert die Korrektureinheit 25, wenn Bildaufnahmezeitverzögerungen unter der Vielzahl von Kameras 40 erkannt werden, Selbstpositionen, die von der Positionsschätzeinheit 22 geschätzt werden, ähnlich wie in der ersten Ausführungsform. Die Korrektureinheit 25 multipliziert beispielsweise Bildaufnahmezeitverzögerungen, die von der Bildaufnahmezeitverzögerungserkennungseinheit 24 erkannt werden, mit einer aktuellen Geschwindigkeit eines Fahrzeugs C, um Korrekturbeträge von Selbstpositionen der Vielzahl von Kameras 40 zu berechnen. Dann korrigiert die Korrektureinheit 25 Selbstpositionen, die von der Positionsschätzeinheit 22 geschätzt werden, basierend auf berechneten Korrekturbeträgen.
Dabei sind Selbstpositionen der Vielzahl von Kameras 40 Positionen, die miteinander synchronisiert sind, so dass es möglich ist, einen Einfluss von Positionsverschiebungen zu reduzieren, die von Bildaufnahmezeitverzögerungen unter der Vielzahl von Kameras 40 verursacht werden.
Die Erzeugungseinheit 26 integriert Informationen von Bildern, die von der Vielzahl von Kameras 40 aufgenommen wurden, um basierend auf Selbstpositionen der Vielzahl von Kameras 40 Karteninformationen zu erzeugen, die von der Korrektureinheit 25 korrigiert werden. Somit werden Selbstpositionen der Vielzahl von Kameras 40 synchronisiert, indem Bildaufnahmezeitverzögerungen unter der Vielzahl von Kameras 40 berücksichtigt werden, so dass es möglich ist, Genauigkeit der Karteninformationen zu verbessern, die durch Integration von Bildinformationen erzeugt werden.
Darüber hinaus erzeugt die Erzeugungseinheit 26 basierend auf Selbstpositionen der Vielzahl von Kameras 40, die durch die Korrektureinheit 25 korrigiert werden, Fahrzeugpositionsinformationen, die eine Position eines Fahrzeugs C angeben. Somit werden in einer zweiten Ausführungsform Selbstpositionen der Kameras 40, wenn ein Einfluss von Positionsverschiebungen, die durch Bildaufnahmezeitverzögerungen unter der Vielzahl von Kameras 40 verursacht werden, durch Korrektur mit Korrekturbeträgen, wie vorstehend beschrieben, ähnlich zu der ersten Ausführungsform, reduziert werden, verwendet, so dass es möglich ist, die Genauigkeit von Fahrzeugpositionsinformationen, die erzeugt werden, zu verbessern.
Steuerprozess der Bildverarbeitungsvorrichtung gemäß der zweiten Ausführungsform
Als nächstes werden spezifische Prozessschritte in der Bildverarbeitungsvorrichtung 10 gemäß einer zweiten Ausführungsform unter Verwendung von 6 erläutert. 6 ist ein Flussdiagramm, das Prozessschritte veranschaulicht, die von der Bildverarbeitungsvorrichtung 10 ausgeführt werden, gemäß einer zweiten Ausführungsform.
Wie in 6 veranschaulicht, schätzt die Steuereinheit 20 der Bildverarbeitungsvorrichtung 10 Merkmalpunktpositionen von Merkmalpunkten in den Überlappungsbereichen 201 bis 204 (Schritt S11a) nach einem Prozess im Schritt S10. Dann berechnet die Steuereinheit 20 eine Merkmalpunktpositionsdifferenz zwischen geschätzten Positionen von Merkmalpunkten (Schritt S11b).
Dann bestimmt die Steuereinheit 20, ob eine Geschwindigkeit eines Fahrzeugs C Null ist oder nicht (Schritt S12a). In einem Fall, in dem bestimmt wird, dass eine Geschwindigkeit eines Fahrzeugs C Null ist (Schritt S12a: Ja), kehrt die Steuereinheit 20 zu einem Prozess in Schritt S10 zurück.
Andererseits erkennt die Steuereinheit 20, in einem Fall, in dem bestimmt wird, dass eine Geschwindigkeit eines Fahrzeugs C nicht Null ist (Schritt S12a: Nein), eine Bildaufnahmezeitverzögerung unter der Vielzahl von Kameras 40 basierend auf einer Merkmalpunktpositionsdifferenz (Schritt S13a). Darüber hinaus sind Prozesse im Schritt S14 und nachfolgende Schritte jenen der ersten Ausführungsform ähnlich, so dass Erklärung(en) davon ausgelassen werden.
Wie vorstehend beschrieben, beinhaltet die Bildverarbeitungsvorrichtung 10 gemäß der zweiten Ausführungsform die Merkmalpunktpositionsschätzeinheit 22c, die Merkmalpunktpositionsdifferenzberechnungseinheit 22d und die Bildaufnahmezeitverzögerungserkennungseinheit 24. Die Merkmalpunktpositionsschätzeinheit 22c schätzt Positionen von Merkmalpunkten, die in einem Überlappungsbereich einer Vielzahl von Bildern vorhanden sind, die von der Vielzahl von Kameras 40 aufgenommen werden, die an einem Fahrzeug C (ein Beispiel eines beweglichen Körpers) montiert sind. Die Merkmalpunktpositionsdifferenzberechnungseinheit 22d berechnet als eine Merkmalpunktpositionsdifferenz eine Differenz zwischen einer Position eines Merkmalpunktes, die in einem Bild geschätzt wird, das von einer Kamera 40 unter der Vielzahl von Kameras 40 aufgenommen wurde, die Bilder aufnehmen, die Überlappungsbereich(e) aufweisen, und einer Position eines Merkmalpunktes, der in einem Bild geschätzt wird, das von einer anderen Kamera 40 aufgenommen wird. Die Bildaufnahmezeitverzögerungserkennungseinheit 24 erkennt eine Bilderfassungszeitverzögerung, die eine Verzögerung der Bildaufnahmezeit eines Bildes unter der Vielzahl von Kameras 40 basierend auf einer Merkmalpunktpositionsdifferenz angibt, die von der Merkmalpunktpositionsdifferenzberechnungseinheit 22d berechnet wurde. Dadurch ist es möglich, eine Verzögerung der Bildaufnahmezeit unter der Vielzahl von Kameras 40 zu erkennen, die an einem Fahrzeug C befestigt sind.
Dritte Ausführungsform
Bildverarbeitungsvorrichtung gemäß einer dritten Ausführungsform
Als nächstes wird die Bildverarbeitungsvorrichtung 10 gemäß einer dritten Ausführungsform erklärt. Ein Konfigurationsbeispiel des Bildverarbeitungssystems 1, das die Bildverarbeitungsvorrichtung 10 beinhaltet, gemäß einer dritten Ausführungsform, ist einem Konfigurationsbeispiel des Bildverarbeitungssystems 1, das die Bildverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform beinhaltet (siehe 2), ähnlich.
Im Folgenden wird die Bildverarbeitungsvorrichtung 10 gemäß einer dritten Ausführungsform unter Bezugnahme auf 2, 7 und nachfolgenden Figuren erläutert. 7 ist ein Diagramm zur Erklärung eines Bildverarbeitungsverfahrens gemäß einer dritten Ausführungsform.
Wie in 2 und 7 veranschaulicht, berechnet die Positionsdifferenzberechnungseinheit 23 gemäß einer dritten Ausführungsform eine Positionsdifferenz einer Kamera 40 zu einem Zeitpunkt T2, wenn sich ein Fahrzeug C bewegt. Wie vorstehend beschrieben, ist eine Positionsdifferenz einer Kamera 40 zu einem Zeitpunkt T2 eine Differenz zwischen einer Selbstposition der Kamera 40 zu einem Zeitpunkt T1 und einer Selbstposition der Kamera 40 zu dem Zeitpunkt T2.
Hierbei berücksichtigt die Positionsdifferenzberechnungseinheit 23 gemäß einer dritten Ausführungsform eine Kameracharakteristik, wie etwa eine Auflösung einer Kamera 40, und berechnet eine Selbstposition der Kamera 40 zu einem Zeitpunkt T2 basierend auf einer Selbstposition der Kamera 40, die zu einem Zeitpunkt T3 geschätzt wird, wenn eine vorbestimmte Rahmenzeit seit dem Zeitpunkt T2 vergangen ist.
Dadurch ist es in einer dritten Ausführungsform möglich, eine Positionsdifferenz einer Kamera 40 zu einem Zeitpunkt T2 genau zu berechnen und als ein Ergebnis ist es ebenfalls möglich, eine Verzögerung der Bildaufnahmezeit unter der Vielzahl von Kameras 40 genau zu erkennen. Darüber hinaus ist Zeitpunkt T3, wie vorstehend beschrieben, ein Beispiel eines dritten Zeitpunkts und eine Selbstposition einer Kamera 40, die zu dem Zeitpunkt T3 geschätzt wird, ein Beispiel für eine dritte Selbstposition.
Im Folgenden wird sich auf Berechnung einer Positionsdifferenz einer Kamera 40 zu einem Zeitpunkt T2 konzentriert und sie wird ausführlich erläutert. Wie in 7 veranschaulicht, erfasst die Positionsschätzeinheit 22 (siehe 2) der Bildaufnahmevorrichtung 10 jeweils Informationen von Bildern von den ersten bis vierten Kameras 41 bis 44 zu einem Zeitpunkt T1 und schätzt Selbstpositionen der ersten bis vierten Kameras 41 bis 44 basierend auf erfassten Informationen der Bilder (Schritt S100).
Nachfolgend erfasst die Bildaufnahmevorrichtung 22 ebenfalls jeweils Informationen von Bildern von den ersten bis vierten Kameras 41 bis 44, beispielsweise zu einem Zeitpunkt T3, wenn ein Fahrzeug C sich bewegt, und schätzt Selbstpositionen der ersten bis vierten Kameras 41 bis 44 basierend auf erfassten Informationen der Bilder (Schritt S101). Weiterhin wird angenommen, obwohl ein Beispiel in 7 zur einfacheren Darstellung veranschaulicht, dass Selbstpositionen zu einem Zeitpunkt T3 geschätzt werden, dass die Bildverarbeitungsvorrichtung 10 Selbstpositionen an jedem Prozesszeitpunkt schätzt, wie etwa einem Zeitpunkt T2, und Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44 basierend auf geschätzten Selbstpositionen berechnet.
Dann berechnet die Positionsdifferenzberechnungseinheit 23 (siehe 2) der Bildverarbeitungsvorrichtung 10 Positionsdifferenzen der ersten bis vierten Kameras 41 bis 44 zu einem Zeitpunkt T3a (Schritt S102). Weiterhin gibt in 7 eine Positionsdifferenz einer Kamera 40 zu einem Zeitpunkt T3a eine Differenz zwischen einer Selbstposition der Kamera 40 an, die zu einem Zeitpunkt t1 geschätzt wird, wenn ein Fahrzeug C angehalten ist, und eine Selbstposition der Kamera 40, die in einem aktuellen Prozess geschätzt wird (hierin ein Zeitpunkt T3).
Die Positionsdifferenzberechnungseinheit 23 berechnet insbesondere, als eine Positionsdifferenz der ersten Kamera 41, eine Differenz b1 zwischen einer Selbstposition der ersten Kamera 41, die in einem Prozess zu einem Zeitpunkt T1 geschätzt wird, und einer Selbstposition der ersten Kamera 41, die in einem Prozess zu einem Zeitpunkt T3a geschätzt wird. Darüber hinaus berechnet die Positionsdifferenzberechnungseinheit 23, als eine Positionsdifferenz der zweiten Kamera 42, eine Differenz b2 zwischen einer Selbstposition der zweiten Kamera 42, die in einem Prozess zu einem Zeitpunkt T1 geschätzt wurde, und einer Selbstposition der zweiten Kamera 42, die in einem Prozess zu einem Zeitpunkt T3a geschätzt wird.
Darüber hinaus berechnet die Positionsdifferenzberechnungseinheit 23, als eine Positionsdifferenz der dritten Kamera 43, eine Differenz b3 zwischen einer Selbstposition der dritten Kamera 43, die in einem Prozess zu einem Zeitpunkt T1 geschätzt wird, und einer Selbstposition der dritten Kamera 43, die in einem Prozess zu einem Zeitpunkt T3a geschätzt wird. Darüber hinaus berechnet die Positionsdifferenzberechnungseinheit 23 berechnet insbesondere, als eine Positionsdifferenz der vierten Kamera 44, eine Differenz b4 zwischen einer Selbstposition der vierten Kamera 44, die in einem Prozess zu einem Zeitpunkt T1 geschätzt wird, und einer Selbstposition der vierten Kamera 44, die in einem Prozess zu einem Zeitpunkt T3a geschätzt wird.
Anschließend bestimmt die Positionsdifferenzberechnungseinheit 23, ob eine berechnete Positionsdifferenz jeder Kamera 40 eine vorbestimmte Entfernung oder mehr ist (Schritt S103). Die Positionsdifferenzberechnungseinheit 23 kann beispielsweise bestimmen, ob alle Positionsdifferenzen unter Positionsdifferenzen jeweiliger Kameras 40 eine vorbestimmte Entfernung oder mehr sind oder nicht, oder bestimmen, ob ein Teil der Positionsdifferenzen unter Positionsdifferenzen der jeweiligen Kameras 40 eine vorbestimmte Entfernung oder mehr ist oder nicht.
Solch eine vorbestimmte Entfernung wird basierend auf einer Kameracharakteristik berechnet. Eine vorbestimmte Entfernung wird beispielsweise basierend auf einer Auflösung einer Kamera 40 berechnet. Insbesondere wird eine vorbestimmte Entfernung auf einen Wert festgelegt, der größer ist als eine Auflösung einer Kamera 40; konkreter, ein Wert, der in etwa mehrere Male bis mehrere zehn Male des Faktors (zum Beispiel Faktor 10) der Auflösung ist.
Eine vorbestimmte Entfernung wird wie vorstehend festgelegt, so dass sich auf Schritt S103 auch als ein Prozess zum Bestimmen, ob ein Prozess-Timing zu einem Zeitpunkt T3a ein Prozess-Timing ist oder nicht, zu dem es möglich ist, Berechnung einer Positionsdifferenz einer Kamera 40 oder Schätzung einer Selbstposition der Kamera 40 genau auszuführen, wenn die Kamera 40, die eine vorbestimmte Auflösung aufweist (eine Kameracharakteristik) verwendet wird, bezogen wird.
Darüber hinaus ist ein Zeitpunkt, der ein Prozess-Timing sein kann, wenn es möglich ist, Schätzung einer Selbstposition einer Kamera 40 genau auszuführen (hierin ein Zeitpunkt T3a), ein Zeitpunkt, zu dem eine vorbestimmte Rahmenzeit seit einem Zeitpunkt T2, der ein erstes Prozess-Timing ist, wenn ein Fahrzeug C sich zu bewegen beginnt (ein zweiter Zeitpunkt), vergangen ist. Obwohl ein vorbestimmter Zeitrahmen ein Zeitrahmen ist, der einer Vielzahl von Frames (Einzelbildern) einer Kamera 40 entspricht, ist dies weiterhin nicht einschränkend und er kann eine Rahmenzeit sein, die einem Frame entspricht.
In einem Fall, in dem bestimmt wird, dass eine Positionsdifferenz einer Kamera 40 eine vorbestimmte Entfernung oder mehr ist, berechnet die Positionsdifferenzberechnungseinheit 23 eine Selbstposition jeder Kamera 40 zu einem Zeitpunkt T2 basierend auf einer Selbstposition der Kamera 40, die zu einem Zeitpunkt T3a geschätzt wird (Schritt S104). Das heißt, zu einem Prozesszeitpunkt, zu dem eine Positionsdifferenz einer Kamera 40 eine vorbestimmte Entfernung oder mehr ist und es möglich ist, Schätzung einer Selbstposition der Kamera 40 genau auszuführen (hierin ein Zeitpunkt T3a), berechnet die Positionsdifferenzberechnungseinheit 23 eine Selbstposition jeder Kamera 40 zu einem Zeitpunkt T2 unter Verwendung einer Selbstposition der Kamera 40, die zu einem Zeitpunkt T3a geschätzt wird und zu dem Zeitpunkt T2 zurückreicht.
Insbesondere berechnet die Positionsdifferenzberechnungseinheit 23 zuerst einen Bewegungsbetrag eines Fahrzeugs C ab einem Zeitpunkt T2 zu einem Zeitpunkt T3a. Die Positionsdifferenzberechnungseinheit 23 multipliziert beispielsweise eine Rahmenzeit einer Kamera 40 ab einem Zeitpunkt T2 bis zu einem Zeitpunkt T3a (mit anderen Worten, einen Zeitraum für eine Vielzahl von Frames einer Kamera 40) mit einer Geschwindigkeit eines Fahrzeugs C, um einen Bewegungsbetrag des Fahrzeugs C ab dem Zeitpunkt T2 bis zu dem Zeitpunkt T3a zu berechnen.
Darüber hinaus kann beispielsweise eine Geschwindigkeit eines Fahrzeugs C, die zur Berechnung eines Bewegungsbetrags des Fahrzeugs C wie vorstehend beschrieben verwendet wird, eine Fahrzeuggeschwindigkeit sein, die zu jedem Prozesszeitpunkt ab einem Zeitpunkt T2 bis zu einem Zeitpunkt T3 (zum Beispiel eine durchschnittliche Fahrzeuggeschwindigkeit) geschätzt wird, oder sie kann eine Fahrzeuggeschwindigkeit sein, die von einem nicht veranschaulichten Fahrzeuggeschwindigkeitssensor erhalten wird (zum Beispiel eine durchschnittliche Fahrzeuggeschwindigkeit).
Dann subtrahiert die Positionsdifferenzberechnungseinheit 23 einen Bewegungsbetrag eines Fahrzeugs C von einer Selbstposition einer Kamera 40, die zu einem Zeitpunkt T3a geschätzt wird, um eine Selbstposition der Kamera 40 zu einem Zeitpunkt T2 zu berechnen.
Somit berechnet die Positionsdifferenzberechnungseinheit 23 gemäß einer dritten Ausführungsform einen Bewegungsbetrag eines Fahrzeugs C ab einem Zeitpunkt T2 bis zu einem Zeitpunkt T3a und subtrahiert den Bewegungsbetrag eines Fahrzeugs C von einer Selbstposition einer Kamera 40, die zu dem Zeitpunkt T3a geschätzt wird, um eine Selbstposition der Kamera 40 zum Zeitpunkt T2 zu berechnen. Dadurch ist es in einer dritten Ausführungsform möglich, eine Selbstposition einer Kamera 40 zu einem Zeitpunkt T2 genau zu berechnen.
Dann berechnet die Positionsdifferenzberechnungseinheit 23 eine Positionsdifferenz jeder Kamera 40 zu einem Zeitpunkt T2 basierend auf einer berechneten Selbstposition der Kamera 40 zum Zeitpunkt T2 (Schritt S105).
Insbesondere berechnet die Positionsdifferenzberechnungseinheit 23 als eine Positionsdifferenz der ersten Kamera 41 zu einem Zeitpunkt T2 eine Differenz a1 zwischen einer Selbstposition der ersten Kamera 41, die zu einem Zeitpunkt T1 geschätzt wird, und eine Selbstposition der ersten Kamera 41 zum Zeitpunkt T2, die basierend auf einer Selbstposition der ersten Kamera 41, die zu einem Zeitpunkt T3a geschätzt wird, berechnet wird.
Darüber hinaus berechnet die Positionsdifferenzberechnungseinheit 23 als eine Positionsdifferenz der zweiten Kamera 42 zu einem Zeitpunkt T2 eine Differenz a2 zwischen einer Selbstposition der zweiten Kamera 42, die zu einem Zeitpunkt T1 geschätzt wird, und einer Selbstposition der zweiten Kamera 42 zu einem Zeitpunkt T2, die basierend auf einer Selbstposition der zweiten Kamera 42, die zu einem Zeitpunkt T3a geschätzt wird, berechnet wird.
Darüber hinaus berechnet die Positionsdifferenzberechnungseinheit 23 als eine Positionsdifferenz der dritten Kamera 43 zu einem Zeitpunkt T2 eine Differenz a3 zwischen einer Selbstposition der dritten Kamera 43, die zu einem Zeitpunkt T1 geschätzt wird, und einer Selbstposition der dritten Kamera 43 zum Zeitpunkt T2, die basierend auf einer Selbstposition der dritten Kamera 43, die zu einem Zeitpunkt T3a geschätzt wird, berechnet wird.
Des Weiteren berechnet die Positionsdifferenzberechnungseinheit 23 als eine Positionsdifferenz der vierten Kamera 44 zu einem Zeitpunkt T2 eine Differenz a4 zwischen einer Selbstposition der vierten Kamera 44, die zu einem Zeitpunkt T1 geschätzt wird, und eine Selbstposition der vierten Kamera 44 zum Zeitpunkt T2, die basierend auf einer Selbstposition der vierten Kamera 44, die zu einem Zeitpunkt T3a geschätzt wird, berechnet wird.
Somit berechnet die Positionsdifferenzberechnungseinheit 23 gemäß einer dritten Ausführungsform eine Selbstposition einer Kamera 40 zu einem Zeitpunkt T2 basierend auf einer Selbstposition der Kamera 40, die zu einem Zeitpunkt T3a geschätzt wird, wenn eine vorbestimmte Rahmenzeit seit dem Zeitpunkt T2 vergangen ist. Dann berechnet die Positionsdifferenzberechnungseinheit 23 gemäß einer dritten Ausführungsform eine Positionsdifferenz einer Kamera 40 zu einem Zeitpunkt T2 basierend auf einer berechneten Selbstposition der Kamera 40 zum Zeitpunkt T2.
Damit ist es in einer dritten Ausführungsform möglich, eine Selbstposition einer Kamera 40 zu einem Zeitpunkt T2 unter Verwendung einer Selbstposition der Kamera 40, die zu einem Prozesszeitpunkt geschätzt wird, wenn es möglich ist, Schätzung einer Selbstposition der Kamera 40 genau auszuführen (hierin ein Zeitpunkt T3a), zu berechnen, während beispielsweise eine Kameracharakteristik, wie etwa eine Auflösung der Kamera 40, berücksichtigt wird, und es ist somit möglich, eine Positionsdifferenz der Kamera 40 zu dem Zeitpunkt T2 genau zu berechnen.
Obwohl in 7 ausgelassen, werden in einer dritten Ausführungsform ein Prozess zum Erkennen einer Bildaufnahmezeitverzögerung unter der Vielzahl von Kameras 40 basierend auf einer berechneten Positionsdifferenz, ein Prozess zum Berechnen eines Korrekturbetrags basierend auf der Bildaufnahmezeitverzögerung zum Korrigieren der Selbstposition, ein Prozess zum Erzeugen von Karteninformationen oder Fahrzeugpositionsinformationen basierend auf einer korrigierten Selbstposition und dergleichen ähnlich wie in der ersten Ausführungsform ausgeführt.
Obwohl vorstehend die Positionsdifferenzberechnungseinheit 23 eine Selbstposition einer Kamera 40 zu einem Zeitpunkt T3a schätzt, eine Selbstposition der Kamera 40 zu einem Zeitpunkt T2 basierend auf einer geschätzten Selbstposition der Kamera 40 zum Zeitpunkt T3a berechnet und eine Positionsdifferenz der Kamera 40 Zeitpunkt T2 basierend auf einer berechneten Selbstposition der Kamera 40 zum Zeitpunkt T2 berechnet, ist dies nicht einschränkend.
Das heißt, die Positionsdifferenzberechnungseinheit 23 berechnet beispielsweise eine Positionsdifferenz einer Kamera 40 zu einem Zeitpunkt T3a basierend auf einer Selbstposition der Kamera 40, die zum Zeitpunkt T3a geschätzt wird. Dann kann die Positionsdifferenzberechnungseinheit 23 einen Bewegungsbetrag eines Fahrzeugs C ab einem Zeitpunkt T2 bis zu einem Zeitpunkt T3a von einer Positionsdifferenz einer Kamera 40 zum Zeitpunkt T3a subtrahieren, um eine Positionsdifferenz der Kamera 40 zum Zeitpunkt T2 zu berechnen.
Steuerprozess der Bildverarbeitungsvorrichtung gemäß der dritten Ausführungsform
Als nächstes werden spezifische Prozessschritte in der Bildverarbeitungsvorrichtung 10 gemäß einer dritten Ausführungsform unter Verwendung von 8 erläutert. 8 ist ein Flussdiagramm, das Prozessschritte veranschaulicht, die von der Bildverarbeitungsvorrichtung ausgeführt werden, gemäß einer dritten Ausführungsform.
Wie in 8 veranschaulicht, bestimmt die Steuereinheit 20 der Bildverarbeitungsvorrichtung 10 nach einem Prozess im Schritt S11, ob eine Positionsdifferenz einer Kamera 40 eine vorbestimmte Entfernung oder mehr ist oder nicht (Schritt S12b).
Obwohl keine Veranschaulichung bereitgestellt wird, wird, wenn die Steuereinheit 20 erkennt, dass Positionsdifferenzen unterschiedliche Werte zu einer Zeit des Startens oder dergleichen, sind, ähnlich wie in Schritt S12 in 3, nachdem eine Positionsdifferenz einer Kamera 40 im Schritt S11 berechnet wurde, eine Selbstposition der Kamera 40 unmittelbar davor (bei einem gestoppten Fahrzeug) als ein Referenzwert gespeichert wird. Im Schritt S12b wird eine Differenz zwischen solch einem Referenzwert und einer Selbstposition einer Kamera 40, die in einem aktuellen Prozess geschätzt wird, als eine Positionsdifferenz verwendet.
In einem Fall, in dem bestimmt wird, dass eine Positionsdifferenz einer Kamera 40 keine vorbestimmte Entfernung oder mehr ist (Schritt S12b: Nein), mit anderen Worten, in einem Fall, in dem bestimmt wird, dass eine Positionsdifferenz der Kamera 40 kleiner ist als die vorbestimmte Entfernung, kehrt die Steuereinheit 20 zu einem Prozess im Schritt S10 zurück.
Andererseits berechnet die Steuereinheit 20, in einem Fall, in dem bestimmt wird, dass eine Positionsdifferenz einer Kamera 40 eine vorbestimmte Entfernung oder mehr ist (Schritt S12b: Ja), eine Selbstposition der Kamera 40 zu einem Zeitpunkt T2 (siehe 7) basierend auf einer Selbstposition der Kamera 40, die zu einem Zeitpunkt T3a geschätzt wird (siehe 7), wenn eine Positionsdifferenz der Kamera 40 eine vorbestimmte Entfernung oder mehr ist (Schritt S12c).
Dann berechnet die Steuereinheit 20 eine Positionsdifferenz einer Kamera 40 zu einem Zeitpunkt T2 basierend auf einer Selbstposition der Kamera 40 zum Zeitpunkt T2 (Schritt S12d). Die Steuereinheit 20 berechnet beispielsweise als eine Positionsdifferenz einer Kamera 40 zu einem Zeitpunkt T2 eine Differenz zwischen einer Selbstposition der Kamera 40, die zu einem Zeitpunkt T1 geschätzt wird (siehe 7) und eine Selbstposition der Kamera 40 zum Zeitpunkt T2, die basierend auf einer Selbstposition der Kamera 40, die zu einem Zeitpunkt T3a geschätzt wird, berechnet wird. Darüber hinaus sind Prozesse im Schritt S13 und nachfolgende Schritte jenen der ersten Ausführungsform ähnlich, so dass Erklärung(en) davon ausgelassen werden.
Darüber hinaus kann in jeder Ausführungsform, wie vorstehend beschrieben, beispielsweise wenn Karteninformationen erzeugt werden, wenn eine Verzögerung der Bildaufnahmezeit korrigiert wird, Bildverarbeitung, wie etwa Bewegen, Verformung oder Skalierung, entsprechend auf Informationen eines oder mehrerer Bild(er), das bzw. die für Erzeugung der Karteninformationen genutzt werden, in Abhängigkeit von einer Positionsverschiebung entsprechend angewendet werden. Dadurch ist es möglich, ein natürliches Bild bereitzustellen, beispielsweise wenn ein Benutzer erzeugte Karteninformationen betrachtet.
Darüber hinaus ist dies, obwohl ein konkretes Beispiel für einen Wert veranschaulicht ist, der in einer vorbestimmten Entfernung in einer dritten Ausführungsform, wie vorstehend beschrieben, festgelegt wird, nicht einschränkend und er kann auf jedweden Wert festgelegt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017207942 [0002]

Claims

Bildverarbeitungsvorrichtung (10), umfassend: eine Positionsschätzeinheit (22), die jeweils Selbstpositionen einer Vielzahl von Kameras (40), die an einem beweglichen Körper (C) montiert sind und Bilder einer Peripherie des beweglichen Körpers aufnehmen(C), schätzt; eine Positionsdifferenzberechnungseinheit (23), die als eine Positionsdifferenz eine Differenz zwischen einer ersten Selbstposition einer Kamera (40), die zu einem ersten Zeitpunkt geschätzt wird bevor der bewegliche Körper (C) zur Bewegung beschleunigt oder verzögert wird, und einer zweiten Selbstposition der Kamera (40), die zu einem zweiten Zeitpunkt geschätzt wird, wenn der bewegliche Körper (C) zur Bewegung beschleunigt oder verzögert wird, berechnet; und eine Bildaufnahmezeitverzögerungserkennungseinheit (24), die eine Bilderfassungszeitverzögerung erkennt, die eine Verzögerung der Bildaufnahmezeit eines Bildes unter der Vielzahl von Kameras (40) basierend auf der Positionsdifferenz angibt, die von der Positionsdifferenzberechnungseinheit (23) berechnet wurde.
Bildverarbeitungsvorrichtung (10) nach Anspruch 1, umfassend eine Korrektureinheit (25), die die Bildaufnahmezeitverzögerung, die von der Bildaufnahmezeitverzögerungserkennungseinheit (24) erkannt wurde, mit einer aktuellen Geschwindigkeit des beweglichen Körpers (40) multipliziert, um einen Korrekturbetrag einer Selbstposition einer Kamera (40) zu berechnen, und die Selbstposition, die von der Positionsschätzeinheit (22) geschätzt wurde, basierend auf dem berechneten Korrekturbetrag korrigiert.
Bildverarbeitungsvorrichtung (10) nach Anspruch 2, umfassend eine Erzeugungseinheit (26), die Informationen von Bildern integriert, die von der Vielzahl von Kameras (40) aufgenommen wurden, um Karteninformationen einer Peripherie des beweglichen Körpers (C) basierend auf einer Selbstposition einer Kamera (40), die von der Korrektureinheit (25) korrigiert ist, zu erzeugen.
Bildverarbeitungsvorrichtung (10) nach Anspruch 2 oder 3, umfassend eine Erzeugungseinheit (26), die Beweglicher-Körper-Positionsinformationen erzeugt, die eine Position des beweglichen Körpers (C) basierend auf Selbstpositionen der Vielzahl von Kameras (40), die von der Korrektureinheit (25) korrigiert werden, angeben.
Bildverarbeitungsvorrichtung (10) nach einem der Ansprüche 1 bis 4, wobei die Bildaufnahmezeitverzögerungserkennungseinheit (24) die Positionsdifferenz, die von der Positionsdifferenzberechnungseinheit (23) berechnet wurde, durch eine Geschwindigkeit zu einer Zeit, zu der der bewegliche Körper (C) zur Bewegung beschleunigt oder verzögert wird, dividiert, um Bildaufnahmezeiten von Bildern bei der Vielzahl von Kameras (40) zu berechnen, und die Bildaufnahmezeitverzögerung unter der Vielzahl von Kameras (40) basierend auf den berechneten Bildaufnahmezeiten der Vielzahl von Kameras (40) erkennt.
Bildverarbeitungsvorrichtung (10) nach einem der Ansprüche 1 bis 5, wobei die Positionsdifferenzberechnungseinheit (23) als die Positionsdifferenz eine Differenz zwischen einer Selbstposition einer Kamera (40), die geschätzt wird, wenn der bewegliche Körper angehalten wird, und einer Selbstposition der Kamera (40), die geschätzt wird, wenn der bewegliche Körper zur Bewegung gestartet wird, berechnet.
Bildverarbeitungsvorrichtung (10) nach einem der Ansprüche 1 bis 6, wobei die Positionsdifferenzberechnungseinheit (23) die zweite Selbstposition basierend auf einer dritten Selbstposition einer Kamera (40), die zu einem dritten Zeitpunkt geschätzt wird, wenn eine vorbestimmte Rahmenzeit seit dem zweiten Zeitpunkt vergangen ist, berechnet.
Bildverarbeitungsvorrichtung (10) nach Anspruch 7, wobei die Positionsdifferenzberechnungseinheit (23) einen Bewegungsbetrag des beweglichen Körpers (C) ab dem zweiten Zeitpunkt bis zu dem dritten Zeitpunkt berechnet und den Bewegungsbetrag des beweglichen Körpers (C) von der dritten Selbstposition subtrahiert, um die zweite Selbstposition zu berechnen.
Bildverarbeitungsvorrichtung (10), umfassend: eine Positionsschätzeinheit (22), die jeweils Selbstpositionen einer Vielzahl von Kameras (40), die an einem beweglichen Körper (C) montiert sind und Bilder einer Peripherie des beweglichen Körpers aufnehmen(C), schätzt; eine Positionsdifferenzberechnungseinheit (23), die als eine Positionsdifferenz eine Differenz zwischen Selbstpositionen einer Kamera (40), die bevor und nachdem sich eine Bewegungsgeschwindigkeit des beweglichen Körpers (C) ändert, geschätzt werden, berechnet; und eine Bildaufnahmezeitverzögerungserkennungseinheit (24), die eine Bilderfassungszeitverzögerung erkennt, die eine Verzögerung der Bildaufnahmezeit eines Bildes unter der Vielzahl von Kameras (40) basierend auf der Positionsdifferenz angibt, die von der Positionsdifferenzberechnungseinheit (23) berechnet wurde.
Bildverarbeitungsvorrichtung (10), umfassend: eine Merkmalpunktpositionsschätzeinheit (22), die eine Position eines Merkmalpunktes schätzt, der in einem Überlappungsbereich einer Vielzahl von Bildern, die von einer Vielzahl von Kameras (40) aufgenommen werden, die an einem beweglichen Körper (C) montiert sind, vorhanden ist; eine Merkmalpunktpositionsdifferenzberechnungseinheit (22d), die als eine Merkmalpunktpositionsdifferenz eine Differenz zwischen einer Position eines Merkmalpunktes, der in einem Bild geschätzt wird, das von einer Kamera (40) unter einer Vielzahl von Kameras (40) aufgenommen wurde, die Bilder aufnehmen, die den Überlappungsbereich aufweisen, und einer Position eines Merkmalpunktes, der in einem Bild geschätzt wird, das von einer zweiten Kamera (40) aufgenommen wird, berechnet, und eine Bildaufnahmezeitverzögerungserkennungseinheit (24), die eine Bilderfassungszeitverzögerung, die eine Verzögerung der Bildaufnahmezeit eines Bildes unter der Vielzahl von Kameras (40) basierend auf der Merkmalpunktpositionsdifferenz angibt, die von der Merkmalpunktpositionsdifferenzberechnungseinheit (22d) berechnet wurde, erkennt.
Bildverarbeitungsvorrichtung (10) nach Anspruch 10, umfassend eine Korrektureinheit (25), die die Bildaufnahmezeitverzögerung, die von der Bildaufnahmezeitverzögerungserkennungseinheit (24) erkannt wurde, mit einer aktuellen Geschwindigkeit des beweglichen Körpers (C) multipliziert, um einen Korrekturbetrag einer Selbstposition einer Kamera (40) zu berechnen, und die Selbstposition der Kamera (40) basierend auf dem berechneten Korrekturbetrag korrigiert.
Bildverarbeitungsvorrichtung (10) nach Anspruch 11, umfassend eine Erzeugungseinheit (26), die Informationen von Bildern integriert, die von der Vielzahl von Kameras (40) aufgenommen wurden, um Karteninformationen einer Peripherie des beweglichen Körpers (C) basierend auf einer Selbstposition einer Kamera (40), die von der Korrektureinheit (25) korrigiert wurde, zu erzeugen.
Bildverarbeitungsvorrichtung (10) nach Anspruch 11 oder 12, umfassend eine Erzeugungseinheit (26), die Beweglicher-Körper-Positionsinformationen erzeugt, die eine Position des beweglichen Körpers (C) basierend auf Selbstpositionen der Vielzahl von Kameras (40), die von der Korrektureinheit (25) korrigiert werden, angeben.
Bildverarbeitungsverfahren, umfassend: jeweiliges Schätzen von Selbstpositionen einer Vielzahl von Kameras (40), die an einem beweglichen Körper (C) angebracht sind und Bilder einer Peripherie des beweglichen Körpers aufnehmen(C); Berechnen, als eine Positionsdifferenz, einer Differenz zwischen einer ersten Selbstposition einer Kamera (40), die zu einem ersten Zeitpunkt geschätzt wird bevor der bewegliche Körper (C) zur Bewegung beschleunigt oder verzögert wird, und einer zweiten Selbstposition der Kamera (40), die zu einem zweiten Zeitpunkt geschätzt wird, wenn der bewegliche Körper (C) zur Bewegung beschleunigt oder verzögert wird; und Erkennen einer Bildaufnahmezeitverzögerung, die eine Verzögerung der Bildaufnahmezeit eines Bildes unter der Vielzahl von Kameras (40) basierend auf der berechneten Positionsdifferenz angibt.
Bildverarbeitungsverfahren, umfassend: jeweiliges Schätzen von Selbstpositionen einer Vielzahl von Kameras (40), die an einem beweglichen Körper (C) montiert sind und Bilder einer Peripherie des beweglichen Körpers aufnehmen(C); Berechnen, als eine Positionsdifferenz, einer Differenz zwischen Selbstpositionen einer Kamera (40), die bevor und nachdem sich eine Bewegungsgeschwindigkeit des beweglichen Körpers (C) ändert, geschätzt werden; und Erkennen einer Bildaufnahmezeitverzögerung, die eine Verzögerung der Bildaufnahmezeit eines Bildes unter der Vielzahl von Kameras (40) basierend auf der berechneten Positionsdifferenz angibt.
Bildverarbeitungsverfahren, umfassend: Schätzen einer Position eines Merkmalpunktes, der in einem Überlappungsbereich einer Vielzahl von Bildern, die von einer Vielzahl von Kameras (40) aufgenommen werden, die an einem beweglichen Körper (C) montiert sind, vorhanden ist; Berechnen, als eine Merkmalpunktpositionsdifferenz, einer Differenz zwischen einer Position eines Merkmalpunktes, der in einem Bild geschätzt wird, das von einer Kamera (40) unter einer Vielzahl von Kameras (40) aufgenommen wird, die Bilder aufnehmen, die den Überlappungsbereich aufweisen, und einer Position eines Merkmalpunktes, der in einem Bild geschätzt wird, das von einer anderen Kamera (40) aufgenommen; und Erkennen einer Bildaufnahmezeitverzögerung, die eine Verzögerung einer Bildaufnahmezeit eines Bildes unter der Vielzahl von Kameras (40) basierend auf der berechneten Merkmalpunktpositionsdifferenz angibt.