DE112017001841T5

DE112017001841T5 - Vorrichtung zum erfassen eines montagewinkels für eine fahrzeuginterne kamera, vorrichtung zum kalibrieren eines montagewinkels, und verfahren zur erfassung eines montagewinkels

Info

Publication number: DE112017001841T5
Application number: DE112017001841.2T
Authority: DE
Inventors: Shusaku SHIGEMURA
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-04-03
Filing date: 2017-03-31
Publication date: 2018-12-27
Also published as: US10787126B2; US20190118712A1; JP6565769B2; CN108886606B; WO2017175687A1; CN108886606A; JP2017188738A

Abstract

Eine Vorrichtung 100 zum Erfassen eines Montagewinkels wandelt ein Bild in ein Bild aus der Vogelperspektive um, in dem ein Boden aufgenommen wurde, auf dem eine Zielmarkierung mit zwei zueinander parallelen geradlinigen Teilen mit gleicher Breite markiert ist, und sucht nach einem Montagewinkel, bei dem die zwei geradlinigen Teile im Bild aus der Vogelperspektive parallel zueinander und gleich breit sind. Selbst bei einem Fahrzeug 1 mit einer fahrzeuginternen Kamera 10 an der Vorder- oder Rückseite erfasst die Vorrichtung 100 zum Erfassen des Montagewinkels einen tatsächlichen Montagewinkel der fahrzeuginternen Kamera 10 und kalibriert den Montagewinkel der fahrzeuginternen Kamera 10. Die Vorrichtung zum Erfassen des Montagewinkels erfasst den Montagewinkel, wobei als die Zielmarkierung auch eine Parklücke verwendet werden kann, bei der eine Querlinie fehlt, die quer zu den zwei zueinander parallelen geradlinigen Teilen verläuft und diese schneidet, und kalibriert den Montagewinkel auf einen korrekten Montagewinkel der fahrzeuginternen Kamera 10.

Description

[Technisches Gebiet]
Die vorliegende Offenbarung betrifft eine Technik zum Erfassen eines Montagewinkels, bei der eine fahrzeuginterne Kamera zum Erfassen eines Bildes um ein Fahrzeug an dem Fahrzeug montiert ist, und zum Kalibrieren des Montagewinkels.
[Stand der Technik]
Als Fahrassistenztechnologie sind verschiedene Techniken in Gebrauch gekommen, die es einem Fahrer ermöglichen, eine Situation um ein Fahrzeug einfach zu überblicken, indem auf einem Bildschirm ein von einer fahrzeuginternen Kamera aufgenommenes Bild gezeigt wird. Ein Beispiel einer genutzten Technik, die das Rückwärtsfahren unterstützt, ist das folgende. Eine fahrzeuginterne Kamera ist insbesondere am Heck eines Fahrzeugs angebracht, und während einer Rückwärtsbewegung des Fahrzeugs wird ein rückwärtsblickend aufgenommenes Bild auf einem Überwachungsbildschirm angezeigt, und es wird ein vorhergesagter Fahrweg des Fahrzeugs mittels Überlagerung des aufgenommenen Bildes angezeigt.
Ein Beispiel einer Technik, die verwendet wird, um einem Fahrer zu ermöglichen, die Situation um ein Fahrzeug herum einfach zu erfassen, ist das folgende. Fahrzeuginterne Kameras sind insbesondere an den vorderen, hinteren, linken und rechten Teilen eines Fahrzeugs bzw. vorn, hinten, links und rechts am Fahrzeug angebracht, wobei Bilder, die von diesen fahrzeuginternen Kameras bzw. Fahrzeugkameras aufgenommen werden, in ein Bild aus der Vogelperspektive (in dem die Umgebung des Fahrzeugs von oben betrachtet erscheint) umgewandelt werden, und das Bild aus der Vogelperspektive auf einem Bildschirm angezeigt wird.
Die vorstehend erwähnten Techniken basieren auf der Voraussetzung, dass die fahrzeuginternen Kameras in dem Fahrzeug in vorgesehenen korrekten Winkeln montiert sind. Es sei angenommen, dass es eine Abweichung des Montagewinkels einer fahrzeuginternen Kamera gibt. In diesem Fall tritt beispielsweise während der Rückwärtsbewegung bzw. Rückwärtsfahrt des Fahrzeugs ein Versatz zwischen einem tatsächlichen Fahrweg und einem vorhergesagten Fahrweg auf, der durch Überlagerung eines rückwärtsblickend aufgenommenen Bildes angezeigt wird. Außerdem tritt in dem Fall, in dem es eine Abweichung des Montagewinkels gibt, wenn die Bilder, die von den fahrzeuginternen Kameras vorn, hinten, rechts und links am Fahrzeug aufgenommen werden, in ein Bild aus der Vogelperspektive umgewandelt werden und das Bild aus der Vogelperspektive angezeigt wird, ein Positionsversatz beispielsweise zwischen dem Bild von der linken fahrzeuginternen Kamera aus der Vogelperspektive und dem Bild von der vorderen fahrzeuginternen Kamera aus der Vogelperspektive auf. Das gleiche oder ein ähnliches Problem kann zwischen der rechten fahrzeuginternen Kamera und der vorderen fahrzeuginternen Kamera, zwischen der linken fahrzeuginternen Kamera und der hinteren fahrzeuginternen Kamera und zwischen der rechten fahrzeuginternen Kamera und der hinteren fahrzeuginternen Kamera auftreten.
Der Montagewinkel der fahrzeuginternen Kamera relativ zum Fahrzeug wurde zum Zeitpunkt der Lieferung des Fahrzeugs aus einer Fabrik eingestellt. Es gibt jedoch Fälle, in denen der Montagewinkel neu eingestellt werden muss, beispielsweise wenn ein Versatz aufgrund einer lang andauernden Benutzung auftritt, oder wenn die fahrzeuginterne Kamera für Reparaturen entfernt wird.
Daher wurde die folgende Technik vorgestellt (Patentliteratur (PTL) 1). Insbesondere wird bei der in der PTL 1 offenbarten Technik ein Fahrzeug in einen Rahmen bewegt, wie zum Beispiel einen Parkplatz, der eine gut bekannte Form hat, und die Sichtweisen von Bildern, die von den fahrzeuginternen Kameras vorn, hinten, links und rechts vom Fahrzeug aufgenommen werden, umgerechnet. Somit wird in der Technik, die in PTL 1 offenbart ist, der Montagewinkel jeder fahrzeuginternen Kamera relativ zum Fahrzeug bestimmt. Es sei angenommen, die Montagewinkel der fahrzeuginternen Kameras wären korrekt. In diesem Fall weist das Bild aus der Vogelperspektive, das durch Umwandeln der von den fahrzeuginternen Kameras erfassten Bilder erhalten wird, selbst an Bildverbindungsabschnitten keinen Positionsversatz auf.
Indem auf diesen Punkt abgestellt wird, werden in der in PTL 1 offenbarten Technik die Montagewinkel der fahrzeuginternen Kameras relativ zum Fahrzeug so bestimmt, dass kein Positionsversatz zwischen den Bildern aus der Vogelperspektive auftritt, die durch Umwandeln der durch die fahrzeuginternen Kameras aufgenommenen Bilder erhalten werden. Auf diese Weise kann, wenn der Montagewinkel jeder fahrzeuginternen Kamera bestimmt werden kann, der Montagewinkel so eingestellt werden, dass er in einen Toleranzbereich fällt; somit kann der Montagewinkel kalibriert werden.
[Zitatliste]
[Patentliteratur]
[PTL 1] JP 2011-182236 A
[Kurzfassung der Erfindung]
[Technisches Problem]
Die vorstehend erläuterte Technik, die vorgeschlagen wurde, beruht jedoch auf der Voraussetzung, dass die fahrzeuginternen Kameras vorn, hinten, links und rechts am Fahrzeug angebracht sind und unter Verwendung dieser fahrzeuginternen Kameras aufgenommene Bilder von Bereichen der gesamten Umgebung des Fahrzeugs erhalten werden. Wenn die fahrzeuginterne Kamera nicht an einem der vorderen, hinteren, linken oder rechten Teile des Fahrzeugs angebracht ist (beispielsweise wenn die fahrzeuginternen Kameras nur vorn und hinten am Fahrzeug angebracht sind), können die Montagewinkel der fahrzeuginternen Kameras relativ zum Fahrzeug nicht erfasst oder kalibriert werden, um die Montagewinkel zu korrigieren.
Die vorliegende Offenbarung zielt darauf ab, eine Technik zu schaffen, bei der, wenn ein Fahrzeug keine fahrzeuginterne Kamera vorn, hinten, rechts und links aufweist, der Montagewinkel der fahrzeuginternen Kamera relativ zum Fahrzeug dennoch erkannt und auf einen korrekten Montagewinkel kalibriert werden kann.
[Lösung des Problems]
Eine Vorrichtung zum Erfassen des Montagewinkels nach einem Aspekt der Technik der vorliegenden Offenbarung erhält ein aufgenommenes Bild des Bodens, auf dem eine Zielmarkierung mit zwei geradlinigen Teilen, die parallel zueinander und gleich breit sind, markiert ist. Die Vorrichtung zum Erfassen des Montagewinkels wandelt das aufgenommene Bild, das sie erhalten hat, in ein Bild aus der Vogelperspektive um. Die Vorrichtung zum Erfassen des Montagewinkels bestimmt, ob die zwei geradlinigen Teile der Zielmarkierung in dem aus der Umwandlung resultierenden Bild aus der Vogelperspektive parallel zueinander und gleich breit sind. Wenn die zwei geradlinigen Teile nicht parallel oder nicht gleich breit sind, bestimmt die Vorrichtung zum Erfassen des Montagewinkels als Ergebnis, dass der Montagewinkel zur Zeit der Umwandlung in das Bild aus der Vogelperspektive nicht einem tatsächlichen Montagewinkel der fahrzeuginternen Kamera entspricht. Durch Ändern des Montagewinkels sucht die Vorrichtung zum Erfassen des Montagewinkels nach einem Montagewinkel, bei dem die zwei geradlinigen Teile der Zielmarkierung parallel zueinander und gleich breit sind. Wenn ein geeigneter Montagewinkel durch die Suche erfolgreich gefunden wurde, bestimmt die Vorrichtung zum Erfassen des Montagewinkels als einen tatsächlichen Montagewinkel (korrekten Montagewinkel) den Montagewinkel, der durch die Suche gefunden wurde.
Somit kann nach der Technik der vorliegenden Offenbarung selbst dann, wenn ein Fahrzeug nicht an jedem der vorderen, hinteren, linken und rechten Teile die fahrzeuginterne Kamera aufweist, der Montagewinkel der fahrzeuginternen Kamera relativ zum Fahrzeug erkannt und auf einen korrekten Montagewinkel kalibriert werden.
Die Zielmarkierung weist zwei geradlinige Teile auf, die zueinander parallel und gleich breit sind. So kann die Zielmarkierung beispielsweise eine Grafik wie eine Parklücke bzw. ein Parkplatz sein, die bzw. der zwei Seitenlinien aufweist, die parallel zueinander und gleich breit sind, aber keine Querlinie, die die Seitenlinien schneidet. Mit der Technik der vorliegenden Offenbarung kann unter Verwendung einer derartigen Zielmarkierung der Montagewinkel einer fahrzeuginternen Kamera 10 erfasst und auf einen korrekten Montagewinkel kalibriert werden.
Figurenliste

1 zeigt eine Aufbauskizze eines Fahrzeugs, in dem eine fahrzeuginterne Kamera montiert ist.
2 ist ein Blockschaubild, das den inneren Aufbau einer Vorrichtung zum Kalibrieren eines Montagewinkels nach der ersten Ausführungsform zeigt.
3 ist ein Ablaufplan, der einen Vorgang zum Kalibrieren eines Montagewinkels zeigt, der von einer Vorrichtung zum Kalibrieren eines Montagewinkels nach der ersten Ausführungsform durchgeführt wird.
4 ist ein Ablaufplan, der einen Vorgang zum Kalibrieren eines Montagewinkels zeigt, der von einer Vorrichtung zum Kalibrieren eines Montagewinkels nach der ersten Ausführungsform durchgeführt wird.
5 zeigt den Zustand, in dem ein Fahrzeug relativ zu Seitenlinien auf einem Parkplatz bzw. in einer Parklücke positioniert ist.
6 zeigt den Fall des Geradeausfahrens bzw. Bewegens eines Fahrzeugs in einer geraden Linie relativ zu einer Parklücke.
7A zeigt den Fall des Erfassens von geraden Mittellinien und geraden Begrenzungslinien von Seitenlinien aus einem aufgenommenen Bild einer Parklücke.
7B zeigt den Fall des Erfassens von geraden Mittellinien und geraden Begrenzungslinien von Seitenlinien von einem aufgenommenen Bild einer Parklücke.
7C zeigt den Fall des Erfassens von geraden Mittellinien und geraden Begrenzungslinien von Seitenlinien von einem aufgenommenen Bild einer Parklücke.
8 zeigt den Fall des Sammelns der erfassten geraden Mittellinien und geraden Begrenzungslinien von Seitenlinien aus zahlreichen aufgenommenen Bildern.
9A zeigt einen Grund, warum durch Akkumulieren bzw. Sammeln der Erfassungsergebnisse von geraden Mittellinien und geraden Begrenzungslinien der Seitenlinien bestimmt werden kann, ob ein Fahrzeug parallel zu Seitenlinien ausgerichtet ist.
9B zeigt einen Grund, warum durch Akkumulieren der Erfassungsergebnisse von geraden Mittellinien und geraden Begrenzungslinien der Seitenlinien bestimmt werden kann, ob ein Fahrzeug parallel zu Seitenlinien ausgerichtet ist.
10A zeigt den Fall des Suchens nach einem Montagewinkel einer fahrzeuginternen Kamera, wobei auf die Parallelität von zwei erfassten Seitenlinien einer Parklücke und auf einen Unterschied in der Breite zwischen den zwei Seitenlinien in einem Bild aus der Vogelperspektive abgestellt wird.
10B zeigt den Fall des Suchens nach einem Montagewinkel einer fahrzeuginternen Kamera, wobei auf die Parallelität von zwei erfassten Seitenlinien einer Parklücke, und auf einen Unterschied in der Breite zwischen den zwei Seitenlinien in einem Bild aus der Vogelperspektive abgestellt wird.
10C zeigt den Fall des Suchens nach einem Montagewinkel einer fahrzeuginternen Kamera, wobei auf die Parallelität von zwei erfassten Seitenlinien einer Parklücke, und auf einen Unterschied in der Breite zwischen den zwei Seitenlinien in einem Bild aus der Vogelperspektive abgestellt wird.
10D zeigt den Fall des Suchens nach einem Montagewinkel einer fahrzeuginternen Kamera, wobei auf die Parallelität von zwei erfassten Seitenlinien einer Parklücke, und auf einen Unterschied in der Breite zwischen den zwei Seitenlinien in einem Bild aus der Vogelperspektive abgestellt wird.
11 zeigt einen Grund dafür, dass vor der Suche nach einem Montagewinkel einer fahrzeuginternen Kamera geprüft wird, dass die Ausrichtung eines Fahrzeugs parallel zu Seitenlinien einer Parklücke ist.
12 zeigt die Beziehung zwischen einem fahrzeugbasierten Koordinatensystem und einem kamerabasierten Koordinatensystem.
13 zeigt ein Verfahren zum Umwandeln eines fahrzeugbasierten Koordinatensystems in ein analytisches fahrzeugbasiertes Koordinatensystem.
14 zeigt ein Verfahren zum Umwandeln eines analytischen fahrzeugbasierten Koordinatensystems in ein kamerabasiertes Koordinatensystem.
15 zeigt den Fall der Umwandlung eines kamerabasierten Koordinatensystems in ein Bildebenen-Koordinatensystem.
16 zeigt die Umwandlung in die Vogelperspektive.
17 zeigt den Fall der Durchführung einer Umwandlung eines aufgenommenen Bildes in die Vogelperspektive, während der Winkel einer fahrzeuginternen Kamera relativ zu einer Parklücke geändert wird.
18A zeigt an, dass der Montagewinkel einer fahrzeuginternen Kamera selbst bei einer Parklücke kalibriert werden kann, die keine Querlinie aufweist, die zwei Seitenlinien schneiden.
18B zeigt an, dass der Montagewinkel einer fahrzeuginternen Kamera selbst bei einer Parklücke kalibriert werden kann, die keine Querlinie aufweist, die zwei Seitenlinien schneiden.
19 ist ein Blockschaubild, das den inneren Aufbau einer Vorrichtung zum Kalibrieren eines Montagewinkels nach der zweiten Ausführungsform zeigt.
20 ist ein Ablaufplan, der einen Vorgang zum Kalibrieren eines Montagewinkels zeigt, der von einer Vorrichtung zum Kalibrieren eines Montagewinkels nach der zweiten Ausführungsform durchgeführt wird.
21A zeigt den Fall der Suche nach einem Montagewinkel einer fahrzeuginternen Kamera durch Umwandeln eines repräsentativen aufgenommenen Bildes in die Vogelperspektive.
21B zeigt den Fall der Suche nach einem Montagewinkel einer fahrzeuginternen Kamera durch Umwandeln eines repräsentativen aufgenommenen Bildes in die Vogelperspektive.
22 zeigt eine Variation der Suche nach einem Montagewinkel einer fahrzeuginternen Kamera, wobei auf die Positionen von zwei Seitenlinien einer Parklücke und auf Endpunkte der Seitenlinien abgestellt wird.

[Beschreibung der Ausführungsformen]
Nachstehend wird die vorstehend erläuterte Technik der vorliegenden Offenbarung durch spezifische Ausführungsformen als Beispiele anhand der Figuren beschrieben.
Erste Ausführungsform:
Vorrichtungsaufbau:
1 zeigt beispielhaft eine Aufbauskizze eines Fahrzeugs 1, an dem eine fahrzeuginterne Kamera 10 montiert ist. In dem in der Figur gezeigten Beispiel ist die fahrzeuginterne Kamera 10 an der Rückseite des Fahrzeugs 1 schräg nach unten angebracht und kann somit eine Ansicht hinter dem Fahrzeug 1 von schräg oben erfassen. Das von der fahrzeuginternen Kamera 10 aufgenommene Bild wird durch eine Bilderzeugungsvorrichtung 20 auf einem Monitor 6 angezeigt. Damit überprüft ein Fahrer visuell das auf dem Monitor 6 angezeigte Bild. Folglich kann die Ansicht hinter dem Fahrzeug 1 überprüft werden.
In der nachfolgenden Beschreibung wird angenommen, dass die fahrzeuginterne Kamera 10 an der Rückseite des Fahrzeugs 1 montiert ist. Dies ist jedoch nicht einschränkend. Die fahrzeuginterne Kamera 10 kann an der Vorderseite des Fahrzeugs 1 angebracht sein.
Die Bilderzeugungsvorrichtung 20 umfasst beispielsweise eine Verzerrungskorrekturfunktion und eine Bildumwandlungsfunktion für ein Bild, das durch die fahrzeuginterne Kamera 10 aufgenommen wird. Mit der Verzerrungskorrekturfunktion wird das von der fahrzeuginterne Kamera 10 aufgenommene Bild, das von schräg oben aufgenommen ist, in ein Bild umgewandelt, das durch Entfernen von Verzerrungen aufgrund eines optischen Systems der fahrzeuginternen Kamera 10 leicht zu betrachten ist. Anschließend wird das aus der Umwandlung resultierende Bild (das aufgenommene Bild nach der Verzerrungskorrektur) auf dem Monitor 6 angezeigt Mit der Bildumwandlungsfunktion wird das aufgenommene Bild nach der Verzerrungskorrektur in ein Bild aus der Vogelperspektive umgewandelt. Anschließend wird das Bild, das sich aus der Umwandlung ergibt (das Bild aus der Vogelperspektive, in dem die Umgebung des Fahrzeugs 1 so erscheint, als ob sie (direkt) von oben betrachtet würde) auf dem Monitor 6 angezeigt. Die Bilderzeugungsvorrichtung 20 umfasst beispielsweise eine Speichereinheit 21 wie einen Speicher. Die Speichereinheit 21 speichert beispielsweise Daten zum Entfernen einer Verzerrung aufgrund des optischen Systems (Verzerrungskorrekturdaten) und Daten des Montagewinkels der fahrzeuginternen Kamera 10 zum Zeitpunkt der Umwandlung in die Vogelperspektive. Wenn sie das von der fahrzeuginternen Kamera 10 aufgenommene Bild erhält, wandelt die Bilderzeugungsvorrichtung 20 somit das Bild unter Verwendung der von der Speichereinheit 21 gelesenen Daten um. So wird das auf dem Monitor 6 anzuzeigende Bild erzeugt. Auf diese Weise prüft ein Fahrer visuell das auf dem Monitor 6 angezeigte Bild. Dementsprechend kann die Situation um das Fahrzeug 1 leicht erfasst werden.
Hier basiert die Umwandlung des aufgenommenen Bildes in die Vogelperspektive auf der Voraussetzung, dass die fahrzeuginterne Kamera 10 in einem korrekten Winkel am Fahrzeug 1 angebracht ist. Der Montagewinkel der fahrzeuginternen Kamera 10 wurde zum Zeitpunkt des Versands des Fahrzeugs 1 aus einer Fabrik auf einen korrekten Winkel eingestellt. Ein Versatz des Montagewinkels tritt jedoch aus irgendeinem Grund auf, wie beispielsweise beim Gebrauch nach langer Zeit. Wenn ein solcher Versatz des Montagewinkels auftritt, ist das Bild aus der Vogelperspektive ein verzerrtes Bild.
Somit umfasst das Fahrzeug 1 in der vorliegenden Ausführungsform eine Vorrichtung 100 zum Kalibrieren des Montagewinkels bzw. eine Montagewinkelkalibriervorrichtung 100, die den Montagewinkel der fahrzeuginternen Kamera 10 relativ zum Fahrzeug 1 kalibriert. Die Vorrichtung 100 zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform ist mit der Bilderzeugungsvorrichtung 20 verbunden. Die Vorrichtung 100 zum Kalibrieren des Montagewinkels erhält das aufgenommene Bild nach der Verzerrungskorrektur von der Bilderzeugungsvorrichtung 20. Die Vorrichtung 100 zum Kalibrieren des Montagewinkels sucht auf der Basis des aufgenommenen Bildes, das sie erhalten hat, nach einem geeigneten Einstell- bzw. Montagewinkel der fahrzeuginternen Kamera 10. Ein Verfahren zum Suchen des Montagewinkels der fahrzeuginternen Kamera 10 wird später beschrieben. Wenn ein geeigneter Montagewinkel erfolgreich gefunden wird, ändert die Vorrichtung 100 zum Kalibrieren des Montagewinkels den Wert des Montagewinkels, der in der Speichereinheit 21 in der Bilderzeugungsvorrichtung 20 gespeichert ist, in den Wert des durch die Suche gefundenen Montagewinkels. Somit kalibriert die Vorrichtung 100 zum Kalibrieren des Montagewinkels den Montagewinkel der fahrzeuginternen Kamera 10.
Damit die Vorrichtung 100 zum Kalibrieren des Montagewinkels einen geeigneten Montagewinkel der fahrzeuginternen Kamera 10 durch die Suche finden kann, muss sich das Fahrzeug 1 in dem Zustand, in dem ein Lenkrad 2 gerade steht (in einem Lenkzustand für die Bewegung in einer geraden Linie bzw. Geradeausfahrt), um eine geeignete Distanz bzw. Strecke bewegen. Somit sind in der vorliegenden Ausführungsform zum Beispiel ein Lenkwinkelsensor 3, der einen Lenkwinkel des Lenkrads 2 erfasst, und ein Fahrstreckensensor 4, der eine Fahrstrecke des Fahrzeugs 1 erfasst, mit der Vorrichtung 100 zum Kalibrieren des Montagewinkels verbunden. Beim Kalibrieren des Montagewinkels der fahrzeuginternen Kamera 10 überwacht die Vorrichtung 100 zum Kalibrieren des Montagewinkels beispielsweise den Lenkzustand des Lenkrads 2 und die Fahrstrecke des Fahrzeugs 1. Folglich gibt die Vorrichtung 100 zum Kalibrieren des Montagewinkels eine Warnung anhand des folgenden Verfahrens aus, wenn sich das Lenkrad 2 nicht in dem Lenkzustand für eine Geradeausfahrt befindet oder das Fahrzeug 1 sich nicht bewegt hat (wenn die Bedingung zum Finden eines geeigneten Montagewinkels nicht erfüllt ist). Genauer gesagt wird beispielsweise der Monitor 6 verwendet, um ein Warnbild auszugeben, oder ein Lautsprecher 5 wird genutzt, um einen Warnton auszugeben. Somit verlangt die Vorrichtung 100 zum Kalibrieren des Montagewinkels eine Neukalibrierung des Montagewinkels der fahrzeuginternen Kamera.
Innerer Aufbau der Vorrichtung 100 zum Kalibrieren des Montagewinkels:
2 zeigt beispielhaft ein Blockschaubild, das den inneren Aufbau der Vorrichtung 100 zum Kalibrieren des Montagewinkels gemäß der vorliegenden Ausführungsform zeigt. Wie in 2 beispielhaft dargestellt, umfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels gemäß der vorliegenden Ausführungsform eine Einheit 101 zum Erhalt eines aufgenommenen Bildes, eine Erfassungseinheit 102 für eine gerade Mittellinie, eine Erfassungseinheit 103 für eine gerade Begrenzungslinie, eine Speichereinheit 104 für eine erfasste gerade Linie, eine Parallelbestimmungseinheit 105, eine Fahrzeugüberwachungseinheit 106 und eine Alarmausgabeeinheit 107. Ferner umfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels Folgendes: eine erhaltende Einheit 108 für einen vorab festgelegten Wert; eine Einheit 109 zur Umwandlung in die Vogelperspektive; eine Montagewinkelsucheinheit 110, die eine Vogelperspektivenbildevaluierungseinheit 111 und eine Einheit 112 zum Ändern eines vorab festgelegten Werts enthält; eine Montagewinkelbestimmungseinheit 113; und eine Montagewinkelaktualisierungseinheit 114. Es sei angemerkt, dass der Abschnitt der Vorrichtung 100 zum Kalibrieren des Montagewinkels, der die Montagewinkelaktualisierungseinheit 114 ausschließt (der durch die gestrichelte Linie in 2 eingeschlossene Abschnitt), einer Vorrichtung 120 zum Erfassen des Montagewinkels des vorliegenden Ausführungsbeispiels entspricht.
Die vorstehend erwähnten Einheiten sind abstrakte Konzepte, bei denen der innere Aufbau der Vorrichtung 100 zum Kalibrieren des Montagewinkels zur Beschreibung mit dem Schwerpunkt auf der Funktion der Vorrichtung 100 zum Kalibrieren des Montagewinkels zum Erfassen und Kalibrieren des Montagewinkels der fahrzeuginternen Kamera 10 angegeben ist. Somit zeigt die vorstehend erläuterte Darstellung nicht an, dass die Vorrichtung 100 zum Kalibrieren des Montagewinkels notwendigerweise physisch in die jeweiligen vorstehend erwähnten Einheiten unterteilt ist. Die vorstehend erwähnten Einheiten können beispielsweise durch das folgende Verfahren bereitgestellt werden. Insbesondere kann beispielsweise jede der vorstehend erwähnten Einheiten als ein Programm implementiert sein, das von einer Zentralprozessoreinheit (CPU) ausgeführt wird, die in einem Mikrocomputer enthalten ist, oder kann als ein Elektronikbauteil mit einer hochintegrierten Schaltung (LSI), einem Speicher und dergleichen implementiert sein. Darüber hinaus können diese kombiniert werden, um die vorstehend erwähnten Einheiten zu implementieren. In der vorliegenden Ausführungsform umfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels einen Mikrocomputer, der hauptsächlich eine CPU, einen Speicher (zum Beispiel ein nichtflüchtiges materielles computerlesbares Speichermedium, wie einen Nur-Lese-Speicher (ROM), und einen Speicher mit wahlfreien Zugriff (RAM) umfasst). Somit ist jede der vorstehend genannten Einheiten als ein Programm implementiert, das von der CPU ausgeführt wird.
Die Einheit 101 zum Erhalt eines aufgenommenen Bildes erhält von der Bilderzeugungsvorrichtung 20 ein Bild, das erhalten wird, indem Verzerrungen aufgrund des optischen Systems der fahrzeuginternen Kamera 10 aus dem Aufnahmebild entfernt werden (das Aufnahmebild nach der Verzerrungskorrektur). Nach Erfassen des Montagewinkels der fahrzeuginternen Kamera 10 erhält die Einheit 101 zum Erhalt eines aufgenommenen Bildes ein Bild des Bodens, auf dem eine vorab festgelegte Zielmarkierung markiert bzw. angezeichnet ist.
Die Zielmarkierung bedeutet eine Grafik mit zwei geradlinigen auf dem Boden gezeichneten Teilen, die parallel zueinander und gleich breit sind, beispielsweise um eine/in einer Parklücke. Beispielsweise umfasst die Parklücke, die einen Abstellplatz für ein Fahrzeug auf einem Parkplatz oder dergleichen angibt, Seitenlinien, die die Grenzen zwischen dem geparkten Fahrzeug und Fahrzeugen auf beiden Seiten des geparkten Fahrzeugs anzeigen. Die Seitenlinien der Parklücke entsprechen zwei geradlinigen Teilen, die parallel zueinander und gleich breit sind. Somit kann die Parklücke als eine repräsentative Zielmarkierung verwendet werden. Spezifische Beispiele der Zielmarkierung werden später beschrieben.
Die Einheit 102 zum Erfassen der geraden Mittellinie erfasst zwei gerade Linienteile der Zielmarkierung, die in dem Bild enthalten sind, das von der Einheit 101 zum Erhalt eines aufgenommenen Bildes aufgenommen wird, und erfasst eine gerade Mittellinie, die der Mittellinie jedes der geraden Linienteile entspricht. Die Zielmarkierung umfasst zwei gerade Linienteile. Somit erfasst die Einheit 102 zum Erfassen der geraden Mittellinie eine gerade Mittellinie für jedes der geraden Linienteile, d.h. Insgesamt zwei gerade Mittellinien. Die Einheit zum Erfassen der geraden Mittellinie 102 speichert die zwei erfassten geraden Mittellinien in der Speichereinheit 104 für erfasste gerade Linien.
Die Einheit 103 zum Erfassen der geraden Begrenzungslinien erfasst zwei gerade Linienteile der Zielmarkierung, die in dem Bild enthalten sind, das von der Einheit 101 zum Erhalt eines aufgenommenen Bildes aufgenommen wird, und erfasst gerade Begrenzungslinien bzw. kurz gesagt gerade Grenzlinien passend zu Begrenzungslinien auf beiden Seiten jedes der geraden Linienteile. Die Zielmarkierung umfasst zwei gerade Linienteile. Somit erfasst die Einheit 103 zum Erfassen einer geraden Begrenzungslinie zwei gerade Begrenzungslinien für jedes der geraden Linienteile, d.h. Insgesamt vier gerade Begrenzungslinien. Die Einheit 103 zum Erfassen der geraden Begrenzungslinie speichert die vier erfassten geraden Begrenzungslinien in der Speichereinheit 104 für erfasste gerade Linien. Somit werden die zahlreichen geraden Mittellinien und geraden Begrenzungslinien, die aus den zahlreichen aufgenommenen Bildern erfasst werden, in der Speichereinheit 104 für erfasste gerade Linien gespeichert. Anders gesagt entspricht die Speichereinheit 104 für erfasste gerade Linien einem vorab festgelegten Speicherbereich, wie einem Speicher, der in der Vorrichtung 100 zum Kalibrieren des Montagewinkels enthalten ist.
Spezifische Beispiele, in denen zwei gerade Mittellinien und vier gerade Begrenzungslinien aus der Zielmarkierung erfasst werden, werden später beschrieben.
Die Parallelbestimmungseinheit 105 liest und analysiert die zahlreichen geraden Mittellinien und geraden Begrenzungslinien, die in der Speichereinheit 104 für erfasste gerade Linien gespeichert sind. Basierend auf dem Analyseergebnis bestimmt die Parallelbestimmungseinheit 105, ob die Orientierung des Fahrzeugs 1 parallel zu den zwei geraden Teilen der Zielmarkierung ist, die auf den Boden gezeichnet sind. Ein Verfahren zum Bestimmen, ob die Ausrichtung parallel zu den zwei geraden Linienteilen ist, wird anhand von anderen Figuren beschrieben.
Damit die Parallelbestimmungseinheit 105 die Ausrichtung des Fahrzeugs 1 relativ zu den zwei geraden Linienteilen der Zielmarkierung korrekt bestimmen kann, müssen die zahlreichen aufgenommenen Bilder in dem Zustand erhalten werden, in dem sich das Fahrzeug 1 um mindestens eine vorab festgelegte Strecke geradeaus bewegt.
Somit überwacht in der vorliegenden Ausführungsform die Fahrzeugüberwachungseinheit 106 den Zustand des Fahrzeugs 1 während eines Zeitabschnitts, in dem die Einheit 101 zum Erhalt eines aufgenommenen Bildes ein aufgenommenes Bild erhält. Die Fahrzeugüberwachungseinheit 106 ist mit dem Lenkwinkelsensor 3 und dem Fahrstreckensensor 4 verbunden. Die Fahrzeugüberwachungseinheit 106 überwacht den Lenk- bzw. Einschlagzustand des Lenkrads 2, die Fahrstrecke des Fahrzeugs 1 und dergleichen. Wenn das Lenkrad 2 gelenkt wird oder die Fahrstrecke des Fahrzeugs 1 während des Zeitraums, in dem die zahlreichen aufgenommenen Bilder erhalten werden, nicht ausreicht, bestimmt die Fahrzeugüberwachungseinheit 106, dass das aufgenommene Bild erneut erhalten werden muss. Folglich verwirft die Fahrzeugüberwachungseinheit 106 die Erfassungsergebnisse für die geraden Mittellinien und die geraden Begrenzungslinien, die in der Speichereinheit 104 für erfasste gerade Linien gespeichert sind. Ferner gibt die Fahrzeugüberwachungseinheit 106 an die Alarmausgabeeinheit 107 das Bestimmungsergebnis aus, das anzeigt, dass das erfasste Bild neu aufgenommen werden muss.
Die Alarmausgabeeinheit 107 ist mit dem Lautsprecher 5, dem Monitor 6 und dergleichen verbunden. Wenn sie von der Fahrzeugüberwachungseinheit 106 das Bestimmungsergebnis empfängt, das angibt, dass das erfasste Bild neu aufgenommen werden muss, gibt die Alarmausgabeeinheit 107 eine diesbezügliche Warnung mittels des Lautsprechers 5, des Monitors 6 und dergleichen aus.
Wenn bestimmt wird, dass die Ausrichtung des Fahrzeugs 1 nicht parallel zu den zwei geradlinigen Teilen der Zielmarkierung ist, verwirft die Parallelbestimmungseinheit 105 die Erfassungsergebnisse der geraden Mittellinien und der geraden Begrenzungslinien, die in der Speichereinheit 104 für erfasste gerade Linien gespeichert sind Die Parallelbestimmungseinheit 105 gibt das Bestimmungsergebnis, das anzeigt, dass das erfasste Bild neu aufgenommen werden muss, an die Alarmausgabeeinheit 107 aus. Die Alarmausgabeeinheit 107 gibt eine diesbezügliche Warnung mittels des Lautsprechers 5, des Monitors 6 und dergleichen aus.
Wenn dagegen die Parallelbestimmungseinheit 105 bestimmt, dass das Fahrzeug 1 parallel zu den zwei geradlinigen Teilen der Zielmarkierung orientiert ist, erhält die Einheit 108 zum Erhalt eines vorab festgelegten Werts einen vorab festgelegten Wert des Montagewinkels der fahrzeuginternen Kamera 10 von der Bilderzeugungsvorrichtung 20. Der Montagewinkel der fahrzeuginternen Kamera 10 wird in der Speichereinheit 21 in der Bilderzeugungsvorrichtung 20 gespeichert.
Wenn die Parallelbestimmungseinheit 105 bestimmt, dass die Orientierung des Fahrzeugs 1 parallel zu den zwei geradlinigen Teilen der Zielmarkierung ist, wandelt die Einheit 109 zur Umwandlung in die Vogelperspektive zudem das aufgenommene Bild wie folgt in ein Bild aus der Vogelperspektive um . Insbesondere liest die Einheit 109 zur Umwandlung in die Vogelperspektive das durch die Einheit 101 zum Erhalt eines aufgenommenen Bildes erhaltene aufgenommene Bild. Zu diesem Zeitpunkt liest die Einheit 109 zur Umwandlung in die Vogelperspektive das aufgenommene Bild, das das letzte unter den aufgenommenen Bildern ist, die durch die Einheit 101 zum Erhalt eines aufgenommenen Bildes erhalten wurden. Die Einheit 109 zur Umwandlung in die Vogelperspektive wandelt das aufgenommene Bild in ein Bild aus der Vogelperspektive unter der Annahme um, dass der Montagewinkel der fahrzeuginternen Kamera 10 und der von der Speichereinheit 21 in der Bilderzeugungsvorrichtung 20 gelesene Montagewinkel zueinander passen.
Die Vogelperspektivenbildevaluierungseinheit 111 bewertet durch Analysieren des Bildes aus der Vogelperspektive, das sich aus der Umwandlung durch die Einheit 109 zur Umwandlung aus der Vogelperspektive ergibt, die Parallelität der zwei geradlinigen Teile der Zielmarkierung und den Unterschied in der Breite zwischen den zwei geraden Linienteilen. Wenn sowohl die Parallelität als auch der Unterschied in der Breite nicht innerhalb vorab festgelegter Toleranzbereiche liegen, gibt die Vogelperspektivenbildevaluierungseinheit 111 dieses Bewertungsergebnis an die Einheit 112 zum Ändern eines vorab festgelegten Werts aus. Folglich ändert die Einheit 112 zum Ändern eines vorab festgelegten Werts basierend auf dem eingegebenen Evaluierungsergebnis den vorab festgelegten Wert des Montagewinkels der fahrzeuginternen Kamera 10, den sie von der Speichereinheit 21 in der Bilderzeugungsvorrichtung 20 erhält, und gibt einen Wert nach der Änderung an die Einheit 109 zur Umwandlung in die Vogelperspektive aus.
Somit führt die Einheit 109 zur Umwandlung in die Vogelperspektive die Umwandlung in die Vogelperspektive erneut durch. Insbesondere führt die Einheit 109 zur Umwandlung in die Vogelperspektive die Umwandlung in die Vogelperspektive erneut unter Verwendung des Montagewinkels nach der Änderung für das aufgenommene Bild durch, wodurch sie ein neues Bild aus der Vogelperspektive erzeugt. Die Vogelperspektivenbildevaluierungseinheit 111 bewertet auf dem neuen Bild aus der Vogelperspektive, das sich aus der Umwandlung durch die Einheit 109 zur Umwandlung in die Vogelperspektive ergibt, die Parallelität der zwei geradlinigen Teile der Zielmarkierung und den Unterschied in der Breite zwischen den zwei geradlinigen Teilen. Wenn die Vogelperspektivenbildevaluierungseinheit 111 bestimmt, dass sowohl die Parallelität als auch der Unterschied in der Breite nicht in den vorab festgelegten Toleranzbereichen liegen, ändert die Einheit 112 zum Ändern des vorab festgelegten Werts den Wert des Montagewinkels der fahrzeuginternen Kamera 10 erneut.
Auf diese Weise wiederholen die Vogelperspektivenbildevaluierungseinheit 111 und die Einheit 112 zum Ändern des vorab festgelegten Werts die vorstehend beschriebenen Vorgänge, bis eine vorab festgelegte Bedingung erfüllt ist. Insbesondere ändert die Einheit 112 zum Ändern des vorab festgelegten Werts den Montagewinkel der fahrzeuginternen Kamera 10 auf der Basis des Evaluierungsergebnisses des Bildes aus der Vogelperspektive. Die Vogelperspektivenbildevaluierungseinheit 111 wandelt das aufgenommene Bild unter Verwendung des Montagewinkels nach dem Wechsel wieder in ein Bild aus der Vogelperspektive um und führt die Auswertung erneut durch. Anders gesagt ändern die Vogelperspektivenbildevaluierungseinheit 111 und die Einheit 112 zum Ändern des vorab festgelegten Werts den vorab festgelegten Wert des Montagewinkels der fahrzeuginternen Kamera 10, der in der Umwandlung in die Vogelperspektive zu verwenden ist, und evaluieren das aufgenommene Bild erneut. Auf diese Weise wird der Montagewinkel, bei dem die zwei geradlinigen Teile der Zielmarkierung in dem Bild aus der Vogelperspektive vorab festgelegte Kriterien erfüllen, durch die Suche gefunden. Somit entsprechen die Vogelperspektivenbildevaluierungseinheit 111 und die Einheit 112 zum Ändern des vorab festgelegten Werts der Montagewinkelsucheinheit 110.
Wenn bestimmt wird, dass die zwei geradlinigen Teile der Zielmarkierung im Bild aus der Vogelperspektive die vorab festgelegten Kriterien erfüllen, gibt die Vogelperspektivenbildevaluierungseinheit 111 den Wert des verwendeten Montagewinkels an die Montagewinkelbestimmungseinheit 113 aus, der zu dieser Zeit bei der Umwandlung in die Vogelperspektive genutzt wurde. Folglich bestimmt die Montagewinkelbestimmungseinheit 113 den eingegebenen Wert des Montagewinkels als einen korrekten Wert des Montagewinkels (einen tatsächlichen Wert des Montagewinkels). So kann die Vorrichtung 120 zum Erfassen des Montagewinkels nach der vorliegenden Ausführungsform einen korrekten Montagewinkel der fahrzeuginternen Kamera 10 erfassen.
Ferner erhält die Montagewinkelaktualisierungseinheit 114 den korrekten Montagewinkel der fahrzeuginternen Kamera 10, den die Montagewinkelbestimmungseinheit 113 bestimmt hat, und schreibt den erhaltenen Montagewinkel in die Speichereinheit 21 in der Bilderzeugungsvorrichtung 20. Die Montagewinkelaktualisierungseinheit 114 aktualisiert so den Wert des Montagewinkels, der in der Speichereinheit 21 in der Bilderzeugungsvorrichtung 20 gespeichert ist, in den korrekten Wert des Montagewinkels. Wie vorstehend beschrieben führt die Vorrichtung 100 zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform die Prozesse der vorstehend genannten Einheiten durch. Dies beendet die Kalibrierung des Montagewinkels der fahrzeuginternen Kamera 10, der von der Bilderzeugungsvorrichtung 20 bei der Erzeugung eines Bildes (eines auf dem Monitor 6 anzuzeigenden Bildes) zu verwenden ist.
Nachstehend werden die Prozesse, die von der Vorrichtung 100 zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform durchgeführt werden, die den vorstehend beschriebenen inneren Aufbau beim Kalibrieren des Montagewinkels der fahrzeuginternen Kamera 10 aufweist, anhand spezifischer Beispiele beschrieben.
Montagewinkelkalibriervorgang:
Die 3 und 4 veranschaulichen einen Ablaufplan des Montagewinkelkalibriervorgangs, der von der Vorrichtung 100 zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform durchgeführt wird. Man bemerke, dass der vorliegende Vorgang von der CPU durchgeführt wird, die in der Vorrichtung 100 zum Kalibrieren des Montagewinkels enthalten ist. Insbesondere liest die CPU in der Vorrichtung 100 zum Kalibrieren des Montagewinkels ein Programm für den Montagewinkelkalibriervorgang aus einem vorab festgelegten Speicherbereich des Speichers oder dergleichen (einem nichtflüchtigem materiellen computerlesbaren Speichermedium) und führt das Programm aus.
Wie in 3 beispielhaft gezeigt stellt im Vorgang zum Kalibrieren des Montagewinkels nach der ersten Ausführungsform die Vorrichtung 100 zum Kalibrieren des Montagewinkels zuerst eine Anweisung zum Erfüllen der Bedingungen bereit, die zum Kalibrieren des Montagewinkels erforderlich sind (die Bedingungen bezüglich der Ausrichtung des Fahrzeugs 1 und des Einschlagzustands des Lenkrades 2). Genauer gesagt werden der Lautsprecher 5 und der Monitor 6 dazu verwendet, eine Anweisung dahingehend auszugeben, dass das Fahrzeug 1 parallel zu den Seitenlinien der Parklücke ausgerichtet sein sollte, und ferner das Lenkrad 2 in den Lenkzustand zum Fahren bzw. Bewegen in einer geraden Linie bzw. für Geradeausfahrt gebracht werden sollte (Schritt S100).
Man nehme beispielsweise an, dass, wie in 5 beispielhaft dargestellt, eine Parklücke T mit zwei gleich breiten parallelen Seitenlinien a und b und einer zu diesen Seitenlinien a und b senkrechten Querlinie c auf den Boden gemalt ist. In diesem Fall führt die Vorrichtung 100 zum Kalibrieren des Montagewinkels die Ausrichtung des Fahrzeugs 1 parallel zu den zwei Seitenlinien a und b durch und gibt ferner aus dem Lautsprecher 5 ein Geräusch aus, das angibt, dass das Lenkrad 2 in dem Fahrzeug in einem Einschlagzustand für eine Bewegung in einer geraden Linie platziert werden soll (in dem Zustand, in dem das Lenkrad 2 gerade ausgerichtet ist, ohne nach links oder rechts eingeschlagen zu sein). Zudem zeigt die Vorrichtung 100 zum Kalibrieren des Montagewinkels auf dem Monitor 6 ein Bild an, das eine entsprechende Anweisung zeigt.
In der vorliegenden Ausführungsform entspricht die Parklücke T der „Zielmarkierung“ und die zwei Seitenlinien a und b entsprechen „den zwei geradlinigen Teilen der Zielmarkierung“. Ferner muss die Zielmarkierung nicht notwendigerweise die in 5 beispielhaft dargestellte Parklücke sein, solange es sich um eine Grafik handelt, die zwei parallele geradlinige Teile mit gleicher Breite aufweist.
Durch Befolgen der Anweisung bewegt ein Fahrer das Fahrzeug 1 so, dass das Fahrzeug 1 parallel zu den Seitenlinien a und b der Parklücke T ausgerichtet wird. Man beachte, dass der Fahrer das Fahrzeug 1 nicht exakt parallel zu den Seitenlinien a und b der Parklücke T ausrichten muss.
Wenn die Anweisung dahingehend ausgegeben wird, dass die Bedingungen bezüglich der Orientierung des Fahrzeugs 1 und des Einschlagzustands des Lenkrads 2 die vorab festgelegten Bedingungen erfüllen sollen, gibt die Vorrichtung 100 zum Kalibrieren des Montagewinkels mittels des Lautsprechers 5 und des Monitors 6 die Anweisung dahingehend aus, dass das Fahrzeug 1 um eine vorab festgelegte Strecke (beispielsweise zwei Meter) in einer geraden Linie bzw. geradeaus bewegt bzw. gefahren werden soll (Schritt S101 in 3). 6 veranschaulicht den Fall, in dem das Fahrzeug 1 um eine vorab festgelegte Entfernung L geradeaus relativ zur Parklücke T bewegt wird. So bewegt der Fahrer der Anweisung folgend das Fahrzeug 1 um die vorab festgelegte Strecke L relativ zur Parklücke T geradeaus. Man beachte, dass es ausreicht, dass die Strecke, um die das Fahrzeug 1 geradeaus bewegt wird, nicht kleiner als die vorab festgelegte Strecke L ist; die Strecke muss nicht genau die vorab festgelegte Strecke L sein.
Die Vorrichtung 100 zum Kalibrieren des Montagewinkels erhält das aufgenommene Bild der Parklücke T von der Bilderzeugungsvorrichtung 20 (Schritt S102 in 3). Zu dieser Zeit ist das von der Bilderzeugungsvorrichtung 20 aufgenommene Bild das aufgenommene Bild nach der Verzerrungskorrektur (das Bild, das durch Entfernen von Verzerrungen aufgrund des optischen Systems der fahrzeuginternen Kamera 10 aus dem aufgenommenen Bild erhalten wird).
Die Vorrichtung 100 zum Kalibrieren des Montagewinkels analysiert das erhaltene aufgenommene Bild und erfasst gerade Mittellinien und gerade Begrenzungslinien der Seitenlinien a und b der Parklücke T. Anschließend speichert die Vorrichtung 100 zum Kalibrieren des Montagewinkels in einem vorab festgelegten Speicherbereich (dem Speichereinheit 104 für erfasste gerade Linien in 2) des Speichers oder dergleichen die Schrägen der erfassten geraden Mittellinien und geraden Begrenzungslinien, die Schnittpositionen der erfassten geraden Mittellinien und die Schnittpositionen der erfassten geraden Begrenzungslinien bzw. die Begrenzungslinienschnittpositionen (Schritt S103).
Die 7A, 7B und 7C zeigen beispielhaft den Fall des Erfassens der geraden Mittellinien und der geraden Begrenzungslinien der Seitenlinien a und b der Parklücke T durch Analyse des aufgenommenen Bildes. Wie in 7A beispielhaft dargestellt, erscheinen die Seitenlinien a und b der Parklücke T und die Querlinien c senkrecht zu den Seitenlinien a und b im aufgenommenen Bild. Da die Verzerrungen aufgrund des optischen Systems der fahrzeuginternen Kamera 10 aus dem aufgenommenen Bild entfernt wurden, sind die linken und rechten Seitenlinien a und b im Bild gerade Linien mit vorab festgelegten Breiten.
Somit erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels eine gerade Mittellinie, die eine Verlängerung der Mittellinie jeder der linken und rechten Seitenlinien a und b ist. 7B zeigt beispielhaft eine gerade Mittellinie bc, die aus der Seitenlinie b im aufgenommenen Bild erfasst wird, und eine gerade Mittellinie ac, die aus der Seitenlinie a im aufgenommenen Bild erfasst wird.
Ferner erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels für jede der linken und rechten Seitenlinien a und b zwei gerade Begrenzungslinien, die Verlängerungen der inneren Begrenzungslinie und der äußeren Begrenzungslinie der Parklücke T sind. 7B zeigt beispielhaft eine innere gerade Begrenzungslinie bi und eine äußere gerade Begrenzungslinie bo, die aus der Seitenlinie b in dem aufgenommenen Bild erfasst werden, und eine innere gerade Begrenzungslinie ai, eine äußere gerade Begrenzungslinie ao und eine gerade Mittellinie ac, die aus der Seitenlinie a im aufgenommenen Bild erfasst werden.
Drei gerade Linien, die die gerade Mittellinie bc, die innere gerade Begrenzungslinie bi und die äußere gerade Begrenzungslinie bo der Seitenlinie b sind, und drei gerade Linien, die die gerade Mittellinie ac, die innere gerade Begrenzungslinie ai, und die äußere gerade Begrenzungslinie ao der Seitenlinie a sind, werden von einem aufgenommenen Bild erfasst. Somit werden insgesamt sechs gerade Linien aus einem aufgenommenen Bild erfasst.
Nach dem Erfassen der sechs geraden Linien wie vorstehend beschrieben erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels die Schräge jeder der geraden Linien. 7B veranschaulicht den Fall des Erfassens einer Schräge kbi der inneren geraden Begrenzungslinie bi, die aus der Seitenlinie b erfasst wird, die in dem aufgenommenen Bild enthalten ist. Ferner veranschaulicht 7B den Fall des Erfassens einer Schräge kai der inneren geraden Begrenzungslinie ai, die aus der Seitenlinie a erfasst wird, die in dem aufgenommenen Bild enthalten ist. Ferner erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels Schrägen kbc, kbo, kac und kao der jeweiligen geraden Linien, nämlich der geraden Mittellinie bc, der geraden Begrenzungslinie bo, der geraden Mittellinie ac und der geraden Begrenzungslinie ao (die nicht in den Figuren gezeigt sind).
Ferner erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels die Schnittpositionen der geraden Mittellinien bc und ac. Die Schnittposition bedeutet die Koordinatenposition des Schnittpunkts zwischen der geraden Mittellinie und einer vorab festgelegten Kante, die in dem aufgenommenen Bild bestimmt ist. 7C zeigt beispielhaft den Fall des Festlegens einer (nachfolgend als „eine Testkante DL“ bezeichneten) Kante DL zum Testen an einer Position zwischen der unteren und oberen Kante des aufgenommenen Bildes, die parallel zur unteren Kante ist. In diesem Fall erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels die Koordinatenposition des Schnittpunkts zwischen der Testkante DL und der geraden Mittellinie bc als eine Schnittposition pbc der geraden Mittellinie bc. Die Vorrichtung 100 zum Kalibrieren des Montagewinkels erfasst die Koordinatenposition des Schnittpunkts zwischen der Testkante DL und der geraden Mittellinie ac als eine Schnittposition pac der geraden Mittellinie ac.
Zudem erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels eine Begrenzungslinienschnittposition jeder der vier geraden Begrenzungslinien bo, bi, ao und ai. Die Begrenzungslinienschnittposition bedeutet die Koordinatenposition des Schnittpunkts zwischen der geraden Begrenzungslinie und der vorab festgelegten Testkante DL, die in dem aufgenommenen Bild festgelegt ist. Wie in 7C veranschaulicht wird, erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels Begrenzungslinienschnittpositionen pbo, pbi, pao und pai der jeweiligen geraden Begrenzungslinien bo, bi, ao und ai.
Die vorliegende Ausführungsform veranschaulicht beispielhaft den Fall, in dem eine gerade Linie parallel zur Unterkante des aufgenommenen Bildes als die Testkante DL eingestellt ist, aber dies ist nicht einschränkend. Beispielsweise kann die Testkante DL eine gerade Linie sein, die zwischen den linken und rechten Kanten des aufgenommenen Bildes und parallel zur linken oder rechten Kante eingestellt ist. Alternativ kann eine der oberen, unteren, linken und rechten Kanten des aufgenommenen Bildes ausgewählt und als Testkante DL verwendet werden. Als noch anderes Beispiel können Testkanten DL verwendet werden, die getrennt für die zwei geraden Mittellinien bc und ac und die vier geraden Begrenzungslinien bo, bi, ao und ai bereitgestellt sind.
Wie vorstehend beschrieben führt die Vorrichtung 100 zum Kalibrieren des Montagewinkels die folgende Verarbeitung in Schritt S103 in 3 durch. Insbesondere erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels die Schräge, die Achsenabschnittsposition usw. jeder der zwei erfassten geraden Mittellinien. Ferner erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels die Schräge, die Begrenzungslinienschnittposition usw. jeder der vier geraden Begrenzungslinien. Die Vorrichtung 100 zum Kalibrieren des Montagewinkels speichert die Erfassungsergebnisse im Speicher (der Speichereinheit für die erfassten geraden Linien 104 in 2).
Die Vorrichtung 100 zum Kalibrieren des Montagewinkels bestimmt, ob das Lenkrad 2 in dem Lenkzustand für eine Geradeausfahrt gehalten wird (Schritt S104). Wie vorstehend beschrieben weist die Vorrichtung 100 zum Kalibrieren des Montagewinkels den Fahrer des Fahrzeugs 1 an, das Lenkrad 2 in den Lenkzustand für eine Geradeausfahrt zu bringen und das Fahrzeug 1 geradeaus zu bewegen (Schritte S100 und S101). Somit wird in der Verarbeitung in Schritt S104 das Urteil „Ja“ gefällt, falls der Fahrer das Lenkrad 2 nicht dreht.
Wenn das Urteil „Ja“ in der Verarbeitung in Schritt S104 gefällt wird, bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, ob die Ergebnisse des vorstehend beschriebenen Vorgangs zum Erfassen für eine vorab festgelegte Anzahl von aufgenommenen Bildern (beispielsweise 100 Bilder) gespeichert wurden (Schritt S107). Man bemerke, dass bei diesem Erfassungsvorgang die erfassten Bilder analysiert werden und die Schrägen und die Schnittpositionen der geraden Mittellinien und die Schrägen und die Begrenzungslinienschnittpositionen der geraden Begrenzungslinien erfasst werden. Anschließend werden in diesem Prozess die Erfassungsergebnisse in der Erfassungseinheit 104 für erfasste geradlinige Daten gespeichert. Zuerst wird nur ein erfasstes Bild verarbeitet. Somit wird in Schritt S107 das Urteil „Nein“ gefällt.
Wenn das Urteil „Nein“ in der Verarbeitung in Schritt S107 gefällt wird, bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, ob die Fahrstrecke des Fahrzeugs 1 die vorab festgelegte Strecke L erreicht hat (Schritt S108).
Wenn bestimmt wird, dass die Fahrstrecke des Fahrzeugs 1 die vorab festgelegte Strecke L nicht erreicht hat (Schritt S108: Nein), erhält folglich die Vorrichtung 100 zum Kalibrieren des Montagewinkels erneut ein aufgenommenes Bild der Parklücke T (Schritt S102), und analysiert das aufgenommene Bild. Danach erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels die Schrägen und die Schnittpositionen der geraden Mittellinien mit den Schrägen und die Begrenzungslinienschnittpositionen der geraden Begrenzungslinien und speichert die erfassten Ergebnisse in der Speichereinheit 104 für erfasste gerade Linien (Schritt S103).
Somit werden jedes Mal, wenn ein aufgenommenes Bild erhalten wird, die Schrägen und die Schnittpositionen der geraden Mittellinien und die Schrägen und die Begrenzungslinienschnittpositionen der geraden Begrenzungslinien im Speicher der Vorrichtung 100 zum Kalibrieren des Montagewinkels gesammelt, wenn ein aufgenommenes Bild erhalten wird. Genauer gesagt werden die Schrägen und die Schnittpositionen der zwei geraden Mittellinien und die Schrägen und die Begrenzungslinienschnittpositionen der vier geraden Begrenzungslinien in der Speichereinheit 104 für erfasste gerade Linien jedes Mal gesammelt, wenn ein aufgenommenes Bild erhalten wird. 8 zeigt schematisch beispielhaft den Fall des Akkumulierens von Schrägen kbc und kac und Schnittpositionen pbc und pac der geraden Mittellinien bc und ac mit Schrägen kbo, kbi, kao und kai und Begrenzungslinienschnittpositionen pbo, pbi, pao und pai von geraden Begrenzungslinien bo, bi, ao und ai im Speicher der Vorrichtung 100 zum Kalibrieren des Montagewinkels.
Wie vorstehend beschrieben bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, dass das Lenkrad 2 nicht in dem Einschlagzustand für eine Geradeausfahrt gehalten wird (Schritt S104 in 3: Nein), wenn der Fahrer das Lenkrad 2 während des Zeitabschnitts dreht, in dem die Erfassungsergebnisse der geraden Mittellinien und der geraden Begrenzungslinien akkumuliert werden.
Wenn in der Verarbeitung in Schritt S104 das Urteil „Nein“ gefällt wird, verwirft die Vorrichtung 100 zum Kalibrieren des Montagewinkels die Erfassungsergebnisse für die geraden Mittellinien und die geraden Begrenzungslinien (die Daten, die beispielhaft in 8 gezeigt sind), die im Speicher gesammelt sind (Schritt S105). Anschließend gibt die Vorrichtung 100 zum Kalibrieren des Montagewinkels mittels des Lautsprechers 5 und des Monitors 6 die Warnung und die Anweisung aus, dass das Lenkrad 2 in dem Lenkzustand für eine Geradeausfahrt gehalten werden sollte (Schritt S106).
Indem sie zum Beginn der Verarbeitung zurückkehrt, gibt die Vorrichtung 100 zum Kalibrieren des Montagewinkels erneut die Anweisung aus, dass das Fahrzeug 1 parallel zu den Seitenlinien a und b der Parklücke T ausgerichtet sein sollte und dass das Lenkrad 2 im Einschlagzustand für eine Geradeausfahrt angeordnet sein sollte (Schritt S100). Danach wiederholt die Vorrichtung 100 zum Kalibrieren des Montagewinkels die vorstehend beschriebene Verarbeitung in den Schritten S102 bis S108. Wie in 8 beispielhaft dargestellt werden somit die Erfassungsergebnisse für die geraden Mittellinien und die geraden Begrenzungslinien in dem Speicher in der Vorrichtung 100 zum Kalibrieren des Montagewinkels akkumuliert.
Wenn bestimmt wird, dass die Fahrstrecke des Fahrzeugs 1 die vorab festgelegte Strecke L erreicht hat (Schritt S108: Ja), bevor die Erfassungsergebnisse der vorab festgelegten Anzahl von aufgenommenen Bildern akkumuliert sind (Schritt S107: Nein), führt die Vorrichtung 100 zum Kalibrieren des Montagewinkels den folgenden Vorgang aus. Insbesondere werden der Lautsprecher 5 und der Monitor 6 verwendet, um eine Anweisung dahingehend auszugeben, dass die Fahrtrichtung des Fahrzeugs 1 umgekehrt werden sollte und das Fahrzeug 1 um eine vorab festgelegte Strecke L geradeaus bewegt werden sollte (Schritt S109). Wenn das Fahrzeug 1 beispielsweise bisher rückwärts gefahren ist, wird eine Anweisung dahingehend ausgegeben, dass das Fahrzeug 1 sich um die vorab festgelegte Strecke L vorwärts bewegen sollte, während das Lenkrad 2 im Einschlagzustand für eine Geradeausfahrt gehalten wird. Wenn sich das Fahrzeug 1 bisher vorwärts bewegt hat, wird alternativ eine Anweisung dahingehend ausgegeben, dass das Fahrzeug 1 die vorab festgelegte Strecke L zurückfahren soll, während das Lenkrad 2 im Einschlagzustand für eine Geradeausfahrt gehalten ist.
Nach dem erneuten Erhalt eines aufgenommenen Bildes der Parklücke T (Schritt S102) setzt die Vorrichtung 100 zum Kalibrieren des Montagewinkels den Vorgang des Akkumulierens der geraden Mittellinien und der geraden Begrenzungslinien fort, die durch die Analyse des aufgenommenen Bildes erfasst wurden (Schritte S103 bis S108).
In der Vorrichtung 100 zum Kalibrieren des Montagewinkels werden die geraden Mittellinien und die geraden Begrenzungslinien, die von den aufgenommenen Bildern erfasst werden, durch Wiederholen solcher Vorgänge akkumuliert. Letztendlich erreicht die Anzahl von aufgenommenen Bildern, von denen die geraden Mittellinien und die geraden Begrenzungslinien erfasst und akkumuliert wurden, die vorab festgelegte Zahl. Somit wird im Ablauf in S107 das Urteil „Ja“ gefällt.
Wenn das Akkumulieren der geraden Mittellinien und der geraden Begrenzungslinien abgeschlossen ist, die aus der vorab festgelegten Anzahl von aufgenommenen Bildern erfasst wurden, kann die Vorrichtung 100 zum Kalibrieren des Montagewinkels bestimmen, ob das Fahrzeug 1 parallel zu den Seitenlinien a und b der Parklücke T wie angewiesen ausgerichtet ist. Nachstehend wird ein Verfahren zum Bestimmen der Orientierung des Fahrzeugs 1 beschrieben. Zuerst wird das grundlegende Konzept zum Bestimmen der Orientierung des Fahrzeugs 1 unter Bezugnahme auf die 9A und 9B beschrieben.
Es wird angenommen, dass die Ausrichtung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist. Wenn sich das Fahrzeug 1 bewegt, während das Lenkrad 2 in dem Einschlagzustand für eine Geradeausfahrt gehalten wird, ändert sich die relative Positionsbeziehung zwischen dem Fahrzeug 1 und der Parklücke T. 9A zeigt beispielhaft die relative Positionsbeziehung zwischen dem Fahrzeug 1 und der Parklücke T, wenn sich die Position der Parklücke T relativ zu der Position des Fahrzeugs 1 ändert (in dem Zustand, in dem die Position des Fahrzeugs 1 festgelegt ist).
Wie in 9A veranschaulicht entspricht die Achse der Parklücke T in der Bewegungsrichtung der Achse des Fahrzeugs 1 in einer Richtung seiner tatsächlichen Bewegung. Das Fahrzeug 1 bewegt sich geradeaus, während das Lenkrad 2 im Lenkzustand für eine Geradeausfahrt gehalten wird. Daher entspricht die Achse des Fahrzeugs 1 in seiner Bewegungsrichtung der Achse des Fahrzeugs 1 in der Richtung, in der das Fahrzeug 1 ausgerichtet ist. Der Fahrer lenkt das Fahrzeug 1 so, dass das Fahrzeug 1 parallel zu den Seitenlinien a und b der Parklücke T ausgerichtet wird. Folglich ist die Achse der Parklücke T in seiner Fahrtrichtung in 9A parallel zu den zwei Seitenlinien a und b. Anders gesagt entspricht die Bewegungsrichtung der Parklücke T der der zwei Seitenlinien a und b. Wenn sich die Parklücke T relativ zum Fahrzeug 1 bewegt, bewegen sich daher die Seitenlinien a und b der Parklücke T wie in 9A veranschaulicht auf den jeweiligen Verlängerungen der Seitenlinien a und b.
Wenn somit das Fahrzeug 1 parallel zu den Seitenlinien a und b der Parklücke T orientiert ist, entsprechen die geraden Mittellinien ac, die aus den Seitenlinien a in den zahlreichen aufgenommenen Bildern erfasst werden, die man erhält, während sich das Fahrzeug 1 geradeaus bewegt, der gleichen geraden Linie. In ähnlicher Weise sind die geraden Mittellinien bc, die aus den Seitenlinien b erfasst werden, die gleiche gerade Linie. Die äußeren geraden Begrenzungslinien ao, die von den Seitenlinien a erfasst werden, werden zur gleichen geraden Linie, und die inneren geraden Begrenzungslinien ai, die von den Seitenlinien a erfasst werden, werden zur gleichen geraden Linie. In ähnlicher Weise werden die äußeren geraden Begrenzungslinien bo, die aus den Seitenlinien b erfasst werden, zur gleichen geraden Linie, und die inneren geraden Begrenzungslinien bi, die von den Seitenlinien b erfasst werden, werden zur gleichen geraden Linie.
Im Gegensatz dazu wird angenommen, dass die Ausrichtung des Fahrzeugs 1 nicht parallel zu den Seitenlinien a und b der Parklücke T ist. 9B zeigt beispielhaft die relative Positionsbeziehung zwischen dem Fahrzeug 1 und der Parklücke T, wenn sich die Position der Parklücke T relativ zur Position des Fahrzeugs 1 ändert. Wie in 9B beispielhaft dargestellt ändern sich die Positionen der Seitenlinien a und b relativ zum Fahrzeug 1, wenn sich die Position der Parklücke T ändert.
In dem Fall, in dem die Ausrichtung des Fahrzeugs 1 nicht parallel zu den Seitenlinien a und b der Parklücke T ist, ist daher, wenn die aufgenommenen Bilder erhalten werden, während sich das Fahrzeug 1 geradeaus bewegt, die gerade Mittellinie ac, die aus der Seitenlinie a in jedem der aufgenommenen Bilder erfasst wird, eine andere gerade Linie. In ähnlicher Weise ist die gerade Mittellinie bc, die aus der Seitenlinie b in jedem der aufgenommenen Bilder erfasst wird, eine andere gerade Linie. Sowohl die äußere gerade Begrenzungslinie ao als auch die innere gerade Begrenzungslinie ai, die aus der Seitenlinie a in jedem der aufgenommenen Bilder erfasst wird, ist eine unterschiedliche gerade Linie, und jede aus der äußeren geraden Begrenzungslinie bo und der inneren geraden Begrenzungslinie bi, die aus der Seitenlinie b in jedem der aufgenommenen Bilder erfasst wird, ist eine andere gerade Linie.
In Anbetracht des Vorstehenden kann die Ausrichtung des Fahrzeugs 1 durch das folgende Verfahren bestimmt werden. Insbesondere speichert die Vorrichtung 100 zum Kalibrieren des Montagewinkels für jedes der aufgenommenen Bilder die geraden Mittellinien und geraden Begrenzungslinien, die aus dem aufgenommenen Bild erfasst werden. Die Vorrichtung 100 zum Kalibrieren des Montagewinkels bestimmt unter Verwendung von darin gespeicherten Daten einer geraden Linie, ob die geraden Mittellinien in den aufgenommenen Bildern die gleiche gerade Linie sind. In ähnlicher Weise bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, ob die geraden Begrenzungslinien in den aufgenommenen Bildern die gleichen geraden Linien sind. Wenn die geraden Linien in den aufgenommenen Bildern als die gleiche gerade Linie betrachtet werden können, bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, dass die Orientierung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist.
Im Vorgang zum Kalibrieren des Montagewinkels in den 3 und 4 wird ein derartiges Prinzip verwendet, um zu bestimmen, dass die Ausrichtung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist.
Insbesondere wird dies in den Schritten S110 und S111 in 4 gezeigt. Zuerst bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, wenn das Akkumulieren der geraden Mittellinien und der geraden Begrenzungslinien aus der vorab festgelegten Anzahl von aufgenommenen Bildern abgeschlossen ist (Schritt S107 in 3: ja), ob die Streuung der Schrägen und der Schnittpositionen der akkumulierten geraden Mittellinien innerhalb eines vorab festgelegten Toleranzbereichs liegt (Schritt S110). Anders gesagt bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, ob die Streuung der Schrägen und der Schnittpositionen der akkumulierten geraden Mittellinien innerhalb des vorab festgelegten Toleranzbereichs liegt, wenn die Akkumulation der geraden Mittellinien und der geraden Begrenzungslinien eine vorab festgelegte Bedingung erfüllt.
Diese Feststellung wird wie folgt getroffen. Wie vorstehend anhand von 8 beschrieben werden für jede der geraden Mittellinien bc und ac die Schrägen und die Schnittpositionen der geraden Mittellinien akkumuliert. Somit werden bei der Verarbeitung in Schritt S110 die Schrägen kbc der geraden Mittellinie bc gelesen, und ihre Streuung σkbc wird berechnet. Ferner werden die Schrägen kac der geraden Mittellinie ac gelesen, und ihre Streuung σkac wird berechnet. In ähnlicher Weise werden in der Verarbeitung in Schritt S110 die Schnittpositionen pbc der geraden Mittellinie bc gelesen, und ihre Streuung σpbc wird berechnet. Ferner werden die Schnittpositionen pac der geraden Mittellinie ac gelesen, und ihre Streuung σpac wird berechnet.
In der Verarbeitung in Schritt S110 wird bestimmt, ob die berechnete Streuung σkbc, σkac, σpbc und σpac innerhalb eines vorab festgelegten Toleranzbereichs liegt. Man beachte, dass der Toleranzbereich (z. B. der obere Grenzwert und der untere Grenzwert) für jeden Wert der berechneten Streuung vorab festgelegt ist.
Folglich bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, ob die Streuung der Schrägen und die Begrenzungslinienschnittpositionen der geraden Begrenzungslinien innerhalb des vorab festgelegten Toleranzbereichs liegen (Schritt S111), wenn bestimmt wird, dass jede Streuung der Schrägen und der Schnittpositionen der geraden Mittellinien im vorab festgelegten Toleranzbereich liegt (Schritt S110 in 4: ja). Anders gesagt bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, ob die Streuung der Schrägen und der Begrenzungslinienschnittpositionen aus den akkumulierten geraden Begrenzungslinien innerhalb des vorgegebenen Toleranzbereichs liegen, wenn sowohl die Schräge als auch die Schnittposition der geraden Mittellinie innerhalb des vorab festgelegten Toleranzbereichs liegen.
Diese Bestimmung wird wie folgt getroffen. Ähnlich wie bei der geraden Mittellinie wie vorstehend anhand von 8 beschrieben werden für jede der geraden Begrenzungslinien bo, bi, ao und ai die Schrägen und die Schnittpositionen der Begrenzungslinien mit der geraden Begrenzungslinie akkumuliert. Somit werden in der Verarbeitung in Schritt S111 die Schrägen kbo und kbi der geraden Begrenzungslinien bo und bi gelesen und ihre jeweilige Streuung σkbo und σkbi berechnet. In ähnlicher Weise werden in der Verarbeitung in Schritt S111 die Schrägen kao und kai der geraden Begrenzungslinien ao und ai gelesen, und ihre jeweilige Streuung σka und σkai wird berechnet.
Ferner werden in der Verarbeitung in Schritt S111 die Begrenzungslinienschnittpositionen pbo, pbi, pao und pai der geraden Begrenzungslinien bo, bi, ao und ai gelesen, und ihre entsprechende Streuung σpbo, σpbi, σpao und σpai wird berechnet.
In der Verarbeitung in Schritt S111 wird bestimmt, ob die berechnete Streuung σkbo, σkbi, σka, σkai, σpbo, σpbi, σpao und σpai innerhalb des vorab festgelegten Toleranzbereichs liegt.
Wenn als Ergebnis festgestellt wird, dass jede Streuung der Schrägen und der Begrenzungslinienschnittpositionen der geraden Begrenzungslinien innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S111 in 4: Ja), bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, dass die geraden Mittellinien bc und ac in den aufgenommenen Bildern die gleiche gerade Linie sind (ihre Positionen auf den Bildern übereinstimmen). In ähnlicher Weise werden die geraden Begrenzungslinien in den aufgenommenen Bildern als die gleiche gerade Linie bestimmt. Genauer gesagt bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, dass sich die Positionsbeziehung zwischen dem Fahrzeug 1 und der Parklücke T in dem in 9A gezeigten Zustand befindet, wenn sowohl die Schräge als auch die Schnittposition der geraden Mittellinie innerhalb des vorab festgelegten Toleranzbereichs liegen und die Schräge und die Schnittposition der geraden Begrenzungslinie innerhalb des vorab festgelegten Toleranzbereichs liegen. Somit kann in diesem Fall die Orientierung des Fahrzeugs 1 als parallel zu den Seitenlinien a und b der Parklücke T bestimmt werden.
Im Gegensatz dazu kann, wenn bestimmt wird, dass die Streuung der Schrägen und/oder der Schnittpositionen der geraden Mittellinien nicht innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S110 in 4: nein), die Vorrichtung 100 zum Kalibrieren des Montagewinkels bestimmen, dass die Ausrichtung des Fahrzeugs 1 nicht parallel zu den Seitenlinien a und b der Parklücke T ist.
In ähnlicher Weise kann die Vorrichtung 100 zum Kalibrieren des Montagewinkels bestimmen, dass die Ausrichtung des Fahrzeugs nicht parallel zu den Seitenlinien a und b der Parklücke T ist, wenn bestimmt wird, dass die Streuung der Schrägen und/oder die Begrenzungslinienschnittpositionen der geraden Begrenzungslinien nicht innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S111: Nein).
Wenn bei der Verarbeitung in Schritt S110 oder Schritt S111 wie vorstehend beschrieben das Urteil „Nein“ gefällt wird, gibt die Vorrichtung 100 zum Kalibrieren des Montagewinkels mittels des Lautsprechers 5 und des Monitors 6 Informationen dahingehend aus, dass die Ausrichtung des Fahrzeugs 1 nicht parallel zu den Seitenlinien a und b der Parklücke T ist (Schritt S112). Die Vorrichtung 100 zum Kalibrieren des Montagewinkels verwirft die Erfassungsergebnisse der geraden Mittellinien und der geraden Begrenzungslinien (die in 8 beispielhaft dargestellten Daten), die im Speicher akkumuliert sind (Schritt S113). Zudem führt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, indem sie zum Beginn der Verarbeitung zurückkehrt, die vorstehend beschriebene Verarbeitung in Schritt S100 in 3 bis Schritt S111 in 4 durch.
Wie vorstehend beschrieben wird in der vorliegenden Ausführungsform die Ausrichtung des Fahrzeugs 1 als parallel zu den Seitenlinien a und b der Parklücke T bestimmt, wenn die folgenden zwei Bedingungen erfüllt sind. Eine der Bedingungen, d.h. die erste Bedingung, ist, dass die Streuung der Schrägen und der Schnittpositionen der geraden Mittellinien innerhalb des vorab festgelegten Toleranzbereichs liegt. Die zweite Bedingung ist, dass die Streuung der Schrägen und der Schnittpunktpositionen der geraden Begrenzungslinien innerhalb des vorab festgelegten Toleranzbereichs liegt. Wenn eine aus der vorstehend genannten ersten Bedingung und der vorstehend genannten zweite Bedingung erfüllt ist, kann die Vorrichtung 100 zum Kalibrieren des Montagewinkels jedoch bestimmen, dass die Ausrichtung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist.
Wenn zum Beispiel die Streuung der Schrägen und der Schnittpositionen der geraden Mittellinien innerhalb des vorab festgelegten Toleranzbereichs liegt, kann die Vorrichtung 100 zum Kalibrieren des Montagewinkels bestimmen, dass die Ausrichtung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist. Somit reicht aus, dass die Vorrichtung 100 zum Kalibrieren des Montagewinkels die Schrägen und die Schnittpositionen der geraden Mittellinien akkumuliert; die Vorrichtung 100 zum Kalibrieren des Montagewinkels muss die Schrägen und die Schnittpositionen der geraden Begrenzungslinien nicht akkumulieren.
Wenn die Streuung der Schrägen und der Schnittpositionen der geraden Begrenzungslinien innerhalb des vorab festgelegten Toleranzbereichs liegt, kann die Vorrichtung 100 zum Kalibrieren des Montagewinkels bestimmen, dass die Ausrichtung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist. Somit reicht es aus, dass die Vorrichtung 100 zum Kalibrieren des Montagewinkels die Schrägen und die Schnittpositionen der geraden Begrenzungslinien akkumuliert; die Vorrichtung 100 zum Kalibrieren des Montagewinkels muss die Schrägen und die Schnittpositionen der geraden Mittellinien nicht akkumulieren.
Wenn die Vorrichtung 100 zum Kalibrieren des Montagewinkels durch das vorstehend beschriebene Verfahren erfolgreich bestätigt hat, dass die Ausrichtung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist (Schritt S111 in 4: Ja), erhält die Vorrichtung 100 zum Kalibrieren des Montagewinkels das aufgenommene Bild (Schritt S114). Das zu dieser Zeit erhaltene aufgenommene Bild kann ein neues sein, das von der Bilderzeugungsvorrichtung 20 erhalten wird. Alternativ kann aus einer vorab festgelegten Zahl von aufgenommenen Bildern, die zum Akkumulieren der geraden Mittellinien und der geraden Begrenzungslinien erhalten werden, ein zuletzt aus der Bilderzeugungsvorrichtung 20 erhaltenes Aufnahmebild verwendet werden.
Die Vorrichtung 100 zum Kalibrieren des Montagewinkels erhält den vorab festgelegten Wert des Montagewinkels der fahrzeuginternen Kamera 10, der in der Speichereinheit 21 in der Bilderzeugungsvorrichtung 20 gespeichert ist (Schritt S115 in 4). Wie vorstehend beschrieben weist die Bilderzeugungsvorrichtung 20 eine Funktion zum Umwandeln eines von der fahrzeuginternen Kamera 10 aufgenommenen Bildes in ein Bild aus der Vogelperspektive und zum Ausgeben des Bildes aus der Vogelperspektive an den Monitor 6 auf. Um das von der fahrzeuginternen Kamera 10 aufgenommene Bild in ein Bild aus der Vogelperspektive umzuwandeln, wird der Wert des Montagewinkels der fahrzeuginternen Kamera 10 benötigt. Daher wird der voreingestellte Wert des Montagewinkels der fahrzeuginternen Kamera 10 in der Speichereinheit 21 in der Bilderzeugungsvorrichtung 20 gespeichert. Somit erhält man in der Verarbeitung in Schritt S115 diesen vorab festgelegten Wert des Montagewinkels aus der Bilderzeugungsvorrichtung 20.
Die Vorrichtung 100 zum Kalibrieren des Montagewinkels wandelt das erhaltene aufgenommene Bild in ein Bild aus der Vogelperspektive um (Schritt S116 in 4). Der Montagewinkel der fahrzeuginternen Kamera 10, der bei der Umwandlung in die Vogelperspektive zu diesem Zeitpunkt verwendet wird, ist der vorab festgelegte Wert des Montagewinkels, der von der Bilderzeugungsvorrichtung 20 erhalten wird.
Die Vorrichtung 100 zum Kalibrieren des Montagewinkels bestimmt durch die Analyse des erhaltenen Bildes aus der Vogelperspektive, ob die Parallelität der Seitenlinien a und b der Parklücke T, die in dem Bild aus der Vogelperspektive erscheint, innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S117).
Es sei beispielsweise angenommen, dass das aufgenommene Bild das in 10A gezeigte Bild ist. Des Weiteren sei angenommen, dass das in 10B gezeigte Bild aus der Vogelperspektive durch die Umwandlung des aufgenommenen Bildes in die Vogelperspektive erhalten wird. Wie in 10B beispielhaft dargestellt, weist die Parklücke T in dem Bild aus der Vogelperspektive eine verzerrte Form auf. Wenn der Montagewinkel der fahrzeuginternen Kamera 10 korrekt ist, die bei der Umwandlung in die Vogelperspektive verwendet wird, weist die Parklücke T in dem Bild aus der Vogelperspektive, die man an diesem Zeitpunkt erhält, eine tatsächliche Form der Parklücke T auf (eine Form, bei der die beiden Seitenlinien a und b parallel zueinander und gleich breit sind). Daher bedeutet die Tatsache, dass die Parklücke T in dem Bild aus der Vogelperspektive eine verzerrte Form aufweist, dass sich der Montagewinkel der fahrzeuginternen Kamera 10, der bei der Umwandlung in die Vogelperspektive verwendet wird, vom tatsächlichen Montagewinkel unterscheidet.
Somit wird in der Verarbeitung in Schritt S117 in 4 das Bild aus der Vogelperspektive analysiert, die Seitenlinien a und b des Parkraums T werden erfasst und die gerade Mittellinie bc der Seitenlinie b und die gerade Mittellinie ac der Seitenlinie a werden erfasst. Ferner wird bei der Verarbeitung in Schritt S117 festgestellt, ob die Parallelität der geraden Mittellinie bc der Seitenlinie b und der geraden Mittellinie ac der Seitenlinie a im vorab festgelegten Toleranzbereich liegt. Man beachte, dass der Toleranzbereich (z. B. der obere Grenzwert und der untere Grenzwert) vorab festgelegt ist.
Wenn bestimmt wird, dass die Parallelität der geraden Mittellinie bc der Seitenlinie b zur geraden Mittellinie ac der Seitenlinie a nicht innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S117 in 4: nein) bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels folglich, dass die Parklücke T in dem Bild aus der Vogelperspektive eine verzerrte Form aufweist und der Montagewinkel der fahrzeuginternen Kamera 10, der bei der Umwandlung in die Vogelperspektive verwendet wird, nicht korrekt ist.
Die Vorrichtung 100 zum Kalibrieren des Montagewinkels ändert den vorab festgelegten Wert des Montagewinkels (Schritt S119) und wandelt das aufgenommene Bild unter Verwendung des Montagewinkels nach der Änderung erneut in ein Bild aus der Vogelperspektive um (Schritt S116). Anschließend erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels durch die Analyse des erhaltenen Bildes aus der Vogelperspektive die geraden Mittellinien der Seitenlinien a und b der Parklücke T in dem Bild aus der Vogelperspektive und bestimmt, ob die Parallelität der erfassten geraden Mittellinien innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S117).
Obwohl Einzelheiten später beschrieben werden, umfasst der Montagewinkel der fahrzeuginternen Kamera 10 die folgenden Winkel. Insbesondere umfasst der Montagewinkel einen Montagewinkel in der Nickrichtung (im Folgenden als „Nickrichtungswinkel θp“ bezeichnet), einen Montagewinkel in der Gierrichtung (im Folgenden als „Gierrichtungswinkel θy“ bezeichnet), und einen Montagewinkel in der Wankrichtung (nachfolgend als „Wankrichtungswinkel θr“ bezeichnet). Die Nickrichtung ist eine Richtung, in der sich der Winkel der optischen Achse der fahrzeuginternen Kamera 10 relativ zum Fahrzeug 1 in der Senkrechten ändert. Die Gierrichtung ist eine Richtung, in der sich der Winkel der optischen Achse der fahrzeuginternen Kamera 10 in der Horizontalen relativ zum Fahrzeug 1 ändert. Die Wankrichtung ist eine Richtung, in der sich die fahrzeuginterne Kamera 10 mittig um die optische Achse dreht.
In der Verarbeitung in Schritt 119, die ausgeführt wird, nachdem das Urteil „Nein“ in der Verarbeitung in Schritt S117 in 4 gefällt wurde, werden vorzugsweise hauptsächlich die vorab festgelegten Werte des Nickrichtungswinkels θp und des Gierrichtungswinkels θy geändert, um den vorab festgelegten Wert des Montagewinkels der fahrzeuginternen Kamera 10 zu ändern.
Wie vorstehend beschrieben ändert die Vorrichtung 100 zum Kalibrieren des Montagewinkels den Montagewinkel der fahrzeuginternen Kamera 10 und wiederholt die Umwandlung des aufgenommenen Bildes in die Vogelperspektive, bis die vorab festgelegte Bedingung erfüllt ist (Schritte S119 und S116 in 4). Es sei beispielsweise angenommen, dass man daraus das in 10C gezeigte Bild aus der Vogelperspektive erhält. Wie in 10C beispielhaft dargestellt, sind die Seitenlinien a und b der Parklücke T in dem Bild aus der Vogelperspektive parallel, aber die Parklücke T weist eine verzerrte Form auf. Ferner ist die Breite wb der Seitenlinie b größer als die Breite wa der Seitenlinie a; die Seitenlinie b und die Seitenlinie a sind nicht gleich breit („wb>wa“ in 10C). Selbst wenn die Parallelität der zwei Seitenlinien a und b innerhalb des vorab festgelegten Toleranzbereichs liegt, ist es daher nicht möglich, basierend auf diesem Ergebnis zu bestimmen, dass der Montagewinkel der fahrzeuginternen Kamera 10 korrekt ist.
Wenn somit bestimmt wird, dass die Parallelität der Seitenlinien a und b der Parklücke T innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S117 in 4: Ja), erfasst die Vorrichtung 100 zum Kalibrieren des Montagewinkels die Breite wb der Seitenlinie b und die Breite wa der Seitenlinie a und bestimmt, ob der Unterschied in der Breite zwischen ihnen innerhalb eines vorab festgelegten Toleranzbereichs liegt (Schritt S118).
Wenn folglich bestimmt wird, dass der Unterschied in der Breite zwischen den beiden Seitenlinien a und b nicht innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S118 in 4: Nein), bestimmt die Vorrichtung 100 zum Kalibrieren des Montagewinkels, dass der Montagewinkel der in der Ansicht aus der Vogelperspektive verwendeten fahrzeuginternen Kamera 10 nicht korrekt ist, und ändert den vorab festgelegten Wert des Montagewinkels erneut (Schritt S119). Die Vorrichtung 100 zum Kalibrieren des Montagewinkels wandelt das aufgenommene Bild unter Verwendung des Montagewinkels nach der Änderung erneut in ein Bild aus der Vogelperspektive um (Schritt S116). Anschließend analysiert die Vorrichtung 100 zum Kalibrieren des Montagewinkels das erhaltene Bild aus der Vogelperspektive, erfasst die Seitenlinien a und b der Parklücke T in dem Bild aus der Vogelperspektive und bestimmt, ob die Parallelität der erfassten Seitenlinien a und b innerhalb des vorab festgelegten Toleranzbereichs liegt und ob der Unterschied in der Breite zwischen den erfassten Seitenlinien a und b innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S117 und Schritt S118).
In der Verarbeitung in Schritt 119, der durchgeführt wird, nachdem das Urteil „Nein“ in der Verarbeitung in Schritt S118 gefällt wurde, wird vorzugsweise hauptsächlich der voreingestellte Wert des Wankrichtungswinkels θr geändert, um den vorab festgelegten Wert des Montagewinkels der fahrzeuginternen Kamera 10 zu ändern.
Wie vorstehend beschrieben ändert die Vorrichtung 100 zum Kalibrieren des Montagewinkels den Montagewinkel der fahrzeuginternen Kamera 10 und wiederholt die Umwandlung des aufgenommenen Bildes in das Bild aus der Vogelperspektive, bis die vorab festgelegte Bedingung erfüllt ist (Schritte S119 und S116 in 4). Es sei angenommen, dass man daraus zum Beispiel das in 10D gezeigte Bild aus der Vogelperspektive erhält. In dem in 10D gezeigten Bild aus der Vogelperspektive sind die Seitenlinien a und b der Parklücke T parallel. Ferner ist die Breite wb der Seitenlinie b gleich der Breite wa der Seitenlinie a („wb = = wa“ in 10D). Somit wird die Parklücke T als in der Form unverzerrt bestimmt. Dieses Bestimmungsergebnis bedeutet, dass der Montagewinkel der fahrzeuginternen Kamera 10 (der tatsächliche Montagewinkel der fahrzeuginternen Kamera 10 relativ zum Fahrzeug 1) korrekt ist, der bei der Umwandlung in das Bild aus der Vogelperspektive verwendet wird.
Somit bestimmt (Schritt S120) die Vorrichtung 100 zum Kalibrieren des Montagewinkels den Wert des Montagewinkels bei der Umwandlung in das Bild aus der Vogelperspektive zu diesem Zeitpunkt als einen Aktualisierungswert des Montagewinkels (einen korrekten Wert des Montagewinkels), wenn ein Bild aus der Vogelperspektive erhalten wird, bei dem die Parallelität der Seitenlinien a und b der Parklücke T innerhalb des vorab festgelegten Toleranzbereichs liegt und der Unterschied in der Breite zwischen den Seitenlinien a und b der Parklücke T innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S117: Ja und Schritt S118: Ja).
Die Vorrichtung 100 zum Kalibrieren des Montagewinkels schreibt den bestimmten Aktualisierungswert des Montagewinkels in die Speichereinheit 21 der Bilderzeugungsvorrichtung 20, wodurch der voreingestellte Wert des in der Speichereinheit 21 gespeicherten Montagewinkels aktualisiert wird (Schritt S121 in 4). Dann wird der in den 3 und 4 gezeigte Vorgang zum Kalibrieren des Montagewinkels beendet.
Man bemerke, dass in dem vorstehend beschriebenen Vorgang zum Kalibrieren des Montagewinkels die Verarbeitung von Schritt S100 in 3 bis Schritt S120 in 4 einem Montagewinkelerfassungsvorgang zum Erfassen eines Montagewinkels der fahrzeuginternen Kamera 10 entspricht.
Wie genau beschrieben ist, wird in der Vorrichtung 100 zum Kalibrieren des Montagewinkels (dem Vorgang zum Kalibrieren des Montagewinkels), die die Vorrichtung 120 zum Erfassen des Montagewinkels gemäß der vorliegenden Ausführungsform umfasst, bestätigt, dass die Ausrichtung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist (Schritt S110: ja und Schritt S111: ja), bevor das aufgenommene Bild in ein Bild aus der Vogelperspektive umgewandelt wird und ein korrekter Montagewinkel durch die Suche gefunden wird (bevor die Verarbeitung von Schritt S116 bis Schritt S119 in 4 durchgeführt wird). Somit kann die Vorrichtung 100 zum Kalibrieren des Montagewinkels gemäß der vorliegenden Ausführungsform leicht einen korrekten Montagewinkel der fahrzeuginternen Kamera 10 relativ zum Fahrzeug 1 erfassen. Es folgt eine ergänzende Beschreibung dieses Punktes.
Wie vorstehend beschrieben wird in dem Vorgang zum Kalibrieren des Montagewinkels das aufgenommene Bild, wie das in 10A gezeigte, in ein Bild aus der Vogelperspektive umgewandelt, und der Montagewinkel der fahrzeuginternen Kamera 10 wird gesucht, bis man ein Bild aus der Vogelperspektive wie in 10D gezeigt erhält, das eine Form aufweist, die die Parklücke T unverzerrt zeigt.
Der so erhaltene Montagewinkel ist der Winkel der optischen Achse der fahrzeuginternen Kamera 10 relativ zu den Seitenlinien a und b der Parklücke T. Es sei beispielsweise angenommen, dass, wie in 11 beispielhaft dargestellt, die optische Achse CL der fahrzeuginternen Kamera 10 um einen Winkel θ in der Gierrichtung relativ zu den Seitenlinien a und b der Parklücke T geneigt ist. Gleichzeitig ist die Form der Parklücke T verzerrt, wenn das aufgenommene Bild unter der Annahme in ein Bild aus der Vogelperspektive umgewandelt wird, dass die optische Achse CL der fahrzeuginternen Kamera 10 nicht geneigt ist. Somit wird in dem Vorgang zum Kalibrieren des Montagewinkels der Winkel in der Gierrichtung so geändert, dass ein Bild aus der Vogelperspektive einschließlich der Parklücke T mit einer unverzerrten Form erhalten werden kann. So wird durch die Suche der Winkel θ im Vorgang zum Kalibrieren des Montagewinkels gefunden.
Der Winkel θ, der durch die Suche auf diese Weise gefunden wird, ist jedoch ein Winkel, in dem die optische Achse CL der fahrzeuginternen Kamera 10 relativ zu den Seitenlinien a und b der Parklücke T geneigt ist. Daher ist dies irrelevant für den Winkel, in dem die fahrzeuginterne Kamera 10 an dem Fahrzeug 1 montiert ist. Genauer gesagt kann der Montagewinkel der fahrzeuginternen Kamera 10 relativ zum Fahrzeug 1 nicht berechnet werden, selbst wenn der Winkel der optischen Achse CL der fahrzeuginternen Kamera 10 relativ zu den Seitenlinien a und b der Parklücke T bekannt ist, falls der Winkel der Achse des Fahrzeugs 1 in der Richtung, in der das Fahrzeug 1 relativ zu den Seitenlinien a und b der Parklücke T ausgerichtet ist, nicht bekannt ist. In 11 ist der Grund dafür, dass das Fahrzeug 1 mit gestrichelten Linien gezeigt ist, dass die Ausrichtung des Fahrzeugs 1 nicht festgelegt worden ist.
Es sei angenommen, dass gewährleistet ist, dass die Ausrichtung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist. In diesem Fall sind die Ausrichtung des Fahrzeugs 1 und die Ausrichtung der Seitenlinien a und b der Parklücke T gleich. Daher kann der Winkel der optischen Achse CL der fahrzeuginternen Kamera 10 relativ zu den Seitenlinien a und b der Parklücke T direkt als der Winkel des Fahrzeugs 1 (der Montagewinkel der fahrzeuginternen Kamera 10 relativ zum Fahrzeug 1) interpretiert werden. Daher kann der Montagewinkel der fahrzeuginternen Kamera 10 relativ zum Fahrzeug 1 leicht erfasst werden.
Aus diesem Grund wird in dem vorstehend beschriebenen Vorgang zum Kalibrieren des Montagewinkels das aufgenommene Bild in ein Bild aus der Vogelperspektive umgewandelt, nachdem bestätigt wurde, dass die Ausrichtung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke ist T (S111 in 4: ja). Anschließend wird ein korrekter Montagewinkel der fahrzeuginternen Kamera 10 relativ zum Fahrzeug 1 durch die Suche gefunden (Schritte S116 bis S119).
Zudem beruht der vorstehend beschriebene Vorgang zum Kalibrieren des Montagewinkels auf der Voraussetzung, dass der Montagewinkel der fahrzeuginternen Kamera 10 geändert werden kann und das aufgenommene Bild auf der Grundlage des Montagewinkels (verschiedener Montagewinkel) nach der Änderung in ein Bild aus der Vogelperspektive umgewandelt werden kann. Der Grund, warum dieser Vorgang (Umwandlung in die Vogelperspektive) möglich ist, wird nachstehend beschrieben.
Zunächst werden verschiedene Koordinatensysteme beschrieben, die zum Umwandeln des aufgenommenen Bildes in ein Bild aus der Vogelperspektive genutzt werden.
12 veranschaulicht verschiedene Koordinatensysteme, die bei der Umwandlung in die Vogelperspektive verwendet werden. Koordinatensysteme, die bei der Umwandlung in die Vogelperspektive nach der vorliegenden Ausführungsform verwendet werden, umfassen beispielsweise ein orthogonales Koordinatensystem für das Fahrzeug 1 und ein orthogonales Koordinatensystem für die fahrzeuginterne Kamera 10. Das orthogonale Koordinatensystem für das Fahrzeug 1 wird unter Verwendung einer Koordinatenachse Xo (im Folgenden als „Xo-Achse“ bezeichnet), einer Koordinatenachse Yo (im Folgenden als „Yo-Achse“ bezeichnet) und einer Koordinatenachse Zo (im Folgenden als „Zo-Achse“ bezeichnet) ausgedrückt. Die Xo-Achse ist eine Koordinatenachse des Fahrzeugs 1, die in einem rechten Winkel zu seiner Richtung nach vorn und hinten bzw. Längsrichtung steht und sich in der horizontalen Richtung erstreckt. Die Yo-Achse ist eine Koordinatenachse des Fahrzeugs 1, die sich in der Längsrichtung erstreckt. Die Zo-Achse ist eine Koordinatenachse des Fahrzeugs 1, die in einem rechten Winkel zur Längsrichtung liegt und sich in der senkrechten Richtung bzw. nach oben erstreckt. Nachstehend werden Koordinaten in dem auf dem Fahrzeug 1 basierenden orthogonalen Koordinatensystem als „fahrzeugbasierte Koordinaten“ bezeichnet, und ein Koordinatenwert der fahrzeugbasierten Koordinaten wird als (xo, yo, zo) ausgedrückt.
Das orthogonale Koordinatensystem, das auf der fahrzeuginternen Kamera 10 basiert, wird unter Verwendung einer Koordinatenachse CX (im Folgenden als „CX-Achse“ bezeichnet), einer Koordinatenachse CY (im Folgenden als „CY-Achse“ bezeichnet) und einer Koordinatenachse CZ ausgedrückt (im Folgenden als „CZ-Achse“ bezeichnet). Die CY-Achse ist eine Koordinatenachse, die sich entlang der optischen Achse der fahrzeuginternen Kamera 10 erstreckt. Die CX-Achse ist eine Koordinatenachse, die im rechten Winkel zur CY-Achse steht und sich in horizontaler Richtung erstreckt. Die CZ-Achse ist eine Koordinatenachse, die im rechten Winkel sowohl zur CY-Achse als auch der CX-Achse steht und sich nach oben erstreckt. Nachstehend werden Koordinaten in dem auf der fahrzeuginternen Kamera 10 basierenden orthogonalen Koordinatensystem als „kamerabasierte Koordinaten“ bezeichnet, und ein Koordinatenwert der kamerabasierten Koordinaten wird als (cx, cy, cz) ausgedrückt.
Die Beziehung zwischen den fahrzeugbasierten Koordinaten (xo, yo, zo) und den kamerabasierten Koordinaten (cx, cy, cz) ändert sich gemäß der Montageposition der fahrzeuginternen Kamera 10 relativ zum Fahrzeug 1. In der vorliegenden Ausführungsform wird daher das folgende neue orthogonale Koordinatensystem eingeführt, um die Umwandlung in die Vogelperspektive zu erleichtern. Genauer gesagt ist das neue orthogonale Koordinatensystem ein orthogonales Koordinatensystem, das durch Verschieben des orthogonalen Koordinatensystems basierend auf dem Fahrzeug 1 so erhalten wird, dass der Ursprung O des orthogonalen Koordinatensystems basierend auf dem Fahrzeug 1 dem Ursprung CO des orthogonalen Koordinatensystems basierend auf der fahrzeuginternen Kamera 10 entspricht. Die Koordinatenachsen dieses neuen orthogonalen Koordinatensystems umfassen: eine Koordinatenachse parallel zur Xo-Achse als die X-Achse; eine Koordinatenachse parallel zur Yo-Achse als die Y-Achse; und eine Koordinatenachse parallel zu der Zo-Achse als die Z-Achse. Nachstehend werden Koordinaten in diesem neuen orthogonalen Koordinatensystem als „analytische fahrzeugbasierte Koordinaten“ bezeichnet, und ein Koordinatenwert der analytischen fahrzeugbasierten Koordinaten wird als (x, y, z) ausgedrückt.
Bei derartigen analytischen fahrzeugbasierten Koordinaten entspricht die Drehung der fahrzeuginternen Kamera 10 in der Nickrichtung der Drehung um die X-Achse; die Drehung der fahrzeuginternen Kamera 10 in der Wankrichtung entspricht der Drehung um die Y-Achse; und die Drehung der fahrzeuginternen Kamera 10 in der Gierrichtung entspricht der Drehung um die Z-Achse.
Ferner sind der Koordinatenwert (xo, yo, zo) der fahrzeugbasierten Koordinaten und der Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten gemäß der in 13 gezeigten Gleichung (1) leicht konvertierbar Man beachte, dass [tx, ty, tz] in Gleichung (1) die xo-Koordinate, die yo-Koordinate und die zo-Koordinate der fahrzeugbasierten Koordinaten angibt, bei denen der Ursprung CO der kamerabasierten Koordinaten liegt.
Auf diese Weise sind der Koordinatenwert (xo, yo, zo) der fahrzeugbasierten Koordinaten und der Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten ineinander umwandelbar. Zur Analyse wird hauptsächlich der Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten verwendet.
Der Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten und der Koordinatenwert (cx, cy, cz) der kamerabasierten Koordinaten sind gemäß der in 14 gezeigten Gleichung (2) verknüpft. Man bemerke, dass in Gleichung (2) Folgendes gilt: [P] stellt eine Rotationsmatrix zum Drehen der analytischen fahrzeugbasierten Koordinaten in der Nickrichtung dar; [R] stellt eine Rotationsmatrix zum Drehen der analytischen fahrzeugbasierten Koordinaten in der Wankrichtung dar; und [Y] stellt eine Rotationsmatrix zum Drehen der analytischen fahrzeugbasierten Koordinaten in der Gierrichtung dar. Der Winkel θp in der Rotationsmatrix [P] ist der Drehwinkel in der Nickrichtung der kamerabasierten Koordinaten relativ zu den analytischen fahrzeugbasierten Koordinaten. Der Winkel θr in der Rotationsmatrix [R] ist der Rotationswinkel der kamerabasierten Koordinaten in Bezug auf die analytischen fahrzeugbasierten Koordinaten in der Wankrichtung. Der Winkel θp in der Rotationsmatrix [Y] ist der Drehwinkel der kamerabasierten Koordinaten in Bezug auf die analytischen fahrzeugbasierten Koordinaten in der Gierrichtung.
Der Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten für die auf den Boden gezeichnete Parklücke T wird in den Koordinatenwert (cx, cy, cz) der kamerabasierten Koordinaten gemäß Gleichung (2) wie in 14 gezeigt umgewandelt.
Der Koordinatenwert (cx, cy, cz) der Parklücke T, der sich aus der Umwandlung in die kamerabasierten Koordinaten ergibt, kann in einen Koordinatenwert des aufgenommenen Bildes umgewandelt werden. Nachstehend wird der Koordinatenwert des aufgenommenen Bildes als „Bildebenenkoordinaten“ bezeichnet, und ein Koordinatenwert der Bildebenenkoordinaten wird als (u, v) ausgedrückt.
15 veranschaulicht ein Verfahren zum Umwandeln des Koordinatenwerts (cx, cy, cz) der Parklücke T, der sich aus der Umwandlung in die kamerabasierten Koordinaten ergibt, in den Koordinatenwert (u, v) der Bildebenenkoordinaten. Wie in 15 beispielhaft dargestellt, wird bei dem vorliegenden Umwandlungsvorgang eine Ebene senkrecht zur optischen Achse (der Koordinatenachse CY) der fahrzeuginternen Kamera 10 (nachstehend als „Bildebene“ bezeichnet) in einem geeigneten Abstand SL weg vom Ursprung CO der kamerabasierten Koordinaten eingestellt. Somit kann das von der fahrzeuginternen Kamera 10 aufgenommene Bild als ein Bild angesehen werden, das man durch Projizieren eines Aufnahmeobjekts in den kamerabasierten Koordinaten auf die Bildebene erhält.
Somit wird im vorliegenden Umwandlungsvorgang ein Koordinatenraum angenommen, der Folgendes umfasst: eine Koordinatenachse U parallel zu der Koordinatenachse CX der kamerabasierten Koordinaten; und eine Koordinatenachse V parallel zu der Koordinatenachse CZ der kamerabasierten Koordinaten, wobei sich der Ursprung an dem Schnittpunkt zwischen der Bildebene und der Koordinatenachse CY der kamerabasierten Koordinaten befindet. In diesem Fall kann der Koordinatenwert (cx, cy, cz) der auf den Boden gezeichneten Parklücke T gemäß der in 15 gezeigten Gleichung (3) in den Koordinatenwert (u, v) auf der Bildebene umgewandelt werden.
16 zeigt beispielhaft die Umwandlungsbeziehung der vorstehend beschriebenen Koordinatenwerte und die Umwandlungsbeziehung der Koordinatenwerte für die Umwandlung in die Vogelperspektive. Insbesondere sind der Koordinatenwert (xo, yo, zo) der fahrzeugbasierten Koordinaten und der Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten gemäß der in 13 gezeigten Gleichung (1) ineinander umwandelbar Der Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten kann gemäß der in 14 gezeigten Gleichung (2) in den Koordinatenwert (cx, cy, cz) der kamerabasierten Koordinaten umgewandelt werden. Der Koordinatenwert (cx, cy, cz) der kamerabasierten Koordinaten kann gemäß der in 15 gezeigten Gleichung (3) in den Koordinatenwert (u, v) der Bildebenenkoordinaten umgewandelt werden. Der Koordinatenwert (u v) der Bildebenenkoordinaten entspricht dem Koordinatenwert des aufgenommenen Bildes.
Somit weisen der Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten und der Koordinatenwert (u, v) der Bildebenenkoordinaten eine Eins-zu-Eins-Entsprechung auf. Daher kann in dem vorliegenden Umwandlungsvorgang der Koordinatenwert (u, v) der Bildebenenkoordinaten wie durch den gestrichelten Pfeil in 16 gezeigt umgekehrt in den Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten umgewandelt werden. Das Bild aus der Vogelperspektive ist ein von einer vorab festgelegten Höhe (oberhalb) entlang der Z-Achse der analytischen fahrzeugbasierten Koordinaten betrachtetes Bild. Somit erhält man das Bild aus der Vogelperspektive, indem die Z-Achsenkomponente aus dem Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten gelöscht wird.
In Anbetracht des Vorstehenden reicht es aus, eine Reihe von Umwandlungsvorgängen als die Umwandlung in die Vogelperspektive durchzuführen, bei denen der Koordinatenwert (u, v) der Bildebenenkoordinaten umgekehrt in den Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten umgewandelt und die Z-Achsenkomponente aus dem erhaltenen Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten gelöscht wird. Die Umwandlung in die Vogelperspektive kann beispielsweise durch ein Modul zur Umwandlung in die Vogelperspektive mit Modulen durchgeführt werden, die diese Vorgänge durchführen. Im Folgenden wird der Koordinatenwert (x, y), der durch Löschen der Z-Achsenkomponente aus dem Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten erhalten wird, als der Koordinatenwert (x, y) von Koordinaten aus der Vogelperspektive ausgedrückt, die ein Koordinatensystem nach der Umwandlung in die Vogelperspektive sind.
Wie in Gleichung (2) in 14 gezeigt hängt die Umwandlung aus dem Koordinatenwert (x, y, z) der analytischen fahrzeugbasierten Koordinaten in den Koordinatenwert (cx, cy, cz) der kamerabasierten Koordinate vom Winkel θp der fahrzeuginternen Kamera 10 in der Nickrichtung, dem Winkel θr der fahrzeuginternen Kamera 10 in der Wankrichtung und dem Winkel θy der fahrzeuginternen Kamera 10 in der Gierrichtung ab. Dementsprechend hängt die Umwandlung aus der Bildebenenkoordinate (u, v) des aufgenommenen Bildes in den Koordinatenwert (x, y) der Koordinaten aus der Vogelperspektive vom Winkel θp der fahrzeuginternen Kamera 10 in der Nickrichtung, dem Winkel θr der fahrzeuginternen Kamera 10 in der Wankrichtung und der Winkel θy der fahrzeuginternen Kamera 10 in der Gierrichtung ab.
Wie in 17 beispielhaft dargestellt, ist daher das Modul zur Umwandlung in die Vogelperspektive so konzipiert, dass es in der Lage ist, den Winkel θp der fahrzeuginternen Kamera 10 in der Nickrichtung, den Winkel θr der fahrzeuginternen Kamera 10 in der Wankrichtung und den Winkel θy der fahrzeuginternen Kamera 10 in der Gierrichtung einzustellen.
Bei der Verarbeitung in Schritt S116 im in 4 gezeigten Vorgang zum Einstellen des Montagewinkels wird das aufgenommene Bild mittels eines solchen Moduls zur Umwandlung in die Vogelperspektive in ein Bild aus der Vogelperspektive umgewandelt.
Vorstehend wird der Fall beschrieben, in dem die Parklücke T zwei Seitenlinien a und b und eine Querlinie c senkrecht zu diesen Seitenlinien a und b aufweist (siehe 5). Die Querlinie c der Parklücke T wird in dem in den 3 und 4 gezeigten Vorgang nicht verwendet, obwohl die Verarbeitung unter Verwendung der Seitenlinien a und b der Parklücke T durchgeführt wird. Somit kann beim Vorgang zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform der Montagewinkel der fahrzeuginternen Kamera 10 erfasst und auf einen korrekten Montagewinkel kalibriert werden, selbst wenn die Parklücke T die Querlinie c nicht aufweist.
Wenn die Parklücke T wie in 18A beispielhaft dargestellt nicht die Querlinie c aufweist, wird ein aufgenommenes Bild wie das in 18B veranschaulichte erhalten. Die Vorrichtung 100 zum Kalibrieren des Montagewinkels gemäß der vorliegenden Ausführungsform führt selbst in diesem Fall den vorstehend beschriebenen Vorgang zum Kalibrieren des Montagewinkels durch, wenn die zwei Seitenlinien a und b erfasst werden können. Somit kann der Montagewinkel der fahrzeuginternen Kamera 10 geeignet kalibriert werden.
Zweite Ausführungsform
In der ersten Ausführungsform wurde ein Aufbau beschrieben, in dem das von der Bilderzeugungsvorrichtung 20 erhaltene aufgenommene Bild in ein Bild aus der Vogelperspektive umgewandelt wird und die Seitenlinien a und b der Parklücke T aus dem erhaltenen Bild aus der Vogelperspektive erfasst werden.
Wie vorstehend beschrieben werden beim Vorgang zum Kalibrieren des Montagewinkels nach der ersten Ausführungsform die geraden Mittellinien und die geraden Begrenzungslinien der Seitenlinien a und b akkumuliert, die aus den zahlreichen aufgenommenen Bildern erfasst werden, bevor die aufgenommenen Bilder in Bilder aus der Vogelperspektive umgewandelt werden. Damit wird in dem Vorgang zum Kalibrieren des Montagewinkels bestätigt, dass die Ausrichtung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist.
In der vorliegenden Ausführungsform wird anstelle der Umwandlung des von der Bilderzeugungsvorrichtung 20 erhaltenen aufgenommenen Bildes in die Vogelperspektive ein Bild zur Umwandlung in die Vogelperspektive unter Verwendung der akkumulierten geraden Mittellinien und geraden Begrenzungslinien erzeugt. Nachstehend wird das vorliegende Ausführungsbeispiel beschrieben, wobei auf Unterschiede zu dem ersten Ausführungsbeispiel abgehoben wird.
Innerer Aufbau der Vorrichtung 200 zum Kalibrieren des Montagewinkels
19 zeigt beispielhaft ein Blockschaubild, das den inneren Aufbau einer Vorrichtung 200 zum Kalibrieren des Montagewinkels gemäß der vorliegenden Ausführungsform zeigt. Die Vorrichtung 200 zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform unterscheidet sich von der Vorrichtung 100 zum Kalibrieren des Montagewinkels nach der ersten Ausführungsform darin, dass eine Einheit 201 zum Erzeugen eines repräsentativen aufgenommenen Bilds enthalten ist. Somit unterscheidet sich die Vorrichtung 200 zum Kalibrieren des Montagewinkels darin, dass die Einheit 109 zur Umwandlung in die Vogelperspektive ein Bild, das der Umwandlung in die Vogelperspektive unterzogen wird, von der Einheit 201 zum Erzeugen eines repräsentativen aufgenommenen Bilds anstelle der Einheit 101 zum Erhalten eines aufgenommenen Bildes erhält. Der innere Aufbau der Vorrichtung 200 zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform wird nachstehend mit dem Schwerpunkt auf diesen Unterschieden kurz beschrieben.
Wie in 19 beispielhaft gezeigt umfasst die Vorrichtung 200 zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform wie in der ersten Ausführungsform eine Einheit 101 zum Erhalten aufgenommener Bilder, eine Einheit 102 zum Erfassen gerader Mittellinien, eine Einheit 103 zum Erfassen gerader Begrenzungslinien, eine Speichereinheit 104 für gerade Linien, eine Parallelbestimmungseinheit 105, eine Fahrzeugüberwachungseinheit 106 und eine Alarmausgabeeinheit 107. Ferner umfasst die Vorrichtung 200 zum Kalibrieren des Montagewinkel Folgendes: eine Einheit 108 zum Erhalten eines vorab festgelegten Werts; eine Einheit 109 zur Umwandlung in die Vogelperspektive; eine Montagewinkelsucheinheit 110, die eine Vogelperspektivenbildevaluierungseinheit 111 und eine Einheit 112 zum Ändern eines vorab festgelegten Werts enthält; eine Montagewinkelbestimmungseinheit 113; und eine Montagewinkelaktualisierungseinheit 114. Zusätzlich dazu ist die Einheit 201 zum Erzeugen eines repräsentativen aufgenommenen Bildes in der Vorrichtung 200 zum Kalibrieren des Montagewinkels enthalten.
Man bemerke, dass der Abschnitt der Vorrichtung 200 zum Kalibrieren des Montagewinkels, der die Montagewinkelaktualisierungseinheit 114 ausschließt (der Abschnitt, der durch die gestrichelte Linie in 19 umschlossen ist), einer Vorrichtung 220 zum Erfassen des Montagewinkels nach der vorliegenden Ausführungsform entspricht.
Die Einheit 101 zum Erhalten eines aufgenommenen Bildes, die Erfassungseinheit 102 für gerade Mittellinien, die Einheit 103 zum Erfassen gerader Begrenzungslinien, die Speichereinheit 104 für erfasste gerade Linien, die Parallelbestimmungseinheit 105, die Fahrzeugüberwachungseinheit 106 und die Alarmausgabeeinheit 107 sind im Wesentlichen gleich wie in der ersten Ausführungsform. Daher wird ihre Beschreibung hier weggelassen.
Die Einheit 201 zum Erzeugen eines repräsentativen erfassten Bildes erhält das Bestimmungsergebnis der Parallelbestimmungseinheit 105. Wenn das Bestimmungsergebnis zeigt, dass die Ausrichtung des Fahrzeugs 1 parallel zu den zwei geradlinigen Teilen der Zielmarkierung ist, liest die repräsentative Bilderzeugungseinheit 201 die in der Speichereinheit 104 für erfasste gerade Linien gespeicherten Erfassungsergebnisse der geraden Mittellinien und der geraden Begrenzungslinien. Somit erzeugt die Einheit 201 zum Erzeugen eines repräsentativen aufgenommenen Bildes ein repräsentatives aufgenommenes Bild. Das zu diesem Zeitpunkt erzeugte repräsentative aufgenommene Bild umfasst zwei gerade Mittellinien und vier gerade Begrenzungslinien, die die zwei geradlinigen Teile der Zielmarkierung darstellen, die aus den zahlreichen aufgenommenen Bildern erfasst werden.
Wenn sie von der Parallelbestimmungseinheit 105 das Bestimmungsergebnis empfängt, das anzeigt, dass die Orientierung des Fahrzeugs 1 parallel zu den zwei geradlinigen Teilen der Zielmarkierung ist, erhält die Einheit 108 zum Erhalt eines vorab festgelegten Werts den vorab festgelegten Wert des Montagewinkels der fahrzeuginternen Kamera 10 von der Bilderzeugungsvorrichtung 20. Anschließend gibt die Einheit 108 zum Erhalt des vorab festgelegten Werts den erhaltenen vorab festgelegten Wert an die Einheit 109 zur Umwandlung in die Vogelperspektive aus.
Wenn sie den Montagewinkel der fahrzeuginternen Kamera 10 von der Einheit 108 zum Erhalt eines vorab festgelegten Werts empfängt, wandelt die Einheit 109 zur Umwandlung in die Vogelperspektive das repräsentative aufgenommene Bild in die Vogelperspektive um, das die Einheit 201 zum Umwandeln in die Vogelperspektive erzeugt hat.
Die Vogelperspektivenbildevaluierungseinheit 111 analysiert ein Bild aus der Vogelperspektive, das durch die Umwandlung des repräsentativen aufgenommenen Bildes in die Vogelperspektive erhalten wird. Auf der Grundlage des Analyseergebnisses bestimmt die Vogelperspektivenbildauswerteeinheit 111, ob die zwei geraden Mittellinien und die vier geraden Begrenzungslinien, die in dem repräsentativen aufgenommenen Bild enthalten sind, korrekt in gerade Linien umgewandelt wurden, die die zwei geradlinigen Teile der Zielmarkierung darstellen. Folglich ändert die Einheit 112 zum Ändern des vorab festgelegten Werts den vorab festgelegten Wert des Montagewinkels der fahrzeuginternen Kamera 10, den sie von der Speichereinheit 21 der Bilderzeugungsvorrichtung 20 erhalten hat, wenn bestimmt wird, dass die Linien nicht korrekt umgewandelt wurden.
Somit führt die Einheit 109 zur Umwandlung in die Vogelperspektive erneut die Umwandlung in die Vogelperspektive durch. Insbesondere wandelt die Einheit 109 zur Umwandlung in die Vogelperspektive unter Verwendung des Montagewinkels nach der Änderung die Ansicht aus der Vogelperspektive erneut in das repräsentative aufgenommene Bild um, wodurch ein neues Bild aus der Vogelperspektive erzeugt wird.
Somit entsprechen auch in der vorliegenden Ausführungsform die Vogelperspektivenbildevaluierungseinheit 111 und die Einheit 112 zum Ändern des vorab festgelegten Werts der Montagewinkelsucheinheit 110.
Wenn bestimmt wird, dass die zwei geraden Mittellinien und die vier geraden Begrenzungslinien, die in dem repräsentativen aufgenommenen Bild enthalten sind, korrekt umgewandelt wurden, gibt die Vogelperspektivenbildauswertungseinheit 111 den Wert des Montagewinkels an die Montagewinkelbestimmungseinheit 113 aus, der bei der Umwandlung in die Vogelperspektive zu dieser Zeit verwendet wird. Folglich führen die Montagewinkelbestimmungseinheit 113 und die Montagewinkelaktualisierungseinheit 114 im Wesentlichen die gleichen Prozesse wie die Montagewinkelbestimmungseinheit 113 und die Montagewinkelaktualisierungseinheit 114 nach der ersten Ausführungsform durch. Insbesondere bestimmt die Montagewinkelbestimmungseinheit 113 als einen korrekten Wert des Montagewinkels (einen tatsächlicher Wert des Montagewinkels) den Wert des Montagewinkels, der von der Vogelperspektivenbildevaluierungseinheit 111 empfangen wird (den Wert des Montagewinkel, der für die Umwandlung in die Vogelperspektive verwendet wird, bei der die Linien korrekt umgewandelt werden). Ferner erhält die Montagewinkelaktualisierungseinheit 114 den korrekten Montagewinkel der fahrzeuginternen Kamera 10, der durch die Montagewinkelbestimmungseinheit 113 bestimmt wird, und schreibt den erhaltenen Montagewinkel in die Speichereinheit 21 in der Bilderzeugungsvorrichtung 20. Die Montagewinkelaktualisierungseinheit 114 aktualisiert den Wert des in der Speichereinheit 21 in der Bilderzeugungsvorrichtung 20 gespeicherten Montagewinkels auf den korrekten Wert des Montagewinkels. Wie vorstehend beschrieben führt die Vorrichtung 200 zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform die Vorgänge der vorstehend genannten Einheiten durch. Dies beendet die Kalibrierung des Montagewinkels der fahrzeuginternen Kamera 10, die von der Bilderzeugungsvorrichtung 20 bei der Erzeugung eines Bildes (eines auf dem Monitor 6 anzuzeigenden Bildes) verwendbar ist.
Montagewinkelkalibriervorgang:
20 veranschaulicht einen Ablaufplan, der den Montagewinkelkalibriervorgang (die zweite Hälfte) zeigt, der von der Vorrichtung 200 zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform durchgeführt wird. Der Ablaufplan in der ersten Hälfte des Montagewinkelkalibrierungsvorgangs nach der vorliegenden Ausführungsform ist im Wesentlichen gleich wie der Ablaufplan der ersten Hälfte des Montagewinkelkalibrierungsvorgangs, der in 3 gezeigt ist. Daher wird dessen Veranschaulichung weggelassen. Man beachte, dass der vorliegende Vorgang von der in der Vorrichtung 200 zum Kalibrieren des Montagewinkels enthaltenen CPU durchgeführt wird. Insbesondere liest die CPU in der Vorrichtung 200 zum Kalibrieren des Montagewinkels ein Programm für den Montagewinkelkalibrierungsvorgang aus einem vorab festgelegten Speicherbereich des Speichers (eines nichtflüchtigen materiellen computerlesbaren Speichermediums) oder dergleichen, und führt das Programm aus. In der nachfolgenden Beschreibung gilt 3 für die erste Hälfte des Montagewinkelkalibrierungsvorgangs, und für die zweite Hälfte des Montagewinkelkalibrierungsvorgangs beziehen wir uns auf 20. Auf diese Weise wird der Montagewinkelkalibrierungsvorgang nach der vorliegenden Ausführungsform nachstehend kurz beschrieben.
Im Montagewinkelkalibriervorgang nach der vorliegenden Ausführungsform gibt wie in der ersten Ausführungsform zuerst die Vorrichtung 200 zum Kalibrieren des Montagewinkels eine Anweisung aus, dass das Fahrzeug 1 parallel zu den Seitenlinien a und b der Parklücke T ausgerichtet und das Lenkrad 2 im Lenkzustand für eine Geradeausfahrt angeordnet sein sollte. Anschließend gibt die Vorrichtung 200 zum Kalibrieren des Montagewinkels eine Anweisung aus, das Fahrzeug 1 um eine vorab festgelegte Strecke L geradeaus zu bewegen (entsprechend den Schritten S100 und S101 in 3). Danach erhält die Vorrichtung 200 zum Kalibrieren des Montagewinkels ein aufgenommenes Bild der Parklücke T von der Bilderzeugungsvorrichtung 20. Die Vorrichtung 200 zum Kalibrieren des Montagewinkels erfasst aus dem erhaltenen aufgenommenen Bild die Schrägen der geraden Mittellinien und der geraden Begrenzungslinien, die Schnittpositionen der geraden Mittellinien und die Schnittpositionen der geraden Begrenzungslinien der Seitenlinien a und b der Parklücke T und speichert die erfassten Schrägen, Mittellinienschnittpositionen und Begrenzungslinienschnittpositionen in den Speicher (entsprechend den Schritten S102 und S103).
Die Vorrichtung 200 zum Kalibrieren des Montagewinkels bestimmt, ob das Lenkrad 2 im Lenkzustand für eine Geradeausfahrt gehalten wird. Die Vorrichtung 200 zum Kalibrieren des Montagewinkels bestimmt, ob die Erfassungsergebnisse einer vorab festgelegten Anzahl von aufgenommenen Bildern gespeichert worden sind. Die Vorrichtung 200 zum Kalibrieren des Montagewinkels bestimmt, ob die Fahrstrecke des Fahrzeugs 1 die vorab festgelegte Strecke L erreicht hat (entsprechend den Schritten S104, S107 und S108). Folglich verwirft die Vorrichtung 200 zum Kalibrieren des Montagewinkels die Erfassungsergebnisse der geraden Mittellinien und der geraden Begrenzungslinien, die in dem Speicher gespeichert sind, wenn sie bestimmt, dass das Lenkrad 2 nicht in dem Lenkzustand für eine Geradeausfahrt gehalten wird. Anschließend gibt die Vorrichtung 200 zum Kalibrieren des Montagewinkels eine Warnung und eine Anweisung dahingehend aus, das Lenkrad 2 in dem Lenkzustand für eine Geradeausfahrt zu halten (entsprechend den Schritten S105 und S106). Die Verarbeitung beginnt dann von neuem. Wenn ferner bestimmt wird, dass die gefahrene Strecke des Fahrzeugs 1 die vorbestimmte Strecke L erreicht hat, gibt die Vorrichtung 200 zum Kalibrieren des Montagewinkels eine Anweisung aus, dass die Fahrtrichtung des Fahrzeugs 1 umgekehrt werden sollte und das Fahrzeug 1 geradeaus um eine vorab festgelegte Strecke L bewegt werden sollte (entsprechend Schritt S109). Danach erhält die Vorrichtung 200 zum Kalibrieren des Montagewinkels ein neues aufgenommenes Bild und speichert (entsprechend den Schritten S102 und S103) die geraden Mittellinien und die geraden Begrenzungslinien, die aus dem aufgenommenen Bild erfasst wurden, in den Speicher.
In der Vorrichtung 200 zum Kalibrieren des Montagewinkels werden die Erfassungsergebnisse der geraden Mittellinien und der geraden Begrenzungslinien durch die Wiederholung solcher Vorgänge akkumuliert. Schließlich erreicht die Anzahl von aufgenommenen Bildern, von denen die Erfassungsergebnisse der geraden Mittellinien und der geraden Begrenzungslinien akkumuliert wurden, die vorbestimmte Anzahl (entsprechend S107: ja). Damit ist in der Vorrichtung 200 zum Kalibrieren des Montagewinkels die Ansammlung der geraden Mittellinien und der geraden Begrenzungslinien abgeschlossen, die aus den aufgenommenen Bildern erfasst werden.
Wenn bei dem Vorgang zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform die Akkumulation der geraden Mittellinien und der geraden Begrenzungslinien abgeschlossen ist, die aus der vorab festgelegten Anzahl von aufgenommenen Bildern erfasst werden, wird der folgende Vorgang durchgeführt. Insbesondere bestimmt die Vorrichtung 200 zum Kalibrieren des Montagewinkels wie in 20 beispielhaft dargestellt ob die Streuung der Schrägen und der Schnittpositionen der akkumulierten geraden Mittellinien innerhalb eines vorab festgelegten Toleranzbereichs liegt (Schritt S150). Diese Bestimmung ist die gleiche wie die in der ersten Ausführungsform (die Verarbeitung in Schritt S110 in 4). Insbesondere werden wie vorstehend anhand von 8 beschrieben in der Verarbeitung in Schritt S150 die Schrägen kbc der geraden Mittellinie bc gelesen, und ihre Streuung σkbc wird berechnet. Ferner werden die Schrägen kac der geraden Mittellinie ac gelesen, und ihre Streuung σkac wird berechnet. Ähnlich werden in der Verarbeitung in Schritt S150 die Schnittpositionen pbc der geraden Mittellinie bc gelesen, und ihre Streuung σpbc wird berechnet. Ferner werden die Schnittpositionen pac der geraden Mittellinie ac gelesen, und ihre Streuung σpac wird berechnet.
Ferner wird in der Verarbeitung in Schritt S150 bestimmt, ob die berechnete Streuung σkbc, σkac, σpbc und σpac im vorab festgelegten Toleranzbereich liegt.
Wenn bestimmt wird, dass die Streuung der Schrägen und der Schnittpositionen der geraden Mittellinien innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S150 in 20: ja), bestimmt folglich die Vorrichtung 200 zum Kalibrieren des Montagewinkels, ob die Streuung der Schrägen und der Begrenzungslinienschnittpositionen der geraden Begrenzungslinien innerhalb eines vorab festgelegten Toleranzbereichs liegen (Schritt S151). Diese Bestimmung ist ebenfalls gleich wie in der ersten Ausführungsform (die Verarbeitung in Schritt S111 in 4). Insbesondere werden, wie vorstehend anhand von 8 beschrieben, in der Verarbeitung in Schritt S151 die Schrägen kbo, kbi, kao und kai der geraden Begrenzungslinien bo, bi, ao und ai gelesen, und die jeweilige Streuung σkbo, σkbi, σkao und σkai derselben wird berechnet. Vergleichbar werden in der Verarbeitung in Schritt S151 die Begrenzungslinienschnittpositionen pbo, pbi, pao und pai der geraden Begrenzungslinien bo, bi, ao und ai gelesen, und die entsprechende Streuung σpbo, σpbi, σpao und σpai derselben berechnet.
Ferner wird in der Verarbeitung in Schritt S151 bestimmt, ob die berechnete Streung σkbo, σkbi, σka, σkai, σpbo, σpbi, σpao und σpai innerhalb des vorab festgelegten Toleranzbereichs liegt.
Wenn bestimmt wird, dass die Streuung der Schrägen und / oder die Schnittpositionen der geraden Mittellinien nicht innerhalb des vorab festgelegten Toleranzbereichs liegen (Schritt S150 in 20: Nein), bestimmt folglich die Vorrichtung 200 zum Kalibrieren des Montagewinkels, dass die Orientierung des Fahrzeugs 1 nicht parallel zu den Seitenlinien a und b der Parklücke T ist. Wenn bestimmt wird, dass die Streuung der Schrägen und / oder die Begrenzungslinienschnittpositionen der geraden Begrenzungslinien nicht innerhalb des vorab festgelegten Toleranzbereichs liegen (Schritt S151: nein), bestimmt folglich die Vorrichtung 200 zum Kalibrieren des Montagewinkels, dass die Ausrichtung des Fahrzeugs 1 nicht parallel zu den Seitenlinien a und b der Parklücke T ist.
Wie vorstehend beschrieben gibt die Vorrichtung 200 zum Kalibrieren des Montagewinkels Information hinsichtlich dessen aus, dass die Ausrichtung des Fahrzeugs 1 nicht parallel zu den Seitenlinien a und b der Parklücke T ist (Schritt S152), wenn das „Nein“-Urteil im Ablauf in Schritt S150 oder Schritt S151 gefällt wird. Die Vorrichtung 200 zum Kalibrieren des Montagewinkels verwirft die Erfassungsergebnisse der geraden Mittellinien und der geraden Begrenzungslinien (die Daten, die beispielhaft in 8 dargestellt sind), die in dem Speicher akkumuliert wurden (Schritt S153). Anschließend, beginnt die Vorrichtung 200 zum Kalibrieren des Montagewinkels erneut einen Ablauf der vorstehend beschriebenen Verarbeitung, indem sie zum Beginn der Verarbeitung (entsprechend Schritt S100 der 3) zurückkehrt.
Wenn dagegen bestimmt wird, dass jede Streuung der Schrägen und der Schnittpositionen der geraden Mittellinien innerhalb des vorab festgelegten Toleranzbereichs liegen (Schritt S150: Ja) und jede Dispersion der Schrägen und der Begrenzungslinienschnittpositionen der geraden Begrenzungslinien innerhalb des vorab festgelegten Toleranzbereichs liegen (Schritt S151: ja), bestimmt die Vorrichtung 200 zum Kalibrieren des Montagewinkels, dass die geraden Mittellinien in den aufgenommenen Bildern die gleiche gerade Linie sind (ihre Positionen auf den Bildern übereinstimmen). In ähnlicher Weise werden die geraden Begrenzungslinien in den aufgenommenen Bildern als die gleiche gerade Linie bestimmt. Insbesondere wenn sowohl die Schräge als auch die Schnittposition der geraden Mittellinie innerhalb des vorab festgelegten Toleranzbereichs liegen und sowohl die Schrägen als auch die Schnittpositionen der geraden Begrenzungslinie innerhalb des vorab festgelegten Toleranzbereichs liegen, bestimmt die Vorrichtung 200 zum Kalibrieren des Montagewinkels, dass sich die Positionsbeziehung zwischen dem Fahrzeug 1 und der Parklücke T in dem in 9A gezeigten Zustand befindet. Somit kann in diesem Fall die Orientierung des Fahrzeugs 1 als parallel zu den Seitenlinien a und b der Parklücke T bestimmt werden.
Wenn in dem Montagewinkelkalibrierungsvorgang nach der ersten Ausführungsform die Ausrichtung des Fahrzeugs 1 als parallel zu den Seitenlinien a und b der Parklücke T bestimmt wird (Schritt S111 in 4: ja), erhält man ein aufgenommenes Bild zur Umwandlung in die Vogelperspektive (Schritt S114).
Dagegen wird in dem Vorgang zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform ein repräsentatives aufgenommenes Bild für die Umwandlung in die Vogelperspektive erzeugt (Schritt S154 in 20). Das repräsentative aufgenommene Bild stellt die vorab festgelegte Anzahl von aufgenommenen Bildern dar und wird verwendet, um zu überprüfen, dass die Ausrichtung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist.
Das repräsentative aufgenommene Bild wird detailliert beschrieben. Es sei angenommen, dass bestätigt wurde, dass die Orientierung des Fahrzeugs 1 parallel zu den Seitenlinien a und b der Parklücke T ist. Dies kann so interpretiert werden, dass die geraden Mittellinien und die geraden Begrenzungslinien, zwischen den aufgenommenen Bildern überlappen (die Positionen stimmen überein), die aus einer vorab festgelegten Anzahl von aufgenommenen Bildern erfasst werden (der in 9A gezeigte Zustand).
In einem solchen Zustand, wie er beispielsweise in den 21A und 21B veranschaulicht ist, kann eine repräsentative gerade Mittellinie tbc, die die aus der vorab festgelegten Anzahl von aufgenommenen Bildern erfassten geraden Mittellinien bc wiedergibt, und eine repräsentative gerade Mittellinie tac bestimmt werden, die die aus der vorab festgelegten Anzahl von aufgenommenen Bildern erfassten geraden Mittellinien ac wiedergibt. Zum Beispiel wird die repräsentative gerade Mittellinie tbc wie folgt bestimmt. Insbesondere wird der Mittelwert oder der Medianwert jeder der Schrägen kbc und der Schnittpositionen pbc der mehreren geraden Mittellinien bc berechnet, die aus der vorab festgelegten Anzahl von aufgenommenen Bildern erfasst werden. Eine gerade Linie, die Schräge und deren Schnittposition sind jeweils der Mittelwert oder Medianwert. Die berechnete gerade Linie wird als die repräsentative gerade Mittellinie tbc festgelegt.
In ähnlicher Weise kann eine repräsentative gerade Begrenzungslinie tbo, die die zahlreichen geraden Begrenzungslinien bo darstellt, eine repräsentative gerade Begrenzungslinie tbi, die die zahlreichen geraden Begrenzungslinien bi darstellt, eine repräsentative gerade Begrenzungslinie tao, die die zahlreichen geraden Begrenzungslinien ao darstellt, und eine repräsentative gerade Begrenzungslinie tai bestimmt werden, die die zahlreichen geraden Begrenzungslinien ai darstellt.
Die 21A und 21B zeigen beispielhaft die auf diese Weise bestimmten repräsentativen geraden Mittellinien tbc und tac und repräsentativen geraden Begrenzungslinien tbo, tbi, tao und tai. Die repräsentativen geraden Mittellinien tbc und tac und die repräsentativen geraden Begrenzungslinien tbo, tbi, tao und tai stellen Teile der Seitenlinien a und b des Parkraums T dar, die in der vorab festgelegten Anzahl von aufgenommenen Bildern erscheinen. Somit ist das repräsentative aufgenommene Bild, das durch die Verarbeitung in Schritt S154 in 20 erzeugt wird, ein Bild wie das in 21A gezeigte.
Das vorstehend beschriebene repräsentative Bild umfasst die zwei repräsentativen geraden Mittellinien tbc und tac und die vier repräsentativen geraden Begrenzungslinien tbo, tbi, tao und tai.
Das repräsentative aufgenommene Bild kann jedoch beispielsweise nur die vier repräsentativen geraden Begrenzungslinien tbo, tbi, tao und tai umfassen. In diesem Fall ist es ausreichend, dass die Vorrichtung 200 zum Kalibrieren des Montagewinkels die Schrägen und die Begrenzungslinienschnittpositionen der geraden Begrenzungslinien akkumuliert; die Vorrichtung 200 zum Kalibrieren des Montagewinkels muss die Schrägen und die Schnittpositionen der geraden Mittellinien nicht akkumulieren.
Die Vorrichtung 200 zum Kalibrieren des Montagewinkels erhält den vorab festgelegten Wert des Montagewinkels der fahrzeuginternen Kamera 10, der in der Speichereinheit 21 in der Bilderzeugungsvorrichtung 20 gespeichert ist (Schritt S155 in 20). Die Vorrichtung 200 zum Kalibrieren des Montagewinkels wandelt das erzeugte repräsentative Aufnahmebild in ein Bild aus der Vogelperspektive um (Schritt S156). Wie in 21A gezeigt umfasst das repräsentative erfasste Bild die zwei repräsentativen geraden Mittellinien tbc und tac und die vier repräsentativen geraden Begrenzungslinien tbo, tbi, tao und tai. Somit ist das repräsentative erfasste Bild nach der Umwandlung in die Vogelperspektive ein Bild aus der Vogelperspektive, wie das in 21B gezeigte.
Die Vorrichtung 200 zum Kalibrieren des Montagewinkels analysiert das erhaltene Bild aus der Vogelperspektive, erfasst die Seitenlinien a und b der Parklücke T in dem Bild aus der Vogelperspektive und bestimmt, ob die Parallelität der erfassten Seitenlinien a und b innerhalb eines vorab festgelegten Toleranzbereichs liegt (Schritt S157). Bei der Verarbeitung in Schritt S157 wird beispielsweise die Parallelität der beiden repräsentativen geraden Mittellinien tbc und tac in dem in 21B gezeigten Bild aus der Vogelperspektive berechnet. In der Verarbeitung in Schritt S157 wird eine Bestimmung vorgenommen, ob die berechnete Parallelität innerhalb des vorab festgelegten Toleranzbereichs liegt.
Es sei beispielsweise angenommen, dass das repräsentative erfasste Bild nicht die zwei repräsentativen geraden Mittellinien tbc und tac umfasst. Wenn also das Bild aus der Vogelperspektive nicht die zwei repräsentativen geraden Mittellinien tbc und tac umfasst, kann die folgende Bestimmung durchgeführt werden. Genauer gesagt kann bestimmt werden, ob die Parallelität der vier repräsentativen geraden Begrenzungslinien tbo, tbi, tao und tai in dem Bild aus der Vogelperspektive innerhalb des vorab festgelegten Toleranzbereichs liegt.
Folglich bestimmt die Vorrichtung 200 zum Kalibrieren des Montagewinkels, ob der Unterschied in der Breite zwischen den Seitenlinien a und b der Parklücke T in einem vorab festgelegten Toleranzbereich (Schritt S158) liegt, wenn bestimmt wird, dass die Parallelität der Seitenlinien a und b der Parklücke T innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S157 in 20: ja). In der Verarbeitung in Schritt S158 werden der Abstand zwischen den zwei repräsentativen geraden Begrenzungslinien tbo und tbi und der Abstand zwischen den zwei repräsentativen geraden Begrenzungslinien tao und tai im Bild aus der Vogelperspektive berechnet, das zum Beispiel in 21B gezeigt ist. In der Verarbeitung in Schritt S158 wird eine Festlegung getroffen, ob die Differenz zwischen den zwei berechneten Abständen innerhalb eines vorab festgelegten Toleranzbereichs liegt.
Wenn bestimmt wird, dass die Parallelität der Seitenlinien a und b der Parklücke T nicht innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S157 in 20: Nein), bestimmt die Vorrichtung 200 zum Kalibrieren des Montagewinkels den Montagewinkel der fahrzeuginternen Kamera 10, der in der Umwandlung in die Vogelperspektive verwendet wird, als nicht korrekt. Auch wenn sie bestimmt, dass der Unterschied in der Breite zwischen den Seitenlinien a und b der Parklücke T nicht innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S158: nein), bestimmt die Vorrichtung 200 zum Kalibrieren des Montagewinkels, dass der Montagewinkel der fahrzeuginternen Kamera 10, der in der Umwandlung in die Vogelperspektive verwendet wurde, nicht korrekt ist.
Die Vorrichtung 200 zum Kalibrieren des Montagewinkels ändert den vorab festgelegten Wert des Montagewinkels (Schritt S159) und wandelt das repräsentative aufgenommene Bild unter Verwendung des Montagewinkels nach der Änderung erneut in ein Bild aus der Vogelperspektive um (Schritt S156). Anschließend bestimmt die Vorrichtung 200 zum Kalibrieren des Montagewinkels durch Analysieren des erhaltenen Bildes aus der Vogelperspektive, ob die Parallelität zwischen den Seitenlinien a und b der Parklücke T in dem Bild aus der Vogelperspektive innerhalb des vorab festgelegten Toleranzbereichs liegt und ob der Unterschied in der Breite zwischen den Seitenlinien a und b der Parklücke T innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritte S157 und S158). Auf diese Weise wiederholt die Vorrichtung 200 zum Kalibrieren des Montagewinkels die vorstehend erläuterte Bestimmung, bis die Bedingung erfüllt ist. Somit wird ein korrekter Montagewinkel der fahrzeuginternen Kamera 10 relativ zum Fahrzeug 1 durch Suchen gefunden.
Wenn bestimmt wird, dass die Parallelität der Seitenlinien a und b der Parklücke T in dem Bild aus der Vogelperspektive innerhalb des vorab festgelegten Toleranzbereichs liegt, und der Unterschied in der Breite zwischen den Seitenlinien a und b der Parklücke T innerhalb des vorab festgelegten Toleranzbereichs liegt (Schritt S157: Ja und Schritt S158: Ja in 20), bestimmt die Vorrichtung 200 zum Kalibrieren des Montagewinkels als Aktualisierungswert des Montagewinkels (einen korrekten Wert des Montagewinkels) den Wert des Montagewinkels, der in der Umwandlung in die Vogelperspektive zu dieser Zeit verwendet wird (Schritt S160).
Die Vorrichtung 200 zum Kalibrieren des Montagewinkels schreibt den bestimmten Aktualisierungswert des Montagewinkels in die Speichereinheit 21 in der Bilderzeugungsvorrichtung 20, wodurch der voreingestellte Wert des in der Speichereinheit 21 gespeicherten Montagewinkels aktualisiert wird (Schritt S161). Dann wird der Vorgang zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform beendet.
Es sei angemerkt, dass auch im vorstehend beschriebenen Vorgang zum Kalibrieren des Montagewinkels die Verarbeitung von Schritt S100 in 3 bis Schritt S160 in 20 dem Montagewinkelerfassungsvorgang zum Erfassen eines Montagewinkels der fahrzeuginternen Kamera 10 entspricht.
Wie vorstehend genau beschrieben wurde, wandelt die Vorrichtung 200 zum Kalibrieren des Montagewinkels (der Montagewinkelkalibriervorgang), die die Vorrichtung 220 zum Erfassen des Montagewinkels nach der vorliegenden Ausführungsform enthält, das repräsentative erfasste Bild mit zwei repräsentativen geraden Mittellinien und vier repräsentativen geraden Begrenzungszlinien in ein Bild aus der Vogelperspektive um. Daher kann die Vorrichtung 200 zum Kalibrieren des Montagewinkels direkt die repräsentativen geraden Mittellinien und die repräsentativen geraden Begrenzungslinien aus dem Bild aus der Vogelperspektive berechnen. Somit wird in der Vorrichtung 200 zum Kalibrieren des Montagewinkels gemäß der vorliegenden Ausführungsform die Parklücke T in dem Bild aus der Vogelperspektive erfasst, und selbst wenn die Seitenlinien a und b der Parklücke T nicht erfasst worden sind, kann einfach bestimmt werden, ob die zwei Seitenlinien a und b korrekt in ein Bild aus der Vogelperspektive umgewandelt wurden.
Zudem wandelt die Vorrichtung 200 zum Kalibrieren des Montagewinkels das repräsentative aufgenommene Bild, das die vorbestimmte Anzahl von aufgenommenen Bildern wiedergibt, in ein Bild aus der Vogelperspektive um. Daher wird die Vorrichtung 200 zum Kalibrieren des Montagewinkels nach der vorliegenden Ausführungsform nicht durch Rauschen beeinflusst, das im aufgenommenen Bild enthalten ist. Somit kann ein korrekter Anbringungswinkel der fahrzeuginternen Kamera 10 relativ zum Fahrzeug 1 stabil erfasst werden.
Variation:
Jede der vorstehend beschriebenen Ausführungsformen kann wie folgt modifiziert werden. Wie vorstehend anhand von 10 beschrieben, gibt es einen Versatz in den Positionen der Endpunkte der beiden Seitenlinien a und b (siehe 10C), wenn die Breiten der zwei Seitenlinien a und b nicht gleich sind. Wenn im Gegensatz dazu die Breiten der zwei Seitenlinien a und b gleich sind, gibt es keinen Versatz in den Positionen der Endpunkte der zwei Seitenlinien a und b (siehe 10D).
Somit kann in der Vorrichtung zum Kalibrieren des Montagewinkels nach der vorliegenden Abwandlung der Montagewinkel der fahrzeuginternen Kamera 10 durch die Suche gefunden werden, indem auf die Positionen der Endpunkte der zwei Seitenlinien a und b statt den Unterschied in der Breite zwischen den beiden Seitenlinien a und b abgestellt wird.
Es sei beispielsweise angenommen, dass das aufgenommene Bild das in 22A gezeigte Bild ist. Weiterhin wird angenommen, dass die Umwandlung dieses aufgenommenen Bildes in die Vogelperspektive zu dem Bild aus der Vogelperspektive führt, das in 22B gezeigt ist. In diesem Fall sind die gerade Mittellinie bc der Seitenlinie b und die gerade Mittellinie ac der Seitenlinie a in dem Bild aus der Vogelperspektive nicht parallel. Daher ist es möglich, zu bestimmen, dass der Montagewinkel nicht korrekt ist, der in der Umwandlung in die Vogelperspektive verwendet wird.
Es sei daher angenommen, dass eine kontinuierliche Suche nach dem Montagewinkel der fahrzeuginternen Kamera 10 zu dem in 22C gezeigten Bild aus der Vogelperspektive führt. In diesem Fall sind die gerade Mittellinie bc der Seitenlinie b und die gerade Mittellinie ac der Seitenlinie a in dem Vogelperspektivenbild parallel. Es gibt jedoch einen Versatz zwischen der Position eines Endpunkts Tpb der Seitenlinie b und der Position eines Endpunkts Tpa der Seitenlinie a. Daher ist es möglich, zu bestimmen, dass der Montagewinkel nicht korrekt ist, der in der Umwandlung in die Vogelperspektive verwendet wird.
Des Weiteren sei angenommen, dass eine kontinuierliche Suche nach dem Montagewinkel der fahrzeuginternen Kamera 10 zu dem in 22D gezeigten Bild aus der Vogelperspektive führt. In diesem Bild aus der Vogelperspektive sind die gerade Mittellinie bc der Seitenlinie b und die gerade Mittellinie ac der Seitenlinie a parallel und es gibt keinen Versatz zwischen der Position des Endpunkts Tpb der Seitenlinie b und der Position des Endpunkts Tpa der Seitenlinie a. In diesem Fall ist es möglich, zu bestimmen, dass der Montagewinkel korrekt ist, der in der Umwandlung in die Vogelperspektive verwendet wird.
Somit wird mit der Vorrichtung zum Kalibrieren des Montagewinkels nach der vorliegenden Variation der Montagewinkel der fahrzeuginternen Kamera 10 gesucht, bis ein Bild aus der Vogelperspektive erhalten wird, in dem die Seitenlinien a und b der Parklücke T parallel sind, und das keinen Versatz zwischen den Positionen der Endpunkte der Seitenlinien a und b der Parklücke T aufweist. Somit kann ein korrekter Montagewinkel der fahrzeuginternen Kamera 10 am Fahrzeug 1 bestimmt werden.
In der vorstehend beschriebenen Vorrichtung zum Kalibrieren des Montagewinkels nach der vorliegenden Abwandlung wird der Montagewinkel der fahrzeuginternen Kamera 10 basierend auf der Parallelität der Seitenlinien a und b der Parklücke T und der Positionen der Endpunkte der Seitenlinien a und b der Parklücke T gesucht. Somit wird in dem Montagewinkelkalibriervorgang wie vorstehend anhand von 18 beschrieben der Montagewinkel der fahrzeuginternen Kamera 10 selbst dann erfasst, wenn die Parklücke T nicht die Querlinie c aufweist. Dadurch kann der Montagewinkel auf einen korrekten Montagewinkel kalibriert werden.
Obwohl vorstehend die Ausführungsformen und ihre Variation beschrieben wurden, ist die Technik der vorliegenden Offenbarung nicht auf den vorstehend beschriebenen Inhalt beschränkt. Die Technik der vorliegenden Offenbarung kann in verschiedenen Formen angewendet werden, ohne von deren Lehren abzuweichen.
Bezugszeichenliste

1 ...: Fahrzeug
10 ...: Fahrzeuginterne Kamera
20 ...: Bilderzeugungsvorrichtung
100 ...: Vorrichtung zum Kalibrieren des Montagewinkels
101 ...: Einheit zum Erhalt eines aufgenommenen Bilds
102 ...: Einheit zum Erfassen einer geraden Mittellinie
103 ...: Einheit zum Erfassen einer geraden Begrenzungslinie
104 ...: Speichereinheit für erfasste gerade Linien
105 ...: Parallelbestimmungseinheit
106 ...: Fahrzeugüberwachungseinheit
107 ...: Alarmausgabeeinheit
108 ...: Einheit zum Erhalt eines vorab festgelegten Werts
109 ...: Einheit zur Umwandlung in die Vogelperspektive
110 ...: Montagewinkelbestimmungseinheit
111 ...: Vogelperspektivenbildevaluierungseinheit
112 ...: Einheit zum Ändern des vorab festgelegten Werts
113 ...: Montagewinkelsucheinheit
114 ...: Montagewinkelaktualisierungseinheit
120 ...: Vorrichtung zum Erfassen des Montagewinkels
200 ...: Vorrichtung zum Kalibrieren des Montagewinkels
201 ...: Einheit zum Erzeugen eines repräsentativen aufgenommenen Bilds
220 ...: Vorrichtung zum Erfassen des Montagewinkels

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2011182236 A [0008]

Claims

Vorrichtung (120, 220) zum Erfassen eines Montagewinkels, die einen Montagewinkel erfasst, in dem eine fahrzeuginterne Kamera (10) zum Erfassen eines Bildes eines Bodens um ein Fahrzeug an dem Fahrzeug montiert ist, wobei die Vorrichtung zum Erfassen eines Montagewinkels Folgendes umfasst: eine Einheit (101) zum Erhalten eines aufgenommenen Bildes, die ein aufgenommenes Bild des Bodens erhält, auf dem eine Zielmarkierung mit zwei zueinander parallelen geradlinigen Teilen mit gleicher Breite markiert ist; eine Einheit (109) zum Umwandeln in die Vogelperspektive, die einen vorab festgelegten Wert des Montagewinkels der fahrzeuginternen Kamera relativ zum Fahrzeug erhält und das aufgenommene Bild in ein Bild aus der Vogelperspektive unter der Annahme umwandelt, dass die fahrzeuginternen Kamera entsprechend dem vorab festgelegten Wert montiert ist, wobei das Bild aus der Vogelperspektive ein Bild ist, in dem der in dem aufgenommenen Bild erscheinende Boden so erscheint, als ob er von oben gesehen würde; eine Montagewinkelsucheinheit (110), die durch Ändern des vorab festgelegten Werts des Montagewinkels, der bei der Umwandlung in die Vogelperspektive eingesetzt wird, nach dem Montagewinkel sucht, in dem sowohl Parallelitäten der beiden geradlinigen Teile der Zielmarkierung im Bild aus der Vogelperspektive als auch ein Unterschied in der Breite zwischen den zwei geradlinigen Teilen der Zielmarkierung im Bild aus der Vogelperspektive innerhalb vorab festgelegter Toleranzbereiche liegen; und eine Montagewinkelbestimmungseinheit (113), die den durch die Suche gefundenen Montagewinkel als den Montagewinkel der fahrzeuginternen Kamera relativ zum Fahrzeug bestimmt.
Vorrichtung zum Erfassen eines Montagewinkels nach Anspruch 1, wobei die fahrzeuginterne Kamera vorn oder hinten am Fahrzeug angebracht ist, die Einheit zum Erhalt eines aufgenommenen Bildes zahlreiche aufgenommene Bilder erhält, die Bilder sind, die aus verschiedenen Positionen erfasst werden, während das Fahrzeug in einer geraden Linie entlang einer Richtung der beiden geradlinigen Teile der Sollmarkierung bewegt wird, die Vorrichtung zum Erfassen eines Montagewinkels weiterhin Folgendes umfasst: eine Einheit (102) zum Erfassen einer geraden Mittellinie, die die zwei geradlinigen Teile der Zielmarkierung aus dem aufgenommenen Bild erfasst und Schrägen zweier gerader Mittellinien erkennt, die Verlängerungen der beiden geraden Linienteile sind, und Schnittpositionen, an denen die beiden geraden Mittellinien eine vorbestimmte Kante des aufgenommenen Bildes in einem Zustand schneiden, in dem die beiden geraden Mittellinien erkannt worden sind; und eine Parallelbestimmungseinheit (105), die die Schrägen und die Schnittpositionen der beiden geraden Mittellinien speichert, die von jedem aus den zahlreichen aufgenommenen Bilder in dem Zustand erfasst werden, in dem die zwei geraden Mittellinien identifiziert wurden, und die bestimmt, dass das Fahrzeug zu den zwei geradlinigen Teilen der Zielmarkierung parallel ist, wenn Abweichungen in den Schrägen und den Schnittpositionen der jeweiligen zwei geraden Mittellinien innerhalb vorab festgelegter Toleranzbereiche liegen, und die Montagewinkelsucheinheit den Montagewinkel sucht, wenn bestimmt wird, dass das Fahrzeug parallel zu den zwei geradlinigen Teilen der Zielmarkierung ist.
Vorrichtung zum Erfassen eines Montagewinkels nach Anspruch 2, weiter mit einer Einheit (103) zum Erfassen gerader Begrenzungslinien, die die zwei geradlinigen Teile der Zielmarkierung aus dem aufgenommenen Bild erfasst und Schrägen von vier geraden Begrenzungslinien erfasst, die Verlängerungen von inneren und äußeren geraden Linien der zwei geradlinigen Teile sind, und Begrenzungslinienschnittpositionen, an denen die vier geraden Begrenzungslinien eine vorab festgelegte Kante des aufgenommenen Bildes in einem Zustand kreuzen, in dem die vier geraden Begrenzungslinien identifiziert worden sind, wobei die zwei geradlinigen Teile vorab festgelegte Breiten aufweisen, wobei die Parallelbestimmungseinheit die Schrägen und die Begrenzungslinienschnittpositionen der vier geraden Begrenzungslinien speichert, die aus jedem der zahlreichen aufgenommenen Bilder in dem Zustand erfasst wurden, in dem die vier geraden Begrenzungslinien identifiziert wurden, und bestimmt, dass das Fahrzeug parallel zu den zwei geradlinigen Teilen der Zielmarkierung ist, wenn Abweichungen in den Schrägen und den Begrenzungslinienschnittpositionen der jeweiligen aus den vier geraden Begrenzungslinien innerhalb vorbestimmter Toleranzbereiche liegen, und die Montagewinkelsucheinheit den Montagewinkel sucht, wenn bestimmt wird, dass das Fahrzeug parallel zu den zwei geradlinigen Teilen der Zielmarkierung ist.
Vorrichtung zum Erfassen eines Montagewinkels nach Anspruch 3, weiter mit einer Einheit (201) zum Erzeugen eines repräsentativen aufgenommenen Bildes, die, wenn bestimmt wird, dass das Fahrzeug parallel zu den zwei geradlinigen Teilen der Zielmarkierung ist, basierend auf einem Ergebnis des Extrahierens der vier geraden Begrenzungslinien aus jedem der zahlreichen aufgenommenen Bilder vier repräsentative gerade Begrenzungslinien bestimmt, die die vier geraden Begrenzungslinien wiedergeben, und ein repräsentatives aufgenommenes Bild erzeugt, das die zahlreichen aufgenommenen Bilder wiedergibt, indem die zwei geradlinigen Teile der Zielmarkierung durch die vier repräsentativen geraden Begrenzungslinien dargestellt werden, wobei die Vogelperspektivenumwandlungseinheit das Bild aus der Vogelperspektive durch Umwandeln des repräsentativen aufgenommenen Bildes in die Vogelperspektive erzeugt.
Montagewinkelerfassungsvorrichtung nach einem der Ansprüche 1 bis 4, weiter mit: einer Fahrzeugüberwachungseinheit (106), die einen Lenkwinkel des Fahrzeugs überwacht, während das aufgenommene Bild erhalten wird; und einer Alarmausgabeeinheit (107), die einen Alarm ausgibt, wenn sich das Fahrzeug nicht geradeaus bewegt, während das aufgenommene Bild erhalten wird.
Vorrichtung (100, 200) zum Kalibrieren eines Montagewinkels, die einen Montagewinkel kalibriert, in dem eine fahrzeuginterne Kamera zum Erfassen eines Bildes eines Bodens um ein Fahrzeug herum an dem Fahrzeug montiert ist, wobei die Vorrichtung zum Kalibrieren des Montagewinkels Folgendes umfasst: eine Einheit (101) zum Erhalt eines aufgenommenen Bildes, die ein aufgenommenes Bild des Bodens erhält, auf dem eine Zielmarkierung mit zwei geradlinigen Teilen parallel zueinander und mit gleicher Breite markiert ist; eine Einheit (109) zur Umwandlung in die Vogelperspektive, die einen vorab festgelegten Wert des Montagewinkels der fahrzeuginternen Kamera relativ zum Fahrzeug erhält und das aufgenommene Bild in ein Bild aus der Vogelperspektive unter der Annahme umwandelt, dass die fahrzeuginterne Kamera gemäß dem vorab festgelegten Wert montiert ist, wobei das Bild aus der Vogelperspektive ein Bild ist, in dem der in dem aufgenommenen Bild erscheinende Boden so erscheint, als ob er von oben gesehen würde; eine Montagewinkelsucheinheit (110), die durch Ändern des vorab festgelegten Werts des Montagewinkels, der bei der Umwandlung in die Vogelperspektive zu verwenden ist, nach dem Montagewinkel sucht, bei dem sowohl die Parallelität der beiden geradlinigen Teile der Zielmarkierung im Bild aus der Vogelperspektive als auch ein Unterschied in der Breite zwischen den zwei geradlinigen Teilen der Zielmarkierung in dem Bild aus der Vogelperspektive innerhalb vorbestimmter Toleranzbereiche liegen; und eine Montagewinkelaktualisierungseinheit (114), die den vorab festgelegten Wert des Montagewinkels basierend auf dem durch die Suche gefundenen Montagewinkel aktualisiert und den Montagewinkel der fahrzeuginternen Kamera relativ zum Fahrzeug kalibriert.
Vorrichtung zum Erfassen eines Montagewinkels nach Anspruch 6, wobei die fahrzeuginterne Kamera vorn oder hinten am Fahrzeug angebracht ist, die Einheit zum Erhalt eines aufgenommenen Bildes zahlreiche aufgenommene Bilder erhält, die Bilder sind, die von verschiedenen Positionen erfasst werden, während das Fahrzeug geradeaus in einer Richtung der zwei geradlinigen Teile der Zielmarkierung bewegt wird, wobei die Vorrichtung zum Erfassen eines Montagewinkels weiterhin Folgendes umfasst: eine Einheit (102) zum Erfassen einer geraden Mittellinie, die die zwei geradlinigen Teile der Zielmarkierung aus dem aufgenommenen Bild erfasst und Schrägen zweier gerader Mittellinien erkennt, die Verlängerungen der beiden geraden Linienteile sind, und Schnittpositionen, an denen die zwei geraden Mittellinien eine vorab festgelegte Kante des aufgenommenen Bildes in einem Zustand kreuzen, in dem die zwei geraden Mittellinien identifiziert worden sind; und eine Parallelbestimmungseinheit (105), die die Schrägen und die Schnittpositionen der zwei geraden Mittellinien speichert, die aus jedem der zahlreichen aufgenommenen Bilder in dem Zustand erfasst wurden, in dem die zwei geraden Mittellinien identifiziert wurden, und bestimmt, dass das Fahrzeug parallel zu den zwei geradlinigen Teilen der Zielmarkierung ist, wenn erfasst wird, dass Abweichungen in den Schrägen und den Schnittpositionen von jeweiligen aus den zwei geraden Mittellinien innerhalb vorbestimmter Toleranzbereiche liegen, und die Montagewinkelsucheinheit den Montagewinkel sucht, wenn bestimmt wird, dass das Fahrzeug parallel zu den zwei geradlinigen Teilen der Zielmarkierung ist.
Verfahren zum Erfassen eines Montagewinkels, bei dem eine fahrzeuginterne Kamera zum Erfassen eines Bildes eines Bodens um ein Fahrzeug herum an dem Fahrzeug montiert ist, wobei das Verfahren zum Erfassen des Montagewinkels Folgendes umfasst: einen Schritt (S102) des Erhaltens eines aufgenommenen Bildes des Bodens, auf dem eine Zielmarkierung mit zwei zueinander parallelen geradlinigen Teilen mit gleicher Breite markiert ist; einen Schritt (S115, S155) des Erhaltens eines vorab festgelegten Werts des Montagewinkels der fahrzeuginternen Kamera relativ zum Fahrzeug; einen Schritt (S116, S156) des Umwandelns des aufgenommenen Bildes in ein Bild aus der Vogelperspektive, wenn der vorab festgelegte Wert erhalten wird, unter der Annahme, dass die fahrzeuginterne Kamera passend zum vorab festgelegten Wert am Fahrzeug montiert ist, wobei das Bild aus der Vogelperspektive ein Bild ist, in dem der Boden in dem aufgenommenen Bild so erscheint, als ob er von oben gesehen würde; einen Bestimmungsschritt (S117, S118, S157, S158) des Erfassens der Parallelität der zwei geradlinigen Teile der Zielmarkierung in dem Bild aus der Vogelperspektive und eines Unterschieds in der Breite zwischen den zwei geradlinigen Teilen, und des Bestimmens, ob die Parallelität und der Unterschied in der Breite der zwei geradlinigen Teile, die erfasst wurden, innerhalb vorab festgelegter Toleranzbereiche liegen; einen Schritt (S119, S159) des Suchens eines Montagewinkels, in dem, wenn entweder die Parallelität oder der Unterschied in der Breite der zwei geradlinigen Teile, die erfasst worden sind, nicht innerhalb der vorbestimmten Toleranzbereiche liegt, der Montagewinkel gesucht wird, bei dem sowohl die Parallelität als auch der Unterschied in der Breite der zwei geradlinigen Teile innerhalb der vorab festgelegten Toleranzbereiche liegt, indem der vorab festgelegte Wert des Montagewinkels der fahrzeuginternen Kamera geändert wird; und einen Schritt (S120, S160) zum Bestimmen des durch die Suche gefundenen Montagewinkels als Montagewinkel der fahrzeuginternen Kamera relativ zum Fahrzeug.
Verfahren zum Erfassen eines Montagewinkels nach Anspruch 8, das für die fahrzeuginterne Kamera zum Aufnehmen eines Bildes eines Bodens angewendet wird, der sich vor oder hinter dem Fahrzeug befindet, wobei in dem Schritt zum Erfassen des aufgenommenen Bildes zahlreiche aufgenommene Bilder erhalten werden, die aus verschiedenen Positionen aufgenommene Bilder sind, während das Fahrzeug geradeaus entlang einer Richtung der zwei geradlinigen Teile der Zielmarkierung bewegt wird, wobei das Verfahren zum Erfassen des Montagewinkels weiterhin umfasst: einen Schritt (S103) des Erfassens einer geraden Mittellinie zum Erfassen der zwei geradlinigen Teile der Zielmarkierung aus dem aufgenommenen Bild, des Erfassens von Schrägen von zwei geraden Mittellinien, die Verlängerungen der zwei geradlinigen Teile sind, und von Schnittpositionen, an denen die zwei geraden Mittellinien eine vorbestimmte Kante des aufgenommenen Bildes in einem Zustand schneiden, in dem die zwei geraden Mittellinien identifiziert wurden, und des Speicherns der Schrägen und der Schnittpositionen in einer vorab festgelegten Speichereinrichtung; und einen Parallelbestimmungsschritt (S110, S150), der bestimmt, dass das Fahrzeug parallel zu den beiden geradlinigen Teile der Zielmarkierung ist, wenn Abweichungen der Schrägen und der Schnittpositionen der zwei geraden Mittellinien, die aus jedem der zahlreichen aufgenommenen Bilder erfasst werden, innerhalb vorab festgelegter Toleranzbereiche liegen, und in dem Schritt des Erhaltens des vorab festgelegten Wertes der vorab festgelegte Wert des Montagewinkels erhalten wird, wenn bestimmt wird, dass das Fahrzeug parallel zu den zwei geradlinigen Teilen der Zielmarkierung ist.