-
QUERVERWEIS AUF ZUGEHÖRIGE ANMELDUNG
-
Diese Anmeldung basiert auf der
japanischen Patentanmeldung Nr. 2014-193542 , angemeldet am 24. September 2014; auf den dortigen Offenbarungsgehalt wird vollinhaltlich Bezug genommen.
-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft eine Fahrzeug-Bildverarbeitungsvorrichtung, welche eine Anzeigevorrichtung verwendet, um ein um ein Fahrzeug herum aufgenommenes Bild anzuzeigen.
-
STAND DER TECHNIK
-
Eine allgemein bekannte Technologie verwendet eine bordseitige Kamera zur Aufnahme einer Situation um ein Fahrzeug herum, synthetisiert eine Mehrzahl von Bildern, die von der bordseitigen Kamera aufgenommen worden sind und zeigt ein synthetisiertes Bild auf einer Anzeigevorrichtung an. Insbesondere synthetisiert die Technologie ein aktuelles Bild, welches von der bordseitigen Kamera soeben aufgenommen wird mit einem vergangenen Bild, welches auf einem Bild basiert, das in der Vergangenheit aufgenommen worden ist, um ein Bild der Fahrzeugumgebung zu erzeugen. Die Technologie kann somit der Anzeigevorrichtung erlauben, fortlaufend einen Teil der Fahrzeugumgebung in einem blinden Fleck anzuzeigen (beispielsweise Patentliteratur 1).
-
Das aktuelle Bild und das vergangene Bild werden synthetisiert, indem das vergangene Bild entsprechend der Fahrzeugfahrt bewegt wird. Das heißt, eine Fahrstrecke des Fahrzeugs muss ermittelt werden, um das aktuelle Bild mit dem vergangenen Bild zu synthetisieren. Eine Fahrzeuggeschwindigkeit kann als eine Größe betreffend die Fahrzeugfahrt auf der Grundlage eines Fahrzeuggeschwindigkeitsimpulses erlangt werden.
-
Der Fahrzeuggeschwindigkeitsimpuls enthält weder positive noch negative Information. Es ist unmöglich, eine Fahrtrichtung des Fahrzeugs auf der Grundlage des Fahrzeuggeschwindigkeitsimpulses zu bestimmen. Um dem zu begegnen, kann ein Verfahren angewendet werden, welches eine Fahrtrichtung des Fahrzeugs auf einer Grundlage von beispielsweise einer Getriebeschaltposition des Fahrzeugs ermittelt. Es sei jedoch angenommen, dass das Fahrzeug aufgrund einer Fahrbahnsteigung schräg steht. In diesem Fall kann sich das Fahrzeug rückwärts bewegen, selbst wenn die Getriebeschaltposition auf „Drive” steht. Das Fahrzeug kann sich vorwärts bewegen, selbst wenn die Getriebeschaltposition auf „Reverse” steht. In einem solchen Fall unterscheidet sich die tatsächliche Fahrtrichtung des Fahrzeugs von der Fahrtrichtung in dem vergangenen Bild während der Bildsynthetisierung. Es ergibt sich eine Fehlausrichtung bei der Synthetisierung zwischen dem aktuellen Bild und dem vergangenen Bild.
-
DRUCKSCHRIFTLICHER STAND DER TECHNIK
-
PATENTLITERATUR
-
- Patentliteratur 1: JP-2013-55410 A
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Es ist eine Aufgabe der vorliegenden Erfindung, eine Fahrzeug-Bildverarbeitungsvorrichtung zu schaffen, die in der Lage ist, eine Mehrzahl von Bildern korrekt zur synthetisieren, welche von einer Bildaufnahmevorrichtung aufgenommen worden sind.
-
Gemäß einem Aspekt der vorliegenden Erfindung weist eine Fahrzeug-Bildverarbeitungsvorrichtung, welche in ein Fahrzeug eingebaut ist, welches eine Bildaufnahmevorrichtung zur Aufnahme eines bestimmten Bereichs um das Fahrzeug herum und eine Anzeigevorrichtung zur Anzeige des von der Bildaufnahmevorrichtung aufgenommenen Bilds enthält, auf: eine erste Erlangungsvorrichtung, welche eine Fahrzeuggeschwindigkeit als einen Fahrzustand auf der Grundlage eines Fahrzeuggeschwindigkeitsimpulses erlangt, während die Bildaufnahmevorrichtung ein Bild aufnimmt; eine Speichervorrichtung, welche das aufgenommene Bild als vergangenes Bild speichert; eine Bilderzeugungsvorrichtung, welche das in der Speichervorrichtung gespeicherte vergangene Bild mit einem aktuellen Bild synthetisiert, das von der Bildverarbeitungsvorrichtung aufgenommen worden ist, basierend auf dem von der ersten Erlangungsvorrichtung erlangten Fahrzustand und ein Anzeigebild erzeugt, das auf der Anzeigevorrichtung anzuzeigen ist; und eine Richtungsbestimmungsvorrichtung, welche eine Fahrtrichtung des Fahrzeugs auf der Grundlage eines Werts bestimmt, der von einer zweiten Erlangungsvorrichtung erlangt worden ist, welche einen tatsächlichen Fahrmodus des Fahrzeugs erlangt. Die Bilderzeugungsvorrichtung synthetisiert das vergangene Bild mit dem aktuellen Bild auf der Grundlage der Fahrtrichtung, welche von der Richtungsbestimmungsvorrichtung bestimmt worden ist, zusätzlich zu dem Fahrzustand, der von der ersten Erlangungsvorrichtung erlangt worden ist.
-
Die obige Fahrzeug-Bildverarbeitungsvorrichtung bestimmt eine Fahrtrichtung auf der Grundlage des tatsächlichen Fahrmodus des Fahrzeugs. Die Fahrzeug-Bildverarbeitungsvorrichtung synthetisiert Bilder unter Verwendung einer Fahrtrichtung, welche auf der Grundlage des tatsächlichen Fahrmodus zusätzlich zu einer Fahrzeuggeschwindigkeit bestimmt worden ist, welche auf dem Fahrzeuggeschwindigkeitsimpuls basierend ermittelt wurde. Die Fahrzeug-Bildverarbeitungsvorrichtung kann ein aktuelles Bild korrekt mit einem vergangenem Bild auch in einer Situation synthetisieren, in der das Fahrzeug trotz der Getriebeschaltposition „Drive” rückwärts fährt oder trotz der Getriebeschaltposition „Reverse” vorwärts fährt, um Beispiele zu nennen.
-
KURZE BESCHREIBUNG DER ZEICHNUNG
-
Die obige und weitere Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben sich besser aus der folgenden detaillierten Beschreibung unter Bezugnahme auf die beigefügte Zeichnung. In der Zeichnung ist:
-
1 eine Darstellung des Aufbaus zur Erläuterung eines Bildanzeigesystems;
-
2 eine Darstellung einer Kamera und deren Aufnahmebereich;
-
3 eine Darstellung eines perspektiven Transformationsverfahrens;
-
4 ein Flussdiagramm eines Bildsynthetisierungsprozesses; und
-
5 ein Flussdiagramm eines Fahrtrichtungsbestimmungsprozesses auf der Grundlage der Beschleunigung.
-
AUSFÜHRUNGSFORMEN ZUR DURCHFÜHRUNG DER ERFINDUNG
-
Unter Bezugnahme auf die beigefügte Zeichnung erläutert die folgende Beschreibung eine Ausführungsform, welche eine Bildverarbeitungseinheit als Fahrzeug-Bildverarbeitungsvorrichtung in einem Bildanzeigesystem für Fahrzeuge (Kraftfahrzeuge) anwendet.
-
Wie in 1 gezeigt, ist das Bildanzeigesystem in ein Fahrzeug eingebaut und enthält eine Frontkamera 11, eine Heckkamera 12, eine Bildverarbeitungseinheit 13 und einen bordseitigen Monitor 14. Die Frontkamera 11 und der Heckmonitor 12 sind jeweils als Bildaufnahmevorrichtung vorgesehen. Die Bildverarbeitungseinheit 13 wird mit Aufnahmedaten von den Kameras 11 und 12 versorgt. Der bordseitige Monitor 14 wird als Anzeigevorrichtung vorgesehen und zeigt ein Anzeigebild an, das von der Bildverarbeitungseinheit 13 auf der Grundlage der Aufnahmedaten erzeugt wurde.
-
Die Kameras 11 und 12 nehmen einen bestimmten Bereich um das Fahrzeug herum auf. Genauer gesagt, die Frontkamera 11 beziehungsweise Heckkamera 12 sind vorne beziehungsweise hinten am Fahrzeug angebracht. Die Frontkamera 11 nimmt einen bestimmten Bereich vorderhalb des Fahrzeugs auf. Die Heckkamera 12 nimmt einen bestimmten Bereich hinterhalb des Fahrzeugs auf. Die Kameras 11 und 12 sind jeweils als Weitwinkelkameras ausgelegt, die in der Lage sind, in einem Weitwinkelbereich aufzunehmen. Die Kameras 11 und 12 sind in der Lage, beispielsweise in einem Winkel von 180 Grad vorderhalb und hinterhalb des Fahrzeugs aufzunehmen. Die Kameras 11 und 12 sind jeweils als digitale Kameras vorgesehen, die zur Aufnahme einen CCD- oder CMOS-Bildsensor verwenden.
-
Genauer gesagt und wie in 2 gezeigt, ist die Frontkamera 11 an der Vorderseite des Dachs angebracht und die Heckkamera 12 ist an der Rückseite des Dachs des Fahrzeugs C angebracht. Die Frontkamera 11 nimmt den Frontbereich R1 auf. Die Heckkamera 12 nimmt den Heckbereich R2 auf. Frontbereich R1 und Heckbereich R2 liegen in einer Vorwärts/Rückwärts-Richtung des Fahrzeugs C.
-
Wenn das Fahrzeug C sich vorwärts bewegt, wird ein als Frontbereich R1 von der Frontkamera 11 aufgenommener Bereich von der Heckkamera 12 als Heckbereich R2 aufgenommen, wenn das Fahrzeug C sich vorwärts bewegt. Wenn sich das Fahrzeug C rückwärts bewegt, wird ein von der Heckkamera 12 als Heckbereich R2 aufgenommener Bereich von der Frontkamera 11 als Frontbereich R1 aufgenommen, wenn sich das Fahrzeug C rückwärts bewegt. Die Frontkamera 11 und die Heckkamera 12 liegen auf einer gemeinsamen Linie (Mittellinie X1), die sich in Vorwärts/Rückwärts-Richtung des Fahrzeugs C erstreckt. Die Frontkamera 11 und die Heckkamera 12 nehmen die Vorderseite und Heckseite des Fahrzeugs unter Bezugnahme der Mittellinie X1 als Aufnahmemitte auf.
-
Die Frontkamera 11 ist nicht in der Lage hinter dem Fahrzeug und hinterhalb der Frontkamera 11 aufzunehmen. Die Heckkamera 12 ist nicht in der Lage, vorderhalb des Fahrzeugs vor der Heckkamera 12 aufzunehmen. Rechte und linke Seiten des Fahrzeugs C bilden einen Bereich R3 (Zwischenbereich) außerhalb der Bereiche der Kameras 11 und 12. Die Kameras 11 und 12 liegen tiefer als die Horizontalrichtung, um Vorderseite und Heck des Fahrzeugs und eine Bodenfläche aufzunehmen.
-
Zurückkehrend zu 1 ist der bordseitige Monitor 14 beispielsweise in einem Instrumentenbrett angeordnet, sodass der Fahrer während der Fahrt den bordseitigen Monitor 14 im Fahrgastraum betrachten kann. Der bordseitige Monitor 14 kann von jeglicher Form und Größe sein. Gemäß der Ausführungsform zeigt der bordseitige Monitor 14 ein Fahrzeugumgebungsbild in einem Bereich, der vordere und hintere Bereiche um das Fahrzeug herum enthält. Folglich enthält ein Anzeigeschirm der bordseitigen Kamera 14 einen in Vertikalrichtung langen Anzeigebereich. Der bordseitige Monitor 14 kann neben dem Fahrzeugumgebungsbild auch andere Informationen anzeigen. Wenn der bordseitige Monitor 14 kein Fahrzeugumgebungsbild anzeigt, kann der Anzeigeschirm verschiedene Informationstypen anders als die aufgenommenen Bilder anzeigen. Die verschiedenen Informationstypen bezeichnen ein Bild vorderhalb des Fahrzeugs (beispielsweise ein Nachtsichtbild vorderhalb des Fahrzeugs) oder ein Navigationsbild auf der Grundlage der Position des Fahrzeugs C, die von einem GPS-Sensor 15 ermittelt worden ist.
-
Die Bildverarbeitungseinheit 13 arbeitet als eine Bildverarbeitungsvorrichtung, welche Aufnahmedaten von den Kameras 11 und 12 synthetisiert, um ein Anzeigebild zu erzeugen und die es dem bordseitigen Monitor 14 erlaubt, das Anzeigebild darzustellen. Die Bildverarbeitungseinheit 13 enthält eine erste Umwandlungsschaltung 21 und eine zweite Umwandlungsschaltung 22. Die erste Umwandlungsschaltung 21 wird mit Aufnahmedaten von der Frontkamera 11 beliefert. Die zweite Umwandlungsschaltung 22 wird mit Aufnahmedaten von der Heckkamera 12 beliefert. Die Umwandlungsschaltungen 21 und 22 führen entsprechende Umwandlungen an den Aufnahmedaten von der Frontkamera 11 beziehungsweise Heckkamera 12 durch und erzeugen ein Bild aus der Vogelperspektive. Das Bild aus der Vogelperspektive stellt sich als Draufsichtbild dar, in welchem die Aufnahmebereiche der Kameras 11 und 12 in Vertikalrichtung von oben her gesehen werden. Die Umwandlungsschaltungen 21 und 22 erzeugen ein vorderes Vogelperspektivenbild und ein hinteres Vogelperspektivenbild.
-
Die Kameras 11 und 12 nehmen vorderhalb und hinterhalb des Fahrzeugs in einem bestimmten Zeitintervall auf. Die Umwandlungsschaltungen 21 und 22 erlangen Bilder, aus der Vogelperspektive von vorderhalb und hinterhalb des Fahrzeugs zu einem bestimmten Zeitintervall.
-
Nachfolgend wird die Perspektivenumwandlung in den Umwandlungsschaltungen 21 und 22 erläutert. Wie in 3 gezeigt, befindet sich die Frontkamera 11 an einer Position in einer Höhe h gegenüber der Bodenfläche zur Aufnahme der Bodenfläche. Die Frontkamera 11 ermittelt ein Aufnahmebild auf einer Bildschirmebene T, welche von der Kameraposition um die Brennweite f beabstandet ist. In diesem Fall ist die Aufnahme einer Bodenebene unter Verwendung der Frontkamera 11 vergleichbar mit der Durchführung einer perspektiven Umwandlung von Bodenebenenkoordinaten in zweidimensionale Koordinaten auf der Bildschirmebene T. Die Umwandlungsschaltungen 21 und 22 führen eine Perspektivenumwandlung entgegengesetzt zu der perspektiven Umwandlung an Aufnahmebildern durch, die von den Kameras 11 und 12 aufgenommen werden, um die zweidimensionalen Koordinaten auf der Bildschirmebene T in Bodenebenenkoordinaten umzuwandeln. Die Umwandlungsschaltungen 21 und 22 erzeugen damit ein Bild aus Vogelperspektive (ein Draufsichtbild im Bereich P von 3) als Bild der Bodenoberfläche.
-
Bilddaten für die Bilder aus Vogelperspektive, welche durch die Umwandlungsschaltungen 21 und 22 erzeugt worden sind, werden der CPU 23 eingegeben. Die Bildverarbeitungseinheit 13 erzeugt ein Fahrzeugumgebungsbild auf der Grundlage des vorderen Vogelperspektivenbilds und des hinteren Vogelperspektivenbilds. Das Fahrzeugumgebungsbild wird als Vogelperspektivenbild ähnlich zu den Bildern erzeugt, welche von den Umwandlungsschaltungen 21 und 22 umgewandelt worden sind.
-
Das Bildanzeigesystem gemäß der Ausführungsform enthält einen Bereich R3 außerhalb der Bereiche der Kameras um das Fahrzeug herum (also an den Seiten des Fahrzeugs). Der Bereich R3 außerhalb der Kamerabereiche verwendet irgendein Vergangenheitsbild aus den aufgenommenen Bildern (vorderen Vogelperspektivenbilder) von der Frontkamera 11 und der aufgenommenen Bilder (hinteren Vogelperspektiven Bilder) von der Heckkamera 12. Die Bildverarbeitungseinheit 13 enthält ein Bildspeichermodul 24 als Speichervorrichtung, welches vergangene Bilder speichert, um unter Verwendung vergangener Bilder ein Fahrzeugumgebungsbild zu erzeugen. Das Fahrzeug C enthält einen Fahrzeuggeschwindigkeitssensor 16 zur Erkennung einer Fahrzeuggeschwindigkeit und einen Gierratensensor 17 zur Erkennung einer Gierrate (der Änderungsrate eines Drehwinkels in Kurvenfahrtrichtung des Fahrzeugs).
-
Erkennungssignale vom Fahrzeuggeschwindigkeitssensor 16 und vom Gierratensensor 17 werden sukzessive der CPU 23 eingegeben. Die Bildverarbeitungseinheit 13 als erste Erlangungsvorrichtung berechnet und erlangt die Fahrzeuggeschwindigkeit und die Gierrate als Fahrzeugzustand des Fahrzeugs C auf der Grundlage der Erkennungssignale (einem Fahrzeuggeschwindigkeitsimpuls und einem Gierratensignal) von den Sensoren 16 und 17. Es ist zumindest notwendig, in der Lage zu sein, einen Fahrzustand des Fahrzeugs C während der Aufnahme durch die Kameras 11 und 12 zu verstehen und eine Fahrtstrecke und einen Drehwinkel des Fahrzeugs C oder eine Position und Ausrichtung des Fahrzeugs C zu berechnen. Die Bildverarbeitungseinheit 13 ermöglicht es dem Bildspeichermodul 24, ein vergangenes Bild für das vordere Vogelperspektivenbild und ein vergangenes Bild für das hintere Vogelperspektivenbild in einem festgelegten Zeitintervall in Zuordnung mit der Fahrinformation (Fahrzeuggeschwindigkeit oder Gierrate) des Fahrzeugs C bei der Aufnahme der Bilder zu speichern.
-
Die CPU 23 als Bilderzeugungsvorrichtung erzeugt ein Fahrzeugumgebungsbild. Wenn sich das Fahrzeug C vorwärts bewegt, liest die CPU 23 ein vorderes vergangenes Bild aus dem Bildspeichermodul 24. Das vordere vergangene Bild bezeichnet ein Bild (vorderes vergangenes Bild), das von der Frontkamera 11 in der Vergangenheit aufgenommen wurde und als Bild für den Bereich R3 außerhalb der Kamerabereiche verwendet wird. Die CPU 23 erzeugt ein Fahrzeugumgebungsbild unter Verwendung des vorderen vergangenen Bilds und den aktuell aufgenommenen Bildern (vorderes aktuelles Bild und hinteres aktuelles Bild) von den Kameras 11 und 12. Wenn sich das Fahrzeug C rückwärts bewegt, liest die CPU 23 ein hinteres vergangenes Bild aus dem Bildspeichermodul 24. Das hintere vergangene Bild bezeichnet ein Bild, welches in der Vergangenheit von der Heckkamera 12 aufgenommen worden ist und welches als Bild für den Bereich R3 außerhalb der Kamerabereiche verwendet wird. Die CPU 23 erzeugt ein Fahrzeugumgebungsbild unter Verwendung des hinteren vergangenen Bilds und der aktuell aufgenommenen Bilder (vorderes aktuelles Bild und hinteres aktuelles Bild) von den Kameras 11 und 12.
-
Zur Erzeugung des Fahrzeugumgebungsbilds ordnet die Bildverarbeitungseinheit 13 das aktuelle Frontbild, das aktuelle Heckbild und das vergangene Frontbild (oder vergangene Heckbild) in Vorwärts/Rückwärtsrichtung des Fahrzeugs auf der gleichen Ebene an und verknüpft sie. Die Bildverarbeitungseinheit 13 verschiebt und dreht das vergangene Bild (euklidische Transformation) auf der Grundlage des momentanen Fahrzustands (Fahrzeuggeschwindigkeit oder Gierrate) des Fahrzeugs C und des Fahrzustands (Fahrzeuggeschwindigkeit oder Gierrate) des Fahrzeugs C zum Zeitpunkt der Aufnahme des vergangenen Bilds, um die Bilder zu einem Bild zu synthetisieren.
-
Wie oben beschrieben synthetisiert die Bildverarbeitungseinheit 13 das aktuelle Bild mit dem vergangenen Bild durch Verschieben und Drehen des vergangenen Bilds entsprechend einer Fahrstrecke des Fahrzeugs C zwischen der Zeit der Aufnahme des vergangenen Bilds bis zu dem aktuellen. Der Fahrzeuggeschwindigkeitssensor 16 wird verwendet, die Fahrstrecke des Fahrzeugs C zu berechnen und enthält einen Magneten und einen Magnetsensor (Pick-up), der eine Änderung des Magnetfelds erkennt. Der Magnet liegt wie ein Zahnrad an der Antriebswelle oder Abtriebswelle des Fahrzeugs C. Der Fahrzeuggeschwindigkeitssensor 16 gibt eine Rotation der Antriebswelle oder Abtriebswelle als Fahrzeuggeschwindigkeitsimpuls aus. Der Fahrzeuggeschwindigkeitsimpuls enthält nicht die Drehrichtung der Antriebswelle oder Abtriebswelle, also keine Information über die Fahrtrichtung des Fahrzeugs C. Ein Erkennungswert vom Gierratensensor 17 enthält ebenfalls keine Information über die Fahrtrichtung des Fahrzeugs C. Eine Berechnung der Fahrstrecke des Fahrzeugs C benötigt die Ermittlung der Fahrtrichtung des Fahrzeugs C unter Verwendung eines Eingangswerts, der sich von den Erkennungswerten vom Fahrzeuggeschwindigkeitssensor 16 und vom Gierratensensor 17 unterscheidet.
-
Es gibt ein Verfahren, welches die Fahrtrichtung des Fahrzeugs C auf der Grundlage der Position (Getriebeschaltposition) eines Schalthebels 19 des Fahrzeugs C ermittelt. Das Fahrzeug C gemäß dieser Ausführungsform verwendet als Getriebemechanismus ein Automatikgetriebe. Es sei jedoch angenommen, dass das Fahrzeug C aufgrund einer Fahrbahnsteigung schräg steht. In diesem Fall kann sich das Fahrzeug C rückwärts bewegen, selbst wenn die Getriebeschaltposition auf „Drive” steht. Das Fahrzeug C kann sich vorwärts bewegen, selbst wenn die Getriebeschaltposition auf „Reverse” steht. Eine nicht erfolgreiche Bildsynthetisierung kann sich aus dem Verfahren ergeben, welches die Fahrtrichtung des Fahrzeugs C auf der Grundlage der Getriebeschaltposition des Fahrzeugs C ermittelt.
-
Die Bildverarbeitungseinheit 13 als zweite Ermittlungsvorrichtung ermittelt die Beschleunigung des Fahrzeugs C zusätzlich zur Getriebeschaltposition. Ein Beschleunigungssensor 18 (eine Beschleunigungserkennungsvorrichtung) erkennt die Beschleunigung des Fahrzeugs C. Der Beschleunigungssensor 18 verwendet einen Ausgangswert (Erdbeschleunigung) als Offset-Wert, wenn das Fahrzeug steht. Der Beschleunigungssensor 18 gibt die Summe aus Offset und einem positiven Wert (Vorwärtsbeschleunigung) aus, wenn das Fahrzeug C in Vorwärtsrichtung beschleunigt. Der Beschleunigungssensor 18 gibt die Summe aus Offset und einem negativen Wert (Rückwärtsbeschleunigung) aus, wenn das Fahrzeug C nach rückwärts beschleunigt. Die Bildverarbeitungseinheit 13 ermittelt eine Beschleunigung des Fahrzeugs C durch Subtraktion des Offsets (Erdbeschleunigung) von einem Ausgangswert vom Beschleunigungssensor 18. Die Bildverarbeitungseinheit 13 als Richtungsbestimmungsvorrichtung bestimmt die Fahrtrichtung des Fahrzeugs C auf der Grundlage der Beschleunigung, welche der Wert von der zweiten Ermittlungsvorrichtung ist. Die Bilder werden auf der Grundlage der Fahrtrichtung synthetisiert. Ein Abtastzyklus des Beschleunigungssensors 18 beträgt 50 ms, was annähernd einem Aktualisierungszyklus (33 ms) des dargestellten Bildes entspricht.
-
4 ist ein Flussdiagramm, welches einem Bildsynthetisierungsprozess gemäß der Ausführungsform zeigt. Die Bildverarbeitungseinheit 13 führt den Prozess zyklisch durch.
-
Im Schritt S01 bestimmt die Bildverarbeitungseinheit 13, ob ein Fahrzeuggeschwindigkeitsimpuls vom Fahrzeuggeschwindigkeitssensor 16 eingegeben wird. Es kann kein Fahrzeuggeschwindigkeitsimpuls eingegeben werden (S01: NEIN). In diesem Fall beendet die Bildverarbeitungseinheit 13 den Ablauf ohne Bildsynthetisierung. Ein Fahrzeuggeschwindigkeitsimpuls kann eingegeben werden (S01: JA). In diesem Fall geht die Bildverarbeitungseinheit 13 zum Schritt S02 weiter und bestimmt, ob die Neigung (Fahrbahnsteigung) des Fahrzeugs C steil (–10% oder weniger oder +10% oder mehr) ist und damit größer oder gleich einer bestimmten Neigung ist. Die Bildverarbeitungseinheit 13 kann die Neigung des Fahrzeugs C auf der Grundlage der Erdbeschleunigung berechnen, welche als Offset (DC-Komponente) des Beschleunigungssensors 18 ermittelt wird und arbeitet als Neigungserkennungsvorrichtung.
-
Die Neigung des Fahrzeugs C kann so stark sein, dass sie größer oder gleich der bestimmten Neigung ist (S02: JA). In diesem Fall geht die Bildverarbeitungseinheit 13 zum Schritt S03 und bestimmt, ob eine Fahrzeuggeschwindigkeit, die auf der Grundlage der Fahrzeuggeschwindigkeitsimpulse ermittelt worden ist, in einem bestimmten Bereich (10 km/h oder darunter) fällt. Die Fahrzeuggeschwindigkeit kann in diesen bestimmten Bereich fallen (S03: JA). In diesem Fall geht die Bildverarbeitungseinheit 13 zum Schritt S04, ermittelt eine Verteilung von Beschleunigungen, erkannt durch den Beschleunigungssensor 18 und bestimmt, ob die Verteilung kleiner oder gleich einem bestimmten Wert ist.
-
Die Verteilung der Beschleunigungen kann kleiner oder gleich dem bestimmten Wert sein, das heißt, der Erkennungswert von dem Beschleunigungssensor 18 ist zuverlässig (S04: JA). In diesem Fall geht die Bildverarbeitungseinheit 13 zum Schritt S05 und bestimmt eine Fahrtrichtung auf der Grundlage der Beschleunigung. Ein Fahrtrichtungsbestimmungsprozess auf der Grundlage der Beschleunigung wird nachfolgend noch näher beschrieben.
-
Die Neigung des Fahrzeugs C kann nicht so stark sein und nicht größer oder gleich der bestimmten Neigung sein (S02: NEIN). Die Fahrzeuggeschwindigkeit kann den bestimmten Bereich (über 10 km/h) überschreiten (S03: NEIN). Die Verteilung der Beschleunigungen kann größer als der bestimmte Wert sein (S04: NEIN). In jedem dieser Fälle geht die Bildverarbeitungseinheit 13 zum Schritt S06 weiter und ermittelt die Fahrtrichtung des Fahrzeugs C auf der Grundlage der Getriebeschaltposition. Die Bildverarbeitungseinheit 13 bestimmt, dass das Fahrzeug C sich vorwärts bewegt, wenn die Getriebeschaltposition auf „Drive” steht. Die Bildverarbeitungseinheit 13 bestimmt, dass sich das Fahrzeug C rückwärts bewegt, wenn die Getriebeschaltposition „Reverse” ist.
-
Nach Schritt S05 und Schritt S06 geht die Bildverarbeitungseinheit 13 zum Schritt S07 und synthetisiert Bilder auf der Grundlage der Geschwindigkeit von dem Fahrzeuggeschwindigkeitssensor 16, der Gierrate vom Gierratensensor 17 und der Fahrtrichtung des Fahrzeugs C aus den Schritten S05 oder S06. Die Bildverarbeitungseinheit 13 beendet dann den Ablauf.
-
5 ist ein Flussdiagramm, welches einen Fahrtrichtungsbestimmungsprozess auf der Grundlage eines Erkennungswerts vom Beschleunigungssensor 18 erläutert.
-
Im Schritt S11 bestimmt die Bildverarbeitungseinheit 13, ob nach dem Anfahren des Fahrzeugs C ein bestimmtes Zeitintervall verstrichen ist. Das bestimmte Zeitintervall kann nach dem Anfahren des Fahrzeugs C noch nicht verstrichen sein (S11: NEIN). In diesem Fall geht die Bildverarbeitungseinheit 13 zum Schritt S12 und bestimmt, ob eine Beschleunigung als ein Erkennungswert vom Beschleunigungssensor 18 positiv ist. Die Beschleunigung kann positiv sein (S12: JA). In diesem Fall geht die Bildverarbeitungseinheit 13 zum Schritt S13 und bestimmt, dass sich das Fahrzeug C vorwärts bewegt. Die Beschleunigung kann negativ sein (S12: NEIN). In diesem Fall geht die Bildverarbeitungseinheit 13 zum Schritt S14 und bestimmt, dass sich das Fahrzeug C rückwärts bewegt. In einer Situation, in der das Fahrzeug C aus dem Stoppzustand anfährt, bestimmt die Bildverarbeitungseinheit 13, dass sich das Fahrzeug C vorwärts bewegt, wenn die Beschleunigung positiv ist. Die Bildverarbeitungseinheit 13 bestimmt, dass sich das Fahrzeug rückwärts bewegt, wenn die Beschleunigung negativ ist.
-
Es sei angenommen, dass das bestimmte Zeitintervall nach dem Anfahren des Fahrzeugs C verstrichen ist. In diesem Fall geht die Bildverarbeitungseinheit 13 zum Schritt S15 und bestimmt, ob die Fahrzeuggeschwindigkeit zunimmt. Wenn die Fahrzeuggeschwindigkeit zunimmt (S15: JA), geht die Bildverarbeitungseinheit 13 zum Schritt S16 und bestimmt, ob die Beschleunigung einen positiven Wert hat. Wenn die Beschleunigung positiv ist (S16: JA), geht die Bildverarbeitungseinheit 13 zum Schritt S17 und bestimmt, dass sich das Fahrzeug C vorwärts bewegt. Wenn die Beschleunigung negativ ist (S16: NEIN), geht die Bildverarbeitungseinheit 13 zum Schritt S18 und bestimmt, dass sich das Fahrzeug C rückwärts bewegt. Wenn die Fahrzeuggeschwindigkeit abnimmt (S15: NEIN), geht die Bildverarbeitungseinheit 13 zum Schritt S19 und bestimmt, ob die Beschleunigung einen positiven Wert hat. Wenn die Beschleunigung positiv ist (S19: JA), geht die Bildverarbeitungseinheit 13 zum Schritt S20 und bestimmt, dass sich das Fahrzeug C rückwärts bewegt. Wenn die Beschleunigung negativ ist (S19: NEIN), geht die Bildverarbeitungseinheit 13 zum Schritt S21 und bestimmt, dass sich das Fahrzeug C vorwärts bewegt.
-
Es sei beispielsweise angenommen, dass das Fahrzeug C sich fortlaufend auf einer steil nach oben gerichteten Neigung rückwärts bewegt. In einer solchen Situation nimmt die Fahrzeuggeschwindigkeit (der Absolutwert der Fahrzeuggeschwindigkeit) zu und die Beschleunigung zeigt einen negativen Wert. Ein Fahrer kann ein Bremspedal betätigen, um zu bewirken, dass das Fahrzeug C weiterhin rückwärts rollt und die Fahrzeuggeschwindigkeit (ein Absolutwert der Fahrzeuggeschwindigkeit) abnimmt. In einer solchen Situation nimmt die Fahrzeuggeschwindigkeit ab und die Beschleunigung zeigt einen positiven Wert. Auf ähnliche Weise sei angenommen, dass das Fahrzeug C auf einer steil nach unten gerichteten Neigung fortlaufend vorwärts fährt. In einer solchen Situation nimmt die Fahrzeuggeschwindigkeit (ein Absolutwert der Fahrzeuggeschwindigkeit) zu und die Beschleunigung hat einen positiven Wert. Der Fahrer kann das Bremspedal betätigen, um zu bewirken, dass sich das Fahrzeug C weiterhin vorwärts bewegt und die Fahrzeuggeschwindigkeit (ein Absolutwert der Fahrzeuggeschwindigkeit) abnimmt. In einer solchen Situation nimmt die Fahrzeuggeschwindigkeit ab und die Beschleunigung hat einen negativen Wert. Die Fahrtrichtungsbestimmung in den Schritten S15 bis S21 kann korrekt die Fahrtrichtung bestimmen, wenn sich das Fahrzeug C weiterhin an einer Steigung vorwärts oder rückwärts bewegt.
-
Auswirkungen der Ausführungsform werden nun beschrieben.
-
Die Ausführungsform bestimmt die Fahrtrichtung auf der Grundlage des tatsächlichen Fahrmodus des Fahrzeugs C. Die Ausführungsform synthetisiert Bilder unter Verwendung einer Fahrtrichtung, die auf der Grundlage des tatsächlichen Fahrtmodus bestimmt wird zusammen mit der Fahrzeuggeschwindigkeit, die auf der Grundlage des Fahrzeuggeschwindigkeitsimpulses ermittelt wird. Die Ausführungsform kann ein aktuelles Bild mit einem vergangenen Bild auch dann korrekt synthetisieren, wenn sich das Fahrzeug trotz der Schaltposition auf „Drive” rückwärts bewegt oder sich trotz der Schaltposition auf „Reverse” vorwärts bewegt, um Beispiele zu nennen.
-
Die Ausführungsform verwendet eine Fahrtrichtung, die auf der Grundlage des tatsächlichen Fahrtmodus bestimmt wird und einer Fahrtrichtung, die auf der Grundlage der Getriebeschaltposition ermittelt wird. Folglich kann die Ausführungsform ein aktuelles Bild besser mit einem vergangenen Bild synthetisieren.
-
Insbesondere synthetisiert die Ausführungsform Bilder auf der Grundlage der Fahrtrichtung, welche auf der Grundlage der Getriebeschaltposition ermittelt worden ist, wenn die Verteilung von Beschleunigungen, welche vom Beschleunigungssensor 18 erkannt worden sind, groß ist, das heißt, wenn ein unzuverlässiger Erkennungswert vom Beschleunigungssensor 18 vorliegt. Folglich kann die Ausführungsform Bilder mit einer sehr zuverlässigen Bestimmung betreffend die Fahrtrichtung synthetisieren.
-
Wenn die Neigung (das heißt die Fahrbahnsteigung) für das Fahrzeug C steil ist, kann eine Situation auftreten, bei der sich das Fahrzeug C rückwärts bewegt, obgleich die Getriebeschaltposition auf „Drive” steht. Die Ausführungsform synthetisiert Bilder auf der Grundlage der tatsächlichen Fahrtrichtung, welche von der Bildverarbeitungseinheit 13 als Richtungsbestimmungsvorrichtung unter der Bedingung bestimmt worden ist, dass die Neigung für das Fahrzeug C stark ist (–10% oder weniger und +10% oder mehr) und damit größer oder gleich einer bestimmten Neigung ist. Die Ausführungsform synthetisiert Bilder unter Verwendung der Fahrtrichtung, die vom Beschleunigungssensor 18 ermittelt worden ist, wenn auf der Grundlage der Getriebeschaltposition eine unzuverlässige Fahrtrichtung ermittelt wird. Die Ausführungsform kann somit Bilder besser synthetisieren.
-
Beim Anfahren an einer Steigung ist die Fahrzeuggeschwindigkeit gering. In einem solchen Fall kann sich das Fahrzeug C ohne weiteres rückwärts bewegen, obgleich die Getriebeschaltposition auf „Drive” steht. Um dies zu umgehen, synthetisiert die Ausführungsform Bilder auf der Grundlage der Fahrtrichtung, welche von der Bildverarbeitungseinheit 13 als Richtungsbestimmungsvorrichtung bestimmt wurde, wenn die Fahrzeuggeschwindigkeit unter einem bestimmten Wert liegt. Die Ausführungsform synthetisiert Bilder unter Verwendung der Fahrtrichtung, die auf der Grundlage des Beschleunigungssensors 18 ermittelt worden ist, wenn eine unzuverlässige Fahrtrichtung auf der Grundlage der Getriebeschaltposition ermittelt wird. Die Ausführungsform kann Bilder somit besser synthetisieren.
-
(Andere Ausführungsformen)
-
Die Bildverarbeitungseinheit 13 gemäß der obigen Ausführungsform bestimmt eine tatsächliche Fahrtrichtung des Fahrzeugs C unter Verwendung eines Erkennungswerts vom Beschleunigungssensor 18. Dies kann dahingehend modifiziert werden, dass die Bildverarbeitungseinheit eine Position des Fahrzeugs C auf der Grundlage eines GPS-Signals ermittelt, welches der GPS-Sensor 15 (1) als Positionsermittlungsvorrichtung von einem GPS-Satelliten empfängt. Die Bildverarbeitungseinheit kann eine tatsächliche Fahrtrichtung des Fahrzeugs C auf der Grundlage von Änderungen der Position des Fahrzeugs C bestimmen.
-
Die Bildverarbeitungseinheit 13 kann eine tatsächliche Fahrtrichtung des Fahrzeugs C auf der Grundlage einer Eigenpositionsabschätzung unter Verwendung eines Kalman-Filters bestimmen, dessen Eingangswerte Erkennungswerte von GPS-Sensor 15, Fahrzeuggeschwindigkeitssensor 16, Gierratensensor 17 und Beschleunigungssensor 18 sind.
-
Die Verteilung der Positionen des Fahrzeugs C kann groß sein, wenn die Positionen des Fahrzeugs C während einer bestimmten Zeitdauer auf der Grundlage von GPS-Signal und Eigenpositionsbestimmung ermittelt werden. In einem solchen Fall können die Bilder dadurch synthetisiert werden, dass einer Fahrtrichtung Priorität verliehen wird, die auf der Grundlage der Getriebeschaltposition ermittelt wurde.
- – Die Ausführungsform bestimmt eine Fahrtrichtung auf der Grundlage einer Beschleunigung, wenn die Neigung des Fahrzeugs so steil ist, dass sie größer oder gleich einer bestimmten Steigung ist oder wenn die Fahrzeuggeschwindigkeit in den bestimmten Bereich fällt. Dies kann abgewandelt werden. Insbesondere kann eine Fahrtrichtung auf der Grundlage einer Beschleunigung unabhängig von Neigung oder Fahrzeuggeschwindigkeit des Fahrzeugs C bestimmt werden. Eine Fahrtrichtung kann auf der Grundlage der Beschleunigung unabhängig von der Verteilung der Beschleunigungen bestimmt werden.
- – Der Getriebemechanismus des Fahrzeugs gemäß der Ausführungsform verwendet ein Automatikgetriebe, welches auch in ein manuelles Schaltgetriebe abgewandelt werden kann.
- – Eine Kamera kann verwendet werden, um ein Verhalten oder eine Sichtlinie des Fahrers anstelle der Fahrtrichtung zu ermitteln, die auf der Grundlage der Getriebeschaltposition ermittelt wird. Die Fahrtrichtung des Fahrzeugs C kann auf der Grundlage von Verhalten oder Sichtlinie ermittelt werden.
- – Die obige Ausführungsform verwendet zwei Kameras als Bildaufnahmevorrichtungen, von denen je eine an Front und Heck angeordnet ist. Anstelle hiervon kann auch eine Kamera verwendet werden oder können drei oder mehr Kameras verwendet werden.
-
Es sei festzuhalten, dass ein Flussdiagramm oder die Verarbeitung des Flussdiagramms bei der vorliegenden Anmeldung Abschnitte (auch als Schritte bezeichnet) enthält, von denen jeder mit beispielsweise S01 bezeichnet ist. Weiterhin kann jeder Abschnitt in mehrere Unterabschnitte unterteilt werden, wohingegen mehrere Abschnitte zu einem einzelnen Abschnitt zusammengefasst werden können. Weiterhin kann jeder so gebildete Abschnitt auch als Vorrichtung, Modul oder Mittel bezeichnet werden.
-
Die vorliegende Erfindung wurde unter Bezugnahme auf Ausführungsformen hiervon beschrieben; es versteht sich, dass die Erfindung nicht auf die Ausführungsformen und Aufbauten beschränkt ist. Die vorliegende Erfindung soll verschiedene Abwandlungen und äquivalente Anordnungen mit umfassen. Weiterhin sind trotz verschiedener Kombinationen und Ausgestaltungen auch andere Kombinationen und Ausgestaltungen mit mehr, weniger oder nur einem einzelnen Element ebenfalls im Rahmen und Umfang der vorliegenden Erfindung.
