-
QUERVERWEIS AUF BETREFFENDE ANMELDUNGEN
-
Diese Anmeldung basiert auf der am 26. Juli 2013 eingereichten
japanischen Patentanmeldung Nr. 2013-155662 , deren Offenbarung hiermit durch Bezugnahme darauf enthalten ist.
-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft eine Fahrzeugumgebungsüberwachungsvorrichtung und ein Programm, die die Umgebung, die Vorwärts- und/oder Rückwärtsrichtungen eines Host-Fahrzeugs enthält, abbilden und ein Bild in dem Fahrzeuginsassenraum anzeigen, um es einem Fahrer zu ermöglichen, eine Straßenbedingung aus dem Fahrzeuginsassenraum zu überwachen.
-
STAND DER TECHNIK
-
Herkömmlich wird bei einer Fahrzeugumgebungsüberwachungsvorrichtung eine hintere Kamera an der Rückseite eines Fahrzeugs montiert, und sie verarbeitet ein Originalbild der Rückseite des Fahrzeugs, um ein virtuelles Vogelperspektivenbild zu erzeugen und das Vogelperspektivenbild auf einer Anzeige, die in dem Fahrzeuginsassenraum angeordnet ist, anzuzeigen, wobei das Originalbild von der hinteren Kamera aufgenommen wird.
-
In der Fahrzeugumgebungsüberwachungsvorrichtung wird eine Koordinatentransformation von einem Originalbild in ein Vogelperspektivenbild unter Verwendung von externen Parametern, die eine Positionsorientierung der hinteren Kamera angeben, durchgeführt. Wenn in diesem Fall die Positionsorientierung der hinteren Kamera durch einen Montagefehler der hinteren Kamera oder durch ein Ruckeln des Fahrzeugs geändert wird, kann die Koordinatentransformation derart beeinflusst werden, dass ein falsches Vogelperspektivenbild erzeugt wird. Daher kann eine Stoßstangenposition eines Fahrzeugs aus einem Originalbild erfasst werden, und auf der Grundlage der erfassten Stoßstangenposition kann ein Montagewinkel einer hinteren Kamera berechnet werden, um externe Parameter zu korrigieren (siehe Patentliteratur 1).
-
Die Erfinder der vorliegenden Anmeldung haben das Folgende hinsichtlich einer Fahrzeugumgebungsüberwachungsvorrichtung herausgefunden. Bei einer herkömmlichen Fahrzeugumgebungsüberwachungsvorrichtung kann nur eine Bedingung einer Straßenoberfläche auf einer Anzeige in einem Fahrzeuginsassenraum als ein Vogelperspektivenbild angezeigt werden. In diesem Fall kann es für einen Fahrzeugfahrer schwierig sein, eine Positionsbeziehung zwischen einem Fahrzeug und der Straßenoberfläche aus einer Vogelperspektivenansicht und Informationen über eine Höhenrichtung aus einer Vogelperspektivenansicht zu erlangen. Daher kann der Fahrzeugfahrer sich unbehaglich und eingeschränkt fühlen.
-
DOKUMENT DES STANDS DER TECHNIK
-
PATENTDOKUMENT
-
- Patentliteratur 1: JP 2004-064441 A1
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Es ist eine Aufgabe der vorliegenden Erfindung, eine Fahrzeugumgebungsüberwachungsvorrichtung und ein Programm zu schaffen, die in der Lage sind, ein unbehagliches und einschränkendes Gefühl eines Fahrzeugfahrers zu verringern, wenn ein Bild in einem Fahrzeuginsassenraum angezeigt wird.
-
Gemäß einem Beispiel der vorliegenden Erfindung enthält eine Fahrzeugumgebungsüberwachungsvorrichtung einen Bildabschnitt bzw. Abbildungsabschnitt, einen Bildverarbeitungsabschnitt und einen Anzeigeabschnitt. Der Bildabschnitt ist an einem Host-Fahrzeug montiert und bildet eine Umgebung, die eine Straßenoberfläche in einer Vorwärtsrichtung und/oder einer Rückwärtsrichtung des Host-Fahrzeugs enthält, ab. Der Bildverarbeitungsabschnitt unterzieht ein Originalbild, das von dem Bildabschnitt aufgenommen wird, einer Bildkorrektur, die eine vorbestimmte Koordinatentransformation enthält, unter Verwendung eines Parameters, mit dem eine Endkantenposition des Host-Fahrzeugs und eine Horizontallinienposition zu dem Host-Fahrzeug berechnet werden, was bewirkt, dass ein Verhältnis von drei Segmentbereichen nahe an ein vorbestimmtes Soll-Verhältnis kommt, wobei das Originalbild an der Endkantenposition und der Horizontallinienposition vertikal in die drei Segmentbereiche segmentiert wird, und erzeugt ein virtuelles Koordinatentransformationsbild auf der Grundlage des Originalbildes. Der Anzeigeabschnitt zeigt einen Bildbildschirm auf der Grundlage des Koordinatentransformationsbildes, das von dem Bildverarbeitungsabschnitt erzeugt wird, auf einem vorbestimmten Anzeigebereich in einem Fahrzeuginsassenraum an.
-
Gemäß einem weiteren Beispiel der vorliegenden Erfindung wird ein Programm geschaffen, das für einen Computer dient, der mit dem Bildabschnitt und dem Anzeigeabschnitt als Bildverarbeitungsabschnitt verbunden ist.
-
Gemäß der Fahrzeugumgebungsüberwachungsvorrichtung und dem Programm der vorliegenden Erfindung ist, wenn die drei Segmentbereiche in dem Koordinatentransformationsbild jeweils einen Kantenbereich unterhalb der Endkantenposition, einen Straßenoberflächenbereich zwischen der Endkantenposition und der Horizontallinienposition und einen Himmelbereich oberhalb der Horizontallinienposition enthalten, möglich, einen Bildbildschirm anzuzeigen, bei dem der Kantenbereich, der Straßenoberflächenbereich und der Himmelbereich mit einem vorbestimmten Verhältnis ausgeglichen sind.
-
Gemäß der Fahrzeugumgebungsüberwachungsvorrichtung und dem Programm der vorliegenden Erfindung kann ein Fahrzeugfahrer auf einfache Weise nicht nur die Straßenbedingung, sondern auch die Endkantenposition des Host-Fahrzeugs und die Horizontallinienposition in Bezug auf das Host-Fahrzeug auf der Anzeige in dem Fahrzeuginsassenraum erlangen. Es ist möglich, dass der Fahrzeugfahrer instinktiv eine Positionsbeziehung zwischen dem Host-Fahrzeug und der Straßenoberfläche und Informationen über die Höhenrichtung entsprechend dem Koordinatentransformationsbild erlangt.
-
Gemäß der vorliegenden Erfindung ist es möglich, eine von dem Fahrer gefühlte Unannehmlichkeit zu verringern, wenn die Positionsbeziehung zwischen dem Host-Fahrzeug und der Straßenoberfläche aus dem Anzeigebild in dem Fahrzeuginsassenraum nicht instinktiv erlangt werden kann, und eine von dem Fahrer gefühlte Einschränkung zu verringern, wenn Informationen über eine höhere Position als die Straßenoberfläche aus dem Anzeigebild in dem Fahrzeuginsassenraum nicht erlangt werden kann.
-
Die Parameter enthält einen externen Parameter, der eine Positionsorientierung des Bildabschnitts angibt. Entsprechend einer Gestalt eines Fahrzeugs (auch als Host-Fahrzeug bezeichnet), das den Bildabschnitt aufweist, führt der Bildverarbeitungsabschnitt eine Kamerakalibrierung unter Verwendung des Parameters durch, und es ist möglich, die Endkantenposition des Host-Fahrzeugs und die Horizontallinienposition in Bezug auf das Host-Fahrzeug im Voraus zu berechnen. Wenn somit der Bildabschnitt an einem anderen Fahrzeugtyp (Modell) montiert wird, ist es möglich, Informationen über eine Endkantenposition eines Host-Fahrzeugs und einer Horizontallinienposition in Bezug auf das Host-Fahrzeug im Voraus zu berechnen.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Die obigen und weitere Aufgaben, Merkmale sowie die Vorteile der vorliegenden Erfindung werden anhand der folgenden detaillierten Beschreibung mit Bezug auf die zugehörigen Zeichnungen deutlich. Es zeigen:
-
1 ein Blockdiagramm, das eine Gesamtkonfiguration einer Fahrzeugumgebungsüberwachungsvorrichtung darstellt;
-
2 ein Diagramm, das eine Montageweise einer Kamera an einem Host-Fahrzeug darstellt;
-
3 ein Diagramm, das jeweilige Segmentbereiche in einem Bild darstellt;
-
4 ein Flussdiagramm, das Inhalte einer Bildverarbeitung darstellt, die von der Fahrzeugumgebungsüberwachungsvorrichtung durchgeführt wird;
-
5A ein Diagramm, das eine Zusammensetzung eines Simulationsbildes (ein Stoßstangenbild) in der Bildverarbeitung darstellt; und
-
5B ein Diagramm, das eine Zusammensetzung eines Simulationsbildes (ein Himmelbild) in der Bildverarbeitung darstellt.
-
BEVORZUGTE AUSFÜHRUNGSFORMEN ZUM AUSFÜHREN DER ERFINDUNG
-
Im Folgenden werden Ausführungsformen der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben.
-
Die vorliegende Erfindung ist nicht auf die folgenden Ausführungsformen beschränkt. Ein Modus, bei dem ein Teil der folgenden Ausführungsformen weggelassen ist, ist ebenfalls eine Ausführungsform der vorliegenden Erfindung, solange die Probleme gelöst werden. Jegliche Modi, die nicht von dem Bereich der vorliegenden Erfindung abweichen, sind in den Ausführungsformen der vorliegenden Erfindung enthalten. Die Bezugszeichen, die bei der Erläuterung der folgenden Ausführungsformen verwendet werden, werden zum einfacheren Verständnis der vorliegenden Erfindung verwendet, und die Bezugszeichen dienen nicht dazu, den technischen Bereich der vorliegenden Erfindung zu beschränken.
-
<Gesamtkonfiguration>
-
Wie es in 1 gezeigt ist, enthält eine Fahrzeugumgebungsüberwachungsvorrichtung 1 der vorliegenden Ausführungsform eine Kamera 2, einen Anzeigeabschnitt 4, einen Steuerabschnitt, einen Speicherabschnitt 8 und ähnliches. Die Kamera 2 ist an einem Fahrzeug montiert und bildet die Umgebung ab, die eine Straßenoberfläche in einer Vorwärts- und/oder Rückwärtsrichtung des Fahrzeugs (im Folgenden als Host-Fahrzeug bezeichnet) enthält. Der Anzeigeabschnitt 4 zeigt ein Bild auf einem vorbestimmten Bereich in einem Insassenraum des Host-Fahrzeugs an. Der Steuerabschnitt 6 führt eine Bildkorrektur (im Folgenden als Bildverarbeitung bezeichnet) durch, die eine vorbestimmte Koordinatentransformation enthält. Der Speicherabschnitt 8 speichert verschiedene Informationsteile.
-
Die Kamera 2 entspricht einem Beispiel eines Bildabschnitts (oder einer Bildeinrichtung) der vorliegenden Erfindung. Der Anzeigeabschnitt 4 entspricht einem Beispiel eines Anzeigeabschnitts (oder einer Anzeigeeinrichtung). Der Steuerabschnitt 6 entspricht einem Beispiel eines Bildverarbeitungsabschnitts (oder einer Bildverarbeitungseinrichtung).
-
Der Steuerabschnitt 6 ist eine bekannte elektronische Steuervorrichtung, die einen Mikrocomputer enthält. Der Steuerabschnitt 6 steuert jeden Abschnitt der Fahrzeugumgebungsüberwachungsvorrichtung 1. Der Steuerabschnitt 6 kann für eine Steuerung der Fahrzeugumgebungsüberwachungsvorrichtung 1 zweckgebunden sein, oder kann für mehrere Zwecke zum Durchführen von Steuerungen von anderen Vorrichtungen zusätzlich zu der Fahrzeugumgebungsüberwachungsvorrichtung 1 sein. Der Steuerabschnitt 6 kann alleine angeordnet sein, oder es können mehrere Steuerabschnitte 6 zusammen arbeiten.
-
Die Kamera 2 verwendet mehrere Fischaugenlinsen, die an dem hinteren Teil des Host-Fahrzeugs installiert sind, und kann eine Straßenoberfläche hinter dem Host-Fahrzeug, eine Stoßstange als einen hinteren Kantenabschnitt des Host-Fahrzeugs und die Fahrzeugumgebung, die eine höhere bzw. höher liegende Ansicht als die Straßenoberfläche enthält, breit abbilden. Die Kamera 2 weist eine Steuereinheit auf. Wenn die Kamera 2 eine Anweisung hinsichtlich eines Ansichtsausschnittswinkels von dem Steuerabschnitt 6 empfängt, schneidet sie einen Teil eines Originalbildes in dem Ansichtswinkel aus und führt das ausgeschnittene Bild zu. In der vorliegenden Ausführungsform weist der Steuerabschnitt 6 die Kamera 2 an, einen weniger verzerrten, mittleren Teil des Originalbildes auszuschneiden. Die Kamera 2 führt dem Steuerabschnitt 6 ein Bild (im Folgenden als Kamerabild bezeichnet) des mittleren Teils, der aus dem Originalbild ausgeschnitten ist, als Antwort auf die Anweisung zu.
-
Der Anzeigeabschnitt 4 ist eine zentrale Anzeige, die auf oder in der Nähe eines Armaturenbretts in dem Fahrzeuginsassenraum des Host-Fahrzeugs installiert ist. Die zentrale Anzeige zeigt einen Bildbildschirm auf der Grundlage eines Bildes, das anhand der Durchführung der Bildverarbeitung für das Kamerabild, das über den Steuerabschnitt 6 von der Kamera 2 erlangt wird, erzeugt wird, an.
-
Der Speicherabschnitt 8 ist ein nichtflüchtiger Speicher, der ein Programm speichert, das die Bildverarbeitung definiert, die von dem Steuerabschnitt 6 durchgeführt wird, einen internen Parameter (das heißt eine Brennweite einer Linse, einen Ansichtswinkel bzw. Blickwinkel und die Anzahl der Pixel), der für die Kamera 2 speziell ist, und einen externen Parameter (im Folgenden als Montageparameter für die Kamera 2 bezeichnet), der eine Positionsorientierung der Kamera 2 in dem Weltkoordinatensystem angibt. Der Speicherabschnitt 8 speichert Informationen (im Folgenden als Stoßstangenpositions-Horizontallinienpositionsinformationen bezeichnet), die eine Stoßstangenposition des Host-Fahrzeugs und eine Horizontallinienposition in Bezug auf das Host-Fahrzeug in dem Originalbild angeben.
-
Die Horizontallinienposition gibt hauptsächlich eine Grenze zwischen dem Himmel und der Erde in dem Originalbild, das von der Kamera 2 aufgenommen wird, an. Die Stoßstangenposition gibt hauptsächlich eine Grenze zwischen der Erde und dem Host-Fahrzeug in dem Originalbild, das von der Kamera 2 aufgenommen wird, an.
-
Die Stoßstangenpositions-Horizontallinienpositionsinformationen enthalten die Stoßstangenpositionsinformationen und die Horizontallinienposition. Genauer gesagt geben die Stoßstangenpositionsinformationen, wie es in 2 gezeigt ist, eine Koordinate an, auf die ein jeweiliger Punkt, der die Endkantenposition (Stoßstangenposition) aus der Sicht von der Kamera 2 in dem Originalbild projiziert ist, an, wobei die Endkante eine Kante (die sich in der Fahrzeugbreitenrichtung erstreckt) ist, die an dem Ende der Stoßstange des Hinterteils des Fahrzeugs angeordnet ist. Außerdem geben die Horizontallinienpositionsinformationen eine Koordinate an, auf die eine Position (Horizontallinienposition), die die horizontale Richtung aus der Sicht von der Kamera 2 angibt, in dem Originalbild projiziert ist.
-
Der Montageparameter der Kamera 2 enthält Positionsinformationen, die eine Montageposition der Kamera 2 in drei Dimensionen (X, Y und Z) in Bezug auf das Host-Fahrzeug in dem Weltkoordinatensystem angibt, und enthält außerdem Winkelinformationen, die einen Montagewinkel der Kamera 2 als Roll-, Nick- und Gierwinkel angeben. Der Steuerabschnitt 6 (oder die Steuervorrichtung der Kamera 2) ermöglicht die Berechnung der Stoßstangenpositions-Horizontallinienpositionsinformationen mittels Durchführung einer Kamerakalibrierung unter Verwendung des Montageparameters (und des internen Parameters) der Kamera 2 im Voraus.
-
Die Stoßstangenpositions-Horizontallinienpositionsinformationen (außerdem der Montageparameter der Kamera 2) können auf der Grundlage einer Gestalt des Fahrzeugs (des Host-Fahrzeugs), an dem die Kamera 2 montiert ist, im Voraus berechnet werden. Sogar bei einem Host-Fahrzeug eines anderen Typs (eines anderen Modells) ist es möglich, die Stoßstangenposition des Host-Fahrzeugs und die Horizontallinienposition in Bezug auf das Host-Fahrzeug in dem Originalbild im Voraus zu berechnen.
-
Wie es in 3 gezeigt ist, wird in dem Originalbild (oder dem Kamerabild), das von der Kamera 2 erlangt werden kann, und dem Bild (ein Koordinatentransformationsbild oder ein korrigiertes Bild, das später beschrieben wird), das mittels Bildverarbeitung durch den Steuerabschnitt 6 erzeugt wird, der Bereich unterhalb der Stoßstangenposition als Stoßstangenbereich bezeichnet (auch als Kantenbereich bezeichnet), da der Bereich hauptsächlich die Stoßstange des Hinterteils des Fahrzeugs angibt. Auf ähnliche Weise wird ein Bereich zwischen der Stoßstangenposition und der Horizontallinienposition als Straßenoberflächenbereich bezeichnet, da der Bereich hauptsächlich eine Straßenoberflächenbedingung angibt. Der Bereich oberhalb der Horizontallinienposition wird als Himmelbereich bezeichnet, da der Bereich hauptsächlich den Himmel angibt, wenn kein Hindernis vorhanden ist.
-
<Bildverarbeitung>
-
Die Bildverarbeitung, die von dem Steuerabschnitt 6 durchgeführt wird, wird mit Bezug auf das Flussdiagramm der 4 erläutert. Diese Verarbeitung wird gestartet, wenn beispielsweise ein Verbrennungsmotor startet, ein Schaltbereich auf der Grundlage von Erfassungsinformationen, die von einem Schaltpositionssensor (nicht gezeigt) bereitgestellt werden, erfasst wird, und der Schaltbereich nach R geschaltet wird. Der Steuerabschnitt 6 führt diese Verarbeitung auf der Grundlage des Programms, das in dem Speicherabschnitt 8 gespeichert ist, durch.
-
Wenn diese Verarbeitung gestartet wird, liest der Steuerabschnitt 6 in S110 die Stoßstangenpositions-Horizontallinienpositionsinformationen aus dem Speicherbereich 8 aus und erlangt in S120 ein Originalbild von der Kamera 2.
-
In S130 wird auf der Grundlage der Stoßstangenpositions-Horizontallinienpositionsinformationen, die in S110 ausgelesen wurden, und des Originalbildes, das in S120 erlangt wurde, eine Gruppe von Koordinaten (eine Gruppe von mehreren Koordinaten), die jeweils drei Segmentbereiche (den Stoßstangenbereich, den Straßenoberflächenbereich und den Himmelbereich) angeben, in die das Originalbild vertikal an der Stoßstangenposition und der Horizontallinienposition segmentiert wird, identifiziert.
-
In S140 wird auf der Grundlage des Originalbildes, das in S120 erlangt wurde, die Kamera 2 angewiesen, einen weniger verzerrten, mittleren Abschnitt aus dem Originalbild auszuschneiden. Wenn die Kamera 2 die Anweisung von dem Steuerabschnitt 6 empfängt, führt sie dem Steuerabschnitt 6 das Kamerabild zu.
-
In S150 wird das Kamerabild auf der Grundlage des Kamerabildes, das in S140 von der Kamera 2 erlangt wurde, und der Koordinatengruppe, die die drei Segmentebereiche angibt, die in S130 identifiziert wurden, einer Bildkorrektur unterzogen, die eine vorbestimmte Koordinatentransformation enthält, so dass ein Verhältnis bzw. Anteil der jeweiligen Segmentbereiche nahe an ein vorbestimmtes Soll-Verhältnis kommt, und um ein virtuelles Koordinatentransformationsbild auf der Grundlage des Originalbildes, das in S110 erlangt wurde, zu erzeugen. In der vorliegenden Ausführungsform wird die Bildkorrektur derart durchgeführt, dass die Größen des Stoßstangenbereiches und/oder des Himmelbereiches in dem Kamerabild sich den annähern, ohne die auf dem Soll-Verhältnis basierenden Größen zu überschreiten.
-
Das Soll-Verhältnis kann durch Sensorauswertung vorbestimmt werden, um ein visuelles Gleichgewicht der Segmentbereiche (des Stoßstangenbereiches, des Straßenoberflächenbereiches, des Himmelbereiches) in dem Koordinatentransformationsbild (einem korrigierten Bild) zu erzielen. Bei der Koordinatentransformation wird unter Verwendung des Montageparameters (Positionsinformationen und Winkelinformationen hinsichtlich der Montage der Kamera 2) eine bekannte Blickpunkttransformation durchgeführt, um eine tatsächliche Ansicht bzw. einen tatsächlichen Blickpunkt der Kamera 2 in einer Vogelperspektivenansicht zur einfachen Erkennung einer Straßenbedingung zu transformieren. Bei der Bildkorrektur wird zusätzlich zu der Blickpunkttransformation ein Seitenverhältnis des Bildes nach Bedarf geändert.
-
In S160 wird bestimmt, ob das Verhältnis der Segmentbereiche in dem Koordinatentransformationsbild, das in S150 erzeugt wurde, gleich dem Soll-Verhältnis ist. Wenn das Ergebnis der Bestimmung positiv ist, schreitet das Flussdiagramm zu S170. Wenn das Ergebnis der Bestimmung negativ ist, schreitet das Flussdiagramm zu S180.
-
In S170 wird ermöglicht, dass ein Bildbildschirm auf der Grundlage des Koordinatentransformationsbildes, das in S160 bestimmt wurde und das gleiche Verhältnis der Segmentbereiche wie das Soll-Verhältnis aufweist, auf dem Anzeigeabschnitt 4 angezeigt wird, und dann endet diese Verarbeitung.
-
Wenn das Verhältnis der drei Segmentbereiche in dem Koordinatentransformationsbild gleich dem Soll-Verhältnis ist (S160: JA), ermöglicht es der Bildverarbeitungsabschnitt 6 dem Anzeigeabschnitt 4, den Bildbildschirm anzuzeigen (S170).
-
In S180 wird in dem Koordinatentransformationsbild, von dem in S160 bestimmt wurde, dass die Segmentbereiche kein Verhältnis von gleich dem Soll-Verhältnis aufweisen, bestimmt, ob der Stoßstangenbereich kleiner ist (als die auf dem Soll-Verhältnis basierende Größe). Wenn der Stoßstangenbereich kleiner ist, schreitet das Flussdiagramm zu S190. Wenn das Ergebnis der Bestimmung in S180 negativ ist, das heißt, wenn die Größe des Stoßstangenbereiches die auf dem Soll-Verhältnis basierende Größe aufweist, ist der Himmelbereich kleiner (als die auf dem Soll-Verhältnis basierende Größe), und das Flussdiagramm schreitet zu S210.
-
In S190 wird hinsichtlich des Koordinatentransformationsbildes, das in S150 erzeugt wurde, ein Bild (das Stoßstangenbild), das den hinteren Kantenabschnitt (die Stoßstange) des Host-Fahrzeugs simuliert, mit mindestens einem Teil des Stoßstangenbereiches (siehe 5A) kombiniert, um den Stoßstangenbereich an die auf dem Soll-Verhältnis basierende Größe anzunähern. Der Bildbildschirm, der auf dem Bild (im Folgenden ein erstes korrigiertes Bild) basiert, das durch Kombinieren des Stoßstangenbildes mit dem Koordinatentransformationsbild erzeugt wird, kann auf dem Anzeigeabschnitt 4 angezeigt werden, und diese Verarbeitung endet. Bei dieser Zusammensetzungsverarbeitung bzw. Kombinationsverarbeitung kann ein Bereich, der fehlt, um die auf dem Soll-Verhältnis basierende Größe in dem Stoßstangenbereich zu erreichen, zu einem Stoßstangenbild hinzugefügt werden, das bis zu dem fehlenden Stoßstangenbereich bemessen ist, oder es kann ein Stoßstangenbild, das bis zu dem auf dem Soll-Verhältnis basierenden gesamten Stoßstangenbereich bemessen ist, zu dem gesamten Stoßstangenbereich addiert werden. Das Stoßstangenbild kann ein beliebiges Bild sein, das den hinteren Kantenabschnitt (die Stoßstangen) des Host-Fahrzeugs simuliert, beispielsweise einfach ein Bild, das mit Schwarz ausgefüllt ist. Der hintere Kantenabschnitt des Host-Fahrzeugs entspricht beispielsweise der Stoßstange.
-
In S200 wird in dem Koordinatentransformationsbild, für das in S160 bestimmt wurde, dass das Verhältnis der Segmentbereiche nicht gleich dem Soll-Verhältnis ist, bestimmt, ob der Himmelbereich kleiner ist (als die auf dem Soll-Verhältnis basierende Größe). Wenn der Himmelbereich kleiner ist, schreitet das Flussdiagramm zu S210. Wenn das Ergebnis der Bestimmung positiv ist, das heißt, wenn der Himmelbereich die auf dem Soll-Verhältnis basierende Größe aufweist, endet diese Verarbeitung.
-
In S210 wird, um zu bewirken, dass der Himmelbereich die auf dem Soll-Verhältnis basierende Größe in dem Koordinatentransformationsbild (oder dem ersten korrigierten Bild, das in S190 erzeugt wurde), das in S150 erzeugt wurde, aufweist, ein Bild (das Himmelbild), das eine Landschaft des Himmels simuliert, mit mindestens einem Teil des Himmelbereiches zusammengesetzt (siehe 5B). Der Bildbildschirm basierend auf dem Bild (ein zweites korrigiertes Bild), das durch Zusammensetzen des Himmelbildes mit dem Koordinatentransformationsbild (oder dem ersten korrigierten Bild) erzeugt wird, kann auf dem Anzeigeabschnitt 4 angezeigt werden, und die Verarbeitung endet. Bei dieser Zusammensetzungsverarbeitung kann ein Himmelbild, das einer Größe zum Erreichen der auf dem Soll-Verhältnis basierenden Größe entspricht, zu einem Himmelbild mit der Größe des fehlenden Bereiches addiert bzw. hinzugefügt werden, oder es kann ein Himmelbild mit der auf dem Soll-Verhältnis basierenden Größe des gesamten Himmelbereiches zu dem gesamten Himmelbereich hinzugefügt werden. Das Himmelbild kann ein beliebiges Bild sein, das den Himmel simuliert, beispielsweise einfach ein Bild, das mit blauer Farbe gefüllt ist.
-
<Wirkung>
-
Die Fahrzeugumgebungsüberwachungsvorrichtung 1 enthält die Kamera 2, den Steuerabschnitt 6 und den Anzeigeabschnitt 4. Die Kamera 2 ist an dem Host-Fahrzeug montiert, um die Fahrzeugumgebung abzubilden, die die Straßenoberfläche hinter dem Host-Fahrzeug enthält. Der Anzeigeabschnitt 4 zeigt den Bildbildschirm (einschließlich des auf dem korrigierten Bild basierenden Bildbildschirmes) basierend auf dem Koordinatentransformationsbild, das von dem Steuerabschnitt 6 erzeugt wird, auf dem vorbestimmten Anzeigebereich in dem Fahrzeuginsassenraum an.
-
Der Steuerabschnitt verwendet den Montageparameter der Kamera 2, um die Endkantenposition (die Stoßstangenposition) des Host-Fahrzeugs und die Horizontallinienposition in Bezug auf das Host-Fahrzeug zu berechnen. Der Steuerabschnitt unterzieht das Originalbild, das von der Kamera 2 aufgenommen wird, der Bildkorrektur, die die vorbestimmte Koordinatentransformation enthält, um das Verhältnis der drei Segmentbereiche, in die das Originalbild an der Stoßstangenposition und der Horizontallinienposition vertikal segmentiert wird, dem vorbestimmten Soll-Verhältnis anzunähern. Das virtuelle Koordinatentransformationsbild wird erzeugt.
-
Gemäß dieser Konfiguration enthalten die drei Segmentbereiche in dem Koordinatentransformationsbild den Stoßstangenbereich unterhalb der Stoßstangenposition, den Straßenoberflächenbereich zwischen der Endkantenposition und der Horizontallinienposition und den Himmelbereich oberhalb der Horizontallinienposition. Es ist möglich, einen Bildbildschirm anzuzeigen, in dem der Stoßstangenbereich, der Straßenoberflächenbereich und der Himmelbereich mit dem vorbestimmten Verhältnis ausgeglichen sind.
-
Daher ist es möglich, dass die Fahrzeugumgebungsüberwachungsvorrichtung 1 dem Fahrzeugfahrer nicht nur die Straßenoberflächenbedingung, sondern auch die Stoßstangenposition des Host-Fahrzeugs und die Horizontallinienposition in Bezug auf das Host-Fahrzeug als Koordinationstransformationsbild auf dem Anzeigeabschnitt 4 in dem Fahrzeuginsassenraum angibt. Gemäß diesem Koordinatentransformationsbild ist es möglich, zu bewirken, dass der Fahrzeugfahrer intuitiv die Positionsbeziehung zwischen dem Host-Fahrzeug und einer Straßenoberfläche und Informationen über die Höhenrichtung erkennt.
-
Daher ist es gemäß der Fahrzeugumgebungsüberwachungsvorrichtung 1 möglich, ein unbehagliches und einschränkendes Gefühl des Fahrzeugfahrers zu verringern und dem Fahrzeugfahrer einen klaren, gut aussehenden Bildbildschirm als Anzeigebild in dem Fahrzeuginsassenraum anzugeben. Das unbehagliche Gefühl entsteht, wenn die Beziehung zwischen dem Host-Fahrzeug und der Straßenoberfläche nicht intuitiv erkannt werden kann. Das einschränkende Gefühl entsteht, wenn die Informationen über die Position, die höher als die Straßenoberfläche liegt, nicht erlangt werden können.
-
In der Fahrzeugumgebungsüberwachungsvorrichtung 1 ermöglicht es der Steuerabschnitt 6 dem Anzeigeabschnitt 4, den Bildbildschirm anzuzeigen, wenn das Verhältnis der drei Segmentbereiche in dem Koordinatentransformationsbild gleich dem Soll-Verhältnis ist. Gemäß dieser Konfiguration hat der Fahrzeugfahrer weniger ein unbehagliches Gefühl, da die Stoßstangenposition des Host-Fahrzeugs und die Horizontallinienposition in Bezug auf das Host-Fahrzeug in dem Anzeigebild in dem Fahrzeuginsassenraum konstant gehalten werden.
-
Wenn in der Fahrzeugumgebungsüberwachungsvorrichtung 1 der Stoßstangenbereich kleiner als die auf dem Soll-Verhältnis basierende Größe ist, setzt der Steuerabschnitt 6 das Bild, das den hinteren Kantenabschnitt (die Stoßstange) des Host-Fahrzeugs simuliert, mit dem Koordinatentransformationsbild zusammen. Das heißt, wenn die Stoßstangenposition des Host-Fahrzeugs in Bezug auf eine vorbestimmte Bezugsposition nach unten verschoben ist oder wenn die Endkantenposition unsichtbar ist, wird das Bild, das einen Kantenabschnitt des Host-Fahrzeugs simuliert, zu dem Koordinatentransformationsbild hinzugefügt, um die Erkennbarkeit zu erhöhen. Dementsprechend ist es möglich, die Stoßstangenposition des Host-Fahrzeugs an der vorbestimmten Bezugsposition auszurichten.
-
Wenn das Anzeigebild, das einen gewünschten ausgeglichenen Stoßstangenbereich aufweist, durch die Bildkorrektur, die die Koordinatentransformation alleine enthält, nicht erlangt werden kann, kann eine einfache Unterbringung bzw. Anpassung möglich sein, um das unbehagliche Gefühl des Fahrzeugfahrers vorzugsweise zu verringern. In diesem Fall kann der Fahrzeugfahrer bei der Positionsbeziehung zwischen dem Host-Fahrzeugs und der Straßenoberfläche fühlen, dass die Stoßstangenposition des Host-Fahrzeugs gegenüber der tatsächlichen Position nach vorne oder hinten vorsteht. Sogar wenn der Fahrer die vorstehende Position fühlt, wird eine sichere Fahrt des Host-Fahrzeugs gefördert (um eine Kollision mit einem Hindernis auf einfache Weise früh zu vermeiden). Dieses führt zu keinem Sicherheitsproblem.
-
Wenn in der Fahrzeugumgebungsüberwachungsvorrichtung 1 der Himmelbereich kleiner als die auf dem Soll-Verhältnis basierende Größe ist, setzt der Steuerabschnitt 6 das Bild, das den Himmel simuliert, mit dem Koordinatentransformationsbild zusammen. In dem Koordinatentransformationsbild wird, wenn die Horizontallinienposition in Bezug auf das Host-Fahrzeug von einer vorbestimmten Bezugsposition nach oben verschoben ist oder wenn die Horizontallinienposition unsichtbar ist, das Bild, das den Himmel simuliert, hinzugefügt, um die Erkennbarkeit zu verbessern. Die Horizontallinienposition in Bezug auf das Host-Fahrzeug kann dadurch an der vorbestimmten Bezugsposition ausgerichtet werden. Sogar wenn das Anzeigebild, das einen gewünschten ausgeglichenen Himmelbereich aufweist, durch die Bildkorrektur, die die Koordinatentransformation enthält, alleine nicht erlangt werden kann, kann eine einfache Unterbringung bzw. Anpassung möglich sein, um vorzugsweise das einschränkende Gefühl des Fahrzeugfahrers zu verringern.
-
<Weitere Ausführungsformen>
-
Die Ausführungsform der vorliegenden Erfindung wurde beschrieben. Die vorliegende Erfindung ist nicht auf die Ausführungsform beschränkt und kann in verschiedenen Modi ausgeführt werden, ohne von dem Bereich der vorliegenden Erfindung abzuweichen.
-
Der Anzeigeabschnitt 4 enthält eine zentrale Anzeige des Host-Fahrzeugs in der Fahrzeugumgebungsüberwachungsvorrichtung 1 der Ausführungsform, ist aber nicht darauf beschränkt. Der Anzeigeabschnitt 4 kann verschiedene Arten von Anzeigen enthalten, beispielsweise eine Messgeräteanzeige und eine Head-up-Anzeige.
-
In der Fahrzeugumgebungsüberwachungsvorrichtung 1 der Ausführungsform enthält die Kamera 2 eine hintere Kamera bzw. Rücksichtkamera, die an dem hinteren Teil des Host-Fahrzeugs montiert ist, um die Umgebung des Fahrzeugs abzubilden, die eine Straßenoberfläche hinter dem Host-Fahrzeug enthält. Die Kamera 2 kann eine vordere Kamera bzw. Vorderansichtskamera enthalten, die an dem vorderen Teil des Host-Fahrzeugs montiert ist, um die Umgebung des Fahrzeugs abzubilden, die eine Straßenoberfläche vor dem Host-Fahrzeug enthält.
-
In der Bildverarbeitung der Ausführungsform kann, wenn das Verhältnis der Segmentbereiche in dem Koordinatentransformationsbild, das in S150 erzeugt wird, gleich dem Soll-Verhältnis ist (S160: JA), der Anzeigeabschnitt 4 den Bildbildschirm auf der Grundlage dieses Koordinatentransformationsbildes anzeigen (S170). Wenn das Verhältnis der Segmentbereiche innerhalb eines vorbestimmten auf dem Soll-Verhältnis basierenden erlaubten Bereiches liegt, kann der Bildbildschirm basierend auf dem Koordinatentransformationsbild auf dem Anzeigeabschnitt 4 angezeigt werden. Wenn der Stoßstangenbereich der Segmentbereiche gleich oder größer als die auf dem Soll-Verhältnis basierende Größe ist, und wenn außerdem der Himmelbereich gleich oder größer als die auf dem Soll-Verhältnis basierende Größe ist, kann der Bildbildschirm, der auf dem Koordinatentransformationsbild basiert, auf dem Anzeigeabschnitt 4 angezeigt werden.
-
Die Fahrzeugumgebungsüberwachungsvorrichtung der vorliegenden Erfindung enthält einen Bildabschnitt bzw. Abbildungsabschnitt, einen Bildverarbeitungsabschnitt und einen Anzeigeabschnitt. Der Bildabschnitt ist an dem Host-Fahrzeug montiert, um die Umgebung abzubilden, die eine Straßenoberfläche in der Vorwärtsund/oder Rückwärtsrichtung des Host-Fahrzeugs enthält. Der Anzeigeabschnitt zeigt den Bildbildschirm auf der Grundlage des Koordinatentransformationsbildes, das von dem Bildverarbeitungsabschnitt erzeugt wird, auf dem vorbestimmten Anzeigebereich in dem Fahrzeuginsassenraum an.
-
Gemäß der vorliegenden Erfindung führt der Bildverarbeitungsabschnitt die Bildkorrektur für das Originalbild, das von dem Bildabschnitt aufgenommen wird, mit dem Parameter durch. Der Parameter ermöglicht eine Berechnung der Endkantenposition des Host-Fahrzeugs und der Horizontallinienposition zu dem Host-Fahrzeug. Die Bildkorrektur enthält die vorbestimmte Koordinatentransformation, so dass das Verhältnis der drei Segmentbereiche, in die das Originalbild an der Endkantenposition und der Horizontallinienposition vertikal segmentiert wird, sich dem vorbestimmten Soll-Verhältnis annähert. Gemäß der Bildkorrektur wird ein virtuelles Koordinatentransformationsbild auf der Grundlage des Originalbildes erzeugt.
-
Gemäß dieser Konfiguration ist es, wenn die drei Segmentbereiche in dem Koordinatentransformationsbild, das den Kantenbereich unterhalb der Kantenposition, den Straßenoberflächenbereich zwischen der Kantenposition und der Horizontallinienposition und den Himmelbereich oberhalb der Horizontallinienposition enthält, möglich, einen Bildbildschirm anzuzeigen, in dem der Kantenbereich, der Straßenoberflächenbereich und der Himmelbereich mit einem vorbestimmten Verhältnis ausgeglichen sind.
-
Gemäß der Konfiguration der vorliegenden Erfindung kann der Fahrzeugfahrer auf einfache Weise die Straßenbedingung und die Endkantenposition des Host-Fahrzeugs und die Horizontallinienposition in Bezug auf das Host-Fahrzeug als Koordinatentransformationsbild auf dem Anzeigeabschnitt in dem Fahrzeuginsassenraum erlangen. Der Fahrzeugfahrer kann die Positionsbeziehung zwischen dem Host-Fahrzeug und einer Straßenoberfläche und die Informationen über die Höhenrichtung instinktiv erlangen.
-
Gemäß der vorliegenden Erfindung ist es möglich, das unbehagliche und einschränkende Gefühl des Fahrzeugfahrers zu verringern. Das unbehagliche Gefühl entsteht, wenn die Positionsbeziehung zwischen dem Host-Fahrzeug und der Straßenoberfläche aus dem Anzeigebild in dem Fahrzeuginsassenraum nicht instinktiv erlangt werden kann. Das einschränkende Gefühl entsteht, wenn Informationen über eine höhere Position als die Straßenoberfläche aus dem Anzeigebild in dem Fahrzeuginsassenraum nicht erlangt werden kann.
-
Der Parameter enthält den externen Parameter, der eine Positionsorientierung des Bildabschnitts angibt. Gemäß einer Gestalt eines Fahrzeugs (des Host-Fahrzeugs), an dem der Bildabschnitt montiert ist, führt der Bildverarbeitungsabschnitt eine Kamerakalibrierung unter Verwendung des Parameters durch, um im Voraus eine Endkantenposition des Fahrzeugs und eine Horizontallinienposition in Bezug auf das Host-Fahrzeug zu berechnen. Wenn der Bildabschnitt an einem anderen Typ (Modell) eines Fahrzeugs montiert ist, können die Informationen über die Endkantenposition des Host-Fahrzeugs und die Horizontallinienposition in Bezug auf das Host-Fahrzeug im Voraus berechnet werden.
-
Die vorliegende Erfindung kann als Programm auf dem Markt verteilt werden. Insbesondere dient das Programm für einen Computer, der mit dem Bildabschnitt und dem Anzeigeabschnitt als Bildverarbeitungsabschnitt verbunden ist.
-
Dieses Programm kann in einem oder mehreren Computern installiert werden, um eine äquivalente Wirkung zu der Wirkung zu erzielen, die gemäß der Fahrzeugumgebungsüberwachungsvorrichtung der vorliegenden Erfindung erzielt wird. Das Programm der vorliegenden Erfindung kann in einem ROM und einem Flash-Speicher, der in einem Computer eingebaut ist, gespeichert werden, kann von dem ROM oder dem Flash-Speicher in den Computer geholt werden oder kann über ein Netzwerk in den Computer geladen werden.
-
Das Programm kann auf beliebigen Aufzeichnungsmedien, die von Computern lesbar sind, aufgezeichnet werden. Die Aufzeichnungsmedien beinhalten einen tragbaren Halbleiterspeicher (einen USB-Speicher und eine Speicherkarte (eingetragene Marke)).
-
Die Ausführungsform und die Konfiguration gemäß der vorliegenden Erfindung wurden oben beschrieben. Die Ausführungsform, die Konfiguration und der Aspekt gemäß der vorliegenden Erfindung sind jedoch nicht auf jeweils die Ausführungsform, die Konfiguration und den Aspekt beschränkt, die oben beschrieben wurden. Die Ausführungsform, die Konfiguration und der Aspekt, die durch geeignetes Kombinieren des technischen Teils, der in unterschiedlichen Ausführungsformen, Konfigurationen und Aspekten offenbart ist, erhalten werden, liegen ebenfalls innerhalb des Bereiches der Ausführungsformen, Konfigurationen und Aspekte der vorliegenden Erfindung.
