DE112021002562T5 - Verarbeitungsvorrichtung und an einem fahrzeug montierte kameravorrichtung - Google Patents

Abstract

Die vorliegende Offenbarung schafft eine Verarbeitungsvorrichtung, die, wenn eine monokulare Kamera oder eine Stereokamera in einem Fahrzeug montiert ist und ein Bild von Markierungen für die Kalibrierung erfasst, eine Installationsfehlausrichtung der Kamera mit Bezug auf die Markierungen aufgrund einer Installationsfehlausrichtung des Fahrzeugs oder einer Montagefehlausrichtung der Kamera detektiert, eine Bildfehlausrichtung aufgrund von Glas kalibriert, so dass es nicht durch eine Bildfehlausrichtung aufgrund dieses Faktors beeinflusst ist, und einen Abstand genau misst. Die Verarbeitungsvorrichtung erfasst eine Installationsfehlausrichtung der am Fahrzeug montierten Kamera aus einem Bild, das durch Abbilden von mehreren Markierungen 101, 102, 103 in verschiedenen Abständen von der am Fahrzeug montierten Kamera (Stereokamera 104) erhalten wird, und modellierten Daten eines Fensters (Windschutzscheibe 112) eines Fahrzeugs 111 und ändert Korrekturdaten zum Korrigieren des Bildes der am Fahrzeug montierten Kamera unter Verwendung der Installationsfehlausrichtung. Die Installationsfehlausrichtung ist eine Positionsfehlausrichtung mit Bezug auf eine Position, in der die am Fahrzeug montierte Kamera mit Bezug auf ein Diagramm angeordnet sein soll, in dem die Markierungen 101, 102, 103 vorhanden sind.

Description

• Technisches Gebiet
• Die vorliegende Erfindung bezieht sich auf eine Verarbeitungsvorrichtung und eine an einem Fahrzeug montierte Kameravorrichtung, die Daten zum Korrigieren eines oder mehrerer Kamerabilder zu einem Bild ohne Verzerrung berechnen.
• Stand der Technik
• In der herkömmlichen Technik von PTL 1 ist eine Stereokamera mit einer ersten Kamera und einer zweiten Kamera in einem Fahrzeug installiert, und dann wird ein Korrekturparameter der ersten Kamera, der ein Bild der ersten Kamera kalibriert, das durch eine Windschutzscheibe (transparenter Körper) hindurch erfasst wird, berechnet. Durch Berechnen eines Korrekturparameters der zweiten Kamera, der die Parallaxe eines Subjekts zwischen der ersten Kamera und der zweiten Kamera kalibriert, wird als nächstes die Fehlausrichtung des Bildes aufgrund der Windschutzscheibe beseitigt.
• In der herkömmlichen Technik von PTL 2 wird, wenn eine Windschutzscheibe (transparenter Körper) eingefügt ist, und wenn die Windschutzscheibe nicht eingefügt ist, ein Subjekt durch eine Stereokamera abgebildet, Koordinaten des Subjekts in einem Bild werden erhalten und ein Korrekturparameter, der das Bild bildet, wird auf der Basis einer Differenz zwischen den Koordinaten berechnet. Die Fehlausrichtung des Bildes aufgrund der Windschutzscheibe wird auf der Basis des Korrekturparameters beseitigt.
• Entgegenhaltungsliste
• Patentliteratur
• PTL 1. JP 2019-132855 A
• PTL 1: JP 2015-169583 A
• Zusammenfassung der Erfindung
• Technisches Problem
• In einem Fall, in dem eine Installationsfehlausrichtung des Fahrzeugs, in dem die Kamera montiert ist, mit Bezug auf ein Diagramm besteht, oder eine Montagefehlausrichtung der Kamera mit Bezug auf das Fahrzeug besteht, umfasst der Korrekturparameter, der als Fehlausrichtung des Bildes aufgrund der Windschutzscheibe gebildet ist, die Fehlausrichtung des Bildes aufgrund der Installationsfehlausrichtung des Fahrzeugs und der Montagefehlausrichtung der Kamera. Wenn ein Zielobjekt in einem Abstand, der vom Abstand des für die Kalibrierung abgebildeten Subjekts verschieden ist, abgebildet wird, ist folglich das Zielobjekt in der vertikalen Richtung in den Bildern der ersten Kamera und der zweiten Kamera fehlausgerichtet und bei einer Mustervergleichsverarbeitung stimmen die Bilder des Objekts normalerweise nicht überein und eine genaue Parallaxe kann nicht detektiert werden. Außerdem ist das Zielobjekt in der horizontalen Richtung in den Bildern der ersten Kamera und der zweiten Kamera fehlausgerichtet und ein Parallaxenfehler tritt auf. Folglich kann der Abstand des Objekts aufgrund des Parallaxenfehlers nicht genau gemessen werden.
• Eine Aufgabe der vorliegenden Erfindung besteht darin, eine Verarbeitungsvorrichtung zu schaffen, die, wenn eine monokulare Kamera oder eine Stereokamera in einem Fahrzeug montiert ist, und eine Markierung für die Kalibrierung abgebildet wird, eine Installationsfehlausrichtung der Kamera mit Bezug auf die Markierung aufgrund einer Installationsfehlausrichtung des Fahrzeugs oder einer Montagefehlausrichtung der Kamera detektiert, eine Bildfehlausrichtung aufgrund von Glas kalibriert, so dass es nicht durch eine Bildfehlausrichtung aufgrund dieses Faktors beeinflusst ist, und einen Abstand genau misst.
• Lösung für das Problem
• Eine Verarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist eine Verarbeitungsvorrichtung, die eine Installationsfehlausrichtung einer am Fahrzeug montierten Kamera aus einem Bild, das durch Abbilden von mehreren Markierungen in verschiedenen Abständen von der am Fahrzeug montierten Kamera erhalten wird, und modellierten Daten eines Fensters eines Fahrzeugs erfasst, und Korrekturdaten zum Korrigieren des Bildes der am Fahrzeug montierten Kamera unter Verwendung der Installationsfehlausrichtung ändert, wobei.die Installationsfehlausrichtung eine Positionsfehlausrichtung mit Bezug auf eine Position ist, in der die am Fahrzeug montierte Kamera mit Bezug auf ein Diagramm angeordnet sein soll, in dem die Markierungen vorhanden sind.
• Vorteilhafte Effekte der Erfindung
• Gemäß der vorliegenden Erfindung ist es möglich, ein Vergrößerungsverhältnis und eine Versatzabweichung eines Modells von Glas eines Fahrzeugs, die nicht von einem Abstand abhängen, und Positions- und Orientierungsfehlausrichtungen zwischen Markierungen und einer Kamera, die vom Abstand abhängen, auf der Basis eines Intervalls zwischen den Markierungen in einem Bild der Markierungen in verschiedenen Abständen und einer Positionsfehlausrichtung im Bild der Markierungen zu detektieren. Wenn eine Installationsfehlausrichtung des Fahrzeugs und eine Montagefehlausrichtung der Kamera in der Position der Kamera bestehen, ist es dann durch Ändern von Daten zum Korrigieren eines Bildes, um die Fehlausrichtung des Bildes aufgrund der Windschutzscheibe zu kalibrieren, möglich, die Fehlausrichtung des Bildes aufgrund der Installationsfehlausrichtung des Fahrzeugs und der Montagefehlausrichtung der Kamera nur durch einmalige Bildgebung zu beseitigen und einen Abstand genau zu messen.
• Figurenliste
• [1] 1 ist ein Diagramm, das eine Ausführungsform einer Verarbeitungsvorrichtung und einer am Fahrzeug montierten Kameravorrichtung der vorliegenden Erfindung darstellt.
• [2] 2 ist eine Ansicht, die ein Beispiel von Bereichen darstellt, in denen Markierungen angeordnet sind.
• [3] 3 ist ein Diagramm, das die Ausführungsform der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung der vorliegenden Erfindung darstellt.
• [4] 4 ist ein Diagramm, das Operationen der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung darstellt.
• [5] 5 ist eine Ansicht, die Positionen von Markierungen in einem korrigierten Bild darstellt.
• [6] 6 ist eine Ansicht, die ein Beispiel einer Anordnung von Markierungen, einer Stereokamera und eines Fahrzeugs von oben betrachtet darstellt.
• [7] 7 ist eine Ansicht, die ein Beispiel einer Anordnung von Markierungen, der Stereokamera und von Glas von oben betrachtet darstellt.
• [8] 8 ist ein Diagramm, das einen Betrieb der Stereokamera darstellt.
• [9] 9 ist ein Diagramm, das ein Beispiel der Berechnung einer Parallaxe an korrigierten Bildern von zwei Bildgebungssystemeinheiten darstellt.
• [10] 10 ist ein Diagramm, das eine Abwandlung der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung, die in 3 dargestellt sind, darstellt.
• [11] 11 ist ein Diagramm, das eine Abwandlung der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung, die in 3 dargestellt sind, darstellt.
• [12] 12 ist ein Diagramm, das einen Betrieb einer Kamera darstellt.
• [13] 13 ist eine Ansicht, die ein Beispiel eines Bildes darstellt, in dem ein einer Abstandsmessung zu unterziehendes Objekt abgebildet ist.
• Beschreibung von Ausführungsformen
• (Erste Ausführungsform)
• 1 ist ein Diagramm, das eine Konfiguration einer Bildkalibrierungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 2 ist eine Ansicht, die ein Beispiel von Bereichen darstellt, in denen Markierungen angeordnet sind. 3 ist ein Diagramm, das eine Konfiguration einer Stereokamera der Bildkalibrierungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung darstellt.
• Eine Verarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform ist beispielsweise die Bildkalibrierungsvorrichtung. Die Bildkalibrierungsvorrichtung weist Bildkorrekturdaten zum Korrigieren einer Verzerrung und Fehlausrichtung eines Bildes auf, das in einem Zustand erfasst wird, in dem es nicht durch eine Windschutzscheibe 112 hindurchgeht, und ein Fahrzeug 111 in einer Position und einer Orientierung (Richtung 123) installiert ist, die von einer vorbestimmten Position 121 und einer vorbestimmten Orientierung (Richtung 122) fehlausgerichtet sind. In einem Zustand, in dem eine Stereokamera 104 in einer Position und Orientierung (Richtung 124) montiert ist, die von einer vorbestimmten Position und Orientierung (Richtung 122) im Fahrzeug 111 fehlausgerichtet sind, werden die Bildkorrekturdaten, um eine Bildfehlausrichtung aufgrund der Windschutzscheibe 112 zu korrigieren, durch Beseitigen des Effekts der Installationsfehlausrichtung des Fahrzeugs 111 und der Montagefehlausrichtung der Stereokamera 104 geändert.
• 1 und 3 stellen eine Konfiguration eines Beispiels der Bildkalibrierungsvorrichtung gemäß der vorliegenden Erfindung dar. Hier sind eine Speichereinheit 316 für korrigierte Bilder, eine Parallaxenbildspeichereinheit 317 und eine Abstandsdetektionseinheit 330, die grau angezeigt sind, nicht in der Bildkalibrierungsvorrichtung enthalten und arbeiten in einem Fall der Detektion des Abstandes eines dreidimensionalen Objekts. Diese Operationen werden später beschrieben.
• Die Bildkalibrierungsvorrichtung umfasst mehrere Markierungen, eine Fahrzeuginstallationsfehlausrichtungs-Detektionseinheit 105 und die Stereokamera 104.
• Wie in 2 dargestellt, weist jede der mehrere Markierungen eine kreisförmige Form auf. Die mehreren Markierungen 201 sind vor dem Fahrzeug angeordnet und die mehreren Markierungen 202, die mehreren Markierungen 203, die mehreren Markierungen 204 und die mehreren Markierungen 205 sind vorn oben links, vorn oben rechts, vorn unten links bzw. vorn unten rechts mit Bezug auf die mehreren Markierungen 201 angeordnet. Hier sind die Markierungen 201, die Markierungen 202, die Markierungen 203, die Markierungen 204 und die Markierungen 205 in einem Diagramm 206, einem Diagramm 207, einem Diagramm 208, einem Diagramm 209 bzw. einem Diagramm 210 gezeichnet. Eine Markierung 101 stellt die Markierungen 201 dar, eine Markierung 102 stellt die Markierungen 202 oder 204 dar und eine Markierung 203 stellt die Markierungen 203 oder die Markierungen 205 dar. Solange die Markierungen 201 bis 205 in verschiedenen Abständen von der Kamera angeordnet sind, können die Markierungen in einer anderen Anordnung als der in 2 dargestellten angeordnet sein.
• Die Fahrzeuginstallationsfehlausrichtungs-Detektionseinheit 105 mit Lichtdetektion und Entfernungsmessung (LiDAR), einer Recheneinheit und dergleichen weist Oberflächenformdaten (Planungswert) des Fahrzeugs und eine Position (Planungsposition) des Fahrzeugs auf, wenn das Fahrzeug wie geplant installiert ist. Die Fahrzeuginstallationsfehlausrichtungs-Detektionseinheit misst eine Oberflächenposition (gemessener Wert) des Fahrzeugs 111 und vergleicht den Planungswert der Oberflächenformdaten des Fahrzeugs 111 mit dem gemessenen Wert der Oberflächenposition des Fahrzeugs 111, um eine Positionsfehlausrichtung und eine Orientierungsfehlausrichtung aus der Planungsposition des Fahrzeugs 111 zu detektieren.
• Die Stereokamera 104 ist im Fahrzeug 111 montiert und bildet die Markierungen 201 bis 205 durch die Windschutzscheibe 112 des Fahrzeugs 111 hindurch ab. Ferner umfasst die Stereokamera 104 eine Bildgebungssystemeinheit 300a, eine Bildgebungssystemeinheit 300b und eine Recheneinheit 310 und ist mit der Fahrzeugpositionsfehlausrichtungsdetektionseinheit 105 verbunden.
• Die Bildgebungssystemeinheit 300a wie z. B. eine Kamera umfasst eine Optikelementeinheit 301a und eine Bildgebungselementeinheit 302a. Die Optikelementeinheit 301a wie z. B. eine Linse bricht Licht, um ein Bild auf der Bildgebungselementeinheit 302a zu erzeugen. Die Bildgebungselementeinheit 302a wie z. B. ein Bildgebungselement empfängt das Bild des Lichts, das durch die Optikelementeinheit 301a gebrochen wird, und erzeugt ein Bild, das der Intensität des Lichts entspricht.
• Die Bildgebungssystemeinheit 300b wie z. B. eine Kamera umfasst eine Optikelementeinheit 301b und eine Bildgebungselementeinheit 302b. Außerdem sind Planungswerte von Brennweiten der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b gleich. Die Richtungen der optischen Achsen der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b sind im Wesentlichen gleich. Die Optikelementeinheit 301b wie z. B. eine Linse bricht Licht, um ein Bild auf der Bildgebungselementeinheit 302b zu erzeugen. Die Bildgebungselementeinheit 302b wie z. B. ein Bildgebungselement empfängt das Bild des Lichts, das durch die Optikelementeinheit 301b gebrochen wird, und erzeugt ein Bild, das der Intensität des Lichts entspricht.
• Da das durch die Bildgebungssystemeinheit 300a erfasste Bild ein Bild ist, das als Standard dient, wenn ein Parallaxenbild erzeugt wird, wird das Bild als Standardbild bezeichnet. Außerdem ist das durch die Bildgebungssystemeinheit 300b erfasste Bild ein Bild, in dem ein Bereich, der einem Bereich entspricht, der von dem Standardbild extrahiert wird, gesucht wird, wenn das Parallaxenbild erzeugt wird, und wird als Referenzbild bezeichnet.
• Die Recheneinheit 310 wie z. B. eine Zentraleinheit (CPU) und ein Arbeitsspeicher umfasst eine Speichereinheit 311 für erfasste Bilder, eine Bildkorrekturinformationsspeichereinheit 312, eine Kalibrierungsinformationsspeichereinheit 313, eine Synchronisationssignalerzeugungseinheit 314, eine Standardbilderfassungseinheit 315a, eine Referenzbilderfassungseinheit 315b, eine Bildkalibrierungseinheit 320, eine Speichereinheit 316 für korrigierte Bilder, eine Parallaxenbildspeichereinheit 317, eine Fehlausrichtungskorrekturspeichereinheit 318 und eine Abstandsdetektionseinheit 330.
• Die Speichereinheit 311 für erfasste Bilder wie z. B. ein Arbeitsspeicher speichert Bilder, die aus der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b ausgegeben werden.
• Die Bildkorrekturinformationsspeichereinheit 312 wie z. B. ein Arbeitsspeicher speichert zweidimensionale Koordinaten (Bildkorrekturdaten) an korrigierten Bildern (Bilder nach der Bildgebung mit Verzerrung) entsprechend jedem Pixel in den erfassten Bildern (Bilder ohne Verzerrung) für das Bild der Bildgebungssystemeinheit 300a und das Bild der Bildgebungssystemeinheit 300b. Die Bildkorrekturinformationsspeichereinheit 312 speichert im Voraus die Bildkorrekturdaten der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b, die ohne Windschutzscheibe 112 erhalten werden, und speichert Bildkorrekturdaten, die durch eine Bildkorrekturdateriänderungseinrichtung erzeugt werden und zu einem Bild ohne Verzerrung durch die Windschutzscheibe 112 korrigiert werden sollen. Hier ist das Bild ohne Verzerrung ein Bild, das durch Durchführen einer perspektivischen Projektion mit einem Nadellochmodell erhalten wird. Die Bildkorrekturdaten werden zum Verarbeiten einer Korrektur einer Linsenverzerrung und Fehlausrichtung einer optischen Achse eines Bildes nach der Bildgebung verwendet und stellen eine Verzerrung des Bildes zur Zeit der Bildgebung dar.
• Die Kalibrierungsinformationsspeichereinheit 313 wie z. B. ein Arbeitsspeicher speichert die Brennweiten und Pixelrastermaße der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b, Positionen der optischen Achse an erfassten Bildern, Positionen der optischen Achse an den korrigierten Bildern, dreidimensionale Positionen der Markierungen 201 bis 205 mit Bezug auf die Stereokamera 104, wenn die Stereokamera 104 im Fahrzeug 111 so installiert ist, dass sie nicht fehlausgerichtet ist, Planungswerte von Daten (Glasverformungsdaten) eines Bildverformungsmodells aufgrund der Windschutzscheibe 112 in der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b und jedes Markierungsbild in den korrigierten Bildern zu dieser Zeit, Vergrößerungsverhältnisse und Versatzabweichungen des Modells der Bildverformung aufgrund der Windschutzscheibe 112 in der horizontalen Richtung und der vertikalen Richtung, eine Positionsfehlausrichtung und Orientierungsfehlausrichtung des installierten Fahrzeugs, eine Positionsfehlausrichtung und Orientierungsfehlausrichtung der montierten Kamera.
• Hier werden die Vergrößerungsverhältnisse und Versatzabweichungsbeträge in der horizontalen Richtung und der vertikalen Richtung der Bildverformung aufgrund der Windschutzscheibe 112, die Positionsfehlausrichtung und Orientierungsfehlausrichtung des installierten Fahrzeugs und die Positionsfehlausrichtung und Orientierungsfehlausrichtung der montierten Kamera durch einen Bildfehlausrichtungsfaktordetektor 322 berechnet. Die Anfangswerte der Vergrößerungsverhältnisse in der horizontalen Richtung und der vertikalen Richtung der Bildverformung aufgrund der Windschutzscheibe 112 sind 1 und die anderen Anfangswerte sind 0. Die Glasverformungsdaten sind zweidimensionale Koordinaten einer Position, die jedem Pixel in den Bildern entspricht, vor dem Durchgang durch die Windschutzscheibe 112, und liegen in dem Bild nach dem Durchgang durch die Windschutzscheibe 112.
• Die Synchronisationssignalerzeugungseinheit 314 erzeugt und überträgt ein Synchronisationssignal.
• Nach dem Senden des Synchronisationssignals und von Informationen einer Belichtungszeit zur Bildgebungselementeinheit 302a gemäß dem Synchronisationssignal der Synchronisationssignalerzeugungseinheit 314 erfasst die Standardbilderfassungseinheit 315a ein Bild, das durch die Bildgebungselementeinheit 302a erzeugt wird, und speichert das Bild in der Speichereinheit 311 für erfasste Bilder.
• Nach dem Senden des Synchronisationssignals und der Informationen der Belichtungszeit zur Bildgebungselementeinheit 302b gemäß dem Synchronisationssignal der Synchronisationssignalerzeugungseinheit 314 erfasst die Referenzbilderfassungseinheit 315b ein Bild, das durch die Bildgebungselementeinheit 302b erzeugt wird, und speichert das Bild in der Speichereinheit 311 für erfasste Bilder.
• Die Bildkalibrierungseinheit 320 umfasst einen Markierungspositionsdetektor 321, den Bildfehlausrichtungsfaktordetektor 322 und die Bildkorrekturdatenänderungseinrichtung 323.
• Der Markierungspositionsdetektor 321 berechnet Bildkorrekturdaten zum Korrigieren eines durch die Windschutzscheibe 112 hindurch erfassten Bildes auf der Basis der Bildkorrekturdaten, die im Voraus in der Bildkorrekturinformationsspeichereinheit 312 gespeichert werden, und eines Planungswerts von Bildverformungsdaten aufgrund der Windschutzscheibe 112 und korrigiert die erfassten Bilder der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b unter Verwendung der Bildkorrekturdaten. Als nächstes führt der Markierungspositionsdetektor 321 eine Mustervergleichsverarbeitung durch, um Positionen (detektierte Positionen) der Markierungen in den korrigierten Bildern zu detektieren, durch Vergleichen von Markierungsbildern, die in der Kalibrierungsinformationsspeichereinheit 313 gespeichert sind, mit Markierungsbildern in den korrigierten Bildern.
• Der Bildfehlausrichtungsfaktordetektor 322 berechnet Positionen (Planungspositionen) der Markierungen in den korrigierten Bildern in einem Fall, in dem das Fahrzeug 111 so installiert ist, dass es nicht fehlausgerichtet ist, und eine Bildfehlausrichtung aufgrund der Windschutzscheibe 112 wie geplant ist, auf der Basis der Brennweiten und Pixelrastermaßeder Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b, der Positionen der optischen Achse in den erfassten Bildern, der Positionen der optischen Achse in den korrigierten Bildern, der dreidimensionalen Positionen der Markierungen mit Bezug auf die Stereokamera 104, wenn die Stereokamera 104 im Fahrzeug 111 so installiert ist, dass sie nicht fehlausgerichtet ist, und der Planungswerte der Glasverformungsdaten der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b, die in der Kalibrierungsinformationsspeichereinheit 313 gespeichert sind.
• Auf der Basis der detektierten Positionen und der Planungspositionen der Markierungen 201 bis 205 in den korrigierten Bildern berechnet ferner der Bildfehlausrichtungsfaktordetektor 322 die Vergrößerungsverhältnisse und Versatzabweichungen in der horizontalen Richtung und der vertikalen Richtung der Bildverformung aufgrund der Windschutzscheibe 112 und der Installationsfehlausrichtung der Kamera unter Verwendung der Tatsache, dass die Bildfehlausrichtung aufgrund der Windschutzscheibe 112 nicht von Abständen zwischen der Stereokamera 104 und den Markierungen 201 bis 205 abhängt, und der Tatsache, dass die Installationsfehlausrichtung der Kamera von den Abständen zwischen der Stereokamera 104 und den Markierungen 201 bis 205 abhängt. Hier ist die Installationsfehlausrichtung der Kamera eine Positionsfehlausrichtung und eine Orientierungsfehlausrichtung (Fehlausrichtung von einem Planungspunkt) zwischen den Markierungen 201 bis 205 und der Stereokamera 104. Als nächstes wird die Montagefehlausrichtung der Kamera auf der Basis der Installationsfehlausrichtung des Fahrzeugs, die durch die Fahrzeuginstallationsfehlausrichtungs-Detektionseinheit 105 detektiert wird, und der Installationsfehlausrichtung der Kamera, die durch den Bildfehlausrichtungsfaktordetektor 322 berechnet wird, berechnet. Hier ist die Montagefehlausrichtung der Kamera eine Positionsfehlausrichtung und eine Orientierungsfehlausrichtung (Fehlausrichtung von einem Planungspunkt) der Stereokamera 104 mit Bezug auf das Fahrzeug 111, wenn die Stereokamera 104 im Fahrzeug 111 montiert ist.
• Die Bildkorrekturdatenänderungseinrichtung 323 liest die Brennweiten und Pixelrastermaße der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b, die Positionen der optischen Achse in den erfassten Bildern, die Positionen der optischen Achse in den korrigierten Bildern und die dreidimensionalen Positionen der Markierungen 201 bis 205 mit Bezug auf die Stereokamera 104, wenn die Stereokamera 104 im Fahrzeug 111 so installiert ist, dass sie nicht fehlausgerichtet ist, die in der Kalibrierungsinformationsspeichereinheit 313 gespeichert sind.
• Außerdem verwendet die Bildkorrekturdatenänderungseinrichtung 323 die Installationsfehlausrichtung der Kamera, die Montagefehlausrichtung der Kamera und die Vergrößerungsverhältnisse und Versatzabweichungen des Modells der Windschutzscheibe 112 in der horizontalen Richtung und der vertikalen Richtung, die durch den Bildfehlausrichtungsfaktordetektor 322 detektiert werden, um Kamerainstallationsfehlausrichtungsdaten, die eine Bildfehlausrichtung aufgrund der Installationsfehlausrichtung der Kamera angeben, Kameramontagerichtungsabweichungsdaten, die eine Bildfehlausrichtung aufgrund einer Abweichung der Montagerichtung der Kamera angeben, Vergrößerungsverhältnisse des Modells der Windschutzscheibe 112 in der horizontalen Richtung und der vertikalen Richtung und Glasfehlausrichtungsdaten, wenn eine Versatzabweichung besteht, zu berechnen.
• Außerdem verwendet die Bildkorrekturdatenänderungseinrichtung 323 eine zweidimensionale lineare Interpolation, um sequentiell für jedes Pixel eine Umwandlung auf der Basis der Kameramontagerichtungsabweichungsdaten, eine Umwandlung auf der Basis der Glasfehlausrichtungsdaten, eine Umwandlung auf der Basis der Glasverformungsdaten, eine Umwandlung auf der Basis der Kamerainstallationsfehlausrichtungsdaten und eine Umwandlung auf der Basis der Bildkorrekturdaten (die die Verzerrung eines Bildes zur Zeit der Bildgebung darstellen) zur Zeit des Nicht-Durchgangs durch die Windschutzscheibe 112 durchzuführen. Folglich beseitigt die Bildkorrekturdatenänderungseinrichtung 323 eine Pixelfehlausrichtung aufgrund der Installationsfehlausrichtung der Kamera, berechnet für das Standardbild und das Referenzbild die Bildkorrekturdaten, wenn die Kamera der Fahrtrichtung des Fahrzeugs 111 durch die Windschutzscheibe 112 zugewandt ist, und speichert diese Bildkorrekturdaten in der Bildkorrekturinformationsspeichereinheit 312.
• Die Speichereinheit 316 für korrigierte Bilder wie z. B. ein Arbeitsspeicher speichert korrigierte Bilder, die durch Korrigieren der jeweiligen erfassten Bilder unter Verwendung der Bildkorrekturdaten der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b durch eine Bildkorrektureinheit 331 erhalten werden. Die Parallaxenbildspeichereinheit 317 wie z. B. ein Arbeitsspeicher speichert ein Parallaxenbild. Die Fehlausrichtungskorrekturinformationsspeichereinheit 318 wie z. B. ein Arbeitsspeicher speichert Zeitreihendaten einer Position eines Bereichs mit sowohl einer vertikalen Kante als auch einer horizontalen Kante im Standardbild und im Referenzbild, einen Planungswert der Position eines Fluchtpunkts, Fluchtpunktpositionsdaten (detektierter Wert) und Bildfehlausrichtungen in der horizontalen Richtung und der vertikalen Richtung aufgrund der Montagefehlausrichtung der Kamera.
• Die Abstandsdetektionseinheit 330 umfasst die Bildkorrektureinheit 331, eine Parallaxenberechnungseinheit 332, eine Erkennungseinheit 333 und eine Kameramontagefehlausrichtungsdetektionseinheit 334.
• Die Bildkorrektureinheit 331 verwendet die Bildkorrekturdaten des Standardbildes und des Referenzbildes, die aus der Bildkorrekturinformationsspeichereinheit 312 gelesen werden, um das Standardbild und das Referenzbild zur Zeit der Bildgebung, die aus der Speichereinheit 311 für erfasste Bilder gelesen werden, in Bilder ohne Verzerrung umzuwandeln. Das korrigierte Standardbild und das korrigierte Referenzbild werden in der Speichereinheit 316 für korrigierte Bilder gespeichert.
• Die Parallaxenberechnungseinheit 332 liest das korrigierte Standardbild und das korrigierte Referenzbild aus der Speichereinheit 316 für korrigierte Bilder und sucht nach einem Bereich, der in derselben Höhe in dem korrigierten Referenzbild vorhanden ist und einem Bereich (als Standardbereich bezeichnet) mit einer vorbestimmten Größe entspricht, der aus dem korrigierten Standardbild extrahiert wird. Die Parallaxenberechnungseinheit 332 berechnet eine Differenz zwischen der Position eines Bereichs (als Referenzbereich bezeichnet) im Referenzbild, der dem Standardbereich entspricht, und der Position des Standardbereichs, das heißt eine Parallaxe. Ein Parallaxen bild wird durch Berechnen der Parallaxe für jeden Standardbereich berechnet.
• Die Erkennungseinheit 333 liest das Parallaxenbild aus der Parallaxenbildspeichereinheit 317 und berechnet einen Abstand von der Stereokamera 104 zum Objekt in den Bildern in den Richtungen der optischen Achse der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b auf der Basis der Parallaxe, der Brennweiten (Basislängen) der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b, der Brennweiten und der Größe eines Pixels. Die Erkennungseinheit 333 berechnet ein Abstandsbild durch Berechnen eines Abstandes für jeden Bereich.
• Als nächstes liest die Erkennungseinheit 333 das korrigierte Standardbild aus der Speichereinheit 316 für korrigierte Bilder, erkennt das im Standardbild gezeigte Objekt und die Position des Objekts im Standardbild unter Verwendung des korrigierten Standardbildes und des Abstandsbildes und berechnet die relative dreidimensionale relative Position und relative Geschwindigkeit des Objekts mit Bezug auf die Stereokamera 104. Hier weist das Koordinatensystem der dreidimensionalen relativen Position mit Bezug auf die Stereokamera 104 als seinen Ursprung das Zentrum der Eintrittspupille der Bildgebungssystemeinheit 300a auf und nimmt eine x-Koordinate in der rechten Richtung, eine y-Koordinate in der Abwärtsrichtung und eine z-Koordinate in der Richtung der optischen Achse mit Bezug auf die Bildgebungssystemeinheit 100a. Ferner berechnet die Erkennungseinheit 333 die Zeit bis zur Kollision auf der Basis der relativen Position und der relativen Geschwindigkeit zwischen der Stereokamera 104 und dem Objekt und bestimmt, ob das Objekt innerhalb einer vorbestimmten Zeit kollidiert oder nicht.
• Die Kameramontagefehlausrichtungsdetektionseinheit 334 erzeugt Bilder mit horizontalen und vertikalen Kanten für die vorherigen und aktuellen korrigierten Standardbilder, die aus der Speichereinheit 316 für korrigierte Bilder gelesen werden, und detektiert einen Bereich mit sowohl vertikalen Kanten (Kanten in der vertikalen Richtung) als auch horizontalen Kanten (Kanten in der horizontalen Richtung). Als nächstes führt die Kameramontagefehlausrichtungsdetektionseinheit 334 eine Mustervergleichsverarbeitung durch, um einen Bereich im vorher korrigierten Standardbild zu suchen, der einem Bereich im aktuellen korrigierten Standardbild entspricht, und Zeitreihendaten der Position des Bereichs mit sowohl den vertikalen Kanten als auch den horizontalen Kanten zu erhalten.
• Ferner erhält die Kameramontagefehlausrichtungsdetektionseinheit 334 mehrere ungefähre Kurven der Zeitreihendaten der Position des Bereichs und detektiert die Position (detektierter Wert) eines Fluchtpunkts in dem Standardbild auf der Basis eines Schnittpunkts der ungefähren Kurven. Die Kameramontagefehlausrichtungsdetektionseinheit 334 speichert die Differenz zwischen dem detektierten Wert und Planungswert der Position des Fluchtpunkts im Standardbild als Montagefehlausrichtung der Kamera in der Fehlausrichtungskorrekturinformationsspeichereinheit 318. Schließlich korrigiert die Kameramontagefehlausrichtungsdetektionseinheit 334 die Bildkorrekturdaten des Standardbildes, die aus der Bildkorrekturinformationsspeichereinheit 312 gelesen werden, durch die Montagefehlausrichtung der Kamera und speichert die korrigierten Bildkorrekturdaten in der Bildkorrekturinformationsspeichereinheit 312. Eine ähnliche Verarbeitung wird am Referenzbild durchgeführt.
• Eine Betriebsprozedur eines Beispiels der Stereokamera 104 der vorliegenden Ausführungsform, die in 1 bis 3 dargestellt ist, wird mit Bezug auf 4 beschrieben.
• Schritt 401: Die Synchronisationssignalerzeugungseinheit 314 erzeugt ein Synchronisationssignal und sendet das Synchronisationssignal zur Standardbilderfassungseinheit 315a und zur Referenzbilderfassungseinheit 315b.
• Die Standardbilderfassungseinheit 315a sendet das Synchronisationssignal und Informationen einer Belichtungszeit zur Bildgebungselementeinheit 302a unmittelbar nach dem Empfangen des Synchronisationssignals von der Synchronisationssignalerzeugungseinheit 314. Unmittelbar nach dem Empfangen des Synchronisationssignals und der Informationen der Belichtungszeit von der Standardbilderfassungseinheit 315a empfängt die Bildgebungselementeinheit 302a ein Bild von Licht, das durch die Optikelementeinheit 301a gebrochen wird, für die Belichtungszeit, erzeugt ein Bild, das der Intensität des Lichts entspricht, und sendet das Bild zur Standardbilderfassungseinheit 315a. Die Standardbilderfassungseinheit 315a empfängt das Bild von der Bildgebungselementeinheit 302a und speichert das Bild in der Speichereinheit 311 für erfasste Bilder.
• Die Referenzbilderfassungseinheit 315b sendet das Synchronisationssignal und Informationen einer Belichtungszeit zur Bildgebungselementeinheit 302b unmittelbar nach dem Empfangen des Synchronisationssignals von der Synchronisationssignalerzeugungseinheit 314. Unmittelbar nach dem Empfangen des Synchronisationssignals und der Informationen der Belichtungszeit von der Referenzbilderfassungseinheit 315b empfängt die Bildgebungselementeinheit 302b ein Bild von Licht, das durch die Optikelementeinheit 301b gebrochen wird, für die Belichtungszeit, erzeugt ein Bild, das der Intensität des Lichts entspricht, und sendet das Bild zur Referenzbilderfassungseinheit 315b. Die Referenzbilderfassungseinheit 315b empfängt das Bild von der Bildgebungselementeinheit 302b und speichert das Bild in der Speichereinheit 311 für erfasste Bilder.
• Schritt 402: Der Markierungspositionsdetektor 321 liest das Standardbild und das Referenzbild zur Zeit der Bildgebung aus der Speichereinheit 311 für erfasste Bilder, liest die Bildkorrekturdaten des Standardbildes und des Referenzbildes, die im Voraus gespeichert werden, aus der Bildkorrekturinformationsspeichereinheit 312 und liest die Glasverformungsdaten des Standardbildes und des Referenzbildes, die im Voraus gespeichert werden, aus der Kalibrierungsinformationsspeichereinheit 313.
• Eine Bildkorrekturtabelle (F12x, F12y) des Standardbildes, das ohne Durchgang durch die Windschutzscheibe 112 erhalten wird, wird durch Formeln (1) und (2) ausgedrückt. Hier ist (X1, Y1) eine Position im erfassten Bild (nach dem Durchgang durch das optische Element) und (X2, Y2) ist eine Position im korrigierten Bild (vor dem Durchgang durch das optische Element), das ohne Durchgang durch die Windschutzscheibe 112 erhalten wird.
• $$\text{X1}=\text{F}12\text{x}\left(\text{X2}\text{,Y2}\right)$$

  

  $$\text{Y1}=\text{F}12\text{y}\left(\text{X2}\text{,Y2}\right)$$

  
• Die Position (X2, Y2), die sich im korrigierten Standardbild nach dem Durchgang durch die Windschutzscheibe 112 befindet und einer Position (X3, Y3) im korrigierten Standardbild vor dem Durchgang durch die Windschutzscheibe 112 entspricht, wird unter Verwendung von Formeln (3) und (4) auf der Basis von Glasverformungsdaten (Gx, Gy) berechnet.
• $$\text{X2}=\text{Gx}\left(\text{X}\mathrm{3,}\text{Y3}\right)$$

  

  $$\text{X2}=\text{Gy}\left(\text{X}\mathrm{3,}\text{Y3}\right)$$

  
• Die Position (X2, Y2) im korrigierten Standardbild nach dem Durchgang durch die Windschutzscheibe 112 ist reale Zahlen. Daher wird für vier Positionen, deren Werte ganze Zahlen sind und die in der Nähe der Position (X2, Y2) vorhanden sind, die Position, die sich im Standardbild nach der Bildgebung (nach dem Durchgang durch das optische Element) befindet und der Position im Standardbild nach der Korrektur (vor dem Durchgang durch das optische Element) nach dem Durchgang durch die Windschutzscheibe 112 entspricht, unter Verwendung von Formeln (1) und (2) erhalten, und eine zweidimensionale lineare Interpolation wird durchgeführt. Folglich wird die Position, die sich im Standardbild nach der Bildgebung befindet und der Position (X3, Y3) im Standardbild nach der Korrektur durch die Windschutzscheibe 112 entspricht, berechnet. Diese Verarbeitung wird für jedes Pixel durchgeführt, um Bildkorrekturdaten (Formeln (5) und (6)) zum Umwandeln des erfassten Bildes in ein korrigiertes Bild durch die Windschutzscheibe 112 zu berechnen.
• $$\text{X1}=\text{F13x}\left(\text{X3}\text{,Y3}\right)$$

  

  $$\text{Y1}=\text{F13y}\left(\text{X3}\text{,Y3}\right)$$

  
• Die Bildkorrekturdaten werden verwendet, um eine zweidimensionale lineare Interpolation an den Luminanzwerten von vier Pixeln um die Position (X1, Y1) des Standardbildes nach der Bildgebung durchzuführen, um den Luminanzwert des Pixels (X3, Y3) des Referenzbildes nach der Bildkorrektur zu berechnen. Die obige Prozedur wird für jedes Pixel des korrigierten Standardbildes durchgeführt, um den Luminanzwert des korrigierten Standardbildes im Fall der wie geplanten Windschutzscheibe 112 zu berechnen.
• Der Markierungspositionsdetektor 321 liest die Brennweiten und Pixelrastermaße der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b, die Positionen der optischen Achse in den erfassten Bildern, die Positionen der optischen Achse in den korrigierten Bildern und die dreidimensionalen Positionen der Markierungen 201 bis 205 mit Bezug auf die Stereokamera 104, wenn die Stereokamera 104 im Fahrzeug 111 so installiert ist, dass sie nicht fehlausgerichtet ist, die in der Kalibrierungsinformationsspeichereinheit 313 gespeichert sind. Der Markierungspositionsdetektor 321 berechnet ferner auf der Basis der Werte dieser Parameter Positionen (Planungspositionen) der Markierungen in den korrigierten Bildern, wenn die Stereokamera 104 keine Installationsfehlausrichtung aufweist, keine Bildgebung durch die Windschutzscheibe 112 durchführt und keine Optikelementverzerrung aufweist.
• Als nächstes liest der Markierungspositionsdetektor 321 jedes Markierungsbild, das in der Kalibrierungsinformationsspeichereinheit 313 gespeichert ist, und berechnet eine Summe (SAD, Summe von absoluter Differenz) von Absolutwerten von Differenzen zwischen dem Luminanzwert des Standardbildes nach der Bildkorrektur und dem Luminanzwert des Markierungsbildes in der Nähe der Planung der Positionen der Markierungen. Der Markierungspositionsdetektor 321 erhält eine Position mit der kleinsten SAD in der Nähe der Planungspositionen der Markierungen 201 bis 205.
• Der Markierungspositionsdetektor 321 führt eine konforme Linienanpassung auf der Basis der SAD von Pixeln auf der linken und der rechten Seite der Position durch, wo die SAD am kleinsten ist, und berechnet ein Subpixel in einer Position, in der das Standardbild nach der Bildkorrektur und das Markierungsbild am engsten übereinstimmen. Der Markierungspositionsdetektor 321 berechnet die horizontalen Positionen der Markierungen 201 bis 205 durch Addieren des Subpixels zur horizontalen Position, in der die SAD am kleinsten ist.
• Als nächstes führt der Markierungspositionsdetektor 321 eine konforme Linienanpassung auf der Basis der SAD von Pixeln auf der Ober- und Unterseite der Position durch, in der die SAD am kleinsten ist, und berechnet ein Subpixel in einer Position, in der das Standardbild nach der Bildkorrektur und das Markierungsbild am engsten übereinstimmen. Der Markierungspositionsdetektor 321 berechnet die vertikalen Positionen der Markierungen 201 bis 205 durch Addieren des Subpixels zur vertikalen Position, in der die SAD am kleinsten ist. Ebenso wird eine ähnliche Verarbeitung an den anderen Markierungen 201 bis 205 durchgeführt, um die Positionen der Markierungen 201 bis 205 im korrigierten Standardbild zu berechnen. Die Positionen der Markierungen 201 bis 205, die in der obigen Verarbeitung detektiert werden, werden als detektierte Positionen bezeichnet. Die detektierten Positionen der Markierungen 201 bis 205 entsprechen der Markierung 502 und der Markierung 504 im korrigierten Bild 501 in 5.
• Die vorstehend beschriebene Bildkorrektur und Markierungspositionsdetektionsverarbeitung werden auch am Referenzbild durchgeführt.
• Schritt 403: Der Bildfehlausrichtungsfaktordetektor 322 liest aus der Kalibrierungsinformationsspeichereinheit 313 die Brennweiten und die Pixelrastermaße der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b, die Positionen der optischen Achse in den erfassten Bildern, die Positionen der optischen Achse in den korrigierten Bildern, die dreidimensionalen Positionen der Markierungen 201 bis 205 mit Bezug auf die Stereokamera 104, wenn die Stereokamera 104 im Fahrzeug 111 so installiert ist, dass sie nicht fehlausgerichtet ist, und die Planungswerte der Glasverformungsdaten der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b. Auf der Basis dieser Teile von Informationen berechnet der Bildfehlausrichtungsfaktordetektor 322 die Positionen (Planungspositionen) der Markierungen 201 bis 205 in den korrigierten Bildern in einem Fall, in dem die Stereokamera 104 im Fahrzeug 111 so installiert ist, dass sie nicht fehlausgerichtet ist, und eine Bildfehlausrichtung aufgrund der Windschutzscheibe 112 wie geplant ist. Die Planungspositionen der Markierungen 201 bis 205 entsprechen der Markierung 503 und der Markierung 505 im korrigierten Bild 501 in 5.
• Auf der Basis der Planungspositionen der Markierungen 201 bis 205 in den korrigierten Bildern, die wie vorstehend beschrieben berechnet werden, und der detektierten. Positionen der Markierungen 201 bis 205, die in Schritt 402 detektiert werden, schätzt der Bildfehlausrichtungsfaktordetektor 322 die Vergrößerungsverhältnisse der Windschutzscheibe 112 und die Installationsfehlausrichtung der Kamera ab, wie nachstehend beschrieben. Auf der Basis der Positionen der Markierungen 201 bis 205 in verschiedenen Abständen von der Stereokamera 104 werden hier die Tatsache, dass die Bildfehlausrichtung aufgrund der Windschutzscheibe 112 nicht von den Abständen zwischen der Stereokamera 104 und den Markierungen 201 bis 205 abhängt, und die Tatsache, dass die Installationsfehlausrichtung der Kamera von den Abständen zwischen der Stereokamera 104 und der Markierung 201 bis 205 abhängt, verwendet.
• Schritt 403: Auf der Basis der Planungspositionen und der detektierten Positionen der Markierungen 201 bis 205 in den korrigierten Bildern, die in Schritt 402 erhalten werden, schätzt der Bildfehlausrichtungsfaktordetektor 322 die Vergrößerungsverhältnisse der Windschutzscheibe 112, die Installationsfehlausrichtung der Kamera und dergleichen wie folgt ab. Auf der Basis der Positionen der Markierungen 201 bis 205 in verschiedenen Abständen von der Stereokamera 104 werden hier die Tatsache, dass die Bildfehlausrichtung aufgrund der Windschutzscheibe 112 nicht von den Abständen zwischen der Stereokamera 104 und den Markierungen 201 bis 205 abhängt, und die Tatsache, dass die Installationsfehlausrichtung der Kamera von den Abständen zwischen der Stereokamera 104 und der Markierung 201 bis 205 abhängt, verwendet.
• Für das Standardbild berechnet zuerst der Bildfehlausrichtungsfaktordetektor 322 einen Mittelwert der Intervalle zwischen den Markierungen 201, die in der horizontalen Richtung und der vertikalen Richtung benachbart sind, für die detektierten Positionen und Planungspositionen der Markierungen 201 im Diagramm 206 in den korrigierten Bildern. Ebenso wird der Mittelwert der Intervalle zwischen den detektierten Positionen und den Planungspositionen der Markierungen 202 bis 205 im Diagramm 207 bis 210 berechnet. Daher werden die Tatsache, dass die Bildfehlausrichtung aufgrund der Windschutzscheibe 112 nicht von den Abständen zwischen der Stereokamera 104 und den Markierungen 201 bis 205 abhängt, und die Tatsache, dass die Installationsfehlausrichtung der Kamera von den Abständen zwischen der Stereokamera 104 und den Markierungen 201 bis 205 abhängt, verwendet. Folglich werden die Vergrößerungsverhältnisse Mgh und Mgv in der horizontalen Richtung und der vertikalen Richtung aufgrund der Windschutzscheibe 112 und ein Abstand dLc zwischen der Stereokamera 104 und den Markierungen 201 unter Verwendung von Formeln (7) bis (10) berechnet. Hier sind ferne Markierungen die Markierungen 201 und nahe Markierungen sind die Markierungen 202 bis 205.
• $$\text{Mgh}=\text{Mifh Minh}\left(\text{Lf}-\text{Ln}\right)/\left(\text{Minh Lf}-\text{Mifh Ln}\right)$$

  

  $$\text{Mgv}=\text{Mifv Minv}\left(\text{Lf}-\text{Ln}\right)/\left(\text{Minv Lf}-\text{Mifv Ln}\right)$$

  

  $$\text{Mifh}=\text{Wifh/Wdfh}$$

  

  $$\text{Mifv}=\text{Wifv/Wdfv}$$

  

  $$\text{Minh}=\text{Winh/Wdnh}$$

  

  $$\text{Minv}=\text{Winv/Wdnv}$$

  

  $$\text{dLc}=\left(\text{dLch}+\text{dLcv}\right)/2$$

  

  $$\text{dLch}=\left(\text{Mifh}-\text{Minh}\right)\text{Lf Ln/}\left(\text{Minh Lf}-\text{Mifh Ln}\right)$$

  

  $$\text{dLcv}=\left(\text{Mifv}-\text{Minv}\right)\text{Lf Ln/}\left(\text{Minv Lf}-\text{Mifv Ln}\right)$$

  
• • Ein Planungswert des Abstandes zwischen den fernen Markierungen 201 und der Stereokamera 104: Lf
• • Ein Planungswert der Abstände zwischen den nahen Markierungen 202 bis 205 und der Stereokamera 104: Ln
• • Eine Abweichung der Abstände zwischen den Markierungen 201 bis 205 und der Stereokamera 104: dLc
• • Das Vergrößerungsverhältnis in der horizontalen Richtung aufgrund der Windschutzscheibe 112: Mgh
• • Das Vergrößerungsverhältnis in der vertikalen Richtung aufgrund der Windschutzscheibe 112: Mgv
• • Der Mittelwert von Intervallen zwischen den Planungspositionen der fernen Markierungen 201 in der horizontalen Richtung in den korrigierten Bildern: Wdfh
• • Der Mittelwert von Intervallen zwischen den Planungspositionen der nahen Markierungen 202 bis 205 in der horizontalen Richtung in den korrigierten Bildern: Wdnh
• • Der Mittelwert von Intervallen zwischen den Planungspositionen der fernen Markierungen 201 in der vertikalen Richtung in den korrigierten Bildern: Wdfv
• • Der Mittelwert von Intervallen zwischen den Planungspositionen der nahen Markierungen 202 bis 205 in der vertikalen Richtung in den korrigierten Bildern: Wdnv
• • Der Mittelwert von Intervallen zwischen den detektierten Positionen der fernen Markierungen 201 in der horizontalen Richtung in den korrigierten Bildern: Wifh
• • Der Mittelwert von Intervallen zwischen den detektierten Positionen der nahen Markierungen 202 bis 205 in der horizontalen Richtung in den korrigierten Bildern: Winh
• • Der Mittelwert von Intervallen zwischen den Planungspositionen der fernen Markierungen 201 in der Detektionsrichtung in den korrigierten Bildern Wifv
• • Der Mittelwert von Intervallen zwischen den detektierten Positionen der nahen Markierungen 202 bis 205 in der vertikalen Richtung in den korrigierten Bildern: Winv
• • Das Vergrößerungsverhältnis der Intervalle zwischen den fernen Markierungen 201 in der horizontalen Richtung in den korrigierten Bildern: Mifh
• • Das Vergrößerungsverhältnis der Intervalle zwischen den nahen Markierungen 202 bis 205 in der horizontalen Richtung in den korrigierten Bildern: Minh
• • Das Vergrößerungsverhältnis der Intervalle zwischen den fernen Markierungen 201 in der vertikalen Richtung in den korrigierten Bildern: Mifv
• • Das Vergrößerungsverhältnis der Intervalle zwischen den nahen Markierungen 202 bis 205 in der vertikalen Richtung in den korrigierten Bildern: Minv
• Unter Verwendung der Markierung 201 im Diagramm 206 in einer Position nahe der Markierung 202 als ferne Markierung und der Markierung 202 als nahe Markierung wird die Abstandsabweichung dLClu zwischen der Markierung 202 oben links im Bild und der Stereokamera 104 unter Verwendung von Formeln (13) bis (15) berechnet. Eine ähnliche Berechnung wird durchgeführt, um Abstandsabweichungen dLcru (oben rechts im Bild), dLcld (unten links im Bild) und dLclu (unten rechts im Bild) zwischen den Markierungen 203 bis 205 und der Stereokamera 104 zu berechnen. Wie in 6 dargestellt, ist es möglich, die Gierwinkelabweichung zwischen den Markierungen und der Stereokamera 104 zusammen mit der Abstandsabweichung zwischen den linken und rechten Markierungen mit Bezug auf horizontale Linien 602 und 603, die zur Richtung 601 der optischen Achse der Stereokamera 104 senkrecht sind, zu berechnen. Daher wird die Gierwinkelabweichung dψc zwischen den Markierungen und der Stereokamera 104 unter Verwendung von Formeln (16) bis (18) berechnet.
• $$\text{d}\mathrm{\psi }\text{c}=\text{atan}\left(\left(\text{dLcl}-\text{dLcr}\right)/\text{Llr}\right)$$

  

  $$\text{dLcl}=\left(\text{dLcul}+\text{dLcdl}\right)/2$$

  

  $$\text{dLcr}=\left(\text{dLcur}+\text{dLcdr}\right)/2$$

  
• • Der Mittelwert dLcl von Abstandsabweichungen der linken Markierungen 202 und 204
• • Der Mittelwert dLcr von Abstandsabweichungen der rechten Markierungen 203 und 205
• • Der Mittelwert Llr von Planungswerten von Abständen zwischen den linken und rechten Markierungen
• Wie in 7 dargestellt, ist es möglich, die Nickwinkelabweichung zwischen den Markierungen und der Stereokamera 104 zusammen mit der Abstandsabweichung zwischen den oberen und unteren Markierungen mit Bezug auf vertikale Linien 704 und 705, die zur Richtung 703 der optischen Achse der Stereokamera 104 senkrecht sind, zu berechnen. Daher wird die Nickwinkelabweichung dφc zwischen den Markierungen und der Stereokamera 104 unter Verwendung von Formeln (19) bis (21) berechnet.
• $$\text{d}\mathrm{\phi }\text{c}=\text{atan}\left(\left(\text{dLcd}-\text{dLcu}\right)/\text{Lud}\right)$$

  

  $$\text{dLcu}=\left(\text{dLcul}+\text{dLcur}\right)/2$$

  

  $$\text{dLcd}=\left(\text{dLcdl}+\text{dLcdr}\right)/2$$

  
• • Der Mittelwert von Abstandsabweichungen zwischen den oberen Markierungen 202 und 203 und der Stereokamera: dLcu
• • Der Mittelwert von Abstandsabweichungen zwischen den unteren Markierungen 204 und 205 und der Stereokamera: dLcd
• • Der Mittelwert von Planungswerten von Abständen zwischen den oberen und unteren Markierungen: Lud
• Die Rollwinkelabweichung zwischen den Markierungen und der Stereokamera 104 entspricht einer Rotationsabweichung zwischen den detektierten Positionen und den Planungspositionen der Markierungen um die Position der optischen Achse (oder die Zentrumsposition) in den korrigierten Bildern. Daher wird die Rollwinkelabweichung dθc unter Verwendung von Formel (22) im korrigierten Bild berechnet.
• $$\begin{array}{l}\text{d}\mathrm{\theta }\text{c}=-\text{atan}[{\displaystyle \sum \left\{\left(\text{Vi}-\text{Vo}\right)\left(\text{Ud}-\text{Uo}\right)-\left(\text{Ui}-\text{Uo}\right)\left(\text{Vd}-\text{vo}\right)\right\}/{\displaystyle \sum \{\left(\text{Ui}-\text{Uo}\right)\left(\text{Ud}-\text{Uo}\right)+(\text{Vi}-}}\\ \text{Vo})\left(\text{Vd}-\text{Vo}\right)\}]\end{array}$$

  
• • Jede der detektierten Positionen der Markierungen 201 bis 205: (Ui, Vi)
• • Jede der Planungspositionen der Markierungen 201 bis 205: (Ud, Vd)
• • Die Position der optischen Achse (Zentrumsposition) in den korrigierten Bildern (Uo, Vo)
• Die horizontalen und vertikalen Positionsfehlausrichtungen zwischen den Markierungen und der Stereokamera 104 hängen von den Abständen zwischen der Stereokamera 104 und den Markierungen ab, aber die Versatzabweichung aufgrund der Windschutzscheibe 112 hängt nicht von den Abständen zwischen der Stereokamera 104 und den Markierungen ab. Unter Verwendung dessen werden Versatzabweichungen dUg und dVg in der horizontalen Richtung und der vertikalen Richtung aufgrund der Windschutzscheibe 112 und Positionsfehlausrichtungen dXc und dYc in der horizontalen Richtung und der vertikalen Richtung zwischen den Markierungen und der Stereokamera 104 unter Verwendung von Formeln (23) bis (26) berechnet. Hier entsprechen ferne Markierungen den Markierungen 201 und nahe Markierungen entsprechen den Markierungen 202 bis 205.
• $$\text{dXc}=\left(\text{dUin}-\text{dUif}\right)\text{c Lf Ln/}\left\{\text{f}\left(\text{Lf}-\text{Ln}\right)\right\}$$

  

  $$\text{dYc}=\left(\text{dVin}-\text{dVif}\right)\text{c Lf Ln/}\left\{\text{f}\left(\text{Lf}-\text{Ln}\right)\right\}$$

  

  $$\text{dUg}=\left(\text{dUin Ln}-\text{dUif Lf}\right)/\left(\text{Lf}-\text{Ln}\right)$$

  

  $$\text{dVg}=\left(\text{dVin Ln}-\text{dVif Lf}\right)/\left(\text{Lf}-\text{Ln}\right)$$

  
• • Die Brennweiten der Linsen: f
• • Die Pixelrastermaße der Bildgebungselemente. c
• • Der Mittelwert von Differenzen zwischen den detektierten Positionen und Planungspositionen der fernen Markierungen in der horizontalen Richtung in den korrigierten Bildern: dUif
• • Der Mittelwert von Differenzen zwischen den detektierten Positionen und Planungspositionen der nahen Markierungen in der horizontalen Richtung im korrigierten Bild: dUin
• • Der Mittelwert von Differenzen zwischen den detektierten Positionen und Planungspositionen der fernen Markierungen in der vertikalen Richtung in den korrigierten Bildern: dVif
• • Der Mittelwert von Differenzen zwischen den detektierten Positionen und Planungspositionen der fernen Markierungen in der vertikalen Richtung in den korrigierten Bildern: dVin
• Die obige Verarbeitung, die am Standardbild durchgeführt wird, wird auch am Referenzbild durchgeführt.
• Unter Verwendung des Standardbildes und des Referenzbildes werden Mittelwerte der berechneten horizontalen und vertikalen Positionsfehlausrichtungen, Abstandsabweichungen, Nickwinkelabweichungen, Gierwinkelabweichungen und Rollwinkelabweichungen zwischen der Stereokamera 104 und den Markierungen berechnet. Diese sind Installationsfehlausrichtungen der Stereokamera 104. Durch die obige Berechnung werden außerdem die Vergrößerungsverhältnisse und Versatzabweichungen des Standardbildes und des Referenzbildes in der horizontalen Richtung und der vertikalen Richtung aufgrund der Windschutzscheibe 112 erhalten.
• Schritt 404: Die Fahrzeuginstallationsfehlausrichtungs-Detektionseinheit 105 bestrahlt das Fahrzeug 111 mit einem Laserstrahl und detektiert Abstände zu mehreren Stellen auf der Oberfläche des Fahrzeugs 111 und Lichtempfangswinkel auf der Basis der Lichtempfangszeit des reflektierten Lichts. Diese Abstände und Lichtempfangswinkel werden in detektierte Positionen der mehreren Stellen auf der Oberfläche des Fahrzeugs 111 umgewandelt.
• Die Fahrzeuginstallationsfehlausrichtungs-Detektionseinheit 105 weist Oberflächendaten des Fahrzeugs 111 und die Position (Planungsposition) und Orientierung (Planungsorientierung) des Fahrzeugs 111 auf, wenn es wie geplant installiert ist, und berechnet Planungspositionen der mehrere Stellen auf der Oberfläche des Fahrzeugs 111 auf der Basis dieser Daten.
• Eine Planungsposition, die zur detektierten Position jeder Stelle auf der Oberfläche des Fahrzeugs 111 am nächsten liegt, wird gesucht und die Planungsposition wird als entsprechender Punkt der detektierten Position festgelegt. Positionsfehlausrichtungen (dXv, dYv, dLv) und Orientierungsfehlausrichtungen (dcpv, dψv, dθv) des Fahrzeugs 111 werden unter Verwendung von Formeln (27) bis (32) auf der Basis der detektierten Position (Xvm, Yvm, Zvm) und der Planungsposition (Xvd, Yvd, Zvd) jeder Stelle auf der Oberfläche des Fahrzeugs 111 berechnet.
• $$\text{dXv}={\displaystyle \sum \left(\text{Xvd}-\text{Xvm}\right)/\text{Nm}}$$

  

  $$\text{dYv}={\displaystyle \sum \left(\text{Yvd}-Y\text{vm}\right)/\text{Nm}}$$

  

  $$\text{dLv}={\displaystyle \sum \left(\text{Zvd}-\text{Zvm}\right)/\text{Nm}}$$

  

  $$\begin{array}{l}\text{d}\mathrm{\phi }\text{v}=-\text{atan}[{\displaystyle \sum \left\{\left(\text{Zvm}-\text{Zo}\right)\left(\text{Yvd}-\text{Yvo}\right)-\left(\text{Yvm}-\text{Yvo}\right)\left(\text{Zvd}-\text{Zvo}\right)\right\}/}{\displaystyle \sum \{\left(\text{Yvm}-\text{Yvo}\right)(\text{Yvd}-}\\ \text{Yvo})+\left(\text{Zvm}-\text{Zvo}\right)\left(\text{Zvd}-\text{Zvo}\right)\}]\end{array}$$

  

  $$\begin{array}{l}\text{d}\mathrm{\psi }\text{v}=-\text{atan}[{\displaystyle \sum \left\{\left(\text{Xvm}-\text{Xo}\right)\left(\text{Zvd}-\text{Zvo}\right)-\left(\text{Zvm}-\text{Zvo}\right)\left(\text{Xvd}-\text{Xvo}\right)\right\}/}{\displaystyle \sum \{\left(\text{Zvm}-\text{Zvo}\right)(\text{Zvd}-}\\ \text{Zvo})+\left(\text{Xvm}-\text{Xvo}\right)\left(\text{Xvd}-\text{Xvo}\right)\}]\end{array}$$

  

  $$\begin{array}{l}\text{d}\mathrm{\theta }\text{v}=-\text{atan}[{\displaystyle \sum \left\{\left(\text{Yvm}-\text{Yo}\right)\left(\text{Xvd}-\text{Xvo}\right)-\left(\text{Xvm}-\text{Xvo}\right)\left(\text{Yvd}-\text{Yvo}\right)\right\}/}{\displaystyle \sum \{\left(\text{Xvm}-\text{Xvo}\right)(\text{Xvd}-}\\ \text{Xvo})+\left(\text{Yvm}-\text{Yvo}\right)\left(\text{Yvd}-\text{Yvo}\right)\}]\end{array}$$

  
• • Eine Anzahl Nm von Messpunkten
• • Das Rotationszentrum (Xvo, Yvo, Zvo) des Fahrzeugs 111
• Die Positionsfehlausrichtungen und die Orientierungsfehlausrichtungen des Fahrzeugs 111, die wie vorstehend beschrieben berechnet werden, werden zur Planungsposition und zur Planungsorientierung des Fahrzeugs 111 addiert und die Planungspositionen der mehreren Stellen auf der Oberfläche des Fahrzeugs 111 werden erneut auf der Basis der Oberflächenformdaten des Fahrzeugs 111 berechnet. Dann wird ein Prozess zum Suchen nach einer Planungsposition, die am nächsten zur detektierten Position jeder Stelle auf der Oberfläche des Fahrzeugs 111 liegt, Festlegen der Planungsposition als entsprechenden Punkt der detektierten Position und Berechnen der Positionsfehlausrichtung und der Orientierungsfehlausrichtung des Fahrzeugs 111 unter Verwendung von Formeln (27) bis (32) wiederholt. In einem Fall, in dem die Werte der Fehlausrichtungen, die durch Formeln (27) bis (32) berechnet werden, kleiner sind als ein vorbestimmter Schwellenwert, wird der Prozess beendet, und ein Wert, der durch Addieren der bisherigen Fehlausrichtungen erhalten wird, wird als Positionsfehlausrichtung und Orientierungsfehlausrichtung des installierten Fahrzeugs festgelegt.
• Schritt 405: Die Kameramontagefehlausrichtungsdetektionseinheit 334 berechnet Positionsfehlausrichtungen (dXa, dYa, dLa) und Orientierungsfehlausrichtungen (dφa, dψa, dθa) der Kamerainstallation durch Subtrahieren der Positionsfehlausrichtung und der Orientierungsfehlausrichtung des installierten Fahrzeugs von der Positionsfehlausrichtung und Orientierungsfehlausrichtung der Kamerainstallation unter Verwendung von Formeln (33) bis (38).
• $$\text{dXa}=\text{dXc}-\text{dXv}$$

  

  $$\text{dYa}=\text{dYc}-\text{dYv}$$

  

  $$\text{dZa}=\text{dZc}-\text{dZv}$$

  

  $$\text{d}\mathrm{\phi }\text{a}=\text{d}\mathrm{\phi }\text{c}-\text{d}\mathrm{\phi }\text{v}$$

  

  $$\text{d}\mathrm{\psi }\text{a}=\text{d}\mathrm{\psi }\text{c}-\text{d}\mathrm{\psi }\text{v}$$

  

  $$\text{d}\mathrm{\theta }\text{a}=\text{d}\mathrm{\theta }\text{c}-\text{d}\mathrm{\theta }\text{v}$$

  
• Schritt 406: Die Bildkorrekturdatenänderungseinrichtung 323 liest die Brennweiten und Pixelrastermaße der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b, Positionen der optischen Achse in den erfassten Bildern, Positionen der optischen Achse in den korrigierten Bildern und die dreidimensionalen Positionen der Markierungen mit Bezug auf die Stereokamera 104, wenn die Stereokamera 104 im Fahrzeug 111 so installiert ist, dass sie nicht fehlausgerichtet ist, die in der Kalibrierungsinformationsspeichereinheit 313 gespeichert sind. Auf der Basis der Werte dieser Parameter berechnet die Bildkorrekturdatenänderungseinrichtung 323 Positionen (Planungsposition) der Markierungen in den korrigierten Bildern, wenn die Stereokamera 104 keine Installationsfehlausrichtung aufweist, keine Bildgebung durch die Windschutzscheibe 112 durchführt und keine Verzerrung in den optischen Elementen aufweist.
• Die Bildkorrekturdatenänderungseinrichtung 323 berechnet Positionen der Markierungen in den korrigierten Bildern, die ohne Durchgang durch die Windschutzscheibe 112 erhalten werden, auf der Basis der Positionsfehlausrichtung und der Orientierungsfehlausrichtung der Installation der Stereokamera 104, die durch den Bildfehlausrichtungsfaktordetektor 322 berechnet werden. Die Bildkorrekturdatenänderungseinrichtung 323 erzeugt Kamerainstallationsfehlausrichtungsdaten, die die Bildfehlausrichtung aufgrund der Installationsfehlausrichtung der Kamera darstellen, auf der Basis einer Änderung der Positionen der Markierungen in den zwei korrigierten Bildern.
• Als nächstes berechnet die Bildkorrekturdatenänderungseinrichtung 323 die Positionen der Markierungen in den korrigierten Bildern, wenn nur die Abweichung der Montagerichtung der Kamera mit Bezug auf die Fahrtrichtung des Fahrzeugs 111 nicht vorhanden (beseitigt) ist, aus dem Zustand, in dem die Positionsfehlausrichtung und die Orientierungsfehlausrichtung der installierten Stereokamera 104 bestehen, die durch den Bildfehlausrichtungsfaktordetektor 322 berechnet werden. Dann berechnet die Bildkorrekturdatenänderungseinrichtung 323 die Kameramontagerichtungsabweichungsdaten auf der Basis der Positionen der Markierungen in den korrigierten Bildern, wenn die Installationsfehlausrichtung der Stereokamera besteht und wenn die Abweichung der Montagerichtung der Kamera mit Bezug auf die Fahrtrichtung des Fahrzeugs 111 aus der Installationsfehlausrichtung der Stereokamera beseitigt ist.
• Die Bildkorrekturdatenänderungseinrichtung 323 berechnet Vergrößerungsverhältnisse in der horizontalen Richtung und der vertikalen Richtung des Modells der Windschutzscheibe 112, die durch den Bildfehlausrichtungsfaktordetektor 322 berechnet werden, und Glasfehlausrichtungsdaten, wenn eine Versatzabweichung besteht. Die Bildkorrekturdatenänderungseinrichtung 323 verwendet die zweidimensionale lineare Interpolation, wie in Schritt 402 beschrieben, um sequentiell für jedes Pixel eine Umwandlung auf der Basis der Kameramontagerichtungsabweichungsdaten, eine Umwandlung auf der Basis der Glasfehlausrichtungsdaten, eine Umwandlung auf der Basis der Glasverformungsdaten, eine Umwandlung auf der Basis der Kamerainstallationsfehlausrichtungsdaten und eine Umwandlung auf der Basis der Bildkorrekturdaten (die die Verzerrung aufgrund des optischen Elements darstellen) zur Zeit des Nicht-Durchgangs durch die Windschutzscheibe 112 durchzuführen.
• Folglich beseitigt die Bildkorrekturdatenänderungseinrichtung 323 eine Pixelabweichung aufgrund der Installationsfehlausrichtung der Kamera und berechnet die Bildkorrekturdaten, wenn die Kamera der Fahrtrichtung des Fahrzeugs 111 durch die Windschutzscheibe 112 hindurch zugewandt ist, für das Standardbild und das Referenzbild. Die Bildkorrekturdatenänderungseinrichtung 323 speichert die Bildkorrekturdaten in der Bildkorrekturinformationsspeichereinheit 312.
• Während das Fahrzeug 111 fährt, führt die Stereokamera 104 der vorliegenden Ausführungsform, die in 3 dargestellt ist, den in 8 dargestellten Betrieb durch, um den Abstand des dreidimensionalen Objekts unter Verwendung der erzeugten Bildkorrekturdaten zu detektieren und die Montagefehlausrichtung der Kamera zu detektieren, um die Bildkorrekturdaten zu ändern.
• Schritt 801: Die Synchronisationssignalerzeugungseinheit 314 erzeugt ein Synchronisationssignal und sendet das Synchronisationssignal zur Standardbilderfassungseinheit 315a und zur Referenzbilderfassungseinheit 315b.
• Die Standardbilderfassungseinheit 315a sendet das Synchronisationssignal und Informationen einer Belichtungszeit zur Bildgebungselementeinheit 302a unmittelbar nach dem Empfangen des Synchronisationssignals von der Synchronisationssignalerzeugungseinheit 314. Unmittelbar nach dem Empfangen des Synchronisationssignals und der Informationen der Belichtungszeit von der Standardbilderfassungseinheit 315a empfängt die Bildgebungselementeinheit 302a ein Bild von Licht, das durch die Optikelementeinheit 301a gebrochen wird, für die Belichtungszeit, erzeugt ein Bild, das der Intensität des Lichts entspricht, und sendet das Bild zur Standardbilderfassungseinheit 315a. Die Standardbilderfassungseinheit 315a empfängt das Bild von der Bildgebungselementeinheit 302a und speichert das Bild in der Speichereinheit 311 für erfasste Bilder.
• Die Referenzbilderfassungseinheit 315b sendet das Synchronisationssignal und Informationen einer Belichtungszeit zur Bildgebungselementeinheit 302b unmittelbar nach dem Empfangen des Synchronisationssignals von der Synchronisationssignalerzeugungseinheit 314. Unmittelbar nach dem Empfangen des Synchronisationssignals und der Informationen der Belichtungszeit von der Referenzbilderfassungseinheit 315b empfängt die Bildgebungselementeinheit 302b ein Bild von Licht, das durch die Optikelementeinheit 301b gebrochen wird, für die Belichtungszeit, erzeugt ein Bild, das der Intensität des Lichts entspricht, und sendet das Bild zur Referenzbilderfassungseinheit 315b. Die Referenzbilderfassungseinheit 315b empfängt das Bild von der Bildgebungselementeinheit 302b und speichert das Bild in der Speichereinheit 311 für erfasste Bilder.
• Schritt 802: Die Bildkorrektureinheit 331 liest das erfasste Standardbild und das Referenzbild aus der Speichereinheit 311 für erfasste Bilder. Die Bildkorrektureinheit 331 liest die Bildkorrekturdaten des Standardbildes und des Referenzbildes aus der Bildkorrekturinformationsspeichereinheit 312.
• Auf der Basis von Koordinaten (Fx(X4, Y4), Fy(X4, Y4)) in dem Bild nach der Bilderfassung, die jedem Pixel im korrigierten Standardbild entsprechen, wird die Position (X1, Y1) des Standardbildes nach der Bilderfassung, die dem Pixel (X4, Y4) des korrigierten Standardbildes entspricht, unter Verwendung von Formeln (39) und (40) berechnet.
• $$\text{X1}=\text{Fx}\left(\text{X4}\text{,Y4}\right)$$

  

  $$\text{Y1}=\text{Fy}\left(\text{X4}\text{,Y4}\right)$$

  
• Die Luminanzwerte der vier Pixel um die Position (X1, Y1) des Standardbildes werden einer zweidimensionalen linearen Interpolation unterzogen, um den Luminanzwert des Pixels (X4, Y4) des korrigierten Standardbildes zu berechnen. Die obige Prozedur wird an jedem Pixel des korrigierten Standardbildes durchgeführt, um den Luminanzwert des korrigierten Standardbildes zu berechnen. Die obige Prozedur wird auch an dem Referenzbild durchgeführt, um den Luminanzwert des korrigierten Bildes des Referenzbildes zu berechnen. Das korrigierte Standardbild und das korrigierte Referenzbild werden in der Speichereinheit 316 für korrigierte Bilder gespeichert.
• Schritt 803: Die Parallaxenberechnungseinheit 332 liest die korrigierten Bilder des Standardbildes und des Referenzbildes aus der Speichereinheit 316 für korrigierte Bilder. Wie in 9 dargestellt, extrahiert die Parallaxenberechnungseinheit 332 einen Bereich 903 (als Standardbereich bezeichnet) mit einer vorbestimmten Größe des korrigierten Standardbildes 901. Die Parallaxenberechnungseinheit 332 sucht nach einem Bild eines Bereichs, in dem dasselbe Objekt wie der Standardbereich 903 gezeigt ist, im korrigierten Referenzbild 902 im folgenden Mustervergleich.
• Die Parallaxenberechnungseinheit 332 extrahiert einen Bereich 904 (Referenzbereich) mit einer vorbestimmten Größe des Referenzbildes 902 in derselben Höhe wie das Standardbild 903 und berechnet die Summe (SAD, Summe von absoluter Differenz) von Absolutwerten von Differenzen zwischen Luminanzwerten des Standardbereichs 903 und Luminanzwerten des Referenzbereichs 904. Die Parallaxenberechnungseinheit 332 berechnet die SAD für jeden Referenzbereich 904 im Referenzbild 902 in derselben Höhe wie der Standardbereich 903 und sucht nach einem Referenzbereich 905 mit dem kleinsten SAD-Wert. Die Parallaxenberechnungseinheit 332 führt eine konforme Linienanpassung unter Verwendung der SAD des Referenzbereichs 905 und der SADs von Referenzbereichen, die ein Pixel vom Referenzbereich 905 entfernt und zum Referenzbereich 905 rechts und links benachbart sind, durch und berechnet ein Subpixel des Referenzbereichs 905 im Referenzbild, das am engsten mit dem Standardbereich 903 übereinstimmt. Die Parallaxenberechnungseinheit 332 berechnet die Parallaxe des Standardbereichs 903 im korrigierten Standardbild 901 durch Addieren des Subpixels zur Differenz zwischen den Positionen des Standardbereichs 903 und des Referenzbereichs 905.
• Die Parallaxenberechnungseinheit 332 führt eine solche Verarbeitung an allen Bereichen im Standardbild 901 nach der Bildkorrektur durch, um die Parallaxe des ganzen Standardbildes 901 zu berechnen. Die Parallaxenberechnungseinheit 332 speichert das in dieser Weise berechnete Parallaxenbild in der Parallaxenbildspeichereinheit 317,
• Schritt 804: Die Erkennungseinheit 333 liest das Parallaxenbild aus der Parallaxenbildspeichereinheit 317.
• Die Erkennungseinheit 333 berechnet den Abstand L zur Stereokamera 104 in der Richtung der optischen Achse in dem Bereich im Parallaxenbild unter Verwendung des Ausdrucks (41). Hier ist f ein Planungswert der Brennweiten der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b. B ist ein Abstand (Grundlinienlänge) zwischen Hauptpunkten der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b, d ist eine Parallaxe und c ist ein Pixelrastermaß der Bildgebungselementeinheit 302a und der Bildgebungselementeinheit 302b.
• $$\text{L}=\text{f}\times \text{B/}\left(\text{d}\times \text{c}\right)$$

  
• Die Erkennungseinheit 333 führt diese Verarbeitung an allen Bereichen des Parallaxenbildes durch, berechnet den Abstand zur Stereokamera 104 in der Richtung der optischen Achse im ganzen Parallaxenbild und erzeugt ein Abstandsbild.
• Die Erkennungseinheit 333 berechnet eine dreidimensionale Position in dem Bereich im Abstandsbild unter Verwendung von Formeln (42) bis (44). Hier weist das dreidimensionale Koordinatensystem als seinen Ursprung einen Punkt auf der Straßenoberfläche auf, der vom Hauptpunkt der Optikelementeinheit 301a der Bildgebungssystemeinheit 300a der Stereokamera 104 vertikal abgesenkt ist, und nimmt eine X-Koordinate in der rechten Richtung, eine Y-Koordinate in der oberen Richtung und eine Z-Koordinate in der Fahrtrichtung. Außerdem stellt (U, V) jede Position im Abstandsbild dar, (U0, V0) stellt die Position der optischen Achse im Standardbild dar und H stellt die Höhe dar, in der die Stereokamera 104 von der Straßenoberfläche montiert ist.
• $$\text{X}=\text{L}\times \text{c}\times \left(\text{U}-\text{U0}\right)/\text{f}$$

  

  $$\text{Y}=\text{H}+\text{L}\times \text{c}\times \left(\text{V}-\text{VO}\right)/\text{f}$$

  

  $$\text{Z}=\text{L}$$

  
• Die Erkennungseinheit 333 führt diese Verarbeitung an allen Bereichen des Parallaxenbildes durch und berechnet eine dreidimensionale Position im ganzen Parallaxenbild.
• In einem Fall, in dem das Verhältnis der Abstände im Abstandsbild innerhalb eines Verarbeitungsschwellenwerts liegt, benachbarte Bereiche detektiert werden, die Fläche des Bereichs gleich oder größer als ein Schwellenwert ist und die Höhen (Y-Koordinaten) der Bereiche von der Straßenoberfläche gleich oder größer als ein Schwellenwert sind, schätzt die Erkennungseinheit 333, dass der Bereich ein dreidimensionales Objekt ist.
• Schritt 805: Die Kameramontagefehlausrichtungsdetektionseinheit 334 liest die korrigierten Standardbilder, die in den vorherigen und aktuellen Prozessen erzeugt werden, aus der Speichereinheit 316 für korrigierte Bilder. Die Kameramontagefehlausrichtungsdetektionseinheit 334 erzeugt Kantenbilder in der horizontalen Richtung und der vertikalen Richtung für die Standardbilder, die beim letzten Mal und diesmal korrigiert werden. Die Kameramontagefehlausrichtungsdetektionseinheit 334 detektiert einen Bereich, in dem sowohl eine vertikale Kante als auch eine horizontale Kante in einem Bereich mit einer vorbestimmten Größe in diesen Kantenbildern existieren. Die Kameramontagefehlausrichtungsdetektionseinheit 334 verwendet eine Mustervergleichsverarbeitung, um nach einem Bereich im vorher korrigierten Standardbild zu suchen, der diesem Bereich entspricht.
• Wenn die Kameramontagefehlausrichtungsdetektionseinheit 334 die entsprechende Kante im vorherigen und aktuellen korrigierten Bild detektiert, detektiert die Kameramontagefehlausrichtungsdetektionseinheit 334 die vorherigen und aktuellen Kantenpositionen, addiert die aktuelle Kantenposition zur Kantenposition, die der detektierten vorherigen Kantenposition entspricht, und speichert die Kantenposition in der Fehlausrichtungskorrekturinformationsspeichereinheit 318. Wenn die entsprechende Kante im vorherigen und aktuellen korrigierten Bild nicht vorhanden ist, speichert die Kameramontagefehlausrichtungsdetektionseinheit 334 neu die aktuelle Kantenposition in der Fehlausrichtungskorrekturinformationsspeichereinheit 318. in dieser Weise speichert die Kameramontagefehlausrichtungsdetektionseinheit 334 die Zeitreihenpositionen der Kanten.
• Wenn die Anzahl von Teilen von Zeitreihendaten einer bestimmten Kantenposition gleich oder größer als ein vorbestimmter Schwellenwert ist, erhält die Kameramontagefehlausrichtungsdetektionseinheit 334 eine ungefähre gerade Linie, die die Teile von Zeitreihendaten der Kantenübereinstimmung verbindet. Die Kameramontagefehlausrichtungsdetektionseinheit 334 führt diesen Prozess an jedem Bereich mit sowohl einer vertikalen Kante als auch einer horizontalen Kante durch. Die Kameramontagefehlausrichtungsdetektionseinheit 334 erhält die Positionen von Schnittpunkten für jede Kombination dieser ungefähren geraden Linien in dem Bild und mittelt die Positionen der Schnittpunkte.
• Wenn der Mittelwert der Positionen der Schnittpunkte ein Abstand innerhalb eines Schwellenwerts von der Planungsfluchtpunktposition ist, bestimmt die Kameramontagefehlausrichtungsdetektionseinheit 334, dass das Fahrzeug geradeaus fährt, erhöht die Anzahl von Teilen von Fluchtpunktpositionsdaten um eins mit dem Mittelwert der Positionen der Schnittpunkte als Fluchtpunktposition und speichert die Daten in der Fehlausrichtungskorrekturinformationsspeichereinheit 318. Wenn der Mittelwert der Positionen der Schnittpunkte ein Abstand gleich oder länger als ein Schwellenwert von der Planungsfluchtpunktposition ist, bestimmt die Kameramontagefehlausrichtungsdetektionseinheit 334, dass das Fahrzeug abbiegt, bestimmt, dass die Fluchtpunktpositionsdaten nicht korrekt detektiert werden und verwirft die Daten.
• Wenn die Anzahl von Teilen von Fluchtpunktpositionsdaten, die in der Abweichungskorrekturinformationsspeichereinheit 318 gespeichert sind, ein vorbestimmter Schwellenwert oder mehr ist, mittelt die Kameramontägefehlausrichtungsdetektionseinheit 334 die Fluchtpunktpositionsdaten, die in der Fehlausrichtungskorrekturinformationsspeichereinheit 318 gespeichert sind, um einen Detektionswert der Fluchtpunktposition zu erhalten, und legt eine Differenz zwischen dem Detektionswert der Fluchtpunktposition und dem Planungswert als Bildfehlausrichtung in der horizontalen Richtung und der vertikalen Richtung aufgrund der Montagefehlausrichtung der Kamera fest.
• Die Kameramontagefehlausrichtungsdetektionseinheit 334 führt die vorstehend beschriebene Verarbeitung an dem Referenzbild durch. Der Mittelwert der Bildfehlausrichtungen in der horizontalen Richtung und der vertikalen Richtung aufgrund der Montagefehlausrichtung der Kamera im Standardbild und im Referenzbild wird berechnet und in der Fehlausrichtungskorrekturinformationsspeichereinheit 318 gespeichert.
• Schritt 806: Die Kameramontagefehlausrichtungsdetektionseinheit 334 liest die Bildkorrekturdaten des Standardbildes aus der Bildkorrekturinformationsspeichereinheit 312 und liest die Bildfehlausrichtungen in der horizontalen Richtung und der vertikalen Richtung aufgrund der Montagefehlausrichtung der Kamera aus der Fehlausrichtungskorrekturinformationsspeichereinheit 318. Die Kameramontagefehlausrichtungsdetektionseinheit 334 verwendet eine zweidimensionale lineare Interpolation, wie in Schritt 402 beschrieben, um sequentiell für jedes Pixel eine Umwandlung auf der Basis der Bildkorrekturdaten des Standardbildes und eine Umwandlung zum Korrigieren der Bildfehlausrichtungen in der horizontalen Richtung und der vertikalen Richtung aufgrund der Montagefehlausrichtung der Kamera durchzuführen. Folglich berechnet die Kameramontagefehlausrichtungsdetektionseinheit 334 Bildkorrekturdaten zum Beseitigen der Montagefehlausrichtung der Kamera.
• Die Kameramontagefehlausrichtungsdetektionseinheit 334 führt die vorstehend beschriebene Verarbeitung am Referenzbild durch. Die Kameramontagefehlausrichtungsdetektionseinheit 334 speichert die Bildkorrekturdaten des Standardbildes und des Referenzbildes, die in dieser Weise berechnet werden, in der Bildkorrekturinformationsspeichereinheit 312.
• Wenn die Stereokamera 104 im Fahrzeug 111 montiert ist, falls eine Installationsfehlausrichtung des Fahrzeugs oder eine Montagefehlausrichtung der Stereokamera besteht, kann nicht von einer Bildfehlausrichtung aufgrund der Windschutzscheibe 112 unterschieden werden. Dann ist die Bildfehlausrichtung aufgrund der Installationsfehlausrichtung des Fahrzeugs oder der Montagefehlausrichtung der Stereokamera in der Bildfehlausrichtung aufgrund der Windschutzscheibe 112 enthalten und ein Fehler tritt in den geänderten Bildkorrekturdaten auf. Dann treten Bildfehlausrichtungen in der horizontalen Richtung und der vertikalen Richtung im korrigierten Standardbild und Referenzbild des Objekts in einem Abstand auf, der von den Markierungen verschieden ist. Aufgrund der Bildfehlausrichtung in der vertikalen Richtung stimmen dann in der Mustervergleichsverarbeitung die Bereiche des Standardbildes und des Referenzbildes nicht überein und die Parallaxe kann nicht normal berechnet werden. Selbst wenn die vertikale Fehlausrichtung korrigiert wird, tritt ein Parallaxenfehler aufgrund der Bildfehlausrichtung in der horizontalen Richtung auf.
• Gemäß der vorliegenden Ausführungsform werden das Vergrößerungsverhältnis und die Versatzabweichung des Modells des Glases des Fahrzeugs 111, die nicht von den Abständen abhängen, und Positions- und Orientierungsfehlausrichtungen zwischen den Markierungen und der Kamera, die von den Abständen abhängen, auf der Basis der Intervalle zwischen den Markierungen in verschiedenen Abständen im Bild und Positionsfehlausrichtungen der Markierungen detektiert. Unter der Annahme, dass eine Installationsfehlausrichtung des Fahrzeugs und eine Montagefehlausrichtung der Kamera in der Kameraposition bestehen, werden dann Daten zum Korrigieren der Bilder geändert, um die Bildfehlausrichtungen aufgrund der Windschutzscheibe 112 zu kalibrieren. Folglich ist es möglich, eine Bildfehlausrichtung aufgrund einer Installationsfehlausrichtung des Fahrzeugs und einer Montagefehlausrichtung der Kamera nur durch einmalige Bildgebung zu beseitigen und einen Abstand genau zu messen.
• Gemäß der vorliegenden Ausführungsform, die in 3 dargestellt, ist, detektiert, während das Fahrzeug 111 fährt, die Kameramontägefehlausrichtungsdetektionseinheit 334 Positionen (detektierte Positionen) von Fluchtpunkten in den korrigierten Bildern in Schritten 805 und 806 der in 8 dargestellten Betriebsprozedur. Auf der Basis einer Differenz zwischen den Planungspositionen der Fluchtpunkte ändert dann die Kameramontagefehlausrichtungsdetektionseinheit 334 die Bildkorrekturdaten, um die Bildfehlausrichtungen in der horizontalen Richtung und der vertikalen Richtung zu korrigieren, als Bildfehlausrichtungen aufgrund der Montagefeh,lausrichtung der Kamera. Folglich ist es möglich, eine Korrekturabweichung aufgrund der Installationsfehlausrichtung, Verformung oder dergleichen der Stereokamera 104, die über die Zeit auftritt, zu korrigieren.
• Es ist zu beachten, dass die Verarbeitungsvorrichtung und die am Fahrzeug montierte Kameravorrichtung der vorliegenden Erfindung nicht auf die vorstehend beschriebenen Ausführungsformen begrenzt sind und verschiedenartig modifiziert und angewendet werden können. Nachstehend werden Abwandlungen der Ausführungsform der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung der vorliegenden Erfindung beschrieben.
• (Abwandlung 1-1) (Ausführungsform, in der die Recheneinheit eine Bildkalibrierungsverarbeitung durchführt)
• 1 und 10 stellen Konfigurationen einer Ausführungsform der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung der vorliegenden Erfindung dar. In der vorliegenden Abwandlung sind in der Ausführungsform der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung, die in 1 und 3 dargestellt sind, die Kalibrierungsinformationsspeichereinheit 313 und die Bildkalibrierungseinheit 320 von der Stereokamera 104 entfernt und die Kalibrierungsinformationsspeichereinheit 313 und die Bildkalibrierungseinheit 320 sind in einer neu hinzugefügten Recheneinheit 106 (1000) vorgesehen.
• Die Recheneinheit 106 (1000) ist mit der Stereokamera 104 und der Fahrzeuginstallationsfehlausrichtungs-Detektionseinheit 105 verbunden. Der Betrieb jeder Einheit ist ähnlich zu jenem der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung, die in 1 und 3 dargestellt sind. In dieser Weise kann durch Entfernen der Kalibrierungsinformationsspeichereinheit 313 und der Bildkalibrierungseinheit 320 von der Stereokamera 104 die Ausführungsdatei zum Durchführen der Bildkalibrierungsverarbeitung von der Stereokamera 104 entfernt werden, und die Arbeitsspeichermenge, die in der Stereokamera 104 verwendet wird, kann verringert werden. Außerdem ist die neu hinzugefügte Recheneinheit 106 (1000) ausschließlich für den Prozess der Montage im Fahrzeug 111 installiert und die Berechnungsverarbeitungsfähigkeit der Recheneinheit 106 (1000) ist schneller als jene der Stereokamera 104. Daher kann die Zeit, die für die Bildkalibrierungsverarbeitung erforderlich ist, verkürzt werden und die Anzahl von Vorrichtungen, die Bilder pro Einheitszeit kalibrieren können, kann erhöht werden.
• (Abwandlung 1-2) (Detektion nur der Installationsfehlausrichtung der Kamera)
• In der vorliegenden Abwandlung ist die Fahrzeuginstallationsfehlausrichtungs-Detektionseinheit 105 in der Ausführungsform der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung der vorliegenden Erfindung, die in 1 und 3 dargestellt sind, entfernt. Außerdem werden Schritt 404 und Schritt 405 in der in 4 dargestellten Betriebsprozedur nicht durchgeführt. Ferner wird in Schritt 406 anstelle der sequentiellen Durchführung für jedes Pixel einer Umwandlung auf der Basis der Kameramontagerichtungsabweichungsdaten, einer Umwandlung auf der Basis der Glasfehlausrichtungsdaten, einer Umwandlung auf der Basis der Glasverformungsdaten, einer Umwandlung auf der Basis der Kamerainstallationsfehlausrichtungsdaten und einer Umwandlung auf der Basis der Bildkorrekturdaten (die eine Verzerrung aufgrund des optischen Elements darstellen) zur Zeit des Nicht-Durchgangs durch die Windschutzscheibe 112 eine Umwandlung auf der Basis der Glasfehlausrichtungsdaten, eine Umwandlung auf der Basis der Glasverformungsdaten, eine Umwandlung auf der Basis der Kamerainstallationsfehlausrichtungsdaten und eine Umwandlung auf der Basis der Bildkorrekturdaten (die eine Verzerrung aufgrund des optischen Elements darstellen) zur Zeit des Nicht-Durchgangs durch die Windschutzscheibe 112 sequentiell für jedes Pixel durchgeführt.
• Selbst wenn die Fahrzeuginstallationsfehlausrichtungs-Detektionseinheit 105 nicht vorgesehen ist, kann folglich ein Korrekturfehler aufgrund der Installationsfehlausrichtung der Stereokamera 104 aufgrund der Installationsfehlausrichtung des Fahrzeugs aus den Bildkorrekturdaten entfernt werden. In dieser Abwandlung tritt ein Fehler in einer Fluchtpunktposition in dem Bild aufgrund der Montagefehlausrichtung der Stereokamera auf. In Schritt 805 und Schritt 806 der in 8 dargestellten Betriebsprozedur wird jedoch die Montagefehlausrichtung der Kamera detektiert und Bildkorrekturdaten zum Korrigieren einer Bildfehlausrichtung aufgrund der Montagefehlausrichtung der Kamera werden berechnet, wodurch die Bildfehlausrichtung aufgrund der Montagefehlausrichtung der Stereokamera korrigiert werden kann.
• (Abwandlung 1-3) (Ausführungsform zum Detektieren der Position des Zentrums von Markierungen)
• In der vorliegenden Abwandlung in der Ausführungsform der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung der vorliegenden Erfindung, die in 1 und 3 dargestellt sind, speichert die Kalibrierungsinformationsspeichereinheit 313 nicht jedes Markierungsbild in den korrigierten Bildern. In Schritt 402 wird anstelle der Verwendung der Markierungsbilder, um eine Mustervergleichsverarbeitung und Detektion einer Merkmalspunktposition durchzuführen, auch eine Binarisierungsverarbeitung zum Festlegen von Pixeln mit einem vorbestimmten Luminanzwert oder weniger auf 1 und anderer Pixel auf 0 im Standardbild und im Referenzbild nach der Bildkorrektur durchgeführt, und die Positionen der Markierungen werden durch Berechnen der baryzentrischen Position jeder Markierung in den binarisierten Bildern detektiert. Folglich ist es möglich, die Arbeit zum Erzeugen und Speichern der Markierungsbilder im Voraus zu verringern.
• (Abwandlung 1-4) (Bildkalibrierungsvorrichtung für monokulare Kamera)
• In der vorliegenden Abwandlung in der Ausführungsform der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung der vorliegenden Erfindung, die in 1 und 3 dargestellt sind, ist die in 1 dargestellte Stereokamera 104 durch eine monokulare Kamera 104 ersetzt, die monokulare Kamera, die in 11 dargestellt ist, ist anstelle der in 3 dargestellten Stereokamera vorgesehen, die in 12 dargestellte Betriebsprozedur wird anstelle der Betriebsprozedur zur Zeit der Fahrt, die in 8 dargestellt ist, durchgeführt, und in der in 4 und 12 dargestellten Betriebsprozedur führt jede Einheit eine Verarbeitung in Bezug auf ein Bild einer Bildgebungssystemeinheit 1000 anstelle der Durchführung einer Verarbeitung in Bezug auf Bilder der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b durch.
• 1 und 11 stellen eine Konfiguration einer Ausführungsform einer Bildkalibrierungsvorrichtung der vorliegenden Erfindung dar. Hier sind die Speichereinheit 316 für korrigierte Bilder und die Abstandsdetektionseinheit 330, die grau angezeigt sind, nicht in der vorliegenden Ausführungsform enthalten und arbeiten in einem Fall der Detektion des Abstandes eines dreidimensionalen Objekts. Diese Operationen werden später beschrieben.
• Die monokulare Kamera ist im Fahrzeug 111 montiert und bildet die Markierung 201 bis 205 durch die Windschutzscheibe 112 des Fahrzeugs 111 hindurch ab. Die monokulare Kamera umfasst die Bildgebungssystemeinheit 1000 und eine Recheneinheit 210 und ist mit der Fahrzeüginstallationsfehlausrichtungs-Detektionseinheit 105 verbunden.
• Die Bildgebungssystemeinheit 1000 wie z. B. eine Kamera umfasst eine Optikelementeinheit 1001 und eine Bildgebungselementeinheit 1002. Die Optikelementeinheit 1001 wie z. B. eine Linse bricht Licht, um ein Bild auf der Bildgebungselementeinheit 1002 zu erzeugen. Die Bildgebungselementeinheit 1002 wie z. B. ein Bildgebungselement empfängt ein Bild des Lichts, das durch die Optikelementeinheit 1001 gebrochen wird, und erzeugt ein Bild, das der Intensität des Lichts entspricht.
• Die Recheneinheit 310 wie z. B. eine Zentraleinheit (CPU) und ein Arbeitsspeicher umfasst eine Speichereinheit 311 für erfasste Bilder, eine Bildkorrekturinformationsspeichereinheit 312, eine Kalibrierungsinformationsspeichereinheit 313, eine Speichereinheit 316 für korrigierte Bilder, eine Fehlausrichtungskorrekturspeichereinheit 318, eine Bilderfassungseinheit 1015, eine Bildkalibrierungseinheit 320 und eine Abstandsdetektionseinheit 1030.
• Die Abstandsdetektionseinheit 1030 umfasst eine Bildkorrektureinheit 331, eine Erkennungseinheit 1032, eine Detektionseinheit 1033 für den Abstand eines dreidimensionalen Objekts und eine Kameramontagefehlausrichtungsdetektionseinheit 334.
• Die Speichereinheit 311 für erfasste Bilder wie z. B. ein Arbeitsspeicher, die Bildkorrekturinformationsspeichereinheit 312, die Kalibrierungsinformationsspeichereinheit 313, die Speichereinheit 316 für korrigierte Bilder und die Fehlausrichtungskorrekturspeichereinheit 318 speichern Informationen der Bildgebungssystemeinheit 1000 anstelle von Informationen der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b.
• Die Bilderfassungseinheit 1015 erfasst ein Bild, das durch die Bildgebungselementeinheit 1002 erzeugt wird, und speichert das Bild in der Speichereinheit 311 für erfasste Bilder.
• Der Markierungspositionsdetektor 321, der Bildfehlausrichtungsfaktordetektor 322, die Bildkorrekturdatenänderungseinrichtung 323, die Bildkorrektureinheit 331 und die Kameramontagefehlausrichtungsdetektionseinheit 334 führen eine ähnliche Verarbeitung an dem Bild der Bildgebungssystemeinheit 1000 anstelle der Durchführung der Verarbeitung an den Bildern der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b durch.
• Die Erkennungseinheit 1032 berechnet ein Merkmal des Fahrzeugs 111 in jedem Bereich in einem Bild, das durch die Bildkorrektureinheit 331 korrigiert wird, und detektiert einen Bereich, der dem Merkmal des Fahrzeugs 111 entspricht. Außerdem berechnet die Erkennungseinheit 1032 ein Merkmal eines Fußgängers in jedem Bereich im korrigierten Bild und detektiert einen Bereich, der dem Merkmal des Fußgängers entspricht.
• Die Detektionseinheit 1033 für den Abstand eines dreidimensionalen Objekts behandelt Positionen von unteren Teilen des Bereichs des Fahrzeugs 111 und des Bereichs des Fußgängers als Positionen in Kontakt mit der Straßenoberfläche und berechnet den Abstand zwischen dem Fahrzeug 111 und dem Fußgänger auf der Basis der Positionen in Kontakt mit der Straßenoberfläche.
• Die in 1 und 11 dargestellte vorliegende Abwandlung arbeitet gemäß der in 4 dargestellten Betriebsprozedur. Hier wird in Schritt 401 die folgende Verarbeitung durchgeführt und der Markierungspositionsdetektor 321, der Bildfehlausrichtungsfaktordetektor 322 und die Bildkorrekturdatenänderungseinrichtung 323 detektieren die Installationsfehlausrichtung der Kamera, die Installationsfehlausrichtung des Fahrzeugs, die Montagefehlausrichtung der Kamera und die Vergrößerungsverhältnisse der Windschutzscheibe 112 in der horizontalen Richtung und der vertikalen Richtung durch Durchführen einer Verarbeitung in Bezug auf das Bild der Bildgebungssystemeinheit 1000 anstelle der Durchführung der Verarbeitung in Bezug auf die Bilder der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b.
• Schritt 401: Die Bilderfassungseinheit 1015 sendet ein Bildgebungssignal und Informationen einer Belichtungszeit zur Bildgebungselementeinheit 1002. Unmittelbar nach dem Empfangen des Bildgebungssignals und der Informationen der Belichtungszeit von der Bilderfassungseinheit 1015 empfängt die Bildgebungselementeinheit 1002 ein Bild von Licht, das durch die Optikelementeinheit 1001 gebrochen wird, für die Belichtungszeit, erzeugt ein Bild, das der Intensität des Lichts entspricht, und sendet das Bild zur Bilderfassungseinheit 1015. Die Bilderfassungseinheit 1015 empfängt das Bild von der Bildgebungselementeinheit 1002 und speichert das Bild in der Speichereinheit 311 für erfasste Bilder.
• In der Ausführungsform der monokularen Kamera der vorliegenden Abwandlung, die in 1 und 11 dargestellt ist, wird anstelle der in 8 dargestellten Betriebsprozedur die in 12 dargestellte Betriebsprozedur durchgeführt, um den Abstand des dreidimensionalen Objekts zu detektieren, die Montagefehlausrichtung der Kamera zu detektieren und die Bildkorrekturdaten zu ändern. Hier wird in Schritt 801 dieselbe Verarbeitung wie Schritt 401 (vorstehend beschrieben) der Abwandlungen 1 bis 4, in denen die Synchronisationssignalerzeugungseinheit nicht verwendet wird, durchgeführt. Ferner wird in den Schritten 802, 805 und 806 anstelle der Durchführung der Verarbeitung in Bezug auf die Bilder der Bildgebungssystemeinheit 300a und der Bildgebungssystemeinheit 300b eine ähnliche Verarbeitung in Bezug auf das Bild der Bildgebungssystemeinheit 1000 durchgeführt, und folglich wird auf die Beschreibung dieser Schritte verzichtet und nur die Schritte 1103 und 1104 werden beschrieben.
• Schritt 1103. Die Erkennungseinheit 1032 liest das korrigierte Bild, das in der Speichereinheit 316 für korrigierte Bilder gespeichert ist. In jedem Bereich im korrigierten Bild 1201 wird ein Merkmal des Fahrzeugs 111 berechnet und, wie in 13 dargestellt, wird ein Bereich 1202, der dem Merkmal des Fahrzeugs 111 entspricht, detektiert. Außerdem berechnet die Erkennungseinheit 1032 ein Merkmal eines Fußgängers in jedem Bereich im korrigierten Bild 1201 und detektiert einen Bereich 1203, der dem Merkmal des Fußgängers entspricht.
• Schritt 1104: Die Detektionseinheit 1034 für den Abstand eines dreidimensionalen Objekts behandelt Positionen von unteren Teilen des Bereichs 1202 des Fahrzeugs 111 und des Bereichs 1203 des Fußgängers als Positionen in Kontakt mit der Straßenoberfläche und berechnet den Abstand zwischen dem Fahrzeug 111 und dem Fußgänger auf der Basis der Positionen in Kontakt mit der Straßenoberfläche.
• Wenn die monokulare Kamera im Fahrzeug 111 montiert ist, falls eine Installationsfehlausrichtung des Fahrzeugs oder eine Montagefehlausrichtung der monokularen Kamera besteht, kann nicht von einer Bildfehlausrichtung aufgrund der Windschutzscheibe 112 unterschieden werden, eine Bildfehlausrichtung aufgrund der Installationsfehlausrichtung des Fahrzeugs oder der Montagefehlausrichtung der monokularen Kamera ist in der Bildfehlausrichtung aufgrund der Windschutzscheibe 112 enthalten, ein Fehler tritt in den geänderten Bildkorrekturdaten auf, Bildfehlausrichtungen in der horizontalen Richtung und der vertikalen Richtung treten im korrigierten Bild des Objekts in dem Abstand auf, der von den Markierungen verschieden ist, und ein Fehler tritt in den Abständen aufgrund der Bildfehlausrichtung in der vertikalen Richtung auf.
• In den Abwandlungen 1 bis 4 werden die Vergrößerungsverhältnisse und Versatzabweichung des Modells der Windschutzscheibe 112 des Fahrzeugs 111, die nicht von den Abständen abhängen, und die Positions- und Orientierungsfehlausrichtungen zwischen den Markierungen und der Kamera, die von den Abständen abhängen, auf der Basis der Intervalle zwischen den Markierungen und einer Positionsfehlausrichtung in dem Bild der Markierungen in verschiedenen Abständen detektiert. Da eine Installationsfehlausrichtung des Fahrzeugs und eine Montagefehlausrichtung der Kamera in der Position der Kamera bestehen, ist es dann durch Ändern von Daten zum Korrigieren des Bildes, um die Fehlausrichtung des Bildes aufgrund der Windschutzscheibe 112 zu kalibrieren, möglich, die Fehlausrichtung des Bildes aufgrund der Installationsfehlausrichtung des Fahrzeugs und der Montagefehlausrichtung der Kamera nur durch einmalige Bildgebung zu beseitigen und den Abstand genau zu messen.
• Es ist zu beachten, dass die monokulare Kamera der Abwandlungen 1 bis 4 nicht auf die obige Ausführungsform begrenzt ist und verschiedenartig modifiziert und angewendet werden kann, wie in den Abwandlungen 1-1 bis Abwandlung 1-3 dargestellt, und ein ähnlicher Effekt erhalten werden kann.
• Obwohl die Ausführungsform der Verarbeitungsvorrichtung und der am Fahrzeug montierten Kameravorrichtung gemäß der vorliegenden Offenbarung mit Bezug auf die Zeichnungen im Einzelnen beschrieben wurde, ist die spezielle Konfiguration nicht auf diese Ausführungsform begrenzt und Änderungen im Entwurf und dergleichen ohne Abweichung vom Kern der vorliegenden Offenbarung sind in der vorliegenden Offenbarung enthalten.
• Bezugszeichenliste

101

Markierung

102

Markierung

103

Markierung

104

Stereokamera

105

Fahrzeuginstallationsfehlausrichtungs-Detektionseinheit

106

Recheneinheit

111

Fahrzeug

112

Windschutzscheibe

121

vorbestimmte Position des Fahrzeugs

122

vorbestimmte Orientierung (Richtung) des Fahrzeugs

123

Orientierung (Richtung) des Fahrzeugs

124

Orientierung (Richtung) der Stereokamera

201

Markierung

202

Markierung

203

Markierung

204

Markierung

205

Markierung

206

Diagramm

207

Diagramm

208

Diagramm

209

Diagramm

210

Diagramm

300b

Bildgebungssystemeinheit

301a

Optikelementeinheit

301b

Optikelementeinheit

302a

Bildgebungselementeinheit

302b

Bildgebungselementeinheit

310

Recheneinheit

311

Speichereinheit für erfasste Bilder

312

Bildkorrekturinformationsspeichereinheit

313

Kalibrierungsinformationsspeichereinheit

314

Synchronisationssignalerzeugungseinheit

315a

Standardbilderfassungseinheit

315b

Referenzbilderfassungseinheit

316

Speichereinheit für korrigierte Bilder

317

Parallaxenbildspeichereinheit

318

Fehlausrichtungskorrekturinformationsspeichereinheit

320

Bildkalibrierungseinheit

321

Markierungspositionsdetektor

322

Bildfehlausrichtungsfaktordetektor

323

Bildkorrekturdatenänderungseinrichtung

330

Abstandsdetektionseinheit

331

Bildkorrektureinheit

332

Parallaxenberechnungseinheit

333

Erkennungseinheit

334

Kameramontagefehlausrichtungsdetektionseinheit

501

korrigiertes Bild

502

detektierte Position der Markierung

503

Planungsposition der Markierung

504

detektierte Position der Markierung, Planungsposition der Markierung

601

Richtung der optischen Achse

602

horizontale Linie senkrecht zur Richtung der optischen Achse

603

horizontale Linie senkrecht zur Richtung der optischen Achse

701

Markierung

702

Markierung

703

Richtung der optischen Achse

704

vertikale Linie senkrecht zur Richtung der optischen Achse

705

vertikale Linie senkrecht zur Richtung der optischen Achse

901

korrigiertes Standardbild

902

korrigiertes Referenzbild

903

Standardbereich

904

Referenzbereich

905

Referenzbereich, der dem Standardbereich am engsten entspricht

1000

Recheneinheit

1000

Bildgebungssystemeinheit

1001

Optikelementeinheit

1002

Bildgebungselementeinheit

1015

Bilderfassungseinheit

1030

Abstandsdetektionseinheit

1032

Erkennungseinheit

1033

Detektionseinheit für den Abstand eines dreidimensionalen Objekts

1201

korrigiertes Bild

1202

Fahrzeug

1203

Fußgänger

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• JP 2019132855 A [0003]
• JP 2015169583 A [0003]

Claims (6)

1. Verarbeitungsvorrichtung, die eine Installationsfehlausrichtung einer an einem Fahrzeug montierten Kamera aus einem Bild, das durch Abbilden von mehreren Markierungen in verschiedenen Abständen von der am Fahrzeug montierten Kamera erhalten wird, und modellierten Daten eines Fensters eines Fahrzeugs erfasst, und Korrekturdaten zum Korrigieren des Bildes der am Fahrzeug montierten Kamera unter Verwendung der Installationsfehlausrichtung ändert, wobei die Installationsfehlausrichtung eine Positionsfehlausrichtung mit Bezug auf eine Position ist, an der die am Fahrzeug montierte Kamera in Bezug auf ein Diagramm, in dem die Markierung vorhanden ist, angeordnet sein soll.
2. Verarbeitungsvorrichtung nach Anspruch 1, wobei die Markierungen derart angeordnet sind, dass Abstände von der am Fahrzeug montierten Kamera in einer vertikalen Richtung unterschiedlich sind, und die Verarbeitungsvorrichtung die Installationsfehlausrichtung auf der Basis eines Intervalls zwischen den Markierungen und einer Differenz zwischen den Abständen der Markierungen erfasst, und die Installationsfehlausrichtung eine Abweichung eines Nickwinkels des Fahrzeugs ist.
3. Verarbeitungsvorrichtung nach Anspruch 1, wobei die Markierungen derart angeordnet sind, dass Abstände von der am Fahrzeug montierten Kamera in einer horizontalen Richtung unterschiedlich sind, und die Verarbeitungsvorrichtung die Installationsfehlausrichtung auf der Basis eines Intervalls zwischen den Markierungen und einer Differenz zwischen den Abständen der Markierungen erfasst, und die Installationsfehlausrichtung eine Abweichung eines Gierwinkels des Fahrzeugs ist.
4. Verarbeitungsvorrichtung nach Anspruch 1, wobei die Verarbeitungsvorrichtung Vergrößerungsverhältnisse des Fensters in einer horizontalen Richtung und einer vertikalen Richtung auf der Basis einer Differenz zwischen Intervallen zwischen den Markierungen in dem Bild in der horizontalen Richtung und der vertikalen Richtung erfasst.
5. Verarbeitungsvorrichtung nach Anspruch 1, die ferner eine Fahrzeuginstallationsfehlausrichtungs-Detektionseinheit umfasst, die eine Installationsfehlausrichtung des Fahrzeugs detektiert, wobei eine Montagefehlausrichtung der am Fahrzeug montierten Kamera mit Bezug auf das Fahrzeug auf der Basis der Installationsfehlausrichtung des Fahrzeugs und der Installationsfehlausrichtung der am Fahrzeug montierten Kamera berechnet wird und Korrekturdaten zum Korrigieren eines Bildes der am Fahrzeug montierten Kamera unter Verwendung der Installationsfehlausrichtung der am Fahrzeug montierten Kamera und der Montagefehlausrichtung der am Fahrzeug montierten Kamera geändert werden.
6. Am Fahrzeug montierte Kameravorrichtung, die umfasst: die Verarbeitungsvorrichtung nach Anspruch 1; eine erste Kamera; und eine zweite Kamera, wobei die Verarbeitungsvorrichtung ein erstes Bild, das durch Abbilden der Markierungen durch die erste Kamera erhalten wird, und ein zweites Bild, das durch Abbilden der Markierungen durch die zweite Kamera erhalten wird, erfasst; eine Vergrößerungsverhältnisabweichung, eine Versatzabweichung und eine gemeinsame Fahrzeuginstallationsfehlausrichtung des Fensters in Bezug auf die erste Kamera und die zweite Kamera auf der Basis einer Markierungsintervallabweichung und einer Positionsfehlausrichtung, die vom ersten Bild und zweiten Bild erhalten wird, erfasst; Korrekturdaten für die erste Kamera und die zweite Kamera auf der Basis der Vergrößerungsverhältnisabweichung, der Versatzabweichung und der gemeinsamen Fahrzeuginstallationsfehlausrichtung ändert.

Images