DE102018220427B4

DE102018220427B4 - Kameramodul

Info

Publication number: DE102018220427B4
Application number: DE102018220427.6A
Authority: DE
Inventors: Yasuki Furutake; Yoichi KAJINO; Kazuma Yamaguchi
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2017-11-29
Filing date: 2018-11-28
Publication date: 2022-04-28
Anticipated expiration: 2038-11-29
Also published as: DE102018220427A1; JP7027844B2; CN109835266A; CN109835266B; US20190166313A1; US11140337B2; JP2019102888A

Abstract

Kameramodul, das an einer Innenseite einer Windschutzscheibe (3) bei einem Fahrzeug (2) montiert ist und konfiguriert ist, um eine äußere Umgebung (5) des Fahrzeugs (2) zu fotografieren, wobei das Kameramodul aufweist:eine erste Kamera (10) zum Fotografieren der äußeren Umgebung (5) mit einem ersten Abbildungselement (14) durch eine erste Linseneinheit (11), undeine zweite Kamera (20), die einen schmaleren Sichtwinkel als die erste Kamera (10) hat und die äußere Umgebung (5) mit einem zweiten Abbildungselement (24) durch eine zweite Linseneinheit (21) fotografiert, wobei:das erste Abbildungselement (14) und das zweite Abbildungselement (24) eine gleiche Pixelspezifikation haben,das Kameramodul konfiguriert ist, um eine Abbildung einer Signalanzeige (5b), die bei einer Ampel (5a) angezeigt wird, die eine durchschnittliche Höhe und eine durchschnittliche Größe hat und bei der äußeren Umgebung (5) des Fahrzeugs (2) angeordnet ist, zu erkennen,ein Grenzwert einer Entfernung von der ersten Kamera (10) zu der Signalanzeige (5b), die an dem ersten Abbildungselement (14) der ersten Kamera (10) mit einer vorbestimmten Anzahl von Pixeln, die durch die Abbildung erkennbar ist, gebildet ist, als eine Grenzwertentfernung einer Fernerkennung definiert ist, unddie Orientierung der zweiten Kamera (20) eingestellt ist, um die Signalanzeige (5b) innerhalb des Sichtwinkels der zweiten Kamera (20) bei einer Grenzwertentfernung einer Fernerkennung anzuordnen.

Description

Die vorliegende Offenbarung bezieht sich auf ein Kameramodul.
Bekannt, beispielsweise aus der JP 5 316 562 B2 , ist ein Kameramodul, das an der Innenseite einer Windschutzscheibe bei einem Fahrzeug montiert ist und konfiguriert ist, um die äußere Umgebung des Fahrzeugs zu fotografieren.
In den letzten Jahren wurden Kameramodule benötigt, um zu fotografieren, um einen breiten Bereich der äußeren Umgebung des Fahrzeugs für fortgeschrittene Fahrunterstützung oder autonomes Fahren des Fahrzeugs zu erkennen. Als eine Lösung ist es, um solche Anforderungen zu erfüllen, denkbar, eine Kamera mit einem Weitblickwinkel zu verwenden. Allerdings kann, wenn eine Kamera mit einem Weitblickwinkel verwendet wird, die Auflösung gering sein, und dementsprechend ist es für die Kamera unzureichend, entfernte Objekte mit hoher Genauigkeit zu erkennen.
Aus der DE 10 2014 220 585 A1 ist ferner eine Stereokamera für ein Fahrzeug bekannt, mit einer einen ersten Bildsensor aufweisenden ersten Kamera, deren Kamerasichtfeld einen ersten Öffnungswinkel aufweist, und einer einen zweiten Bildsensor aufweisenden zweiten Kamera, deren Kamerasichtfeld einen zweiten Öffnungswinkel aufweist, wobei der zweite Öffnungswinkel größer ist als der erste Öffnungswinkel. Die erste Kamera weist eine erste Linsenoptik auf, und die zweite Kamera weist eine zweite Linsenoptik auf, wobei sowohl die erste als auch die zweite Linsenoptik mit einer im Winkelbereich um die optische Achse liegenden Zentralbereich des Kamerasichtfeldes höheren Winkelauflösung ausgebildet ist als außerhalb des Zentralbereichs, und die erste und zweite Kamera derart zueinander angeordnet sind, dass sich deren Kamerasichtfelder überlappen.
Die DE 10 2009 012 758 A1 lehrt eine Vorrichtung und ein Verfahren zur Detektion mindestens eines Objekts, wobei die Vorrichtung eine einen ersten Bilderfassungssensor aufweisende Kamera, eine einen zweiten und einen dritten Bilderfassungssensor aufweisende Stereokamera und eine Auswerteeinheit aufweist. Die Auswerteeinheit detektiert in einem mit Hilfe der Kamera erfassten Bild die Abbildung des Objekts in diesem Bild und ermittelt die Position der Abbildung des Objekts in dem Bild.
Aus der US 2009 / 0 135 246 A1 ist eine weitere Stereokamera bekannt, und die DE 10 2009 022 277 A1 lehrt eine Vorrichtung zur Erfassung von Objekten.
Es ist eine Aufgabe der vorliegenden Offenbarung, ein Kameramodul vorzusehen, das die optische Leistung, die für eine Fahrzeuganwendung benötigt wird, hat. Es ist insbesondere Aufgabe der vorliegenden Offenbarung, ein Kameramodul bereitzustellen, das eine Signalanzeige, die durch eine Ampel außerhalb des Fahrzeugs angezeigt wird, erkennen kann.
Die Aufgabe wird durch ein Kameramodul nach dem Anspruch 1 gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
Erfindungsgemäß sind eine erste Kamera und eine zweite Kamera, die einen schmaleren Sichtwinkel als die erste Kamera hat, in Verbindung miteinander verwendet. Dementsprechend ist es möglich, einen relativ weiten Bereich der äußeren Umgebung des Fahrzeugs mit der ersten Kamera zu fotografieren, und ist es möglich, die Erkennungsgenauigkeit von entfernten Objekten mit der zweiten Kamera, die einen schmaleren Sichtwinkel hat, zu verbessern. Dementsprechend ist es möglich, die optische Leistung, die für die Fahrzeuganwendung benötigt wird, zu erhalten.
Außerdem wird, wenn die gleiche Pixelspezifikation für das erste Abbildungselement der ersten Kamera und das zweite Abbildungselement der zweiten Kamera verwendet wird, die logische Verarbeitungsschaltung der Abbildungsverarbeitung vereinfacht, und durch eine solche Vereinfachung ist es zum Beispiel möglich, die Last oder Verarbeitungsgeschwindigkeit einer Abbildungsverarbeitung zu verbessern. Dementsprechend ist es möglich, bei einem solchen Kameramodul, das die erste Kamera und die zweite Kamera, die voneinander verschiedene Sichtwinkel haben, kombiniert, um ein Merkmal vorzusehen, das die Abbildungsverarbeitung vereinfacht.
Die vorstehende und andere Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung sind aus der folgenden detaillierten Beschreibung unter Bezugnahme auf die beiliegenden Zeichnungen näher ersichtlich.

1 ist ein Diagramm, das einen Montagezustand eines Kameramoduls an einem Fahrzeug zeigt.
2 ist eine Perspektivansicht, die die Erscheinung des Kameramoduls zeigt.
3 ist ein Blockdiagramm das eine schematische Konfiguration des Kameramoduls zeigt.
4 ist ein Diagramm, das den Sichtwinkel der ersten Kamera und den Sichtwinkel der zweiten Kamera schematisch zeigt.
5 ist ein Diagramm, das eine Konfiguration eines Abbildungselements schematisch zeigt.
6 ist ein Diagramm zum Erklären von Abbildungen und Timings eines Startens eines Auslesens durch das erste Abbildungselement und das zweite Abbildungselement.
7 ist ein Blockdiagramm, das eine schematische Konfiguration einer Steuerungseinrichtung zeigt.
8 ist ein Diagramm zum Erklären einer Abbildungserkennung einer Signalanzeige durch die Kamera.
9 ist ein Diagramm zum Erklären eines Abweichungsbetrags des Auslesens.

Im Folgenden wird eine Mehrzahl von Ausführungsformen mit Bezug auf die Zeichnungen beschrieben. Es sollte bemerkt werden, dass die gleichen Bezugszeichen an den jeweiligen einzelnen Elementen bei jeder Ausführungsform angebracht sind und redundante Erklärungen ausgelassen werden. Bei jeder der Ausführungsformen können, wenn nur ein Teil der Konfiguration beschrieben wird, die anderen Teile der Konfiguration auf die anderen Ausführungsformen angewendet werden. Außerdem ist es möglich, Konfigurationen, wie sie in der Beschreibung der Ausführungsformen spezifiziert werden, nicht nur zu kombinieren, sondern auch Konfigurationen von Ausführungsformen teilweise zu kombinieren, sogar wenn es nicht spezifiziert wird, solange die Kombination keine Schwierigkeit verursacht.
Die erste Ausführungsform dient dem Verständnis für die vorliegende Erfindung, die in der zweiten Ausführungsform verkörpert ist.
(Erste Ausführungsform)
Das Kameramodul 1 nach der ersten Ausführungsform ist an einem Fahrzeug 2 montiert und ist konfiguriert, um die äußere Umgebung des Fahrzeugs zu fotografieren. Wie es in 1 gezeigt wird, ist das Kameramodul 1 im Inneren der vorderen Windschutzscheibe 3 des Fahrzeugs 2 montiert.
Bei der vorliegenden Ausführungsform werden die Richtungen Vorwärts, Rückwärts, Vorwärts- und Rückwärtsrichtung, Aufwärts, Abwärts und Auf- und Abwärtsrichtung, nach links, nach rechts und Nach-Links- und Nach-Rechtsrichtung in Bezug auf das Fahrzeug 2 an der horizontalen Ebene HP als einer Bezugsebene ausgedrückt, außer es wird anders spezifiziert.
Die vordere Windschutzscheibe 3 ist vor dem Fahrersitz des Fahrzeugs 2 lokalisiert. Die vordere Windschutzscheibe 3 trennt den Fahrzeugfahrgastraum von der äußeren Umgebung des Fahrzeugs. Die vordere Windschutzscheibe 3 ist aus einem durchsichtigen Material wie zum Beispiel Glas oder Kunstharz gefertigt, um die Landschaft der äußeren Umgebung 5 des Fahrzeugs in dem Fahrgastraum sichtbar zu machen.
Die Montageposition des Kameramoduls 1 an der vorderen Windschutzscheibe 3 ist an einem Ort eingestellt, der die Sicht des Fahrgasts, der in dem Fahrersitz in dem Fahrgastraum sitzt, nicht deutlich stört. Spezifisch ist der Montageabschnitt des Kameramoduls 1 innerhalb eines Bereiches von zum Beispiel ungefähr 20 % von der oberen Kante des Öffnungsfensters 6a der Säule 6 eingestellt, die eine Rahmenform hat und die äußere periphere Kante der vorderen Windschutzscheibe 3 bei dem Fahrzeug 2 mit der Rahmenform hält. Die Montageposition in der Rechts-Links-Richtung ist innerhalb eines Bereiches von zum Beispiel ungefähr 15 Zentimeter von dem Zentrum des Öffnungsfensters 6a zu beiden Seiten in der Rechts- und Links-Richtung eingestellt. Auf diese Weise ist das Kameramodul 1 in einem Abschnitt positioniert, bei dem die vordere Windschutzscheibe 3 zum Beispiel um 22 bis 90 Grad geneigt ist.
Wie es in den 2 und 3 gezeigt wird, enthält das Kameramodul 1 ein Kameragehäuse 40, eine erste Kamera 10, eine zweite Kamera 20, eine Schaltungseinheit 30 und Ähnliches.
Das Kameragehäuse 40, das in 1 gezeigt wird, ist in einer hohlen Form gebildet, um die erste Kamera 10, die zweite Kamera 20 und die Schaltungseinheit 30 unterzubringen. Das Kameragehäuse 40 ist aus einem harten Material gefertigt, das eine relativ hohe Wärmestrahlungseigenschaft hat, wie zum Beispiel Aluminium. Das Kameragehäuse 40 wird über eine Klammer gehalten und durch die vordere Windschutzscheibe 3 über diese positioniert.
Das Kameragehäuse 40 hat eine Mehrzahl von Öffnungslöchern 41, die in der Rechts-Links-Richtung an Positionen, die zu der vorderen Windschutzscheibe 3 weisen, seitlich angeordnet sind. Besonders bei der vorliegenden Ausführungsform sind zwei Öffnungslöcher 41 gebildet und diese korrespondieren jeweilig zu der ersten Kamera 10 und der zweiten Kamera 20.
Die erste Kamera 10, die in den 2 und 3 gezeigt wird, enthält eine erste Linseneinheit 11, ein erstes Abbildungselement 14 und Ähnliches und die äußere Umgebung 5 des Fahrzeugs 2 wird durch das Abbildungselement 14 durch die erste Linseneinheit 11 fotografiert. Wie es auch in 4 gezeigt wird, ist die erste Kamera 10 der vorliegenden Ausführungsform eine Weitwinkelkamera, die die äußere Umgebung mit einem relativ weiten Sichtwinkel von ungefähr 100 Grad oder mehr fotografiert.
Die erste Linseneinheit 11 hat eine Objektivfassung 12 und ein Linsensystem 13. Die Objektivfassung 12 ist in einer im Wesentlichen zylindrischen Form als ein Ganzes gebildet und aus einem harten Material wie zum Beispiel Kunstharz gefertigt, das einfach und relativ verarbeitbar ist. Die Objektivfassung 12 ist durch das Öffnungsloch 41 angeordnet und ist gebildet, um das Linsensystem 13 darin unterzubringen, so dass Licht von der äußeren Umgebung 5 zu dem ersten Abbildungselement 14 bei dem Kameragehäuse 40 geleitet wird.
Das Linsensystem 13 enthält eine oder eine Mehrzahl von Linsen und bricht zumindest einen Teil des Lichts, der in die Objektivfassung 12 einfallend ist, so dass eine Umkehrabbildung an dem ersten Abbildungselement 14 gebildet werden kann. Der F-Wert der ersten Linseneinheit 11 bei dem Linsensystem 13 ist zum Beispiel 2.0. Jede Linse hat zum Beispiel eine Rotationssymmetrie in Bezug auf die Zentrumsachse CA1 der Objektivfassung 12. Dementsprechend fällt die Zentrumsachse CA1 mit der optischen Achse der ersten Kamera 10 zusammen und auf die Richtung, bei der sich die Zentrumsachse CA1 zu der äußeren Umgebung 5 erstreckt, wird im Folgenden als die Orientierung der ersten Kamera 10 verwiesen.
Das erste Abbildungselement 14 ist ein Element, das Licht in elektrische Signale durch fotoelektrische Umwandlung umwandelt, und zum Beispiel ein CCD-Abbildungssensor oder ein CMOS-Abbildungssensor kann an dem ersten Abbildungselement 14 verwendet werden. Das erste Abbildungselement 14 ist im Wesentlichen senkrecht zu der Zentrumsachse CA1 bei dem Kameragehäuse 40 mit einer vorbestimmten Entfernung von der ersten Linseneinheit 11 angeordnet.
Die zweite Kamera 20, die in den 2 und 3 gezeigt wird, enthält eine zweite Linseneinheit 21, ein zweites Abbildungselement 24 und Ähnliches, und die äußere Umgebung 5 des Fahrzeugs 2 wird durch das zweite Abbildungselement 24 durch die zweite Linseneinheit 21 fotografiert. Wie es auch in 4 gezeigt wird, ist die zweite Kamera 20 eingestellt, um einen schmaleren Sichtwinkel als die erste Kamera 10 zu haben und um bei dieser Ausführungsform zum Beispiel eine Schmalwinkelkamera (auf diese wird auch als Tele-Kamera verwiesen) zu sein, die einen Sichtwinkel von 50 Grad oder weniger hat.
Die zweite Linseneinheit 21 hat eine Objektivfassung 22 und ein Linsensystem 23. Die Objektivfassung 22 ist in einer im Wesentlichen zylindrischen Form als ein Ganzes gebildet und aus einem harten Material wie zum Beispiel Kunstharz gefertigt, das einfach und relativ verarbeitbar ist. Die Objektivfassung 22 ist durch das Öffnungsloch 41 angeordnet und ist gebildet, um das Linsensystem 23 darin unterzubringen, so dass Licht von der äußeren Umgebung 5 zu dem zweiten Abbildungselement 24 bei dem Kameragehäuse 40 geleitet werden kann.
Das Linsensystem 23 enthält eine oder eine Mehrzahl von Linsen und bricht zumindest einen Teil des Lichts, der in die Objektivfassung 22 einfallend ist, so dass eine Umkehrabbildung an dem zweiten Abbildungselement 24 gebildet werden kann. Die künstliche Fokuslänge der zweiten Linseneinheit 21 bei dem Linsensystem 23 (im Folgenden wird darauf als eine Fokuslänge einfach verwiesen) ist auf einen Wert eingestellt, der länger als die künstliche Fokuslänge der ersten Linseneinheit 11 (im Folgenden wird darauf einfach als die Fokuslänge verwiesen) bei dem Linsensystem 13 ist. Der F-Wert der zweiten Linseneinheit 21 bei dem Linsensystem 23 fällt mit dem F-Wert der ersten Linseneinheit 11 zusammen und der F-Wert der zweiten Linseneinheit 21 ist zum Beispiel 2.0.
Jede Linse des Linsensystems 23 hat zum Beispiel eine Rotationssymmetrie in Bezug auf die Zentrumsachse CA2 der Objektivfassung 22. Dementsprechend fällt die Zentrumsachse CA2 mit der optischen Achse der zweiten Kamera 20 zusammen und auf die Richtung, bei der sich die Zentrumsachse CA2 zu der äußeren Umgebung 5 erstreckt, wird im Folgenden als die Orientierung der zweiten Kamera 20 verwiesen.
Das zweite Abbildungselement 24 ist ein Element, das das Licht in elektrische Signale durch elektrische Umwandlung umwandelt und es kann zum Beispiel ein CCD-Abbildungssensor oder ein CMOS-Abbildungssensor zu dem zweiten Abbildungselement 24 verwendet werden. Das zweite Abbildungselement 24 ist im Wesentlichen senkrecht zu der Zentrumsachse CA2 bei dem Kameragehäuse 40 mit einer vorbestimmten Entfernung von der zweiten Linseneinheit 21 angeordnet.
Wenn es hier nötig ist, die Videoabbildung in Echtzeit für die Fahrzeuganwendung wie bei der vorliegenden Ausführungsform zu verarbeiten, ist es bevorzugt, bei einer hohen Bildrate zu fotografieren. Dementsprechend wird bei dieser Ausführungsform ein CMOS-Abbildungssensor als jedes der Abbildungselemente 14, 24 verwendet.
Wie es in 5 gezeigt wird, hat jedes der Abbildungselemente 14 und 24 Pixel, die in einer zweidimensionalen Matrix angeordnet sind, und erhält externes Licht mit Farbe oder monochrom, um das Licht in elektrische Ladung umzuwandeln. Jede der Licht erhaltenden Flächen 15, 25 der Abbildungselemente 14, 24 enthält einen effektiven Pixel EP, an dem Licht einfallend ist, einen optisch schwarzen (OB) Pixel, der eine Bezugsspannung zur Zeit von Dunkelheit durch ein Abschirmen von Licht definiert, und einen Testpixel, der von dem effektiven Pixel EP und dem OB-Pixel verschieden ist. Bei jedem der Abbildungselemente 14 und 24 wird auf die Summen dieser Pixel als die Gesamtpixelanzahl verwiesen und auf die Summe der effektiven Pixel EP wird als die effektive Pixelanzahl verwiesen. Zum Beispiel wird auf einen rechteckigen Bereich, der an der Licht erhaltenden Fläche 15 und 25 durch die effektiven Pixel EP gebildet ist, als ein effektiver Pixelbereich EPR verwiesen.
Außerdem wird bei Pixeln, die in zwei Dimensionen als Array deklariert sind, auf die Anordnung in einer vorbestimmten ersten Richtung D1 als eine Spalte verwiesen und auf die Anordnung in der zweiten Richtung D2, die zu der vorbestimmten ersten Richtung D1 senkrecht ist, wird als eine Reihe verwiesen. Bei der vorliegenden Ausführungsform korrespondiert die Richtung D1 zu der Längsrichtung des effektiven Pixelbereiches EPR von jedem der Abbildungselemente 14, 24 und die Richtung D2 korrespondiert zu der Querrichtung des effektiven Pixelbereiches EPR von jedem der Abbildungselemente 14, 24. Das Kameramodul 1 ist in Bezug auf das Fahrzeug 2 angeordnet, so dass die Richtung D1 im Wesentlichen parallel zu der horizontalen Ebene HP bei jedem der Abbildungselement 14 und 24 ist. Auf die Breite des effektiven Pixelbereiches EPR bei der Richtung D1 wird als die horizontale Breite des effektiven Pixelbereiches EPR verwiesen, und auf die Breite des effektiven Pixelbereiches EPR in der Richtung D2 wird als die vertikale Breite des effektiven Pixelbereiches EPR verwiesen. Auf das Intervall zwischen den Pixeln EP in der Richtung D1 wird als ein horizontaler Pixelabstand verwiesen und auf das Intervall zwischen den Pixeln EP in der Richtung D2 wird als ein vertikaler Pixelabstand verwiesen.
Dann haben das erste Abbildungselement 14 und das zweite Abbildungselement 24 im Wesentlichen die gleiche Pixelspezifikation. Die gleiche Pixelspezifikation bei der vorliegenden Ausführungsform bedeutet, dass zumindest die vertikale Breite und die horizontale Breite des effektiven Pixelbereiches EPR zwischen den Abbildungselementen 14 und 24 im Wesentlichen die gleichen sind und zumindest die Pixelabstände, vertikaler und horizontaler Pixelabstand, im Wesentlichen die gleichen sind. Wenn jedes der Abbildungselemente 14 und 24 eine Farbabbildung fotografiert, ist es bevorzugt, dass die Bayer-Farbanordnungen der Elemente 14 und 24 im Wesentlichen die gleichen sind und, bei der vorliegenden Ausführungsform, die Bayer-Farbanordnungen im Wesentlichen die gleichen sind.
Insbesondere sind bei der vorliegenden Ausführungsform das erste Abbildungselement 14 und das zweite Abbildungselement 24 die gleichen Produkte, die durch den gleichen Abbildungseinrichtungshersteller hergestellt werden. Durch ein Verwenden des gleichen Produktes als das erste Abbildungselement 14 und das zweite Abbildungselement 24 ist es möglich, die Beschaffungskosten zu verringern und das Kameramodul 1 mit geringeren Kosten herzustellen.
Außerdem sind, wie es in 3 gezeigt wird, Phasensynchronisationsschaltungen 16, 26 bei den Abbildungselementen 14, 24 jeweils vorgesehen. Die Phasensynchronisationsschaltungen 16 und 26 enthalten zum Beispiel eine Phasenvergleichseinrichtung, einen Tiefpassfilter, einen spannungsgesteuerten Oszillator und einen Frequenzteiler und sind als negative Rückkopplungsschaltung für Ausgabesignale von dem spannungsgesteuerten Oszillator zu der Phasenvergleichseinrichtung konfiguriert. Die Phasensynchronisationsschaltungen 16 und 26 werden betrieben, um die Phase des Eingabesignals und die Phase des Ausgabesignals passend zu machen. Spezifisch werden die Schaltungen 16 und 26 betrieben, um das Uhrsignal, das durch den Oszillator 31 (wird später beschrieben) zugeführt wird, mit der Betriebsuhr bei jedem der Abbildungselemente 14, 24 passend zu machen.
Hier sind, wie es in 2 gezeigt wird, die Orientierung der ersten Kamera 10 und die Orientierung der zweiten Kamera 20 bei der Abstandsrichtung PD des Fahrzeugs 2 im Wesentlichen gleich. Insbesondere sind bei der vorliegenden Ausführungsform, da die Orientierung der ersten Kamera 10 und die Orientierung der zweiten Kamera 20 auch in die Gierrichtung YD des Fahrzeugs 2 im Wesentlichen gleich sind, die Orientierung der ersten Kamera 10 und die Orientierung der zweiten Kamera 20 miteinander vollständig zusammenfallend. Dementsprechend überlappen, wie es in 6 gezeigt wird, der Sichtwinkel der ersten Kamera 10 und der Sichtwinkel der zweiten Kamera 20 zumindest teilweise in dem Überlappungsbereich OLR und spezifischer bedeckt der Sichtwinkel der ersten Kamera 10 den gesamten Sichtwinkel der zweiten Kamera 20. Das Zentrum des Sichtwinkels der ersten Kamera 10 ist im Wesentlichen mit dem Zentrum des Sichtwinkels der zweiten Kamera 20 zusammenfallend.
Wie es in 3 gezeigt wird, ist die Schaltungseinheit 30 bei dem Kameragehäuse 40 untergebracht und hat einen Oszillator 31 und eine Steuerungseinrichtung 32. Der Oszillator 31 erzeugt ein Uhrsignal des Kameramoduls 1 als ein Bezugssignal unter Verwendung von zum Beispiel einem Kristalloszillator. Der Oszillator 31 gibt ein Uhrsignal zu den Phasensynchronisationsschaltungen 16 und 26, die bei den Abbildungselementen 14 und 24 gebildet sind, aus. Das heißt, dass der Oszillator 31 ein gemeinsames Uhrsignal zu dem ersten Abbildungselement 14 und dem zweiten Abbildungselement 24 ausgibt.
Die Steuerungseinrichtung 32 ist eine elektronische Schaltung, die zumindest einen Prozessor, einen Speicher und eine Eingabe-/Ausgabeschnittstelle enthält und verschiedene Prozesse durch ein Durchführen von zum Beispiel einem Computerprogramm, das in einem Speicher gespeichert ist, ausführen kann. Spezifisch steuert, da die Steuerungseinrichtung 32 mit den Abbildungselementen 14 und 24 elektrisch verbunden ist, die Steuerungseinrichtung 32 das erste Abbildungselement 14 und das zweite Abbildungselement 24 und führt auch eine Abbildungsverarbeitung an den Abbildungsdaten durch. Wie es in 7 gezeigt wird, enthält die Steuerungseinrichtung 32 eine Abbildungsausleseeinheit 33 und eine Abbildungsverarbeitungseinheit 34 als Funktionsblöcke, die in solch einer elektronischen Schaltung eingebaut sind.
Die Abbildungsausleseeinheit 33 steuert die Belichtungszeit durch ein Anpassen des Timings der elektronischen Blende des Pixels EP in Bezug auf jedes der Abbildungselemente 14 und 24, liest die Pixel EP in Reihenfolge zum Beispiel von der hintersten Reihe und erhält die Daten der Pixel EP als Abbildungsdaten. Die Blendengeschwindigkeit des ersten Abbildungselements 14 und die Blendengeschwindigkeit des zweiten Abbildungselements 24 sind eingestellt, um im Wesentlichen die gleichen zu sein und die Bildrate des ersten Abbildungselements 14 und die Bildrate des zweiten Abbildungselements 24 sind im Wesentlichen gleich eingestellt.
Hier hat die Abbildungsausleseeinheit 33 eine Timingverzögerungseinheit 33a. Unter Verwendung des Uhrsignals, das von dem Oszillator 31 zugeführt wird, verzögert die Timingverzögerungseinheit 33a das Abbildungsauslesetiming durch das zweite Abbildungselement 24 in Bezug auf das Abbildungsauslesetiming durch den ersten Abbildungssensor 14.
Jetzt wird die Timingverzögerung im Folgenden als ein Beispiel erklärt, wenn die Abbildungsausleseeinheit 33 das erste Abbildungselement 14 und das zweite Abbildungselement 24 durch einen Schlitzverschlussantrieb (das heißt einen Rollblendenantrieb) antreibt. Das Zeitintervall von der Zeit t0 zu der Zeit t3 ist ein Zeitintervall zum Erhalten eines Bildes und das Antreiben dieses einen Bildes wird eine vorbestimmte Anzahl von Malen pro Einheitszeit auf Grundlage der vorbestimmten Bildrate wiederholt. Als ein Ergebnis wird ein bewegtes Bild geschossen.
Wie es in 6 gezeigt wird, wird, um eine Abbildung eines Bildes zu erlangen, das Auslesen der ersten Spalte von dem Ende des effektiven Pixels EP des ersten Abbildungselements 14 zur Zeit t0 gestartet. Dann nähert sich, zur Zeit t1, die in Bezug auf die Zeit t0 verzögert ist, das Auslesen des ersten Abbildungselements 14 dem Überlappungsbereich OLR, bei dem die Sichtwinkel der Kameras 10 und 20 überlappen. Zur Zeit t1 dieses Timings wird das Auslesen der ersten Spalte von dem Ende des effektiven Pixels EP des zweiten Abbildungselements 24 gestartet. Danach zur Zeit t2 (wird nicht gezeigt) ist das Auslesen der letzten Spalte des effektiven Pixels EP des ersten Abbildungselements 14 fertiggestellt und eine Abbildung eines Bildes wird erzeugt. Danach ist zur Zeit t3 (wird nicht gezeigt) das Auslesen der letzten Spalte des effektiven Pixels EP des zweiten Abbildungselements 24 fertiggestellt und eine Abbildung eines Bildes wird erzeugt.
Solch eine Timingverzögerung macht es möglich, den Zeitrückstand zwischen der Abbildungszeit bei dem überlappenden Bereich OLR der Abbildung durch das erste Abbildungselement 14 und die Abbildungszeit bei dem überlappenden Bereich OLR der Abbildung durch das zweite Abbildungselement 24 zu verringern. Hierbei verbreitet sich, durch ein Einstellen der Auslesegeschwindigkeit des zweiten Abbildungselements 24, um schneller als die Auslesegeschwindigkeit des ersten Abbildungselements 14 zu sein, der Effekt über den gesamten Überlappungsbereich OLR.
Die Abbildungsverarbeitungseinheit 34 führt die Abbildungsverarbeitung von jeden Abbildungsdaten, die durch die Abbildungselemente 14 und 24 fotografiert werden, durch. Spezifisch erkennt die Steuerungseinrichtung 32 das fotografierte Erkennungsziel durch zum Beispiel ein Erfassen einer Kante von jeden Abbildungsdaten. Außerdem analysiert die Steuerungseinrichtung 32 den Überlappungsbereich OLR von jeden Abbildungsdaten, die synchron miteinander fotografiert werden, in verschiedenen Sichtwinkeln durch die Abbildungselemente 14 und 24, so dass die Erkennungsziele, die bei beiden Abbildungsdaten fotografiert werden, passend gemacht werden (das heißt, dass dies als ein Musterpassen definiert ist).
Spezifisch erkennt die Abbildungsverarbeitungseinheit 34 ein Erkennungsziel von den Abbildungsdaten von einer der Kameras, erste Kamera 10 und zweite Kamera 20. Wenn das Erkennungsziel in dem überlappenden Bereich OLR fotografiert wird, gleicht die Abbildungsverarbeitungseinheit 34 das Erkennungsziel mit dem aufgenommenen Objekt, das bei den Abbildungsdaten fotografiert wird, mit der anderen der Kameras, erste und zweite Kamera 10, 20, als das gleiche Erkennungsziel ab. Zum Beispiel sucht die Abbildungsverarbeitungseinheit 34 nach der Nähe der Fläche bei der anderen der Kameras, erste und zweite Kamera 10, 20, die zu der Fläche der Abbildungsdaten bei der einen der Kameras, erste und zweite Kamera 10, 20, korrespondiert, bei dem das Erkennungsziel fotografiert wird. Zum Beispiel sucht die Abbildungsverarbeitungseinheit 34 den korrespondierenden Pixel EP und seine umgebenden Pixel EP bei der anderen der Kameras, erste und zweite Kamera 10, 20, durch n Reihen zum Beispiel in der Oben-Unten-Richtung.
Zu der Zeit kann, wenn der Zeitrückstand des Timings, bei dem jede Abbildungsdaten aufgenommen werden, groß ist, das Erkennungsziel sich bewegen, ausdehnen oder in der Größe verringern während des Zeitrückstands und bei der anderen der Kameras, erste und zweite Kamera 10, 20, könnte das Sollerkennungsobjekt bei dem korrespondierenden Pixel EP nicht gefunden werden. Aus diesem Grund ist es möglich, n Reihen von peripheren Pixeln EP zu durchsuchen, und wenn der Zeitrückstand groß ist, ist es nötig, einen großen Wert von n, der zu dem Suchbereich korrespondiert, einzustellen. Allerdings kann bei der vorliegenden Ausführungsform, da der Zeitrückstand durch die vorstehend beschriebene Aufnahmezeit verringert ist, sogar wenn der Wert von n eingestellt ist, um klein zu sein, das Musterabgleichen befriedigend durchgeführt werden. Durch ein Verringern der Anzahl der Spalten, die durchsucht werden sollen, ist es möglich, die Last von Ressourcen wie zum Beispiel den Speicher bei der Abbildungsverarbeitung zu unterdrücken und die Abbildungsverarbeitung selber zu beschleunigen.
(Betrieb und Effekt)
Der Betrieb und Effekt der ersten Ausführungsform, die vorstehend beschrieben ist, wird nachstehend nochmals erläutert.
Nach der ersten Ausführungsform werden die erste Kamera 10 und die zweite Kamera 20, die einen geringeren Sichtwinkel als die erste Kamera 10 hat, in Kombination verwendet. Es ist demnach möglich, einen relativ breiten Bereich der äußeren Umgebung des Fahrzeugs mit der ersten Kamera 10 zu fotografieren, und es ist möglich, die Erkennungsgenauigkeit von entfernten Objekten mit der zweiten Kamera 20, die einen schmaleren Sichtwinkel hat, zu verbessern. Dementsprechend ist es möglich, die optimale Leistung, die für die Fahrzeuganwendung benötigt wird, zu erhalten.
Außerdem wird, wenn die gleichen Pixelspezifikationen für das erste Abbildungselement 14 der ersten Kamera 10 und das zweite Abbildungselement der zweiten Kamera 20 verwendet werden, die logische Verarbeitungsschaltung der Abbildungsverarbeitung vereinfacht, und durch eine solche Vereinfachung wird es zum Beispiel möglich, die Last oder Verarbeitungsgeschwindigkeit der Abbildungsverarbeitung zu verbessern. Dementsprechend ist es bei einem solchen Kameramodul 1, das die erste Kamera 10 und die zweite Kamera 20, die voneinander unterschiedliche Sichtwinkel haben, kombiniert, möglich, ein Merkmal vorzusehen, das die Abbildungsverarbeitung vereinfacht.
Außerdem sind nach der ersten Ausführungsform die vertikale Breite und die horizontale Breite des effektiven Pixelbereiches EPR des ersten Abbildungssensors 14 gleich der vertikalen Breite und horizontalen Breite des effektiven Pixelbereiches EPR des zweiten Abbildungssensors 24. Da die Pixelspezifikation der Abbildungselemente 14 und 24 gleich gemacht werden, wird bei dem Kameramodul 1, bei dem die erste Kamera 10 und die zweite Kamera 20, die voneinander verschiedene Sichtwinkel haben, kombiniert, die optische Leistung, die für die Fahrzeuganwendung benötigt wird, erhalten und es ist möglich, ein Merkmal, das die Abbildungsverarbeitung vereinfacht, zu verwirklichen.
Außerdem sind nach der ersten Ausführungsform der Pixelabstand des ersten Abbildungselements und der Pixelabstand des zweiten Abbildungselements 24 im Wesentlichen der gleiche. Da die Pixelspezifikation der Abbildungselemente 14 und 24 bei dem ersten Kameramodul gleich gemacht sind, bei dem die erste Kamera 10 und die zweite Kamera 20, die voneinander verschiedene Sichtwinkel haben, kombiniert sind, wird die optische Leistung, die für die Fahrzeuganwendung benötigt wird, erhalten, und es ist möglich, ein Merkmal zu verwirklichen, das die Abbildungsverarbeitung vereinfacht.
Außerdem sind nach der ersten Ausführungsform, die Bayer-Farbanordnung des ersten Abbildungselements 14 und die Bayer-Farbanordnung des zweiten Abbildungselements 24 im Wesentlichen die gleichen. Auf diese Weise werden durch ein Vereinheitlichen der Empfindlichkeit und Auflösung jeder Farbe bei der Bayer-Farbanordnung die optische Leistung, die bei der Fahrzeuganwendung benötigt wird, bei dem Kameramodul 1, bei dem die erste Kamera 10 und die zweite Kamera 20, die voneinander verschiedene Sichtwinkel haben, kombiniert sind, ausgestellt und dementsprechend ist es möglich, ein Merkmal zu verwirklichen, das die Abbildungsverarbeitung vereinfacht.
Außerdem sind nach der ersten Ausführungsform die Bildrate der Abbildung durch das erste Abbildungselement und die Bildrate der Abbildung durch das zweite Abbildungselement 24 im Wesentlichen gleich zueinander. Auf diese Weise ist es möglich, das Zusammenpassen bei der Abbildungsverarbeitung durch ein Verbinden von Abbildung der Abbildungselemente 14, 24 eins zu eins einfach durchzuführen.
Der F-Wert der ersten Linseneinheit 11 und der F-Wert der zweiten Linseneinheit 21 sind untereinander passend. Durch ein Passendmachen der F-Werte zueinander wird der Helligkeitslevel, der durch die beiden Abbildungselemente 14, 24 erhalten wird, vereinheitlicht. Dementsprechend ist es bei dem Kameramodul 1, das die erste Kamera 10 und die zweite Kamera 20, die voneinander verschiedene Sichtwinkel haben, kombiniert, möglich, die optische Leistung, die für die Fahrzeuganwendung benötigt wird, zu verwirklichen und ein Merkmal zu verwirklichen, das die Abbildungsverarbeitung vereinfacht.
Die Orientierung der ersten Kamera 10 und die Orientierung der zweiten Kamera 20 sind im Wesentlichen die gleichen bei der Nickrichtung PD des Fahrzeugs 2. Auf diese Weise ist es möglich, den Prozess eines Zusammenbauens der Kameras 10, 20 zur Zeit eines Herstellens zu vereinfachen, so dass es zum Beispiel einfach ist, das Kameramodul 1, das die optische Leistung, die für die Fahrzeuganwendung benötigt wird, auszustellen, zu verwirklichen und dies Merkmal zu haben, dass die Abbildungsverarbeitung vereinfacht.
Als ein Ergebnis einer solchen Verwirklichung einer einfachen Abbildungsverarbeitung kann die Einstellung des Schwellenwerts zum Erfassen der Kante der Abbildungserkennung zwischen den Abbildungselementen 14 und 24 einheitlich sein, so dass die Gestaltungskosten in Bezug auf die Abbildungsverarbeitung unterdrückt werden können. Außerdem kann zum Beispiel, da ein Computerprogramm zum Durchführen der Abbildungsverarbeitung unter den Abbildungselementen 14 und 24 einheitlich benutzt werden kann, die Hardwareressource wie zum Beispiel Speicher gespart werden.
(Zweite Ausführungsform)
Wie es in 8 und 9 gezeigt wird, ist die zweite Ausführungsform eine Modifikation der ersten Ausführungsform. Die zweite Ausführungsform wird mit einem Fokussieren auf Unterschiede von der ersten Ausführungsform beschrieben.
Wie es in 8 gezeigt wird, ist das Kameramodul der zweiten Ausführungsform konfiguriert, um die Signalanzeige 5b, die durch die Ampel 5a angezeigt wird, die die durchschnittliche Höhe Zo und die durchschnittliche Größe H in der Vertikalrichtung hat, die außerhalb 5 des Fahrzeugs angeordnet ist, zu erkennen.
Unter Verwendung des Ergebnisses der Erkennung der Signalanzeige 5b der äußeren Umgebung 5 führt zum Beispiel das Fahrzeug 2 das autonome Fahren durch oder alarmiert den Fahrer, wenn es für den Fahrer wahrscheinlich ist, einen fehlerhaften Fahrbetrieb durchzuführen.
Die Ampel 5a ist in einer Höhe, die höher als das Fahrzeug 2 ist, um nicht mit dem Fahrzeug 2 zu kollidieren, angeordnet. Als ein spezifischer Wert wird die Signalanzeige 5b die durchschnittliche Höhe Zo in Japan 5 Meter und die durchschnittliche Größe H ist 0,3 Meter bei der allgemeinen Straße und 0,25 Meter bei dem städtischen Bereich.
Die durchschnittliche Höhe Zo in den Vereinigten Staaten ist 21 bis 25,6 Fuß (das heißt, 6,4 Meter bis 7,8 Meter). Die durchschnittliche Größe H in Europa ist 0,2 Meter bis 0,3 Meter.
Es sollte bemerkt werden, dass der Ausdruck „durchschnittlich“ hier ein Konzept in einem breiten Sinne ist, der „allgemein“ oder „repräsentativ“ zusätzlich zu der Bedeutung eines statistischen Durchschnitts in einem schmalen Sinne enthält. Zum Beispiel ist es, wenn das Kameramodul 1 zum Erkennen der Abbildung der Signalanzeige durch eine im Wesentlichen Halbe oder mehr der Ampel 5a fähig ist, die in dem Bereich angeordnet ist, bei dem das Kameramodul 1 vorgesehen ist, benutzt zu werden, es ausreichend den Begriff „durchschnittlich“ zu verwenden.
Die Steuerungseinrichtung 32 der zweiten Ausführungsform hat nicht die Timingverzögerungseinheit 33a. Das heißt, dass das Starttiming des Abbildungsauslesens durch das erste Abbildungselement 14 und das Starttiming des Abbildungsauslesens durch das zweite Abbildungselement 24 auf im Wesentlichen das gleiche eingestellt sind. Die Auslesegeschwindigkeit des ersten Abbildungselements 14 und die Auslesegeschwindigkeit durch das zweite Abbildungselement 24 sind eingestellt, um im Wesentlichen gleich zu sein.
Die Orientierung der ersten Kamera 10 und die Orientierung der zweiten Kamera 20 bei der zweiten Ausführungsform sind voneinander in der Nickrichtung PD des Fahrzeugs 2 verschieden. Im Besonderen weist bei der vorliegenden Ausführungsform die Orientierung der zweiten Kamera 20, deren Sichtwinkel schmaler als der der ersten Kamera 10 ist, relativ zu der Orientierung der ersten Kamera 10 nach oben. Die Orientierung der zweiten Kamera 20 wird unter Berücksichtigung der ersten Bedingung und der zweiten Bedingung, die nachstehend beschrieben sind, eingestellt.
Die erste Bedingung ist eine Bedingung zum Unterdrücken eines Verlustes einer Erkennung der Signalanzeige 5b, wenn die Signalanzeige 5b als ein Erkennungsziel von dem Sichtwinkel der zweiten Kamera 20 abweicht. Hier wird angenommen, dass das Fahrzeug 2 an einer horizontalen Ebene HP reist und die Situation, bei der die Ampel 5a vor dem Fahrzeug 2 installiert ist, wird als ein Beispiel angenommen. Dann kann, wenn die Entfernung X von jeder der Kameras 10, 20 zu der Signalanzeige 5b die folgende mathematische Gleichung 1 erfüllt, das Erkennungsziel (das heißt, die Signalanzeige 5b) durch jede der Kameras 10, 20 erkannt werden. $\frac{Z_{o} - Z_{c}}{t a n {T a n^{- 1} (\frac{0.5 V}{ƒ}) + θ_{c}}} < X < \frac{ƒ H}{S}$
Hier ist Zc die Montagehöhe der ersten Kamera 10 und der zweiten Kamera 20 von der horizontalen Ebene HP in dem Fahrzeug 2. Es ist die minimale Größe (wird in Metern gemessen) des Objekts, das zum Erkennen der Abbildung des Objekts durch das erste Abbildungselement 14 oder das zweite Abbildungselement 24 notwendig ist. V ist die vertikale Breite (wird in Millimetern gemessen) des ersten Abbildungselements 14 und des zweiten Abbildungselements 24. f ist die Fokuslänge (wird in Millimetern gemessen) der ersten Linseneinheit 11 oder der zweiten Linseneinheit 21. Zo ist die durchschnittliche Höhe (die in Millimeter umgewandelt und zugewiesen wird), die zu der Signalanzeige 5b korrespondiert. H ist die durchschnittliche Größe (die in Millimeter umgewandelt und zugewiesen wird), die zu der Signalanzeige 5b in der Vertikalrichtung korrespondiert. θc ist ein Winkel (wird in Grad gemessen) der Nickrichtung PD in Bezug auf die horizontale Ebene HP der ersten Kamera 10 oder der zweiten Kamera 20.
Es wird angenommen, dass Zo größer als Zc ist. Außerdem ist θc positiv, wenn die Nickrichtung PD nach oben ist.
Es sollte bemerkt werden, dass die vorstehend beschriebenen spezifischen Werte in den Bereichen, die angenommen werden, benutzt zu werden, durch die durchschnittliche Höhe Zo und die durchschnittliche Größe H bei der Signalanzeige 5b ersetzt werden können.
Bei dem Fall, in dem spezifische Werte durch einen Bereich angedeutet werden, ist es bevorzugter, einen Wert zu ersetzen, der den Bereich der vorstehenden mathematischen Gleichung 1 schmälert. Auch kann ein angemessener Wert zum Erreichen des Aspekts der vorliegenden Offenbarung in Übereinstimmung mit den neuesten rechtlichen Bestimmungen oder eines Staates in dem Bereich, der erwartet wird, benutzt zu werden, zusätzlich zu dem Wert, der als der vorstehende spezifische Wert beispielhaft ist, ersetzt werden.
Der obere Grenzwert für die Entfernung X wird durch die Leistung der Abbildungsverarbeitungseinheit 34 und der Abbildungselemente 14, 24 hauptsächlich bestimmt. Die Minimalobjektgröße S wird durch eine Gleichung von S = h_d x p_i erhalten. h_d ist eine Wörterbuchgröße (die durch die Einheit von pix gemessen wird), die das Erkennungsziel erkennen kann. Die Wörterbuchgröße, die das Erkennungsziel erkennen kann, deutet an, wie viele Pixel des Erkennungsziels eine Abbildung an den Abbildungselementen 14, 24 bilden. Wenn die Abbildung bei den Pixeln, die gleich der Anzahl der Pixel oder größer als diese sind, gebildet wird, kann die Abbildungsverarbeitungseinheit 34 das Erkennungsziel erkennen. Wenn die Abbildung bei den Pixeln, die kleiner als die Anzahl von Pixeln sind, gebildet wird, ist es für die Abbildungsverarbeitungseinheit 34 schwierig, das Erkennungsziel zu erkennen. p_i ist der vertikale Pixelabstand.
Je weiter das Erkennungsziel von der Kamera 10, 20 entfernt lokalisiert ist, desto kleiner ist die Abbildung, die von den Abbildungselementen 14, 24 gebildet wird. Wenn die Abbildung des Erkennungsziels kleiner gebildet wird, ist auch die Anzahl von Pixeln zum Erfassen des Lichts von dem Erkennungsziel an den Abbildungselementen 14 und 24 verringert. Dementsprechend ist es für die Abbildungsverarbeitungseinheit 34 schwierig, das Erkennungsziel zu erkennen.
Insbesondere wird auf den oberen Grenzwert für die Entfernung X für die erste Kamera 10 als eine Grenzwertentfernung für eine Fernerkennung verwiesen. Die Grenzwertentfernung für eine Fernerkennung ist als der Grenzwert der Entfernung von der Kamera 10 zu der Signalanzeige 5b definiert, bei dem die Signalanzeige 5b als das Erkennungsziel an dem ersten Abbildungselement 14 mit der Anzahl von Pixeln, die durch die Abbildung erkannt werden können, gebildet ist.
Der untere Grenzwert der Entfernung X wird durch den Sichtwinkel der Kameras 10 und 20 hauptsächlich bestimmt. Da Zo größer als Zc ist, kann das Erkennungsziel nach oben von dem Sichtwinkel der Kameras 10, 20 abweichen, wenn das Fahrzeug 2 reist und die Entfernung zwischen dem Fahrzeug 2 und dem Erkennungsziel sich verringert. Wenn das Erkennungsziel von dem Sichtwinkel der Kameras 10, 20 abweicht, ist es für das Kameramodul 1 schwierig, die Abbildung des Erkennungsziels zu erkennen.
Hier sind bei der vorliegenden Ausführungsform, da die Sichtwinkel der Kameras voneinander verschieden sind, bei einer Bedingung, dass die Spezifikation der Abbildungselemente 14 und 24 die gleichen sind, die Fokuslänge fw der ersten Linseneinheit 11 und die Fokuslänge fn der zweiten Linseneinheit 21 auch voneinander verschieden.
Wie es bei der ersten Ausführungsform beschrieben wird, ist die Fokuslänge fw der ersten Linseneinheit 11 kleiner als die Fokuslänge Fn der zweiten Linseneinheit 21 eingestellt.
Dann nimmt aufgrund ihrer Charakteristik die zweite Kamera 20 ein weiter entferntes Erkennungsziel auf und, wenn das Fahrzeug 2 reist, weicht das Erkennungsziel nach oben von dem Sichtwinkel der zweiten Kamera 20 ab. Zu dieser Zeit ist es bevorzugt, dass die erste Kamera 10 schon in einem Zustand ist, der zum Erkennen des Erkennungsziels fähig ist. Dann wird die folgende Bedingung einer mathematischen Gleichung 2 erfüllt. $\frac{Z_{o} - Z_{c}}{t a n {T a n^{- 1} (\frac{0.5 V}{ƒ_{n}}) + θ_{n}}} < \frac{ƒ_{w} H}{S}$
Hier ist θn ein Winkel (wird in Grad gemessen) in der Nickrichtung PD in Bezug auf die horizontale Ebene HP der zweiten Kamera 20.
Bei der mathematischen Gleichung 2 ist S ein Wert für das erste Abbildungselement 14 und V ist ein Wert für das zweite Abbildungselement 24. Bei der vorliegenden Ausführungsform sind, da jedes Abbildungselement 14, 24 die gleiche Pixelspezifikation im Wesentlichen hat, die Symbole von S und V voneinander nicht besonders unterschieden. Durch ein Umformen der mathematischen Gleichung 2 wird die folgende Bedingung einer mathematischen Gleichung 3 erhalten. $θ_{n} > T a n^{- 1} (\frac{S \cdot (Z_{o} - Z_{c})}{ƒ_{w} H}) - T a n^{- 1} (\frac{0.5 V}{ƒ_{n}})$
Jetzt schätzt die Abbildungsverarbeitungseinheit 34 die Entfernung X der Signalanzeige 5b als das Erkennungsziel auf der Grundlage der Positionsbeziehung zwischen dem Beinabschnitt 5c der Ampel 5a und der Straßenfläche (in dem Fall die horizontale Fläche HP). Dementsprechend ist es für die zweite Kamera 20 bevorzugt, einen Vertiefungswinkel nach unten sicherzustellen, so dass die folgende mathematische Gleichung 4 erreicht wird. $T a n^{- 1} \frac{Z_{c}}{[\frac{Z_{o} - Z_{c}}{t a n {T a n^{- 1} (\frac{0.5 V}{ƒ_{n}}) + θ_{n}}}]} + θ_{n} < T a n^{- 1} (\frac{0.5 V}{ƒ_{n}})$
Durch ein Umformen der mathematischen Gleichung 4 wird die folgende Bedingung einer mathematischen Gleichung 5 erhalten. $θ_{n} < T a n^{- 1} (\frac{0.5 V}{ƒ_{n}}) - T a n^{- 1} \frac{Z_{c}}{[\frac{Z_{o} - Z_{c}}{t a n {T a n^{- 1} (\frac{0.5 V}{ƒ_{n}}) + θ_{n}}}]}$
Durch ein Kombinieren der mathematischen Gleichungen 3 und 5 erfüllt der Winkel θn der zweiten Kamera 20 die Bedingung der folgenden mathematischen Gleichung 6. $T a n^{- 1} (\frac{S \cdot (Z_{o} - Z_{c})}{ƒ_{w} H}) - T a n^{- 1} (\frac{0.5 V}{ƒ_{n}}) < θ_{n} < T a n^{- 1} (\frac{0.5 V}{ƒ_{n}}) - T a n^{- 1} \frac{Z_{c}}{[\frac{Z_{o} - Z_{c}}{t a n {T a n^{- 1} (\frac{0.5 V}{ƒ_{n}}) + θ_{n}}}]}$
Mit anderen Worten ist die Orientierung der zweiten Kamera 20 eingestellt, so dass die Signalanzeige 5b des Erkennungsziels innerhalb des Sichtwinkels der zweiten Kamera 20 in der Grenzwertentfernung einer Fernerkennung angeordnet ist und die Orientierung der zweiten Kamera 20 ist eingestellt, so dass die horizontale Ebene HP der äußeren Umgebung innerhalb des Sichtwinkels der zweiten Kamera 20 in einer Grenzwertentfernung einer Fernerkennung angeordnet ist.
Die zweite Bedingung ist eine Bedingung für ein bevorzugtes und schnelles Verarbeiten der Zusammenpassungsprozedur zwischen der Abbildung des ersten Abbildungselements 14 und der Abbildung durch das zweite Abbildungselement 24. Wie es vorstehend beschrieben ist, wird bei der vorliegenden Ausführungsform das Auslesen der Abbildungselemente 14 und 24 zur gleichen Zeit gestartet. Unter der Bedingung, dass die Signalanzeige 5b als das Erkennungsziel durch beide der Kameras 10 und 20 fotografiert wird, wird der Abweichungsbetrag dV (wird in Millimetern gemessen) des Auslesens an den Abbildungselementen 14 und 24 in der Ausleserichtung D2 (das heißt der Oben-Unten-Richtung) des Erkennungsziels durch die folgende mathematische Gleichung 7 repräsentiert (siehe auch 9). $\begin{array}{l} dV = {0.5 V - ƒ_{w} (\frac{Z_{o} - Z_{c}}{X} - t a n θ_{w})} - {0.5 V - ƒ_{n} (\frac{Z_{o} - Z_{c}}{X} - t a n θ_{n})} \\ = ƒ_{n} (\frac{Z_{o} - Z_{c}}{X} - t a n θ_{n}) - ƒ_{w} (\frac{Z_{o} - Z_{c}}{X} - t a n θ_{w}) \end{array}$
Hier ist θ ein Winkel (wird in Grad gemessen) in der Nickrichtung PD in Bezug auf die horizontale Ebene HP der ersten Kamera 10.
Die Verzögerungszeit t, um die die Auslesezeit des ersten Abbildungselements 14, das das Erkennungsziel ausliest, verzögert ist, kann in Bezug zu der Auslesezeit des zweiten Abbildungselements 24, das das Erkennungsziel ausliest, durch die folgende mathematische Gleichung 8 unter Verwendung der Bildrate fps berechnet werden. $t = \frac{d V}{V} \times \frac{1}{ƒ p s}$
Hier wird, wenn sich das Fahrzeug 2 dem Erkennungsziel mit einer Geschwindigkeit v annähert, die Abbildung des Erkennungsziels, das durch das erste Abbildungselement 14 fotografiert wird, schrittweise vergrößert. Wenn sich die Verzögerungszeit t erhöht, wird die Abbildung des Erkennungsziels, das durch den ersten Abbildungssensor 14 fotografiert wird, größer. Ein Vergrößerungsbetrag E (wird durch die Einheit pix gemessen) des Erkennungsziels, das durch das erste Abbildungselement 14 fotografiert wird, zu der Verzögerungszeit t wird durch die folgende mathematische Gleichung 9 in Bezug auf den Fall repräsentiert, bei dem die Verzögerungszeit t zeitweise eingestellt ist, um Null zu sein. $E = \frac{Z_{o} ƒ_{w}}{p_{i}} \cdot {\frac{1}{X} + \frac{1}{X - v t}}$
Wenn beide der Abbildungen zusammengepasst werden, außer der Wert von n (wird durch die Einheit von pix gemessen) bei dem Suchbereich, der bei der ersten Ausführungsform beschrieben wird, eingestellt ist, um in Übereinstimmung mit dem Erhöhen des Vergrößerungsbetrags E groß zu sein, ist es schwierig, das Erkennungsziel zusammenzupassen. Gegensätzlich kann, wenn die Bedingung, dass der Vergrößerungsbetrag E kleiner als n ist, erfüllt wird, das Zusammenpassen des Erkennungsziels reibungslos verarbeitet werden. Zum Beispiel kann, wenn die Suche mit n=2 durchgeführt wird, die Abbildungsverarbeitung mit hoher Geschwindigkeit durchgeführt werden. Das heißt, es ist ausreichend, dass die Verzögerungszeit t die folgende mathematische Gleichung 10 erfüllt. $t < \frac{n X^{2}}{v \cdot (n X + \frac{Z_{o} \cdot ƒ_{w}}{p_{i}})}$
Durch die mathematischen Gleichungen 7, 8 und 9 wird die folgende mathematische Gleichung 11 erfüllt. $ƒ_{n} (\frac{Z_{o} - Z_{c}}{X} - t a n θ_{n}) - ƒ_{w} (\frac{Z_{o} - Z_{c}}{X} - t a n θ_{w}) < \frac{V \cdot ƒ p s \cdot n X^{2}}{v \cdot (n X + \frac{Z_{o} \cdot ƒ_{w}}{p_{i}})}$
Da die Entfernung X bei der mathematischen Gleichung 11 angenommen wird, größer zu sein, wenn die Entfernung X kürzer ist, ist es bevorzugter, den unteren Grenzwert der mathematischen Gleichung 1, der zu der kurzen Entfernungsseite korrespondiert, zu verwenden. Das heißt, es ist bevorzugter, den Wert, der in der mathematischen Gleichung 12 gezeigt wird, in die Entfernung X in der mathematischen Gleichung 11 zu substituieren. $X = \frac{Z_{o} - Z_{c}}{t a n {T a n^{- 1} (\frac{0.5 V}{ƒ_{n}}) + θ_{n}}}$
Es ist demnach bevorzugt, die Orientierung von jeder Kamera 10, 20 einzustellen, um die linke Seite der mathematischen Gleichung 11 kleiner zu machen. Wenn man berücksichtigt, dass die Höher Zo größer als die Höhe Zc ist und die Fokuslänge fn größer als die Fokuslänge fw ist, ist es effektiv, den Winkel θn einzustellen, um größer als der Winkel θn zu sein.
Dementsprechend ist bei der zweiten Ausführungsform die Orientierung der zweiten Kamera 20 relativ zu der Orientierung der Kamera 10 nach oben geführt. Der Unterschied zwischen dem Winkel θn und dem Winkel θw ist zum Beispiel auf den Bereich von einem Grad und drei Grad eingestellt, bevorzugter um gleich zwei Grad zu sein.
Nach der zweiten Ausführungsform, die vorstehend beschrieben ist, sind die Orientierung der ersten Kamera 10 und die Orientierung der zweiten Kamera 20 bei der Nickrichtung PD voneinander verschieden. Durch ein Anordnen der zweiten Kamera 20 in einer verschiedenen Orientierung in Bezug auf die Orientierung der ersten Kamera 10, wie es vorstehend beschrieben ist, ist es möglich, die Zeitverzögerung eines Fotografierens durch die Abbildungselemente 14, 24 in Bezug auf das Erkennungsziel, das die Aufgabe einer Abbildungserkennung ist, zu verringern. Auf diese Weise ist es einfach, die Abbildungen der Abbildungselemente 14 und 24 zusammenzupassen. Dementsprechend ist es bei dem Kameramodul 1, bei dem die erste Kamera 10 und die zweite Kamera 20, die verschiedene Sichtwinkel haben, kombiniert sind, möglich, die optische Leistung, die bei Fahrzeuganwendungen benötigt wird, zu erhalten und ein Merkmal zu verwirklichen, das eine Abbildungsverarbeitung vereinfacht.
Außerdem wird nach der zweiten Ausführungsform die Orientierung der zweiten Kamera 20 relativ zu der Orientierung der ersten Kamera 10 nach oben gelenkt. Mit solch einer Orientierungseinstellung ist es möglich, die Verzögerungszeit eines Fotografierens durch die Abbildungselemente 14, 24 in Bezug auf eine Signalanzeige als ein Erkennungsziel zu verringern. Auf diese Weise ist es einfach, die Abbildung der Abbildungselemente 14 und 24 zusammenzupassen. Dementsprechend ist es bei dem Kameramodul 1, bei dem die erste Kamera 10 und die zweite Kamera 20, die verschiedene Sichtwinkel haben, kombiniert werden, möglich, die optische Leistung zu halten, die bei Fahrzeuganwendungen nötig wird, und ein Merkmal zu verwirklichen, das eine Abbildungsverarbeitung vereinfacht.
Nach der zweiten Ausführungsform ist die Richtung der zweiten Kamera 20 eingestellt, so dass die Signalanzeige 5b innerhalb des Sichtwinkels zur zweiten Kamera 20 in der Grenzwertdistanz einer Fernerkennung angeordnet ist. Auf diese Weise kann, in einem Fall, bei dem die Signalanzeige 5b von einem Sichtwinkel der zweiten Kamera 20 abweicht, wenn die Entfernung zu der Signalanzeige 5b aufgrund des Reisens des Fahrzeugs 2 sich verringert, das erste Abbildungselement 14 der ersten Kamera 10 die Abbildung der Signalanzeige 5b aufnehmen, um erkennbar zu sein. Demnach kann die Abbildung der Signalanzeige 5b kontinuierlich und reibungslos von der zweiten Kamera 20 zu der ersten Kamera 10 erlangt werden.
Nach der zweiten Ausführungsform ist die Orientierung der zweiten Kamera 20 eingestellt, so dass die horizontale Ebene HP innerhalb des Sichtwinkels der zweiten Kamera 20 in einer Grenzwertentfernung einer Fernerkennung angeordnet ist. Die horizontale Ebene HP wird als die Straßenfläche bei der äußeren Umgebung 5 angenommen. Dies macht es einfach möglich, die Entfernung X der Signalanzeige 5b als das Erkennungsziel auf der Grundlage der Positionsbeziehung zwischen dem Bein 5c der Ampel 5a und der Straßenfläche zu schätzen, so dass die Genauigkeit einer Abbildungserkennung verbessert werden kann.
Auch nach der zweiten Ausführungsform wird die Bedingung, die in der mathematischen Gleichung 6 gezeigt wird, hergestellt. Durch ein Herstellen solch einer Bedingung ist die Orientierung der zweiten Kamera 20 eingestellt, so dass beide Bedingungen erfüllt werden, wobei eine Bedingung so ist, dass die Signalanzeige 5b innerhalb des Sichtwinkels der zweiten Kamera 20 in der Grenzwertentfernung einer Fernerkennung angeordnet ist, und die andere Bedingung so ist, dass die horizontale Ebene HP, die als eine Straßenfläche bei der äußeren Umgebung 5 angenommen wird, innerhalb des Sichtwinkels der zweiten Kamera 20 fällt. Dementsprechend ist es möglich, die optische Leistung, die bei der Fahrzeuganwendung benötigt wird, zu erhalten und ein Merkmal zum einfachen Durchführen der Abbildungsverarbeitung zu verwirklichen.
(Andere Ausführungsformen)
Obwohl die Ausführungsformen vorstehend beschrieben wurden, ist die vorliegende Offenbarung nicht als auf die vorstehend beschriebenen Ausführungsformen begrenzt gewollt, sondern kann auf verschiedene Ausführungsformen und Kombinationen angewendet werden, ohne von dem Aspekt der vorliegenden Offenbarung abzuweichen.
Spezifisch kann als eine erste Modifikation, solange der Sichtwinkel der ersten Kamera 10 und der Sichtwinkel der zweiten Kamera 20 voneinander verschieden sind, die Sichtwinkel nach der Benutzung des Fahrzeugs 2 oder Ähnlichem angepasst werden.
Als eine zweite Modifikation kann eine dritte Kamera, die von der ersten Kamera 10 und der zweiten Kamera 20 verschieden ist, zusätzlich bei dem Kameramodul 1 vorgesehen sein und kann außerdem noch eine andere Kamera zusätzlich vorgesehen sein.
Als eine dritte Modifikation kann unter der Bedingung, dass die mathematische Gleichung 6 bei der zweiten Ausführungsform erfüllt ist, die Orientierung der ersten Kamera 10 und die Orientierung der zweiten Kamera 20 die gleiche in der Nickrichtung PD sein.
Bei einer vierten Modifikation kann zumindest ein Teil der Steuerungseinrichtung als eine externe Vorrichtung, die außerhalb des Kameramoduls 1 ist, konfiguriert sein. Zum Beispiel kann die Abbildungsverarbeitungseinheit 34 als eine elektronische Steuerungseinheit (ECU) an der Seite des Fahrzeugs 2 konfiguriert sein, so dass die Abbildungserkennung durch eine Kommunikation zwischen dem Kameramodul 1 und der ECU oder Ähnlichem durchgeführt werden kann.
Bei einer fünften Modifikation kann die Bayer-Farbanordnung des ersten Abbildungselements 14 und die Bayer-Farbanordnung des zweiten Abbildungselements 24 voneinander verschieden sein.
Bei einer sechsten Modifikation können der F-Wert der ersten Linseneinheit 11 und der F-Wert der zweiten Linseneinheit 21 voneinander verschieden sein.
Bei einer siebten Modifikation ist das Erkennungsziel nicht auf die Signalanzeige 5b begrenzt. Zum Beispiel kann das Erkennungsziel ein voraus befindliches Fahrzeug, einen Fußgänger, ein Straßenschild an einer Straßenfläche oder Ähnliches sein.
Bei einer achten Modifikation kann, solange die Linsensysteme 13 und 23 eine Rotationssymmetrie in Bezug auf die zentralen Achsen CA1 und CA2 haben, ein Teil der Linsen exzentrisch oder Ähnliches zum Beispiel sein.
Bei einer neunten Modifikation kann das Kameramodul 1 im Inneren der hinteren Windschutzscheibe des Fahrzeugs montiert sein.
Die Steuerungseinrichtungen und Verfahren, die bei der vorliegenden Offenbarung beschrieben werden, können durch einen Spezialzweck-Computer implementiert sein, der durch ein Konfigurieren eines Speichers und eines Prozessors, der programmiert ist, um eine oder mehrere spezielle Funktionen auszuführen, die in Computerprogrammen verkörpert sind, erzeugt sein. Alternativ können die Steuerungseinrichtungen und Verfahren, die bei der vorliegenden Offenbarung beschrieben werden, durch einen Spezialzweck-Computer implementiert sein, der durch ein Konfigurieren eines Prozessors, der durch ein oder mehrere Spezialzweck-Logische-Hardwareschaltungen vorgesehen ist, erzeugt werden. Alternativ können die Steuerungseinrichtungen und Verfahren, die bei der vorliegenden Offenbarung beschrieben werden, durch einen oder mehrere Spezialzweck-Computer implementiert sein, die durch ein Konfigurieren einer Kombination von einem Speicher und einem Prozessor, der programmiert ist, um eine oder mehrere spezielle Funktionen auszuführen, und einen Prozessor, der durch einen oder mehrere logische Hardwareschaltungen vorgesehen ist, erzeugt werden. Die Computerprogramme können gespeichert sein, wie Programme, die durch einen Computer ausgeführt werden, in einem greifbaren nichtflüchtigen computerlesbaren Medium.

Claims

Kameramodul, das an einer Innenseite einer Windschutzscheibe (3) bei einem Fahrzeug (2) montiert ist und konfiguriert ist, um eine äußere Umgebung (5) des Fahrzeugs (2) zu fotografieren, wobei das Kameramodul aufweist: eine erste Kamera (10) zum Fotografieren der äußeren Umgebung (5) mit einem ersten Abbildungselement (14) durch eine erste Linseneinheit (11), und eine zweite Kamera (20), die einen schmaleren Sichtwinkel als die erste Kamera (10) hat und die äußere Umgebung (5) mit einem zweiten Abbildungselement (24) durch eine zweite Linseneinheit (21) fotografiert, wobei: das erste Abbildungselement (14) und das zweite Abbildungselement (24) eine gleiche Pixelspezifikation haben, das Kameramodul konfiguriert ist, um eine Abbildung einer Signalanzeige (5b), die bei einer Ampel (5a) angezeigt wird, die eine durchschnittliche Höhe und eine durchschnittliche Größe hat und bei der äußeren Umgebung (5) des Fahrzeugs (2) angeordnet ist, zu erkennen, ein Grenzwert einer Entfernung von der ersten Kamera (10) zu der Signalanzeige (5b), die an dem ersten Abbildungselement (14) der ersten Kamera (10) mit einer vorbestimmten Anzahl von Pixeln, die durch die Abbildung erkennbar ist, gebildet ist, als eine Grenzwertentfernung einer Fernerkennung definiert ist, und die Orientierung der zweiten Kamera (20) eingestellt ist, um die Signalanzeige (5b) innerhalb des Sichtwinkels der zweiten Kamera (20) bei einer Grenzwertentfernung einer Fernerkennung anzuordnen.
Kameramodul nach Anspruch 1, wobei: eine vertikale Breite und eine horizontale Breite eines effektiven Pixelbereiches des ersten Abbildungssensors jeweilig gleich einer vertikalen Breite und einer horizontalen Breite eines effektiven Pixelbereiches des zweiten Abbildungssensors sind.
Kameramodul nach Anspruch 2, wobei: ein Pixelabstand des ersten Abbildungselements (14) gleich einem Pixelabstand des zweiten Abbildungselements (24) ist.
Kameramodul nach Anspruch 3, wobei: eine Bayer-Farbanordnung des ersten Abbildungselements (14) gleich einer Bayer-Farbanordnung des zweiten Abbildungselements (24) ist.
Kameramodul nach einem der Ansprüche 1 bis 4, wobei: eine Bildrate einer Abbildung durch das erste Abbildungselement (14) gleich einer Bildrate einer Abbildung durch das zweite Abbildungselement (24) ist.
Kameramodul nach einem der Ansprüche 1 bis 5, das außerdem aufweist: eine Timingverzögerungseinheit (33a) zum Verzögern eines Starttimings eines Auslesens der Abbildung durch das zweite Abbildungselement (24) in Bezug auf ein Starttiming eines Auslesens der Abbildung durch das erste Abbildungselement (14).
Kameramodul nach einem der Ansprüche 1 bis 6, wobei: ein F-Wert der ersten Linseneinheit (11) gleich einem F-Wert der zweiten Linseneinheit (21) ist.
Kameramodul nach einem der Ansprüche 1 bis 7, wobei: eine Orientierung der ersten Kamera (10) gleich einer Orientierung der zweiten Kamera (20) in einer Nickrichtung (PD) des Fahrzeugs (2) ist.
Kameramodul nach einem der Ansprüche 1 bis 7, wobei: eine Orientierung der ersten Kamera (10) von einer Orientierung der zweiten Kamera (20) in einer Nickrichtung (PD) des Fahrzeugs (2) verschieden ist.
Kameramodul nach Anspruch 9, wobei: die Orientierung der zweiten Kamera (20) in Bezug auf die Orientierung der ersten Kamera (10) nach oben geführt ist.
Kameramodul nach einem der Ansprüche 1 bis 10, wobei: die Orientierung der zweiten Kamera (20) eingestellt ist, um eine horizontale Ebene (HP) innerhalb des Sichtwinkels der zweiten Kamera (20) bei der Grenzwertentfernung der Fernerkennung anzuordnen, und die horizontale Ebene (HP) als eine virtuelle Straßenfläche bei der äußeren Umgebung (5) des Fahrzeugs (2) definiert ist.
Kameramodul nach Anspruch 11, wobei: eine Montagehöhe der ersten Kamera (10) und der zweiten Kamera (20) von der horizontalen Ebene (HP) als Zc definiert ist, eine minimale Objektgröße, die für die Abbildungserkennung bei dem ersten Abbildungselement (14) benötigt wird, als S definiert ist, eine vertikale Breite des zweiten Abbildungselements (24) als V definiert ist, eine Fokuslänge der ersten Linseneinheit (11) als fw definiert ist, eine Fokuslänge der zweiten Linseneinheit (21) als fn definiert ist, eine durchschnittliche Höhe, die zu der Signalanzeige (5b) korrespondiert, als Zo definiert ist, eine durchschnittliche Größe, die zu der Signalanzeige (5b) korrespondiert, als H definiert ist, ein Winkel der zweiten Kamera (20) in Bezug auf die horizontale Ebene (HP) in einer Nickrichtung (PD) des Fahrzeugs (2) als θn definiert ist, und eine mathematische Gleichung von: $T a n^{- 1} (\frac{S \cdot (Z_{o} - Z_{c})}{ƒ_{w} H}) - T a n^{- 1} (\frac{0.5 V}{ƒ_{n}}) < θ_{n} < T a n^{- 1} (\frac{0.5 V}{ƒ_{n}}) - T a n^{- 1} \frac{Z_{c}}{[\frac{Z_{o} - Z_{c}}{t a n {T a n^{- 1} (\frac{0.5 V}{ƒ_{n}}) + θ_{n}}}]}$
hergestellt wird.