DE102022111927A1

DE102022111927A1 - Bildsensor, bildgebungsvorrichtung und bildverarbeitungsverfahren

Info

Publication number: DE102022111927A1
Application number: DE102022111927.0A
Authority: DE
Inventors: Kenji Nakamura
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2021-05-12
Filing date: 2022-05-12
Publication date: 2022-11-17
Also published as: US20220368873A1; CN115348427A; JP2022175095A

Abstract

Ein Bildsensor beinhaltet mehrere fotoelektrische Umwandlungselemente (2204)) und mehrere Einzelfarbfilter zum Erzeugen mehrerer Farben. Die mehreren Einzelfarbfilter sind jeweils entsprechend den mehreren fotoelektrischen Umwandlungselementen angeordnet. Mindestens einer der mehreren Einzelfarbfilter beinhaltet einen Primärfarbentypeinzelfarbfilter (2303). Der Primärfarbentypeinzelfarbfilter lässt Licht einer entsprechenden Primärfarbe durch. Der Primärfarbentypeinzelfarbfilter hat eine erste gegebene Durchlässigkeit für eine andere Primärfarbe außer der entsprechenden Primärfarbe, bei der eine der anderen Primärfarben den Primärfarbentypeinzelfarbfilter durchdringt. Die erste gegebene Durchlässigkeit ist höher als eine Untergrenze einer Durchlässigkeit, die eine Empfindlichkeit des Bildsensors verbessert.

Description

HINTERGRUND
Technisches Gebiet
Die vorliegende Offenbarung betrifft einen Bildsensor, der aus einem Farbfilter besteht, eine Bildgebungsvorrichtung, die aus dem Bildsensor besteht, und ein Bildverarbeitungsverfahren, das in der Bildgebungsvorrichtung verwendet wird.
Stand der Technik
Eine Bildgebungsvorrichtung, die aus einem Farbfilter und einem fotoelektrischen Umwandlungselement besteht, ist bekannt. Als der Farbfilter wird oft ein Dreifarbenfilter einschließlich Rot-, Grün- und Blaufilter eingesetzt. Um Empfindlichkeit zu verbessern, setzt ein bekanntes System einen eines Gelbfilters und eines Klarfilters anstelle des Grünfilters ein.
Jedoch ist die Qualität von Bildern, die durch das bekannte System erzeugt werden, nicht ausreichend. Dies liegt daran, dass ein Pegel eines Signals, das von einem Pixel ausgegeben wird, in das ein Lichtstrahl eindringt, der durch einen des Klar- und Gelbfilters passiert, sich von dem eines Signals unterscheidet, das von einem Pixel ausgegeben wird, in das ein Lichtstrahl eindringt, der durch irgendeinen des Rot- und Blaufilters passiert.
Die vorliegende Offenbarung soll so ein Problem adressieren und lösen und es ist eine Aufgabe der vorliegenden Offenbarung, einen neuartigen Bildsensor, eine Bildgebungsvorrichtung und ein Bildverarbeitungsverfahren bereitzustellen, die eine Differenz in Signalpegeln reduzieren können, die durch jedes von fotoelektrischen Umwandlungselementen erfasst werden, wodurch Empfindlichkeit verbessert wird.
ÜBERBLICK
Demzufolge stellt ein Aspekt der vorliegenden Offenbarung einen neuartigen Bildsensor bereit, der mehrere fotoelektrische Umwandlungselemente (2204) und mehrere Einzelfarbfilter zum Erzeugen mehrerer Farben aufweist. Die mehreren Einzelfarbfilter sind entsprechend den jeweiligen mehreren fotoelektrischen Umwandlungselementen angeordnet. Mindestens einer der mehreren Einzelfarbfilter beinhaltet einen Primärfarbentypeinzelfarbfilter (2303). Der Primärfarbentypeinzelfarbfilter überträgt Licht einer entsprechenden Primärfarbe. Der Primärfarbentypeinzelfarbfilter überträgt ebenso Licht mindestens einer anderer Primärfarben als der entsprechenden Primärfarbe. Der Primärfarbentypeinzelfarbfilter hat eine erste gegebene Durchlässigkeit für eine der anderen Primärfarben außer der entsprechenden Primärfarbe, bei der eine der anderen Primärfarben den Primärfarbentypeinzelfarbfilter durchdringt. Die erste gegebene Durchlässigkeit ist höher als eine Untergrenze einer Durchlässigkeit, die eine Empfindlichkeit des Bildsensors verbessert. Gemäß einem Aspekt der vorliegenden Offenbarung wird die Empfindlichkeit des Bildsensors effektiver verbessert als bei einem herkömmlichen Bildsensor mit einem Farbfilter, der eine Durchlässigkeit für eine Primärfarbe außer einer entsprechenden Primärfarbe hat, die kleiner oder gleich der unteren effektiven Durchlässigkeit ist.
Ein weiterer Aspekt der vorliegenden Offenbarung stellt eine neuartige Bildgebungsvorrichtung bereit, die aufweist: den vorstehend beschriebenen Bildsensor; und eine Verarbeitungsschaltung (2400) zum Erzeugen eines Farbbilds durch Verarbeiten von Signalen, die von dem Bildsensor ausgegeben werden. Die Verarbeitungsschaltung erzeugt das Farbbild unter Verwendung mindestens einer einer ersten Gruppe von Signalen, die von einem oder mehreren fotoelektrischen Umwandlungselements ausgegeben werden, die entsprechend den Primärfarbentypeinzelfarbfiltern angeordnet sind, und einer zweiten Gruppe von Signalen, die von einem oder mehreren fotoelektrischen Umwandlungselementen ausgegeben werden, die entsprechend einem oder mehreren Subprimärfarbfiltern angeordnet sind. Ein Korrekturkoeffizient, der beim Korrigieren von Signalen verwendet wird, die von dem einen oder mehreren fotoelektrischen Umwandlungselementen ausgegeben werden, die entsprechend dem einem oder mehreren Primärfarbentypeinzelfarbfilter angeordnet sind, und ein Korrekturkoeffizient, der beim Korrigieren von Signalen verwendet wird, die von dem einen oder mehreren fotoelektrischen Umwandlungselementen ausgegeben werden, die entsprechend dem Subprimärfarbfilter angeordnet sind, sind unterschiedlich zueinander.
Ein weiterer Aspekt der vorliegenden Offenbarung stellt ein neuartiges Bildverarbeitungsverfahren bereit. Das Verfahren umfasst die folgenden Schritte: Empfangen von einfallendem Licht mit Mehrfarbeneinzelfarbfiltern; Erzeugen von Primärfarben mit einem Primärfarbfilterabschnitt (4304, 5304, 6304); und Bewirken, dass ein Teil des einfallenden Lichts einen Hochempfindlichkeitsfilterabschnitt (4305, 5305) durchdringt, der eine höhere Empfindlichkeit als der Primärfarbfilterabschnitt hat. Der Hochempfindlichkeitsfilterabschnitt ist in mehrere Subhochempfindlichkeitsfilterabschnitte (5305s) unterteilt. Die mehreren Subhochempfindlichkeitsfilterabschnitte sind jeweils entsprechend den mehreren fotoelektrischen Umwandlungselementen angeordnet.
Das Verfahren umfasst auch die folgenden Schritte: Einstellen der Anzahl fotoelektrischer Umwandlungselemente, die beim Erzeugen einer Farbe eines einzelnen Pixels gemäß einer Umgebungsluminanz verwendet werden; Ausführen mehrfacher fotoelektrischer Umwandlung mit mehrere fotoelektrischen Umwandlungselementen (2204), die jeweils entsprechend den Mehrfarbeneinzelfarbfiltern angeordnet sind, um elektrische Signale zu erlangen; und Korrigieren der elektrischen Signale.
Das Verfahren umfasst ebenso den Schritt zum Erzeugen eines Farbbilds basierend auf den korrigierten elektrischen Signalen.
Somit kann gemäß einem weiteren Aspekt der vorliegenden Offenbarung, sogar, wenn sich ein Umgebungshelligkeitsgrad ändert, eine Differenz eines Pegels eines Signals, das von einem fotoelektrischen Umwandlungselement ausgegeben wird, das entsprechend einem Pixel vorgesehen ist, reduziert werden.
Figurenliste
Eine vollständigere Würdigung der vorliegenden Offenbarung und viele der begleitenden Vorteile der vorliegenden Offenbarung werden unter Bezugnahme auf die folgende detaillierte Beschreibung in Zusammenschau mit den Zeichnungen ersichtlicher. Es zeigen:

1 ein Blockschaltbild, das ein Bildgebungssystem 100 gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
2 eine Seitenansicht, die schematisch ein beispielhaftes Fahrzeug illustriert, das das System von 1 gemäß einer Ausführungsform der vorliegenden Offenbarung einsetzt;
3 eine Draufsicht, die schematisch das Fahrzeug mit dem System illustriert, das in 2 illustriert ist;
4 eine Draufsicht, die ebenso schematisch ein Fahrzeug mit einem anderen System gemäß einer weiteren Ausführungsform der vorliegenden Offenbarung illustriert;
5 eine Draufsicht, die ebenso schematisch ein Fahrzeug mit einem noch anderen System gemäß einer noch weiteren Ausführungsform der vorliegenden Offenbarung illustriert;
6 eine Draufsicht, die ebenso schematisch ein Fahrzeug mit einem noch anderen System gemäß einer noch weiteren Ausführungsform der vorliegenden Offenbarung illustriert;
7 ein Blockschaltbild, das ein beispielhaftes Fahrzeugsteuersystem gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
8 ein Diagramm, das schematisch einen Innenraum eines Fahrzeugs einschließlich eines Rückspiegels und einer Benutzerschnittstelle zu einem Fahrzeugbildgebungssystem gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
9 ein Diagramm, das schematisch eine Kamerahalterung, die hinter dem Rückspiegel angeordnet ist, während sie einer Fahrzeugwindschutzscheibe zugewandt ist, gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
10 ein Diagramm, das die Kamerahalterung von 9 betrachtet von einem von 9 unterschiedlichen Betrachtungspunkt illustriert;
11 ein Diagramm, das schematisch eine andere Kamerahalterung, die hinter dem Rückspiegel angeordnet ist, während sie der Fahrzeugwindschutzscheibe zugewandt ist, gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
12 ein Blockschaltbild, das einen Speicher, der eine oder mehrere Anweisungen zum Ausführen einer oder mehrerer Operationen speichert, gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
13 ein Ablaufdiagramm, das eine beispielhafte Verarbeitung zum Verursachen einer oder mehrerer Navigationsantworten basierend auf monokularer Bildanalyse gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
14 ein Ablaufdiagramm, das eine Verarbeitung zum Erfassen eines oder mehrerer Fahrzeuge und/oder Fußgänger in einem Satz von Bildern gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
15 ein Ablaufdiagramm, das eine Verarbeitung zum Erfassen von Straßenmarkierungen und/oder Spurgeometrieinformationen in einem Satz von Bildern gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
16 ein Ablaufdiagramm, das eine Verarbeitung zum Erfassen einer Verkehrsampel in einem Satz von Bildern gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
17 ein Ablaufdiagramm, das eine beispielhafte Verarbeitung zum Verursachen einer oder mehrerer Navigationsantworten basierend auf einem Fahrzeugkurs gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
18 ein Ablaufdiagramm, das eine Verarbeitung zum Bestimmen, ob ein vorausfahrendes Fahrzeug die Spur wechselt, gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
19 ein Ablaufdiagramm, das eine Verarbeitung zum Verursachen einer oder mehrerer Navigationsantworten basierend auf stereoskopischer Bildanalyse gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
20 ein Ablaufdiagramm, das eine beispielhafte Verarbeitung zum Verursachen einer oder mehrerer Navigationsantworten basierend auf einer Analyse, die basierend auf drei Sätzen von Bildern ausgeführt wird, gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
21 eine Querschnittsansicht, die Komponenten einer fahrzeuginternen Kamera gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
22 eine erste Tabelle, die eine beispielhafte Entwurfsregel zum Bereitstellen von Gewichtungen gemäß einer Wellenlänge eines Linsensystems gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
23 eine zweite Tabelle, die eine beispielhafte Entwurfsregel hinsichtlich einer polychromatischen MTF (Modulation Transfer Function; Modulationsübertragungsfunktion) eines Linsensystems gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
24 eine dritte Tabelle, die eine beispielhafte Entwurfsregel hinsichtlich Parametern eines Sperrfilters, der an einem Linsensystem angebracht ist, gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
25 ein Diagramm, das schematisch eine Konfiguration eines Bildsensors gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
26 eine Querschnittsansicht, die ein Vorderseitenbeleuchtungspixel gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
27 eine Querschnittsansicht, die ein Hinterseitenbeleuchtungspixel gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
28 ein Diagramm, das ein Farbfilterarray und eine Minimalwiederholungseinheit eines Farbfilters gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
29 ein Diagramm, das eine Konfiguration der Minimalwiederholungseinheit des Farbfilters illustriert, der in 28 illustriert ist;
30 ein Diagramm, das eine Beziehung zwischen einer Durchlässigkeit und einer Wellenlänge von einfallendem Licht, das durch einen Roteinzelfarbfilter übertragen wird, gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
31 ein Diagramm, das eine Beziehung zwischen einer Durchlässigkeit und einer Wellenlänge von einfallendem Licht, das durch einen Grüneinzelfarbfilter übertragen wird, gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
32 ein Diagramm, das eine Beziehung zwischen einer Durchlässigkeit und einer Wellenlänge von einfallendem Licht, das durch einen Blaueinzelfarbfilter übertragen wird, gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert;
33 ein Diagramm, das eine Minimalwiederholungseinheit eines Farbfilters gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung illustriert;
34 ein Blockschaltbild, das schematisch eine Bildgebungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Offenbarung illustriert;
35 ein Diagramm, das eine Minimalwiederholungseinheit eines Farbfilters gemäß einer dritten Ausführungsform der vorliegenden Offenbarung illustriert;
36 ein Diagramm, das eine Minimalwiederholungseinheit eines Farbfilters gemäß einer vierten Ausführungsform der vorliegenden Offenbarung illustriert;
37 ein Diagramm, das eine Minimalwiederholungseinheit eines Farbfilters gemäß einer fünften Ausführungsform der vorliegenden Offenbarung illustriert;
38 ein Blockschaltbild, das schematisch eine Bildgebungsvorrichtung gemäß der fünften Ausführungsform der vorliegenden Offenbarung illustriert; und
39 ein Blockschaltbild, das schematisch eine Bildgebungsvorrichtung gemäß einer sechsten Ausführungsform der vorliegenden Offenbarung illustriert.

DETAILLIERTE BESCHREIBUNG
Bezugnehmend auf die Zeichnungen, in denen gleiche Bezugszeichen identische oder entsprechende Teile in ihren verschiedenen Ansichten bezeichnen, und auf 1 wird zunächst ein Überblick über ein System gegeben. Das heißt, 1 ist ein Blockschaltbild, das ein beispielhaftes Bildgebungssystem 100 gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert. Das Bildgebungssystem 100 kann unterschiedliche Komponenten beinhalten, die Anforderungen für eine spezifische Implementierung erfüllen. In manchen Ausführungsformen kann das Bildgebungssystem 100 eine Verarbeitungseinheit 110, eine Bilderlangungseinheit 120 und einen Positionssensor 130 beinhalten. Das Bildgebungssystem 100 kann ebenso einen oder mehrere Speicher 140 und 150, eine Kartendatenbank 160 und eine Benutzerschnittstelle 170 beinhalten. Das Bildgebungssystem 100 kann ferner einen Funksendeempfänger 172 beinhalten. Die Verarbeitungseinheit 110 kann einen oder mehrere Prozessoren beinhalten. In manchen Ausführungsformen kann die Verarbeitungseinheit 110 einen Anwendungsprozessor 180, einen Bildprozessor 190 und irgendeinen anderen optional geeigneten Prozessor beinhalten. Auf ähnliche Weise kann die Bilderlangungseinheit 120 irgendeine Anzahl von Bilderlangungseinrichtungen und Komponenten beinhalten, die Anforderungen für eine bestimmte Anwendung erfüllen. Das heißt, die Bilderlangungseinheit 120 kann eine oder mehrere Bilderlangungseinrichtungen 122, 124 und 126 beinhalten. Beispielsweise ist jeder der Bilderlangungseinrichtungen eine Kamera. Das Bildgebungssystem 100 kann ebenso eine Datenschnittstelle 128 beinhalten, die die Verarbeitungseinheit 110 mit der Bilderlangungseinheit 120 verbindet, um Kommunikation dazwischen zu ermöglichen. Beispielsweise kann die Datenschnittstelle 128 irgendwelche verdrahtete Verbindungen und/oder drahtlose Verbindungen zum Senden von Bilddaten, die durch die Bilderlangungseinheit 120 erlangt werden, an die Verarbeitungseinheit 110 beinhalten.
Ferner kann der Funksendeempfänger 172 eine oder mehrere Einrichtungen beinhalten, die konfiguriert sind, um Übertragungen mittels einer drahtlosen Schnittstelle mit einem oder mehreren Netzwerken (beispielsweise Mobilfunknetzen, Internet) unter Verwendung einer Hochfrequenz oder einer Infrarotfrequenz in einem Magnetfeld oder einem elektrischen Feld auszutauschen. Der Funksendeempfänger 172 kann irgendeinen bekannten Standard zum Senden und/oder Empfangen von Daten verwenden.
Ferner kann jeder des Anwendungsprozessors 180 und des Bildprozessors 190 unterschiedliche Typen von Prozessoren beinhalten. Beispielsweise kann der Anwendungsprozessor 180 und/oder der Bildprozessor 190 einen Mikroprozessor, einen Vorprozessor (beispielsweise einen Bildvorprozessor) und einen Grafikprozessor beinhalten. Der Anwendungsprozessor 180 und/oder der Bildprozessor 190 können ebenso eine zentrale Verarbeitungseinheit (nachfolgend als eine CPU bezeichnet), eine Unterstützungsschaltung und einen digitalen Signalprozessor beinhalten. Der Anwendungsprozessor 180 und/oder der Bildprozessor 190 können ferner eine integrierte Schaltung, einen Speicher und irgendeinen anderen Typ Einrichtung geeignet zum Ausführen von Anwendungen, Bildverarbeitung und Analyse beinhalten. In manchen Ausführungsformen können die Anwendungsprozessoren 180 und/oder Bildprozessoren 190 irgendeinen Typ Einzelkern- oder Mehrkernprozessor, einen Mikrocontroller für eine mobile Vorrichtung und eine CPU oder dergleichen beinhalten. Ferner können unterschiedliche Prozessoren verwendet werden. Unterschiedliche Architekturen können ebenso beinhaltet sein.
In manchen Ausführungsformen können der Anwendungsprozessor 180 und/oder der Bildprozessor 190 mehrere Verarbeitungseinheiten mit einem lokalen Speicher und einem Anweisungssatz beinhalten. So ein Prozessor und/oder Prozessoren können eine Videoeingabefunktion zum Empfangen von Bilddaten von mehreren Bildsensoren beinhalten. Der Prozessor und/oder Prozessoren können ebenso eine Videoausgabefunktion beinhalten. Als ein Beispiel können der Prozessor und/oder Prozessoren eine Mikron-Technologie in einer 90-nm-Größenordnung verwenden, die in der Lage ist, bei ungefähr 332 MHz zu operieren. Weiterhin beinhaltet die Architektur zwei hyperthreaded 32-Bit-RISC-CPUs (RISC: Computer mitreduziertem Befehlssatz) mit Gleitkomma, fünf Vision-Rechenmaschinen (VCEs) und drei Vektor-Mikrocode-Prozessoren. Die Architektur kann auch einen mobilen 64-Bit-DDR-Controller (DDR: Double-Data-Rate, doppelte Datenrate), eine interne 128-Bit-Akustikverbindung und einen doppelten 16-Bit-Videoeingang umfassen. Die Architektur kann ferner aus einem 18-Bit-Videoausgangscontroller, einem 16-Kanal-DMA (DMA: Direct Memory Access, direkter Speicherzugriff) und mehreren Peripheriegeräten bestehen.
Ferner kann jede der Verarbeitungseinheiten, die in dieser Offenbarung erörtert sind, konfiguriert sein, um eine spezifische Funktion auszuführen. Um einen Prozessor wie etwa einen Prozessor, einen Kontroller, einen Mikroprozessor usw. zu bilden, der eine solche spezifische Funktion ausführt, können computerausführbare Anweisungen programmiert werden und werden von dem Prozessor ausgeführt, um diese Anweisungen während der Operation des Prozessors auszuführen. In anderen Ausführungsformen kann der Prozessor unter Verwendung von Architekturanweisungen direkt programmiert werden. In noch anderen Ausführungsformen kann der Prozessor ausführbare Anweisungen in einem Speicher speichern, auf den er während seiner Operation zugreifen kann. Beispielsweise kann der Prozessor die im Speicher gespeicherten Anweisungen erlangen und ausführen, indem er während seiner Operation auf den Speicher zugreift.
Obwohl zwei getrennte Prozessoren in der Verarbeitungseinheit 110 beinhaltet sind, wie in 1 illustriert ist, können ferner mehr oder weniger Prozessoren verwendet werden. Beispielsweise kann in einigen Ausführungsformen ein einzelner Prozessor verwendet werden, um jeweilige Aufgaben des Anwendungsprozessors 180 und des Bildprozessors 190 zu erfüllen. In anderen Ausführungsformen können diese Aufgaben von zwei oder mehr Prozessoren durchgeführt werden. Ferner kann das Bildgebungssystem 100 in einigen Ausführungsformen eine oder mehrere Verarbeitungseinheiten 110 beinhalten, ausschließlich anderer Komponenten, wie beispielsweise der Bilderlangungseinheit 120 usw.
Ferner kann die Verarbeitungseinheit 110 durch unterschiedliche Typen von Einrichtungen konfiguriert sein. Beispielsweise kann die Verarbeitungseinheit 110 einen Kontroller, einen Bildvorprozessor und eine CPU beinhalten. Die Verarbeitungseinheit 110 kann auch eine Unterstützungsschaltung, einen digitalen Signalprozessor und eine integrierte Schaltung beinhalten. Die Verarbeitungseinheit 110 kann ebenso einen Speicher und irgendeinen anderen Typ von Einrichtungen beinhalten, die bei der Bildverarbeitung und -analyse verwendet werden, oder dergleichen. Der Bildvorprozessor kann einen Videoprozessor zum Empfangen von Bildern von Bildsensoren und zum Digitalisieren und Verarbeiten der Bilder beinhalten. Die CPU kann eine beliebige Anzahl von entweder Mikrocontrollern oder Mikroprozessoren beinhalten. Die Unterstützungsschaltung kann eine beliebige Anzahl von Schaltungen sein, die auf einem anwendbaren technischen Gebiet allgemein gut bekannt sind, wie etwa eine Cache-Schaltung, eine Energieversorgungsschaltung, eine Taktschaltung, eine Eingabe-/Ausgabeschaltung usw. Der Speicher kann Software speichern, die die Operation des Systems steuert, wenn sie vom Prozessor ausgeführt wird. Der Speicher kann auch eine Datenbank oder Bildverarbeitungssoftware beinhalten. Ein derartiger Speicher kann eine beliebige Anzahl von RAMs (Random Access Memorys), ROMs (Read-Only Memorys) und Flash-Speichern beinhalten. Der Speicher kann auch durch eine beliebige Anzahl von Plattenlaufwerken, optischen Speichereinrichtungen und Bandspeichereinrichtungen konfiguriert werden. Der Speicher kann auch durch eine beliebige Anzahl von entfernbaren Speichereinrichtungen und andere Speichertypen konfiguriert werden. In einem Beispiel kann der Speicher von der Verarbeitungseinheit 110 getrennt sein. In anderen Ausführungsformen kann der Speicher in die Verarbeitungseinheit 110 integriert sein.
Insbesondere kann jeder der Speicher 140 und 150 Softwareanweisungen beinhalten (das heißt, speichern), die von dem Prozessor (beispielsweise dem Anwendungsprozessor 180 und/oder dem Bildprozessor 190) ausgeführt werden, um Operationen unterschiedlicher Aspekte des Bildgebungssystems 100 zu steuern. Diese Speicher 140 und 150 können ferner unterschiedliche Datenbanken und Bildverarbeitungssoftware beinhalten. Jeder der Speicher kann den Direktzugriffsspeicher, den Nur-LeseSpeicher und den Flash-Speicher beinhalten, wie zuvor beschrieben ist. Jeder der Speicher kann auch ein Plattenlaufwerk, einen optischen Speicher und einen Bandspeicher beinhalten. Jeder der Speicher kann ferner eine entfernbare Speichereinrichtung und/oder jeden anderen Typ von Speicher beinhalten. In einigen Ausführungsformen kann jeder der Speicher 140 und 150 von dem Anwendungsprozessor 180 und/oder dem Bildprozessor 190 getrennt sein. In einer anderen Ausführungsform kann jeder der Speicher in den Anwendungsprozessor 180 und/oder den Bildprozessor 190 integriert sein.
Ferner kann der Positionssensor 130 jeden Typ von Einrichtung beinhalten, der zum Bestimmen einer Position einer Komponente des Bildgebungssystems 100 geeignet ist, wie etwa eine Bilderlangungseinrichtung usw. In einigen Ausführungsformen kann der Positionssensor 130 einen GPS (Global Positioning System, globales Positionsbestimmungssystem) -Empfänger beinhalten. Ein derartiger Empfänger kann eine Position und eine Geschwindigkeit eines Benutzers bestimmen, indem er Signale verarbeitet, die von Satelliten des globalen Positionsbestimmungssystems gesendet werden. Von dem Positionssensor 130 ausgegebene Positionsinformationen können durch den Anwendungsprozessor 180 und/oder den Bildprozessor 190 verwendet werden.
Ferner kann das Bildgebungssystem 100 in einigen Ausführungsformen einen Geschwindigkeitssensor (beispielsweise ein Tachometer) zum Messen einer Geschwindigkeit eines Fahrzeugs 200 und/oder einen Beschleunigungssensor zum Messen eines Beschleunigungsgrads des Fahrzeugs 200 beinhalten.
Ferner kann die Benutzerschnittstelle 170 eine beliebige Einrichtung beinhalten, die für das Bildgebungssystem 100 geeignet ist, um einem oder mehreren Benutzern Informationen bereitzustellen oder Eingaben von einem oder mehreren Benutzern zu empfangen. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 zum Beispiel eine Benutzereingabeeinrichtung wie etwa einen Touchscreen, ein Mikrofon, eine Tastatur usw. beinhalten. Die Benutzereingabeeinrichtung kann auch eine Zeigereinrichtung, ein Trackwheel und eine Kamera sein. Die Benutzereingabeeinrichtung kann auch ein Knopf und eine Taste oder dergleichen sein. Somit kann ein Benutzer mit einer solchen Eingabeeinrichtung Anweisungen oder Informationen und Sprachbefehle eingeben. Außerdem kann der Benutzer Menüoptionen auswählen, die auf einem Bildschirm angezeigt werden, indem er die Taste, die Zeigereinrichtung oder eine Augenverfolgungsfunktion verwendet. Der Benutzer kann auch Informationen eingeben oder Befehle an das Bildgebungssystem 100 durch beliebige andere geeignete Technologien zum Kommunizieren von Informationen mit dem Bildgebungssystem 100 bereitstellen.
Insbesondere kann die Benutzerschnittstelle 170 einen oder mehrere Prozessoren beinhalten, die dazu konfiguriert sind, einem Benutzer Informationen bereitzustellen, Informationen von einem Benutzer zu empfangen und die Informationen zur Verwendung beispielsweise in dem Anwendungsprozessor 180 zu verarbeiten. In einigen Ausführungsformen kann ein solcher Prozessor Anweisungen zum Erkennen und Verfolgen von Augenbewegungen, zum Empfangen und Interpretieren eines Sprachbefehls und zum Erkennen und Interpretieren von Berührungen und/oder Gesten, die auf dem Touchscreen ausgeführt werden, ausführen. Der Prozessor kann auch Anweisungen ausführen, um auf eine Tastatureingabe oder eine Menüauswahl und dergleichen zu reagieren. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 eine Anzeige, einen Lautsprecher und eine taktile Einrichtung zum Ausgeben von Informationen an einen Benutzer beinhalten. Die Benutzerschnittstelle 170 kann auch jede andere Einrichtung beinhalten.
Ferner kann die Kartendatenbank 160 jeden Typ von Datenbank zum Speichern nützlicher Kartendaten für das Bildgebungssystem 100 beinhalten. Beispielsweise kann die Kartendatenbank 160 in einigen Ausführungsformen Daten beinhalten, die mit Positionen unterschiedlicher Elemente in einem Referenzkoordinatensystem verbunden sind, wie etwa einer Straße, einem Wassermerkmal, einem geografischen Merkmal usw. Die unterschiedlichen Elemente beinhalten ferner ein Geschäft, eine Sehenswürdigkeit und ein Restaurant. Die unterschiedlichen Elemente beinhalten ferner eine Tankstelle oder dergleichen. Zusätzlich zu diesen Positionen solcher Elemente kann die Kartendatenbank 160 Deskriptoren speichern, die mit solchen Elementen verbunden sind, einschließlich Namen, die mit beliebigen der gespeicherten Merkmale verbunden sind. In einigen Ausführungsformen kann die Kartendatenbank 160 physisch zusammen mit anderen Komponenten des Bildgebungssystems 100 angeordnet sein. Entweder alternativ oder zusätzlich kann zumindest ein Teil der Kartendatenbank 160 an einem entfernten Ort weit entfernt von anderen Komponenten des Bildgebungssystems 100 (beispielsweise der Verarbeitungseinheit 110) angeordnet sein. In solchen Ausführungsformen können Informationen von der Kartendatenbank 160 über eine drahtgebundene oder drahtlose Datenverbindung zum Netzwerk (beispielsweise über ein Mobilfunknetz und/oder das Internet) heruntergeladen werden.
Ferner können die Bilderlangungseinrichtungen 122, 124 und 126 jeweils jeden Typ von Erlangungseinrichtungen beinhalten, die zum Erfassen mindestens eines einzelnen Bildes von einer Umgebung geeignet sind. Ferner kann eine beliebige Anzahl von Bilderlangungseinrichtungen verwendet werden, um Bilder zur Eingabe in den Bildprozessor zu erhalten. In einigen Ausführungsformen kann nur eine einzige bzw. einzelne Bilderlangungseinrichtung beinhaltet sein. In anderen Ausführungsformen können auch zwei oder mehr Bilderlangungseinrichtungen beinhaltet sein. Die Bilderlangungseinrichtungen 122, 124 und 126 werden später detaillierter gemäß 2 bis 6 beschrieben.
Ferner können das Bildgebungssystem 100 oder verschiedene Komponenten davon in unterschiedliche Plattformen eingebunden werden. In einigen Ausführungsformen kann das Bildgebungssystem 100 in einem Fahrzeug 200 beinhaltet sein, wie in 2 illustriert ist. Zum Beispiel kann das Fahrzeug 200 die Verarbeitungseinheit 110 und beliebige andere Komponenten des Bildgebungssystems 100 beinhalten, wie vorhergehend gemäß 1 beschrieben ist. In einigen Ausführungsformen kann das Fahrzeug 200 nur eine einzige bzw. einzelne Bilderlangungseinrichtung (beispielsweise eine Kamera) beinhalten. In anderen Ausführungsformen können auch mehrere Bilderlangungseinrichtungen verwendet werden, wie gemäß 3 bis 20 erläutert ist. Beispielsweise kann, wie in 2 illustriert ist, jeder der Bilderlangungseinrichtungen 122 bis 124 des Fahrzeugs 200 Teil eines ADAS (Advanced Driver Assistance Systems, fortgeschrittene Fahrerassistenzsysteme) -Bildgebungssatzes sein.
Die im Fahrzeug 200 als ein Teil der Bilderlangungseinheit 120 beinhaltete Bilderlangungseinrichtung kann in jeder geeigneten Position darin angeordnet sein. Insbesondere kann die Bilderlangungseinrichtung 122 in einigen Ausführungsformen in der Nähe eines Rückspiegels 310 angeordnet sein, wie in 2 bis 19 und 8 bis 10 illustriert ist. Diese Position kann die gleiche Sichtlinie bereitstellen wie ein Fahrer, der das Fahrzeug 200 fährt, was dem Fahrer helfen kann, Dinge als sichtbar oder unsichtbar zu bestimmen. Die Bilderlangungseinrichtung 122 kann an einer beliebigen Position in der Nähe des Rückspiegels 310 angeordnet sein. Insbesondere, wenn die Bilderlangungseinrichtung 122 auf einer Fahrerseite in der Nähe des Rückspiegels 310 platziert ist, kann eine solche Position den Fahrer weiter beim Erfassen von Bildern unterstützen, die das Sichtfeld eines Fahrers und/oder eine Linie seiner Sicht darstellen.
Ferner kann sich die Bilderlangungseinrichtung der Bilderlangungseinheit 120 an anderen Orten befinden. Beispielsweise kann die Bilderlangungseinrichtung 124 entweder auf einem Stoßfänger (nicht gezeigt) des Fahrzeugs 200 oder in dessen Stoßfänger angeordnet sein. Denn eine solche Position ist für die Bilderlangungseinrichtung mit einem weiten Sichtfeld besonders geeignet. Eine Sichtlinie der in dem Stoßfänger platzierten Bilderlangungseinrichtung kann sich jedoch von einer Sichtlinie des Fahrers unterscheiden. Daher sehen die Stoßfängerbilderlangungseinrichtung und der Fahrer nicht immer dasselbe Objekt. Ferner kann die Bilderlangungseinrichtung (beispielsweise die Bilderlangungseinrichtung 122, 124 und 126) anderswo angeordnet sein. Zum Beispiel kann die Bilderlangungseinrichtung an einem oder beiden Seitenspiegeln, einem Dach und einer Motorhaube des Fahrzeugs 200 platziert sein. Die Bilderlangungseinrichtung kann auch an einem Kofferraum und einer Seite des Fahrzeugs 200 platziert sein. Ferner kann die Bilderlangungseinrichtung an einem der Fenster des Fahrzeugs 200 angebracht, hinter oder vor dem Fahrzeug 200 platziert und auf oder in der Nähe von Front- und/oder Rücklichtern des Fahrzeugs 200 montiert sein.
Zusätzlich zu der Bilderlangungseinrichtung kann das Fahrzeug 200 unterschiedliche andere Komponenten des Bildgebungssystems 100 beinhalten. Zum Beispiel kann die Verarbeitungseinheit 110 mit einer elektronischen Steuereinheit (ECU) des Fahrzeugs 200 in dem Fahrzeug 200 integriert oder separat davon beinhaltet sein. Ferner kann das Fahrzeug 200 den Positionssensor 130, wie etwa den GPS-Empfänger usw., und die Kartendatenbank 160 und die Speicher 140 und 150 beinhalten.
Ferner kann der Funksendeempfänger 172, wie zuvor beschrieben, Daten über ein oder mehrere Netzwerke empfangen. Beispielsweise kann der Funksendeempfänger 172 vom Bildgebungssystem 100 gesammelte Daten auf einen oder mehrere Server hochladen. Außerdem kann der Funksendeempfänger172 Daten von einem oder mehreren Servern herunterladen. Beispielsweise kann das Bildgebungssystem 100 mittels des Funksendeempfängers 172 Aktualisierungsdaten, die in der Kartendatenbank 160, dem Speicher 140 und/oder dem Speicher 150 gespeichert sind, periodisch oder bei Bedarf empfangen und aktualisieren. In ähnlicher Weise kann der Funksendeempfänger 172 beliebige Daten, wie beispielsweise von der Bilderlangungseinheit 120 aufgenommene Bilder, Daten, die von dem Positionssensor 130, anderen Sensoren und den Fahrzeugsteuersystemen usw. empfangen werden, von dem Bildgebungssystem 100 auf einen oder mehrere Server hochladen. Der Funksendeempfänger 172 kann auch beliebige durch die Verarbeitungseinheit 110 verarbeitete Daten von dem Bildgebungssystem 100 auf einen oder mehrere Server hochladen.
Darüber hinaus kann das Bildgebungssystem 100 basierend auf einer Datenschutzniveaueinstellung Daten auf den Server (beispielsweise einen Cloud-Computer) hochladen. Beispielsweise kann das Bildgebungssystem 100 eine Datenschutzniveaueinstellung enthalten, um einen Typ von Daten (einschließlich Metadaten), die an den Server übertragen werden und die ein Fahrzeug und/oder einen Fahrer oder einen Eigentümer des Fahrzeugs eindeutig identifizieren können zu regeln oder zu beschränken. Eine solche Datenschutzniveaueinstellung kann beispielsweise durch einen Benutzer über den Funksendeempfänger 172 oder eine werkseitige Standardeinstellung als Anfangszustand erreicht werden. Außerdem kann die Datenschutzniveaueinstellung durch Daten erreicht werden, die von dem Funksendeempfänger 172 empfangen werden.
Insbesondere kann das Bildgebungssystem 100 in einigen Ausführungsformen Daten gemäß einem Datenschutzniveau hochladen. Zum Beispiel kann das Bildgebungssystem 100 gemäß einer solchen Datenschutzniveaueinstellung Daten wie beispielsweise Positionsinformationen einer Route, ein aufgenommenes Bild usw. ausschließlich Details über ein bestimmtes Fahrzeug und/oder einen Fahrer/einen Besitzer des Fahrzeugs übertragen. Um insbesondere Daten mit hoher Datenschutzeinstellung hochzuladen, kann das Bildgebungssystem 100 Daten wie etwa ein aufgenommenes Bild ohne eine Fahrzeugidentifikationsnummer (VIN) oder einen Namen eines Fahrers oder Eigentümers und/oder begrenzte Positionsinformationen einer Route des Fahrzeugs oder dergleichen übertragen.
Darüber hinaus sind auch andere Datenschutzniveaus beabsichtigt. Zum Beispiel überträgt das Bildgebungssystem 100 Daten an einen Server mit einem mittleren Datenschutzniveau, indem es zusätzliche Informationen wie einen Fahrzeughersteller, ein Fahrzeugmodell, einen Fahrzeugtyp (beispielsweise einen Personenkraftwagen, einen Geländewagen (SUV), einen Lastwagen) usw. beinhaltet, die von der Datenschutzstufe „hoch“ ausgenommen sind. Außerdem kann das Bildgebungssystem 100 in einigen Ausführungsformen Daten mit einem niedrigen Datenschutzniveau hochladen. Das heißt, bei einer „niedrigen“ Datenschutzniveaueinstellung kann das Bildgebungssystem 100 Daten hochladen, die genügend Informationen beinhalten, um ein bestimmtes Fahrzeug, einen Besitzer/einen Fahrer und/oder einen Teil oder die gesamte von einem Fahrzeug gefahrene Route eindeutig zu identifizieren. Zum Beispiel können Daten eines solchen „niedrigen“ Datenschutzniveaus eines oder mehrere Informationselemente beinhalten, wie etwa eine VIN (Fahrzeugidentifikationsnummer), einen Namen eines Fahrers/Eigentümers, einen Ursprung eines Fahrzeugs vor der Abfahrt usw. Das eine oder die mehreren Informationselemente können auch ein beabsichtigtes Ziel eines Fahrzeugs, ein Hersteller und/oder ein Fahrzeugmodell und ein Fahrzeugtyp oder dergleichen sein.
2 ist eine Seitenansicht, die schematisch ein repräsentatives Bildgebungssystem 100 gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert. 3 ist eine erläuternde Draufsicht der Ausführungsform, die in 2 illustriert ist. Wie in 3 illustriert ist, kann in dieser Ausführungsform ein Hauptkörper eines Fahrzeugs 200 ein Bildgebungssystem 100 beinhalten, das eine erste Bilderlangungseinrichtung 122 in der Nähe eines Rückspiegels und/oder eines Fahrers, der das Fahrzeug 200 fährt, eine zweite Bilderlangungseinrichtung 124 oberhalb oder in einem Stoßfängerabschnitt (beispielsweise einem der Stoßfängerabschnitte 210) des Fahrzeugs 200 und eine Verarbeitungseinheit 110 hat.
Ferner können, wie in 4 illustriert ist, beide Bilderlangungseinrichtungen 122 und 124 in der Nähe des Rückspiegels und/oder des Fahrers, der das Fahrzeug 200 fährt, angeordnet sein. Obwohl zwei Bilderlangungseinrichtungen 122 und 124 in jeder von 3 und 4 illustriert sind, können andere Ausführungsformen drei oder mehr Bilderlangungseinrichtungen verwenden. Beispielsweise werden in jeder der Ausführungsformen, die in 5 und 6 illustriert sind, die erste Bilderlangungseinrichtung 122, die zweite Bilderlangungseinrichtung 124 und eine dritte Bilderlangungseinrichtung 126 in dem Bildgebungssystem 100 eingesetzt.
Insbesondere, wie in 5 illustriert ist, kann sich die Bilderlangungseinrichtung 122 in der Nähe des Rückspiegels und/oder des Fahrers des Fahrzeugs 200 befinden. Dann können die Bilderlangungseinrichtungen 124 und 126 auf oder innerhalb des Stoßfängerabschnitts (beispielsweise eines der Stoßfängerabschnitte 210) des Fahrzeugs 200 angeordnet sein. Andernfalls können die Bilderlangungseinrichtungen 122, 124 und 126, wie in 6 illustriert ist, in der Nähe des Rückspiegels und/oder eines Fahrersitzes des Fahrzeugs 200 angeordnet sein. Jedoch sind gemäß der Ausführungsform der vorliegenden Offenbarung die Anzahl und eine Konfiguration von Bilderlangungseinrichtungen nicht auf eine spezifische Anzahl und eine spezifische Konfiguration beschränkt und die Bilderlangungseinrichtung kann sich in dem Fahrzeug 200 und/oder an irgendeiner geeigneten Position oberhalb des Fahrzeugs 200 befinden.
Ferner sind Ausführungsformen der vorliegenden Offenbarungen nicht auf das Fahrzeug beschränkt und können auf andere sich bewegende Körper angewendet werden. Ferner sind die Ausführungsformen der vorliegenden Offenbarung nicht auf einen bestimmten Fahrzeugtyp 200 beschränkt und sind auf alle Fahrzeugtypen anwendbar, einschließlich eines Automobils, eines Lastwagens, eines Anhängers und anderer Fahrzeugtypen.
Ferner kann die erste Bilderlangungseinrichtung 122 jeden geeigneten Typ von Bilderlangungseinrichtung beinhalten. Insbesondere beinhaltet die Bilderlangungseinrichtung 122 eine optische Achse. Als ein Beispiel kann die Bilderlangungseinrichtung 122 einen WVGA-Sensor (Wide Video Graphics Array) mit einem Zentralverschluss beinhalten. In anderen Ausführungsformen kann die Bilderlangungseinrichtung 122 eine Auflösung haben, die durch 1280 × 960 Pixel definiert ist. Die Bilderlangungseinrichtung 122 kann auch einen Rollverschluss beinhalten. Die Bilderlangungseinrichtung 122 kann unterschiedliche optische Elemente beinhalten. Beispielsweise sind in einigen Ausführungsformen eine oder mehrere Linsen beinhaltet, um der Bilderlangungseinrichtung eine gegebene Brennweite und ein Sichtfeld bereitzustellen. Beispielsweise kann die Bilderlangungseinrichtung 122 in einigen Ausführungsformen entweder ein 6-mm-Objektiv oder ein 12-mm-Objektiv verwenden. Ferner kann die Bilderlangungseinrichtung 122 in einigen Ausführungsformen dazu konfiguriert sein, ein Bild zu erfassen, das sich in einem gegebenen Sichtfeld (FOV) 202 befindet, wie in 5 illustriert ist. Beispielsweise kann die Bilderlangungseinrichtung 122 so konfiguriert sein, dass sie ein reguläres FOV im Bereich von 40 bis 56 Grad aufweist, indem sie ein FOV von 46 Grad, ein FOV von 50 Grad und ein FOV von 52 Grad und mehr beinhaltet. Alternativ kann die Bilderlangungseinrichtung 122 dazu konfiguriert sein, ein schmales FOV in einem Bereich von etwa 23 bis etwa 40 Grad aufzuweisen, wie etwa ein 28 Grad-FOV, ein 36 Grad-FOV usw. Darüber hinaus kann die Bilderlangungseinrichtung 122 so konfiguriert sein, dass sie ein breites FOV in einem Bereich von etwa 100 bis etwa 180 Grad hat. Beispielsweise kann die Bilderlangungseinrichtung 122 in einigen Ausführungsformen entweder eine Weitwinkel-Stoßfängerkamera oder eine Kamera mit einem FOV von maximal etwa 180 Grad beinhalten. Ferner kann die Bilderlangungseinrichtung 122 in einigen Ausführungsformen eine Auflösung von 7,2 Megapixeln mit einem horizontalen FOV von etwa 100 Grad mit einem Seitenverhältnis von etwa 2 : 1 aufweisen (beispielsweise H × V = 3800 × 1900 Pixel). Somit kann eine Bilderlangungseinrichtung anstelle der drei Bilderlangungseinrichtung 122, 124 und 126 verwendet werden. In einer Situation, in der ein Bilderlangungseinrichtung eine rotationssymmetrische Linse um eine optische Achse einsetzt, kann ein vertikales FOV einer solchen Bilderlangungseinrichtung aufgrund einer großen Verzerrung der Linse signifikant kleiner als etwa 50 Grad werden. Es ist unwahrscheinlich, dass eine solche Linse radialsymmetrisch ist, was bewirkt, dass ein vertikales FOV größer als etwa 50 Grad ist, unter der Bedingung, dass ein horizontales FOV etwa 100 Grad beträgt.
Ferner kann die erste Bilderlangungseinrichtung 122 mehrere erste Bilder einer Szene betrachtet von dem Fahrzeug 200 erlangen. Jedes der mehreren ersten Bilder kann als eine Serie von Bildabtastzeilen erlangt oder unter Verwendung eines Zentralverschlusses fotografiert werden. Jede der Abtastzeilen kann mehrere Pixel beinhalten.
Die erste Bilderlangungseinrichtung 122 kann eine erste Serie von Bilddaten auf einer Bildabtastzeile mit einer gegebenen Abtastrate erlangen. Hier kann sich die Abtastrate manchmal auf eine Rate beziehen, mit der ein Bildsensor Bilddaten eines Pixels erlangen kann, das in einer gegebenen Abtastzeile beinhaltet ist.
Daher kann jede der Bilderlangungseinrichtungen 122, 124 und 126 jeden geeigneten Typ und die Anzahl von Bildsensoren beinhalten, wie etwa CCD- (ladungsgekoppelte Diode) -Sensoren, CMOS- (Complementary Metal Oxide Semiconductor) - Sensoren usw. In einer Ausführungsform kann der CMOS-Bildsensor zusammen mit einem Rollverschluss verwendet werden und liest jede Zeile von Pixeln einzeln und fährt mit dem Abtasten Zeile für Zeile fort, bis ein Bildrahmen komplett aufgenommen ist. Daher werden Reihen sequentiell von oben nach unten im Rahmen aufgenommen.
In einigen Ausführungsformen können einer oder mehrere der Bilderlangungseinrichtungen (beispielsweise Bilderlangungseinrichtungen 122, 124 und 126) eine oder mehrere hochauflösende Bildgebungseinrichtungen sein, die jeweils eine Auflösung von 5 Megapixel, 7 Megapixel und 10 Megapixel oder mehr aufweisen.
Hier kann ein Rollverschluss, wenn er verwendet wird, bewirken, dass Pixel in unterschiedlichen Spalten zu unterschiedlichen Zeiten belichtet und fotografiert werden, wodurch möglicherweise eine Schräglage und Bildartefakte in einem Bildrahmen verursacht werden, wenn er aufgenommen wird. Im Gegensatz dazu können, wenn die Bilderlangungseinrichtung 122 so konfiguriert ist, dass sie unter Verwendung entweder eines Zentralverschlusses oder eines Synchronverschlusses operiert, alle Pixel gleichzeitig während einer gemeinsamen Belichtungsperiode belichtet werden. Demzufolge repräsentieren Bilddaten in Rahmen bzw. Einzelbildern, die durch das System gesammelt werden, das den Zentralverschluss verwendet, vollständig eine Momentaufnahme eines FOV (beispielsweise eines FOV 202) zu einer gegebenen Zeitperiode. Im Gegensatz dazu wird bei einem System, das den Rollverschluss verwendet, jede Spalte in dem Rahmenbild belichtet und Daten davon werden von jeder Zeile zu einem anderen Timing erlangt. Daher kann es bei einer Bilderlangungseinrichtung mit einem Rollverschluss vorkommen, dass ein sich bewegendes Objekt verzerrt erscheint, wie später detaillierter beschrieben wird.
Ferner können die zweite Bilderlangungseinrichtung 124 und die dritte Bilderlangungseinrichtung 126 beliebige Typen von Bilderlangungseinrichtungen sein. Das heißt, ähnlich wie bei der ersten Bilderlangungseinrichtung 122 beinhaltet jede der Bilderlangungseinrichtungen 124 und 126 eine optische Achse. In einer Ausführungsform kann jede der Bilderlangungseinrichtungen 124 und 126 einen WVGA-Sensor mit einem Zentralverschluss beinhalten. Alternativ kann jede der Bilderlangungseinrichtungen 124 und 126 einen Rollverschluss beinhalten. Ähnlich wie die Bilderlangungseinrichtung 122 kann jede der Bilderlangungseinrichtungen 124 und 126 so konfiguriert sein, dass sie unterschiedliche Linsen und optische Elemente beinhalten. In einigen Ausführungsformen kann jede der in den Bilderlangungseinrichtungen 124 und 126 verwendeten Linsen das gleiche FOV (beispielsweise FOV 202), wie es in der Bilderlangungseinrichtung 122 verwendet wird, oder schmäler als dieses (beispielsweise FOVs 204 und 206) haben. Beispielsweise kann jede der Bilderlangungseinrichtungen 124 und 126 ein FOV von 40 Grad, 30 Grad, 26 Grad, 23 Grad und 20 Grad oder weniger aufweisen.
Ferner kann jeder der Bilderlangungseinrichtungen 124 und 126 mehrere Bilder von zweiten und dritten Bildern einer von dem Fahrzeug 200 aus betrachteten Szene erlangen. Jedes der zweiten und dritten Bilder kann unter Verwendung des Rollverschlusses aufgenommen werden. Sowohl das zweite als auch das dritte Bild können als zweite und dritte Serie von Bildabtastzeilen erlangt werden. Jede Abtastzeile oder -reihe kann mehrere Pixel haben. Jeder der Bilderlangungseinrichtungen 124 und 126 kann jede der Bildabtastzeilen, die in der zweiten und der dritten Serie beinhaltet sind, mit einer zweiten und einer dritten Abtastrate erlangen.
Jede Bilderlangungseinrichtung 122, 124 und 126 kann an einer beliebigen geeigneten Position angeordnet sein, die einer gegebenen Richtung am Fahrzeug 200 zugewandt ist. Eine Positionsbeziehung zwischen den Bilderlangungseinrichtungen 122, 124 und 126 kann gewählt werden, um effektiv eine Informationsfusion für von diesen Bilderlangungseinrichtungen erlangte Informationen durchzuführen. Beispielsweise kann in einigen Ausführungsformen ein FOV (beispielsweise ein FOV 204) der Bilderlangungseinrichtung 124 teilweise oder vollständig mit einem FOV (beispielsweise einem FOV 202) der Bilderlangungseinrichtung 122 und einem FOV (beispielsweise einem FOV 206) der Bilderlangungseinrichtung 126 überlappen.
Ferner kann jeder der Bilderlangungseinrichtungen 122, 124 und 126 an dem Fahrzeug 200 in jeder geeigneten relativen Höhe angeordnet sein. Beispielsweise kann eine Höhe zwischen den Bilderlangungseinrichtungen 122, 124 und 126 unterschiedlich sein, um ausreichende Parallaxeninformationen bereitstellen zu können, die eine Stereoanalyse ermöglichen. Beispielsweise sind, wie in 2 dargestellt ist, die zwei Bilderlangungseinrichtungen 122 und 124 an unterschiedlichen Höhen angeordnet. Ferner wird ein Unterschied im seitlichen Versatz zwischen den Bilderlangungseinrichtungen 122, 124 und 126 zugelassen, um beispielsweise zusätzliche Parallaxeninformationen für eine von der Verarbeitungseinheit 110 durchgeführte Stereoanalyse bereitzustellen. Der Unterschied im seitlichen Versatz ist durch ein Bezugszeichen dx angegeben, wie in 4 und 5 illustriert ist. In einigen Ausführungsformen kann ein vorderer Versatz oder hinterer Versatz (beispielsweise eine Verschiebung eines Bereichs bzw. einer Reichweite) zwischen den Bilderlangungseinrichtungen 122, 124 und 126 zulässig sein. Beispielsweise kann sich die Bilderlangungseinrichtung 122 etwa 0,5 bis etwa 2 Meter oder mehr hinter der Bilderlangungseinrichtung 124 und/oder der Bilderlangungseinrichtung 126 befinden. Dieser Typ des Versatzes von Bilderlangungseinrichtungen kann es einer der Bilderlangungseinrichtungen ermöglichen, potenzielle tote Winkel abzudecken, die durch die anderen mehreren Bilderlangungseinrichtungen verursacht werden.
Ferner kann die Bilderlangungseinrichtung 122 jede geeignete Auflösungsfähigkeit haben (beispielsweise eine gegebene Anzahl von Pixeln, die in einem Bildsensor verwendet werden). Die Auflösung des Bildsensors der Bilderlangungseinrichtung 122 kann gleich oder höher oder niedriger sein als eine Auflösung jedes der Bildsensoren, die in den Bilderlangungseinrichtungen 124 und 126 verwendet werden. Beispielsweise können in einigen Ausführungsformen Bildsensoren der Bilderlangungseinrichtungen 122 und/oder der Bilderlangungseinrichtungen 124 und 126 jeweils Auflösungen von etwa 640 × 480, etwa 1024 × 768 und etwa 1280 × 960 oder andere geeignete Auflösungen aufweisen.
Ferner kann die Rahmenrate bzw. Bildrate steuerbar sein. Hier ist die Bildrate als eine Rate definiert, mit der eine Bilderlangungseinrichtung einen Satz von Pixeldaten erlangt, die einen Bildrahmen pro Zeiteinheit bilden. Somit bewegt sich die Bilderlangungseinrichtung zu einer Stufe zum Erlangen von Pixeldaten des nächsten Bildrahmens mit der Rate. Die Bildrate der Bilderlangungseinrichtung 122 kann geändert werden, um höher, niedriger oder sogar die gleiche wie jede der Rahmenraten der Bilderlangungseinrichtungen 124 und 126 zu sein. Ein Timing jeder der Bildraten der Bilderlangungseinrichtungen 122, 124 und 126 kann basierend auf unterschiedlichen Faktoren bestimmt werden. Beispielsweise kann eine Pixellatenz vor oder nach Erlangen von Bilddaten von einem oder mehreren Pixeln von einem oder mehreren Bilderlangungseinrichtungen 122, 124 und 126 beinhaltet sein. Im Allgemeinen können jedem Pixel entsprechende Bilddaten mit einer Taktrate einer Erlangungseinrichtung (beispielsweise ein einzelnes Pixel pro Taktzyklus) erlangt werden. Außerdem kann in einigen Ausführungsformen, die einen Rollverschluss verwenden, eine horizontale Austastperiode selektiv vor oder nach dem Erfassen von Bilddaten in einer Spalte von Pixeln von Bildsensoren von einem oder mehreren der Bilderlangungseinrichtungen 122, 124 und 126 beinhaltet sein. Ferner kann eine vertikale Austastperiode selektiv vor und nach Erlangen von Bilddaten von Bildrahmen von einem oder mehreren Bilderlangungseinrichtungen 122, 124 und 126 beinhaltet sein.
Diese Timing-Steuerungen ermöglichen eine Synchronisation der Bildraten der Bilderlangungseinrichtungen 122, 124 und 126, selbst in einer Situation, in der jede Zeilenabtastrate unterschiedlich ist. Ferner ermöglichen diese auswählbaren Timing-Steuerungen, wie später detaillierter beschrieben wird, eine Synchronisation der Bildaufnahme aus einem Bereich, in dem ein FOV der Bilderlangungseinrichtung 122 mit einem oder mehreren FOVs der Bilderlangungseinrichtungen 124 und 126 überlappt, selbst wenn das Sichtfeld (FOV) der Bilderlangungseinrichtung 122 sich von FOVs der Bilderlangungseinrichtung 124 und 126 unterscheidet.
Ein Timing einer Bildrate, die in jeder der Bilderlangungseinrichtungen 122, 124 und 126 verwendet wird, kann abhängig von einer Auflösung eines entsprechenden Bildsensors bestimmt werden. Beispielsweise wenn angenommen wird, dass in beiden Erlangungseinrichtungen eine ähnliche Zeilenabtastrate verwendet wird und eine der Erlangungseinrichtungen einen Bildsensor mit einer Auflösung von 640 × 480 beinhaltet, während eine anderer Erlangungseinrichtung einen Bildsensor mit einer Auflösung von 1280 × 960 beinhaltet, ist eine längere Zeit erforderlich, um einen Rahmen von Bilddaten von dem Sensor mit einer höheren Auflösung zu erlangen.
Ein weiterer Faktor, der ein Erlangungstiming zum Erlangen von Bilddaten in jeder der Bilderlangungseinrichtungen 122, 124 und 126 beeinflussen (oder ändern) kann, ist eine maximale Zeilenabtastrate. Zum Beispiel ist ein minimaler Zeitbetrag zum Erlangen einer Reihe von Bilddaten von Bildsensoren erforderlich, die in jeder der Bilderlangungseinrichtungen 122, 124 und 126 angeordnet sind. Wenn daher angenommen wird, dass die Pixelverzögerungsperiode nicht zusätzlich verwendet wird, wirkt sich der minimale Zeitbetrag, der zum Erlangen einer Reihe von Bilddaten benötigt wird, auf eine maximale Zeilenabtastrate einer gegebenen Einrichtung aus. In einer solchen Situation kann eine Einrichtung, die eine höhere maximale Zeilenabtastrate bietet, möglicherweise eine höhere Bildrate als eine Einrichtung bereitstellen, die eine niedrigere maximale Zeilenabtastrate bietet. Daher können in einigen Ausführungsformen eine oder mehrere der Bilderlangungseinrichtungen 124 und 126 eine maximale Zeilenabtastrate aufweisen, die höher als eine maximale Zeilenabtastrate der Bilderlangungseinrichtung 122 ist. In einigen Ausführungsformen kann die maximale Zeilenabtastrate der Bilderlangungseinrichtungen 124 und/oder 126 eine von etwa dem 1,25-fachen, etwa 1,5-fachen und etwa 1,75-fachen der maximalen Zeilenabtastrate der Bilderlangungseinrichtung 122 sein. Andernfalls kann die maximale Zeilenabtastrate der Bilderlangungseinrichtungen 124 und/oder 126 mehr als das Zweifache der maximalen Zeilenabtastrate der Bilderlangungseinrichtung 122 betragen.
Ferner können in einer anderen Ausführungsform die Bilderlangungseinrichtungen 122, 124 und 126 mit der gleichen maximalen Zeilenabtastrate operieren. Außerdem kann nur die Bilderlangungseinrichtung 122 mit einer Abtastrate unterhalb der maximalen Abtastrate operieren. Ferner kann ein System so konfiguriert sein, dass eine oder mehrere der Bilderlangungseinrichtungen 124 und 126 mit einer Zeilenabtastrate operieren, die gleich einer Zeilenabtastrate der Bilderlangungseinrichtung 122 ist. In anderen Ausführungsformen kann ein System so konfiguriert sein, dass eine Zeilenabtastrate der Bilderlangungseinrichtung 124 und/oder der Bilderlangungseinrichtung 126 etwa 1,25-mal, etwa 1,5-mal oder etwa 1,75-mal so groß ist wie eine Zeilenabtastrate der Bilderlangungseinrichtung 122 ist. Außerdem kann ein System so konfiguriert sein, dass eine Zeilenabtastrate der Bilderlangungseinrichtung 124 und/oder der Bilderlangungseinrichtung 126 mehr als doppelt so hoch ist wie eine Zeilenabtastrate der Bilderlangungseinrichtung 122.
Ferner können die Bilderlangungseinrichtungen 122, 124 und 126 in einigen Ausführungsformen asymmetrisch sein. Das heißt, diese Bilderlangungseinrichtungen 122, 124 und 126 können Kameras mit voneinander unterschiedlichen Sichtfeldern (FOV) und Brennweiten beinhalten. Beispielsweise kann das Sichtfeld jeder der Bilderlangungseinrichtungen 122, 124 und 126 ein beliebiger gegebener Umgebungsbereich des Fahrzeugs 200 sein. Beispielsweise können in einigen Ausführungsformen eine oder mehrere der Bilderlangungseinrichtungen 122, 124 und 126 dazu konfiguriert sein, Bilddaten von vor dem Fahrzeug 200, hinter dem Fahrzeug 200 und einer Seite des Fahrzeugs 200 zu erlangen. Außerdem können einer oder mehrere der Bilderlangungseinrichtungen 122, 124 und 126 so konfiguriert sein, dass sie Bilddaten aus einer Kombination dieser Richtungen erlangen.
Ferner kann eine Brennweite jeder der Bilderlangungseinrichtungen 122, 124 und/oder 126 bestimmt werden, indem selektiv eine geeignete Linse eingebaut wird, um zu veranlassen, dass jede Erlangungseinrichtung ein Bild eines Objekts in einer gegebenen Entfernung von dem Fahrzeug 200 erlangt. Beispielsweise können die Bilderlangungseinrichtungen 122, 124 und 126 in einigen Ausführungsformen Bilder von Objekten in der Nähe innerhalb weniger Meter von dem Fahrzeug 200 erlangen. Die Bilderlangungseinrichtungen 122, 124 und 126 können auch dazu konfiguriert sein, Bilder von Objekten in einer weiteren Entfernung (beispielsweise 25 Meter, 50 Meter, 100 Meter, 150 Meter oder mehr) von dem Fahrzeug 200 zu erlangen. Ferner kann eine Bilderlangungseinrichtung (beispielsweise die Bilderlangungseinrichtung 122) unter den Bilderlangungseinrichtungen 122, 124 und 126 eine gegebene Brennweite aufweisen, die in der Lage ist, ein Bild eines relativ nahe am Fahrzeug 200 befindlichen Objekts zu erlangen, beispielsweise, wenn sich ein Objekt innerhalb von 10 m oder 20 m vom Fahrzeug 200 entfernt befindet. In einer solchen Situation können die verbleibenden Bilderlangungseinrichtungen (beispielsweise die Bilderlangungseinrichtungen 124 und 126) gegebene Brennweiten haben, die in der Lage sind, Bilder von Objekten zu erlangen, die sich weiter weg von dem Fahrzeug 200 entfernt befinden, beispielsweise in einer Entfernung von 20 m, 50 m, 100 m und 150 m oder mehr.
Ferner kann in einigen Ausführungsformen ein FOV jeder der Bilderlangungseinrichtungen 122, 124 und 126 einen Weitwinkel haben. Insbesondere kann ein FOV von 140 Grad für jede der Bilderlangungseinrichtungen 122, 124 und 126 vorteilhaft sein, um Bilder in der Nähe des Fahrzeugs 200 aufzunehmen. Beispielsweise kann die Bilderlangungseinrichtung 122 verwendet werden, um Bilder in linken und rechten Bereichen des Fahrzeugs 200 aufzunehmen. In einer solchen Situation kann es manchmal vorzuziehen sein, dass die Bilderlangungseinrichtung 122 ein breites FOV hat. Das heißt, das FOV kann mindestens 140 Grad betragen.
Ferner hängt das Sichtfeld jeder der Bilderlangungseinrichtungen 122, 124 und 126 von jeder Brennweite ab. Je länger beispielsweise die Brennweite ist, desto schmäler ist das entsprechende Sichtfeld.
Daher können die Bilderlangungseinrichtungen 122, 124 und 126 so konfiguriert werden, dass sie jedes geeignete Sichtfeld haben. In einem gegebenen Beispiel kann die Bilderlangungseinrichtung 122 ein horizontales FOV von 46 Grad haben. Die Bilderlangungseinrichtung 124 kann ein horizontales FOV von 23 Grad haben. Die Bilderlangungseinrichtung 126 kann ein horizontales FOV zwischen 23 Grad und 46 Grad haben. In einem anderen Beispiel kann die Bilderlangungseinrichtung 122 ein horizontales FOV von 52 Grad haben. Die Bilderlangungseinrichtung 124 kann ein horizontales FOV von 26 Grad haben. Die Bilderlangungseinrichtung 126 kann ein horizontales FOV zwischen 26 Grad und 52 Grad haben. In einigen Ausführungsformen kann ein Verhältnis zwischen den FOVs der Bilderlangungseinrichtung 122 und der Bilderlangungseinrichtung 124 und/oder Bilderlangungseinrichtung 126 von etwa 1,5 bis etwa 2,0 variieren. In anderen Ausführungsformen kann dieses Verhältnis zwischen etwa 1,25 bis etwa 2,25 variieren.
Das Bildgebungssystem 100 kann so konfiguriert sein, dass das Sichtfeld der Bilderlangungseinrichtung 122 zumindest teilweise oder vollständig mit dem Sichtfeld der Bilderlangungseinrichtung 124 und/oder der Bilderlangungseinrichtung 126 überlappt. Beispielsweise kann das Bildgebungssystem 100 in einigen Ausführungsformen so konfiguriert sein, dass die Sichtfelder der Bilderlangungseinrichtungen 124 und 126 in das Sichtfeld der Bilderlangungseinrichtung 122 passen (beispielsweise sind diese schmäler) und sich ein gemeinsames Zentrum bzw. eine gemeinsame Mitte mit dem Sichtfeld der Bilderlangungseinrichtung 122 teilen. In anderen Ausführungsformen können die Bilderlangungseinrichtungen 122, 124 und 126 benachbarte FOVs aufnehmen. Außerdem kann es zu einer teilweisen Duplizierung (das heißt, Überlappung) in ihren FOVs kommen. In einigen Ausführungsformen kann das Sichtfeld der Bilderlangungseinrichtungen 122, 124 und 126 so positioniert sein, dass eine Mitte der jeweils anderen Bilderlangungseinrichtungen mit schmälerem FOV 124 und/oder 126 in einer unteren Hälfte des Sichtfelds der Bilderlangungseinrichtung 122 mit breiterem FOV angeordnet ist.
7 ein Blockschaltbild, das ein beispielhaftes Fahrzeugsteuersystem gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert. Wie in 7 illustriert ist, kann das Fahrzeug 200 ein Drosselsystem 220, ein Bremssystem 230 und ein Lenksystem 240 beinhalten. Das Bildgebungssystem 100 kann über eine oder mehrere Datenverbindungen (beispielsweise Verbindungen zum Übertragen von Daten oder beliebige drahtgebundene und/oder drahtlose Verbindungen) Eingaben (beispielsweise Steuersignale) an eines oder mehrere Drosselsysteme 220, Bremssysteme 230 und die Lenksysteme 240 bereitstellen. Beispielsweise kann das Bildgebungssystem 100 basierend auf einer Analyse von Bildern, die durch die Bilderlangungseinrichtungen 122, 124 und/oder 126 erlangt werden, Steuersignale an ein oder mehrere Systeme des Drosselsystems 220, des Bremssystems 230 und des Lenksystems 240 bereitstellen, um diese Systeme zu steuern, um jeweils beispielsweise Beschleunigung, Abbiegen bzw. Kurvenfahren und Spurwechsel oder dergleichen durchzuführen. Ferner kann das Bildgebungssystem 100 Eingaben empfangen, die eine Operationsbedingung bzw. einen Operationszustand eines Fahrzeugs 200 (beispielsweise Geschwindigkeit, Bremsen und/oder Abbiegen bzw. Kurvenfahren des Fahrzeugs 200) von einem oder mehreren Systemen des Drosselsystems 220, des Bremssystems 230 und des Lenksystems 240 angeben. Weitere Details werden später gemäß 12 bis 20 beschrieben.
Ferner kann das Fahrzeug 200, wie in 8 illustriert ist, eine Benutzerschnittstelle 170 beinhalten, die bei der Interaktion mit einem Fahrer oder Insassen in dem Fahrzeug 200 verwendet wird. Beispielsweise ist eine Benutzerschnittstelle 170 in einer Fahrzeuganwendung beinhaltet und kann einen Touchscreen 320, einen Knopf 330 und eine Taste 340 beinhalten. Die Benutzerschnittstelle 170 kann auch ein Mikrofon 350 beinhalten. Ferner kann der Fahrer oder die Insassen in dem Fahrzeug 200 mit dem Bildgebungssystem 100 unter Verwendung eines Lenkrads und einer Taste oder dergleichen interagieren. Der Griff beinhaltet beispielsweise einen Blinkerhebel, der an oder nahe einer Lenksäule des Fahrzeugs 200 angeordnet ist. Die Tasten sind beispielsweise am Lenkrad des Fahrzeugs 200 angeordnet. In einigen Ausführungsformen kann das Mikrofon 350 neben dem Rückspiegel 310 angeordnet sein. In ähnlicher Weise kann sich die Bilderlangungseinrichtung 122 in einigen Ausführungsformen in der Nähe des Rückspiegels 310 befinden. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 einen oder mehrere Lautsprecher 360 (beispielsweise Lautsprecher, die in einem Fahrzeugaudiosystem verwendet werden) beinhalten. Das Bildgebungssystem 100 kann dem Fahrer über den Lautsprecher 360 unterschiedliche Benachrichtigungen (beispielsweise Warnungen) bereitstellen.
9 bis 11 illustrieren beispielhafte Kamerahalterungen 370, die gegenüberliegend zu einer Fahrzeugwindschutzscheibe hinter dem Rückspiegel (beispielsweise dem Rückspiegel 310) angeordnet sind, gemäß einer Ausführungsform der vorliegenden Offenbarung. Insbesondere kann die Kamerahalterung 370, wie in 9 illustriert ist, Bilderlangungseinrichtungen 122, 124 und 126 beinhalten. Die Bilderlangungseinrichtungen 124 und 126 können hinter dem Blendschutz 380 angeordnet sein. Der Blendschutz 380 kann die gleiche Höhe wie die Fahrzeugwindschutzscheibe haben und einen Film und/oder eine Zusammensetzung aus Antireflexionsmaterial beinhalten. Beispielsweise kann der Blendschutz 380 der Windschutzscheibe eines Fahrzeugs zugewandt angeordnet sein. Der Blendschutz 380 und die Windschutzscheibe haben die gleiche Neigung zueinander. In einigen Ausführungsformen kann jede der Bilderlangungseinrichtungen 122, 124 und 126 hinter einem Blendschutz 380 angeordnet sein, wie beispielsweise in 1 illustriert ist. Die vorliegende Offenbarung ist jedoch nicht auf eine spezifische Konfiguration der Bilderlangungseinrichtungen 122, 124 und 126, der Kamerahalterung 370 und des Blendschutzes 380 beschränkt. 10 ist eine Vorderansicht, die die in 9 illustrierte Kamerahalterung 370 illustriert.
Wie der Fachmann erkennen wird, können viele Varianten und/oder Modifikationen der hierin beschriebenen vorliegenden Offenbarung vorgenommen werden. Beispielsweise sind nicht alle Komponenten zum Betreiben des Bildgebungssystems 100 erforderlich. Ferner kann jede Komponente in beliebigen anderen geeigneten Abschnitten in dem Bildgebungssystem 100 angeordnet sein. Die Komponenten können auch verschoben werden, während sie die gleiche Funktion bereitstellen, die in der Ausführungsform der vorliegenden Offenbarung durchgeführt wird. Somit ist die oben erwähnte Konfiguration nur ein Beispiel und das Bildgebungssystem 100 kann eine breite Palette von Funktionen bereitstellen, um Bilder der Umgebung des Fahrzeugs 200 zu analysieren und das Fahrzeug 200 gemäß der Analyse zu navigieren.
Ferner kann das Bildgebungssystem 100, wie nachstehend detaillierter beschrieben wird, gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung verschiedene Funktionen in Bezug auf autonomes Fahren und/oder eine Fahrerassistenztechnologie bereitstellen. Zum Beispiel kann das Bildgebungssystem 100 Bilddaten, Positionsdaten (beispielsweise GPS-Positionsinformationen), Kartendaten, Geschwindigkeitsdaten und/oder Daten analysieren, die von Sensoren übertragen werden, die in dem Fahrzeug 200 beinhaltet sind. Das Bildgebungssystem 100 kann beispielsweise Daten zur Analyse von der Bilderlangungseinheit 120, dem Positionssensor 130 und anderen Sensoren sammeln. Ferner kann das Bildgebungssystem 100 die gesammelten Daten analysieren und basierend darauf bestimmen, ob das Fahrzeug 200 bestimmte Maßnahmen ergreifen sollte, und automatisch Maßnahmen, wie bestimmt, ohne menschliches Eingreifen ergreifen. Wenn zum Beispiel das Fahrzeug 200 ohne menschliches Eingreifen navigiert wird, kann das Bildgebungssystem 100 automatisch Bremsen, Beschleunigen und/oder Lenken des Fahrzeugs 200 steuern, indem Steuersignale an eines oder mehrere Systeme des Drosselsystems 220, des Bremssystems 230 bzw. des Lenksystems 240 übertragen werden. Ferner kann das Bildgebungssystem 100 gesammelte Daten analysieren und basierend auf deren Analyse eine Warnung und/oder einen Alarm an einen Insassen in dem Fahrzeug ausgeben. Im Folgenden werden zusätzlich Details zu verschiedenen Funktionen beschrieben, die von dem Bildgebungssystem 100 bereitgestellt werden.
Insbesondere kann, wie vorstehend beschrieben ist, das Bildgebungssystem 100 eine Fahrunterstützungsfunktion unter Verwendung eines Mehrkamerasystems bereitstellen. Das Mehrkamerasystem kann eine oder mehrere Kameras verwenden, die vor das Fahrzeug ausgerichtet sind. In anderen Ausführungsformen kann das Mehrkamerasystem eine oder mehrere Kameras beinhalten, die entweder zur Seite oder hinter das Fahrzeug gerichtet sind. Beispielsweise kann das Bildgebungssystem 100 in einer Ausführungsform Zwei-Kamera-Bildgebungssysteme verwenden, wobei eine erste Kamera und eine zweite Kamera (beispielsweise Bilderlangungseinrichtungen 122 und 124) an der Vorderseite und/oder an einer Seite des Fahrzeugs 200 angeordnet sein können. Die erste Kamera kann ein Sichtfeld haben, das größer (breiter) oder kleiner (enger bzw. schmäler) ist als ein Sichtfeld der zweiten Kamera. Andernfalls kann die erste Kamera ein Sichtfeld aufweisen, das teilweise mit einem Sichtfeld der zweiten Kamera überlappt. Ferner kann die erste Kamera mit einem ersten Bildprozessor verbunden sein, um eine monokulare Bildanalyse von Bildern auszuführen, die von der ersten Kamera bereitgestellt werden. Die zweite Kamera kann mit einem zweiten Bildprozessor verbunden sein, um Bilder bereitzustellen und es dem zweiten Bildprozessor zu ermöglichen, eine monokulare Bildanalyse davon durchzuführen. Ausgaben (beispielsweise verarbeitete Informationen) des ersten und des zweiten Bildprozessors können miteinander kombiniert werden. In einigen Ausführungsformen kann der zweite Bildprozessor Bilder sowohl von der ersten Kamera als auch von der zweiten Kamera empfangen und eine Stereoanalyse davon durchführen. In anderen Ausführungsformen kann das Bildgebungssystem 100 Bildgebungssysteme mit drei Kameras verwenden, wobei die Kameras jeweils ein unterschiedliches Sichtfeld aufweisen. In einem solchen System erfolgt die Bestimmung basierend auf Informationen von Objekten, die sich in verschiedenen Abständen vor und auf beiden Seiten des Fahrzeugs befinden. Hier bedeutet die monokulare Bildanalyse eine Situation, in der Bilder analysiert werden, die von einem einzelnen Betrachtungspunkt (zum Beispiel einer einzelnen Kamera) aufgenommen wurden. Im Gegensatz dazu bedeutet die Stereobildanalyse eine Bildanalyse, die basierend auf zwei oder mehr Bildern durchgeführt wird, die unter Verwendung eines oder mehrerer Bildaufnahmeparameter aufgenommen wurden. Beispielsweise sind Bilder, die für die Stereobildanalyse geeignet sind, solche, die entweder von zwei oder mehr unterschiedlichen Positionen oder in unterschiedlichen Sichtfeldern aufgenommen wurden. Außerdem sind für die Stereobildanalyse geeignete Bilder solche, die entweder mit unterschiedlichen Brennweiten oder mit Parallaxeninformationen und dergleichen aufgenommen wurden.
Ferner kann das Bildgebungssystem 100 in einer Ausführungsform beispielsweise drei Kamerasysteme verwenden, indem es die Bilderlangungseinrichtungen 122, 124 und 126 verwendet. In einem solchen System kann die Bilderlangungseinrichtung 122 ein schmales Sichtfeld bereitstellen (beispielsweise einen Wert von 34 Grad, einen Wert, der aus einem Bereich von etwa 20 Grad bis etwa 45 Grad ausgewählt ist). Die Bilderlangungseinrichtung 124 kann ein breites Sichtfeld bereitstellen (beispielsweise einen Wert von 150 Grad, einen Wert, der aus einem Bereich von etwa 100 Grad bis etwa 180 Grad ausgewählt ist). Die Bilderlangungseinrichtung 126 kann ein mittleres Sichtfeld bereitstellen (beispielsweise einen Wert von 46 Grad, einen Wert, der aus einem Bereich von etwa 35 Grad bis etwa 60 Grad ausgewählt ist). In einigen Ausführungsformen kann die Bilderlangungseinrichtung 126 entweder als Hauptkamera oder als Primärkamera agieren. Diese Bilderlangungseinrichtungen 122, 124 und 126 können separat in einem Intervall (beispielsweise etwa 6 cm) hinter dem Rückspiegel 310 im Wesentlichen Seite an Seite platziert sein. Ferner können in einigen Ausführungsformen, wie zuvor beschrieben ist, eine oder mehrere der Bilderlangungseinrichtungen 122, 124 und 126 an einer Rückseite des Blendschutzes 380 angebracht sein, der auf derselben Ebene wie die Windschutzscheibe des Fahrzeugs 200 liegt. Ein solcher Schutz 380 kann dazu dienen, jegliche Lichtreflexion von einem Innenraum des Fahrzeugs zu minimieren, wodurch deren Einfluss auf die Bilderlangungseinrichtungen 122, 124 und 126 verringert wird.
Ferner kann in einer anderen Ausführungsform, wie zuvor gemäß 9 und 10 beschrieben ist, die Kamera mit weitem Sichtfeld (beispielsweise die Bilderlangungseinrichtung 124 in dem vorstehend beschriebenen Beispiel) an einer Position angebracht sein, die niedriger ist als die der Kamera mit schmalem Sichtfeld und der Hauptsichtfeldkamera (beispielsweise die Bilderlangungseinrichtungen 122 und 126 in dem vorstehend beschriebenen Beispiel). Mit einer solchen Konfiguration kann eine Sichtlinie von der Kamera mit weitem Sichtfeld frei bereitgestellt werden. Hier kann die Kamera in der Nähe der Windschutzscheibe des Fahrzeugs 200 montiert sein oder einen Polarisator beinhalten, um eine Menge an reflektiertem Licht zu reduzieren.
Ferner kann das Drei-Kamera-System eine gegebene Leistung (das heißt, Eigenschaften) bereitstellen. Beispielsweise wird in einigen Ausführungsformen als eine Funktion die Erfassung eines Objekts, die von einer ersten Kamera durchgeführt wird, von einer anderen zweiten Kamera basierend auf einem Ergebnis der Erfassung durch die zweite Kamera verifiziert. Ferner kann die Verarbeitungseinheit 110 für das Drei-Kamera-System beispielsweise drei Prozessoren (das heißt, einen ersten bis dritten Prozessor) beinhalten. Jeder Prozessor verarbeitet exklusiv Bilder, die von einem oder mehreren der Bilderlangungseinrichtungen 122, 124 und 126 aufgenommen wurden.
Bei den Drei-Kamera-Systemen kann ein erster Prozessor Bilder sowohl von der Hauptkamera als auch von der Kamera mit schmalem Sichtfeld empfangen. Der erste Prozessor kann dann eine Bildverarbeitung auf die Bilder anwenden, die von der Kamera mit schmalem Sichtfeld übertragen werden, und andere Fahrzeuge bzw. Fremdfahrzeuge, Fußgänger und Spurmarkierungen erfassen. Der erste Prozessor kann auch Verkehrszeichen, Ampeln und andere Straßenobjekte oder dergleichen erfassen. Der erste Prozessor kann auch eine Parallaxe eines Pixels zwischen dem von der Hauptkamera übertragenen Bild und dem von der Kamera mit schmalem Sichtfeld übertragenen Bild berechnen. Der erste Prozessor kann dann eine 3D-(dreidimensionale) Rekonstruktion (Bild) der Umgebung des Fahrzeugs 200 erstellen. Der erste Prozessor kann eine solche rekonstruierte 3D-Struktur mit 3D-Kartendaten oder 3D-Informationen kombinieren, die basierend auf von den anderen Kameras übertragenen Informationen berechnet werden.
Ein zweiter Prozessor kann Bilder von der Hauptkamera empfangen, eine visuelle Verarbeitung darauf anwenden und andere Fahrzeuge, Fußgänger und Spurmarkierungen erkennen. Der zweite Prozessor kann auch Verkehrszeichen, Ampeln und andere Straßenobjekte erfassen. Ferner kann der zweite Prozessor einen Versatzbetrag der Kamera berechnen und eine Parallaxe eines Pixels zwischen aufeinanderfolgenden Bildern basierend auf dem Versatzbetrag berechnen. Der zweite Prozessor kann dann eine 3D-Rekonstruktion einer Szene erstellen (beispielsweise eine Bewegungsstruktur). Der zweite Prozessor kann dann die basierend auf der Bewegungsstruktur erzeugte 3D-Rekonstruktion an den ersten Prozessor senden und sie mit einem Stereo-3D-Bild synthetisieren.
Ein dritter Prozessor kann ein Bild von einer Weitwinkelkamera empfangen. Der dritte Prozessor kann dann das Bild verarbeiten und Objekte auf einer Straße erfassen, wie etwa Fahrzeuge, Fußgänger, Spurmarkierungen, Verkehrszeichen, Ampeln usw. Ferner kann die dritte Handhabungsvorrichtung zusätzliche Verarbeitungsanweisungen ausführen und das Bild analysieren, wodurch ein sich bewegendes Objekt, wie beispielsweise ein Fahrzeug, ein Fußgänger usw., das eine Spur wechselt, in dem Bild identifiziert wird.
In einigen Ausführungsformen kann ein System Redundanz aufweisen, indem es unabhängig einen Strom von bildbasierten Informationen empfängt und verarbeitet. Beispielsweise beinhaltet eine solche Redundanz das Verifizieren und/oder Ergänzen von Informationen, die durch Erfassen von Bildinformationen von mindestens der zweiten Bilderlangungseinrichtung erlangt wurden, und Anwenden einer gegebenen Verarbeitung darauf unter Verwendung der ersten Bilderlangungseinrichtung und eines durch die erste Bilderlangungseinrichtung verarbeiteten Bildes.
Ferner kann das Bildgebungssystem 100 in einigen Ausführungsformen, wenn es eine Navigationsunterstützung für das Fahrzeug 200 durchführt, Redundanz bereitstellen, um eine Analyse von Daten zu verifizieren, die von den anderen zwei Bilderlangungseinrichtungen (beispielsweise den Bilderlangungseinrichtungen 122 und 124) empfangen werden, indem die dritte Bilderlangungseinrichtung verwendet wird (beispielsweise die Bilderlangungseinrichtung 126). Beispielsweise können bei einem solchen System die Bilderlangungseinrichtungen 122 und 124 Bilder für eine Stereoanalyse bereitstellen, die durch das Bildgebungssystem 100 beim Navigieren des Fahrzeugs 200 durchgeführt wird. Gleichzeitig kann, um die Redundanz und die Verifizierung von Informationen bereitzustellen, die basierend auf Bildern erlangt werden, die von der Bilderlangungseinrichtung 122 und/oder der Bilderlangungseinrichtung 124 aufgenommen und übertragen werden, die Bilderlangungseinrichtung 126 dem Bildgebungssystem 100 Bilder zur Verwendung in der monokularen Analyse bereitstellen. Das heißt, die Bilderlangungseinrichtung 126 und der dementsprechende Prozessor können als ein System betrachtet werden, das ein redundantes Subsystem zum Prüfen der Analyse von Bildern (beispielsweise ein automatisches Notbrems (AEB)-System) bereitstellt, die von den Bilderlangungseinrichtung 122 und 124 erlangt werden.
Hier ist die vorstehend beschriebene Konfiguration, Anordnung und die Anzahl der Kameras nur ein Beispiel. Auch die vorstehend beschriebene Position und dergleichen der Kamera sind nur ein Beispiel. Insbesondere können diese Komponenten des gesamten vorstehend beschriebenen Systems zusammengebaut und in verschiedenen Verfahren verwendet werden, ohne vom Kern der vorstehend beschriebenen Ausführungsform abzuweichen. Außerdem können andere Konfigurationen, die bisher nicht beschrieben wurden, zusätzlich zusammengebaut und verwendet werden, ohne von dem Kern der vorstehend beschriebenen Ausführungsformen abzuweichen. Nachfolgend werden ein System und ein Verfahren zum Verwenden der Mehrkamerasysteme, die eine Fahrerassistenz und eine autonome Fahrzeugbetriebsfunktion bereitstellen, detaillierter beschrieben.
12 ist ein Blockschaltbild, das beispielhafte Funktionen jedes der Speicher 140 und 150 illustriert, die Programme und Anweisungen zum Durchführen einer oder mehrerer Operationen speichern, gemäß einer Ausführungsform der vorliegenden Offenbarung. Obwohl im Folgenden typischerweise auf den Speicher 140 Bezug genommen wird, können Anweisungen in beiden Speichern 140 und 150 gespeichert werden.
Insbesondere kann der Speicher 140, wie in 12 veranschaulicht, ein monokulares Bildanalysemodul 402, ein Stereobildauflösungsmodul 404 und ein Geschwindigkeits-Beschleunigungs-Modul 406 speichern. Der Speicher 140 kann auch ein Navigationsantwortmodul 408 speichern. Die vorliegende Offenbarung ist jedoch nicht auf eine spezifische Konfiguration des Speichers 140 beschränkt. Beispielsweise können der Anwendungsprozessor 180 und/oder der Bildprozessor 190 Anweisungen ausführen, die in einem oder mehreren der Module 402, 404, 406 und 408 gespeichert sind, die in dem Speicher 140 beinhaltet sind. Obwohl die Verarbeitungseinheit 110 im Folgenden typischerweise beschrieben wird, können der Anwendungsprozessor 180 und der Bildprozessor 190 individuell oder kollektiv ähnlich operieren. Das heißt, einer oder mehrere Schritte der nachfolgend beschriebenen Verarbeitung können von einem oder mehreren Prozessoren durchgeführt werden.
In einer Ausführungsform der vorliegenden Offenbarung kann das monokulare Bildanalysemodul 402 Anweisungen speichern, wie beispielsweise Computer-Vision-Software usw., die eine monokulare Bildanalyse durchführen, die einen Satz von Bildern analysiert, die von einer der Bilderlangungseinrichtungen 122, 124 und 126 erlangt wurde, wenn sie durch die Verarbeitungseinheit 110 ausgeführt werden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine monokulare Bildanalyse basierend auf einer Kombination durchführen, die durch Kombinieren von Informationen des Satzes von Bildern mit zusätzlichen Sensorinformationen (beispielsweise von Radar erlangten Informationen) gebildet wird. Wie nachstehend gemäß 13 bis 16 beschrieben ist, kann das monokulare Bildanalysemodul 402 Anweisungen beinhalten (das heißt, speichern), um einen Satz von Merkmalen zu erfassen, die in einem Satz von Bildern beinhalten sind, wie etwa Spurmarkierungen, Fahrzeuge, Fußgänger usw. Der Satz von Merkmalen kann auch Straßenzeichen bzw. Verkehrszeichen, Autobahnausfahrten und Ampeln sein. Der Satz von Merkmalen kann auch Gefahrgüter und andere Merkmale in Bezug auf die Umgebung des Fahrzeugs oder dergleichen sein. Beispielsweise kann das Bildgebungssystem 100 basierend auf der Analyse das Fahrzeug 200 mittels der Verarbeitungseinheit 110 steuern, um eine oder mehrere Navigationsantworten zu veranlassen, wie etwa Abbiegen bzw. Kurvenfahren, Spurwechsel und eine Beschleunigungsänderung usw., wie später unter Bezugnahme auf das Navigationsantwortmodul 408 beschrieben wird.
In einer Ausführungsform kann das Stereobildanalysemodul 404 Anweisungen speichern, wie beispielsweise Computer-Vision-Software usw., um eine Stereobildanalyse durchzuführen, die einen ersten und einen zweiten Satz von Bildern analysiert, die durch eine Kombination von zwei oder mehr beliebigen Bilderlangungseinrichtungen erlangt werden, die aus den Bilderlangungseinrichtungen 122, 124 und 126 ausgewählt werden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Stereobildanalyse basierend auf Informationen des ersten und zweiten Bildsatzes in Kombination mit zusätzlichen Sensorinformationen (beispielsweise von einem Radar erlangte Informationen) ausführen. Zum Beispiel kann das Stereobildanalysemodul 404 Anweisungen zum Ausführen einer Stereobildanalyse basierend auf dem ersten Satz von Bildern, die durch die Bilderlangungseinrichtung 124 erlangt wurden, und dem zweiten Satz von Bildern, die durch die Bilderlangungseinrichtung 126 erlangt wurden, beinhalten. Wie nachfolgend gemäß 19 beschrieben wird, kann das Stereobildanalysemodul 404 Anweisungen beinhalten, um einen Satz von Merkmalen in dem ersten und zweiten Bildsatz zu erfassen, wie etwa Spurmarkierungen, Fahrzeuge, Fußgänger usw. Der Satz von Merkmalen kann auch Straßenzeichen bzw. Verkehrszeichen, Autobahnausfahrten und Ampeln sein. Der Satz von Merkmalen kann auch Gefahrgüter oder dergleichen sein. Basierend auf der Analyse kann die Verarbeitungseinheit 110 das Fahrzeug 200 steuern, um eine oder mehrere Navigationsantworten zu verursachen, wie etwa Abbiegen bzw. Kurvenfahren, Spurwechsel und Beschleunigungsänderungen, wie später in Bezug auf das Navigationsantwortmodul 408 beschrieben wird.
Ferner kann das Geschwindigkeits-Beschleunigungs-Modul 406 in einigen Ausführungsformen Software speichern, die dazu konfiguriert ist, Daten zu analysieren, die von einem oder mehreren Computern und elektromechanischen Einrichtungen, die in dem Fahrzeug 200 installiert sind, empfangen werden, um Änderungen der Geschwindigkeit und/oder Beschleunigung des Fahrzeugs 200 zu veranlassen. Zum Beispiel kann die Verarbeitungseinheit 110 Anweisungen ausführen, die in dem Geschwindigkeits-Beschleunigungs-Modul 406 gespeichert sind, und berechnet eine Zielgeschwindigkeit des Fahrzeugs 200 basierend auf Daten, die durch Ausführen von Anweisungen des monokularen Bildanalysemoduls 402 und/oder des Stereobildanalysemoduls 404 erlangt werden. Solche Daten können eine Zielposition, eine Geschwindigkeit und/oder eine Beschleunigung beinhalten. Die Daten können auch eine Position und/oder eine Geschwindigkeit eines Fahrzeugs 200 relativ zu einem Fahrzeug in der Nähe, einem Fußgänger und/oder einem Straßenobjekt beinhalten. Die Daten können ferner Positionsinformationen des Fahrzeugs 200 relativ zu einer Straßenspurmarkierung oder dergleichen beinhalten. Ferner kann die Verarbeitungseinheit 110 die Zielgeschwindigkeit des Fahrzeugs 200 basierend auf einer Sensoreingabe (beispielsweise Informationen vom Radar) und einer Eingabe von anderen Systemen, die in dem Fahrzeug 200 installiert sind, wie etwa einem Drosselsystem 220, einem Bremssystem 230, einem Lenksystem 240 usw., berechnen. Daher kann die Verarbeitungseinheit 110 basierend auf der berechneten Zielgeschwindigkeit elektronische Signale an das Drosselsystem 220, das Bremssystem 230 und/oder das Lenksystem 240 des Fahrzeugs 200 übertragen, um zu veranlassen, dass diese Systeme die Geschwindigkeit und/oder Beschleunigung, beispielsweise durch physisches Treten auf eine Bremse des Fahrzeugs 200 oder Lockern (das heißt, Nachlassen) eines Gaspedals, ändern.
Ferner kann das Navigationsantwortmodul 408 in einer Ausführungsform Software speichern, die von der Verarbeitungseinheit 110 ausgeführt werden kann, um gegebene Navigationsantworten basierend auf Daten zu bestimmen, die durch Ausführen der monokularen Bildanalysemodule 402 und/oder des Stereobildanalysemoduls 404 erlangt werden. Solche Daten können Positions- und Geschwindigkeitsinformationen in Bezug auf Fahrzeuge, Fußgänger und Straßenobjekte in der Nähe beinhalten. Die Daten können auch Positions- und Geschwindigkeitsinformationen in Bezug auf Informationen einer Zielposition, auf die das Fahrzeug 200 zielt, oder dergleichen beinhalten. Ferner kann die Navigationsantwort in einigen Ausführungsformen teilweise oder vollständig basierend auf Kartendaten, einer Position eines Fahrzeugs 200 und/oder einer relativen Geschwindigkeit oder Beschleunigung eines Fahrzeugs 200 zu einem oder mehreren Objekten, die durch Ausführen des monokularen Bildanalysemoduls 402 und/oder des Stereobildanalysemoduls 404 erfasst werden, erzeugt werden. Das Navigationsantwortmodul 408 kann auch gegebene Navigationsantworten basierend auf einer Sensoreingabe (beispielsweise Informationen vom Radar) und Eingaben von anderen Systemen, die in dem Fahrzeug 200 installiert sind, wie etwa dem Drosselsystem 220, dem Bremssystem 230, dem Lenksystem 240 usw., bestimmen. Dann, um eine gegebene Navigationsantwort des Fahrzeugs 200 auszulösen und zu veranlassen, dass das Fahrzeug 200 sein Lenkrad in einem gegebenen Winkel dreht, kann die Verarbeitungseinheit 110 beispielsweise elektronische Signale an das Drosselsystem 220, das Bremssystem 230 und das Lenksystem 240 übertragen. Hier kann die Verarbeitungseinheit 110 in einigen Ausführungsformen eine Ausgabe des Navigationsantwortmoduls 408 (beispielsweise eine gegebene Navigationsantwort) als eine Eingabe zum Ausführen von Anweisungen des Geschwindigkeits-Beschleunigungs-Modul 406 verwenden, das eine Geschwindigkeitsänderung des Fahrzeugs berechnet 200.
13 ist ein Ablaufdiagramm, das eine beispielhafte Verarbeitung 500A zum Erzeugen einer oder mehrerer Navigationsantworten basierend auf monokularer Bildanalyse gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert. Wie gezeigt ist, kann die Verarbeitungseinheit 110 bei Schritt S510 mehrere Bilder mittels der Datenschnittstelle 128 empfangen, die sich zwischen der Verarbeitungseinheit 110 und der Bilderlangungseinheit 120 befindet. Beispielsweise kann eine Kamera, die in der Bilderlangungseinheit 120 beinhaltet ist (beispielsweise die Bilderlangungseinrichtung 122 mit dem Sichtfeld 202), mehrere Bilder in einem von einem vorderen Bereich, beiden seitlichen Bereichen und einem hinteren Bereich des Fahrzeugs 200 aufnehmen und diese Bilder mittels einer Datenverbindung an die Verarbeitungseinheit 110 übertragen. Hier kann die Datenverbindung entweder eine drahtgebundene Verbindung oder eine drahtlose Verbindung sein. Wie später gemäß 14 bis 16 detaillierter beschrieben wird, kann die Verarbeitungseinheit 110 Anweisungen des monokularen Bildanalysemoduls 402 bei Schritt 520 ausführen und die mehreren Bilder analysieren. Anschließend kann die Verarbeitungseinheit 110 durch Durchführen einer Analyse auf diese Weise eine Serie von Merkmalen erfassen, die in einer Serie von Bildern beinhaltet sind, wie etwa Spurmarkierungen, Fahrzeuge, Fußgänger, Straßenzeichen usw. Die Verarbeitungseinheit 110 kann auch eine Serie von Merkmalen erfassen, die in einer Serie von Bildern beinhaltet sind, wie etwa Ausfahrten von Hochgeschwindigkeitsstra-ßen, Ampeln usw.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S520 auch Anweisungen in dem monokularen Bildanalysemodul 402 ausführen, um verschiedene Stra-ßengefahren zu erfassen, wie etwa Teile eines Lastwagenreifens, heruntergefallene Straßenschilder bzw. Straßenzeichen, lose Ladung, kleine Tiere usw. Da Strukturen, Formen und Größen solcher Straßengefahren wahrscheinlich variieren, kann die Erfassung solcher Gefahren schwieriger werden. Da auch die Farben der Straßengefahren variieren können, kann das Erkennen solcher Gefahren wieder schwieriger werden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Anweisungen in dem monokularen Bildanalysemodul 402 ausführen und eine Mehrfachrahmenanalyse durchführen, die mehrere Bilder analysiert, wodurch solche Straßengefahren erfasst werden. Beispielsweise kann die Verarbeitungseinheit 110 die zwischen aufeinanderfolgenden Bildrahmen verursachte Bewegung der Kamera schätzen, eine Parallaxe eines Pixels zwischen Rahmenbildern bzw. Einzelbildern berechnen und eine 3D-Karte einer Straße erstellen. Anschließend kann die Verarbeitungseinheit 110 eine Straßenoberfläche und eine auf der Straßenoberfläche vorhandene Gefahr basierend auf der 3D-Karte erkennen.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S530 Anweisungen des Navigationsantwortmoduls 408 ausführen und veranlasst, dass das Fahrzeug 200 basierend auf der bei Schritt S520 durchgeführten Analyse eine oder mehrere Navigationsantworten zu erzeugen, während die zuvor gemäß 12 beschriebene Technologie verwendet wird. Die Navigationsantwort kann zum Beispiel Abbiegen bzw. Kurvenfahren, Spurwechsel und eine Beschleunigungsänderung oder dergleichen beinhalten. Hier kann die Verarbeitungseinheit 110 in einigen Ausführungsformen eine oder mehrere Navigationsantworten veranlassen, indem Daten verwendet werden, die als Ergebnis der Ausführung von Anweisungen des Geschwindigkeits-Beschleunigungs-Modul 406 erlangt werden. Darüber hinaus können mehrere Navigationsantworten simultan oder in einer Sequenz auftreten. Außerdem können mehrere Navigationsantworten in jeder Kombination dieser Verfahren des Auftretens der Antworten auftreten. Beispielsweise kann die Verarbeitungseinheit 110 veranlassen, dass das Fahrzeug 200 nach dem Wechseln über eine Spur hinweg beschleunigt, indem Steuersignale der Reihe nach sequentiell an das Lenksystem 240 und das Drosselsystem 220 des Fahrzeugs 200 übertragen werden. Alternativ kann die Verarbeitungseinheit 110 das Fahrzeug 200 veranlassen, gleichzeitig zu bremsen und eine Spur zu wechseln, indem simultan Steuersignale an das Bremssystem 230 und das Lenksystem 240 des Fahrzeugs 200 übertragen werden.
14 ist ein Ablaufdiagramm, das auch eine beispielhafte Verarbeitung 500B zum Erfassen eines oder mehrerer Fahrzeuge und/oder Fußgänger in einer Serie von Bildern gemäß einer weiteren Ausführungsform der vorliegenden Offenbarung illustriert. Insbesondere kann die Verarbeitungseinheit 110 Anweisungen des monokularen Bildanalysemoduls 402 ausführen, um die Verarbeitung 500B auszuführen. Das heißt, bei Schritt S540 kann die Verarbeitungseinheit 110 einen Satz von Kandidatenobjekten auswählen, die möglicherweise ein oder mehrere Fahrzeuge und/oder Fußgänger repräsentieren. Beispielsweise kann die Verarbeitungseinheit 110 ein oder mehrere Bilder scannen und die Bilder mit einem oder mehreren gegebenen Mustern vergleichen. Die Verarbeitungseinheit 110 kann dann in jedem Bild einen Ort identifizieren, der möglicherweise ein Objekt von Interesse (beispielsweise das Fahrzeug, den Fußgänger, einen Teil davon) beinhalten kann. Das gegebene Muster kann entworfen werden, um einen Prozentsatz falscher Treffer zu erhöhen, während ein Prozentsatz an Übersehen (beispielsweise verfehlte Identifizierung) verringert wird. Beispielsweise kann die Verarbeitungseinheit 110 einen Schwellenwert verwenden, der weniger Ähnlichkeit mit einem gegebenen Muster zeigt, um die Objekte als mögliche Kandidaten für die Fahrzeuge oder die Fußgänger zu identifizieren. Damit kann die Verarbeitungseinheit 110 die Wahrscheinlichkeit des Übersehens von Kandidatenobjekten reduzieren, die Fahrzeuge oder Fußgänger repräsentieren.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S542 den Satz von Kandidatenobjekten filtern, um gegebene Kandidaten (beispielsweise nicht zugehörige oder irrelevante Objekte) basierend auf einem oder mehreren Klassifizierungskriterien auszuschließen. So eines oder mehrere Kriterien können von verschiedenen Eigenschaften abgeleitet werden, die sich auf einen Objekttyp beziehen, der in einer Datenbank (beispielsweise einer in dem Speicher 140 gespeicherten Datenbank) gespeichert ist. Hier können die verschiedenen Eigenschaften eine Form, eine Abmessung und eine Textur des Objekts beinhalten. Die verschiedenen Eigenschaften können auch eine Position (beispielsweise eine Position relativ zum Fahrzeug 200) des Objekts und dergleichen beinhalten. Somit kann die Verarbeitungseinheit 110 falsche Kandidaten aus dem Satz von Objektkandidaten zurückweisen, indem sie einen oder mehrere Sätze von Kriterien verwendet.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S544 Bilder mehrerer Rahmen analysieren und bestimmen, ob ein oder mehrere Objekte in dem Satz von Kandidatenobjekten Fahrzeuge und/oder Fußgänger darstellen. Beispielsweise kann die Verarbeitungseinheit 110 die in aufeinanderfolgenden Rahmen erfassten Kandidatenobjekte verfolgen und Daten der Objekte (beispielsweise eine Größe, eine Position relativ zum Fahrzeug 200) pro Rahmen akkumulieren. Ferner kann die Verarbeitungseinheit 110 Parameter von einem oder mehreren erfassten Objekten schätzen und Positionsdaten des einen oder der mehreren Objekte, die in jedem Rahmen beinhaltet sind, mit einer oder mehreren geschätzten Positionen vergleichen.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S546 einen Satz von Messwerten von einem oder mehreren erfassten Objekten erzeugen. Solche Messwerte können beispielsweise Positionen, Geschwindigkeiten und Beschleunigungswerte des einen oder der mehreren erfassten Objekte relativ zum Fahrzeug 200 beinhalten. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die Messwerte basierend auf einer Schätztechnologie erzeugen, wie beispielsweise einem Kalman-Filter, einer linearen quadratischen Schätzung (LQE) usw., die eine Serie von zeitbasierten Beobachtungswerten verwendet. Außerdem kann die Verarbeitungseinheit 110 die Messwerte basierend auf verfügbaren Modellierungsdaten unterschiedlicher Objekttypen (beispielsweise Automobile, Lastwagen, Fußgänger, Fahrräder, Straßenzeichen) erzeugen. Das Kalman-Filter kann auf Messwerten von Skalen von Objekten basieren. Solche Skalenmesswerte sind proportional zu einer Zeit bis zur Kollision (beispielsweise einer Zeitdauer, bis ein Fahrzeug 200 das Objekt erreicht). Daher kann die Verarbeitungseinheit 110 durch Ausführen der Schritte von S540 bis S546 Fahrzeuge und Fußgänger, die in der Serie von fotografierten Bildern erscheinen, identifizieren und Informationen (beispielsweise Positionen, Geschwindigkeiten, Größen) der Fahrzeuge und der Fußgänger ableiten. Dann kann die Verarbeitungseinheit 110 basierend auf den auf diese Weise identifizierten und abgeleiteten Informationen das Fahrzeug 200 veranlassen, eine oder mehrere Navigationsantworten zu erzeugen, wie zuvor gemäß 13 beschrieben ist.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S548 eine Analyse des optischen Flusses durchführen, indem sie ein oder mehrere Bilder analysiert und einen falschen Treffer erfasst, wodurch eine Wahrscheinlichkeit verringert wird, dass Kandidatenobjekte, die Fahrzeuge oder Fußgänger repräsentieren, verfehlt werden. Hier kann die Analyse des optischen Flusses eine Analyse zum Analysieren eines Bewegungsmusters relativ zum Fahrzeug 200 sein, das sich von einer Bewegung einer Straßenoberfläche in einem oder mehreren Bildern anderer Fahrzeuge und Fußgänger unterscheidet. Ferner kann die Verarbeitungseinheit 110 die Bewegung des einen oder der mehreren Kandidatenobjekte berechnen, indem sie eine Positionsänderung des einen oder der mehreren Kandidatenobjekte in mehreren Bildrahmen beobachtet, die zu unterschiedlichen Zeiten aufgenommen wurden. Hier kann die Verarbeitungseinheit 110 Positionen und Zeiten als Eingaben für ein mathematisches Modell zum Berechnen der Bewegung des einen oder der mehreren Kandidatenobjekte verwenden. Auf diese Weise kann die Analyse des optischen Flusses ein weiteres Verfahren zum Erfassen von Fahrzeugen und Fußgängern, die sich in der Nähe des Fahrzeugs 200 befinden, bereitstellen. Anschließend kann die Verarbeitungseinheit 110 bei Schritt S548 eine Analyse des optischen Flusses in Kombination mit den Verarbeitungen der Schritte S540 bis S546 durchführen, um Redundanz zum Zweck des Erfassens der Fahrzeuge und der Fußgänger bereitzustellen, wodurch die Zuverlässigkeit des Bildgebungssystems 100 erhöht wird.
15 ist ein Ablaufdiagramm, das eine beispielhafte Verarbeitung 500C zum Erfassen von Straßenmarkierungen und/oder Spurgeometrieinformationen in einem Satz von Bildern gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert. Insbesondere kann die Verarbeitungseinheit 110 Anweisungen des monokularen Bildanalysemoduls 402 ausführen, um die Verarbeitung 500C auszuführen. Daher kann die Verarbeitungseinheit 110 bei Schritt S550 eine Serie von Objekten erfassen, indem sie ein oder mehrere Bilder abtastet. Um Spurmarkierungssegmente, Spurgeometrieinformationen und andere geeignete Straßenmarkierungen zu erfassen, kann die Verarbeitungseinheit 110 die Serie von Objekten filtern und gegebene Objekte ausschließen, die als irrelevant bestimmt wurden (beispielsweise kleine Löcher, kleine Steine). Anschließend kann die Verarbeitungseinheit 110 bei Schritt S552 Segmente gruppieren, die bei Schritt S550 als zu derselben Straßenmarkierung oder Spurmarkierung gehörend erfasst wurden. Basierend auf einer solchen Gruppierung kann die Verarbeitungseinheit 110 ein Modell entwickeln, wie etwa ein mathematisches Modell usw., das die Segmente wie erfasst repräsentiert.
Anschließend kann die Verarbeitungseinheit 110 in Schritt S554 einen Satz von Messwerten der erfassten Segmente erzeugen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Projektion der Segmente erzeugen, wie sie erfasst werden, indem die Segmente von einer Bildebene auf eine reale Ebene projiziert werden. Die Projektion kann charakterisiert werden, indem ein Polynom dritter Ordnung verwendet wird, das aus Koeffizienten zusammengesetzt ist, die physikalischen Eigenschaften entsprechen, wie etwa einer Position, einer Neigung, einer Krümmung, einer Krümmungsdifferenzierung usw. einer erfassten Straße. Beim Erzeugen der Projektion kann die Verarbeitungseinheit 110 Informationen über eine Änderung der Straßenoberfläche und Nick- und Rollraten des Fahrzeugs 200 verwenden. Ferner kann die Verarbeitungseinheit 110 eine Höhe der Straße durch Analysieren von Hinweisen auf eine Position und Bewegung, die auf der Straßenoberfläche vorhanden sind, modellieren. Hier kann der Hinweis auf die Position eine Position, eine Neigung und eine Krümmung einer erfassten Straße sein. Auch ein erfasster Krümmungsdifferenzierungwert der Straße und dergleichen kann der Hinweis sein. Der Hinweis auf die Bewegung beinhaltet eine Nickrate und/oder eine Rollrate eines Fahrzeugs oder dergleichen. Das heißt, basierend auf diesen Hinweisen werden eine Höhe und eine Neigung der Straße geschätzt.
Ferner kann die Verarbeitungseinheit 110 die Nick- und Rollrate des Fahrzeugs 200 schätzen, indem sie einen Satz von Merkmalspunkten verfolgt, die in einem oder mehreren Bildern beinhaltet sind.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S556 eine Mehrfachrahmenanalyse durchführen, beispielsweise durch Verfolgen von Segmenten, die sukzessive in Bildrahmen erfasst werden, und Akkumulieren von Daten der Segmente pro Bildrahmen. Wenn die Verarbeitungseinheit 110 die Mehrfachrahmenanalyse durchführt, kann der bei Schritt S554 erzeugte Satz von Messwerten verlässlicher werden. Dem Satz von Messwerten kann somit ein zunehmend höheres Konfidenzniveau zugewiesen werden. Somit kann die Verarbeitungseinheit 110 durch Ausführen der Schritte von S550 bis S556 Straßenmarkierungen identifizieren, die in dem Satz von Bildern, wie sie aufgenommen sind, erscheinen, wodurch es möglich wird, Spurgeometrieinformationen abzuleiten. Basierend auf Informationen, die auf diese Weise identifiziert und abgeleitet werden, kann die Verarbeitungseinheit 110 das Fahrzeug 200 veranlassen, eine oder mehrere Navigationsantworten zu erzeugen, wie zuvor gemäß 13 beschrieben ist.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S558 zusätzliche Informationsquellen verwenden, um ein Sicherheitsmodell des Fahrzeugs 200 in Hinblick auf Umgebungsbedingungen weiter zu entwickeln. Insbesondere kann die Verarbeitungseinheit 110 eine Bedingung definieren, unter der das Bildgebungssystem 100 unter Verwendung des Sicherheitsmodells eine autonome Steuerung des Fahrzeugs 200 in Sicherheit durchführen kann. Beispielsweise kann die Verarbeitungseinheit 110 in einigen Ausführungsformen zum Entwickeln des Sicherheitsmodells Informationen über eine Position und Bewegung eines anderen Fahrzeugs bzw. Fremdfahrzeugs, einen Rand und eine Barriere einer Straße, wie sie erfasst wurden, und/oder eine Beschreibung einer Form einer allgemeinen Straße, die aus Kartendaten abgeleitet wird, wie etwa Daten in der Kartendatenbank 160 usw. verwenden. Ferner kann die Verarbeitungseinheit 110 durch Verwenden zusätzlicher Informationsquellen eine Redundanz beim Erfassen von Straßenmarkierungen und Spurformen bereitstellen, wodurch eine Zuverlässigkeit des Bildgebungssystems 100 verbessert wird.
16 ist ein Ablaufdiagramm, das eine beispielhafte Verarbeitung 500D zum Erfassen von Verkehrssignalen in einer Serie von Bildern gemäß einer Ausführungsform der vorliegenden Offenbarung Illustriert. Insbesondere kann die Verarbeitungseinheit 110 Anweisungen des monokularen Bildanalysemoduls 402 ausführen und führt die Verarbeitung 500D aus. Daher kann die Verarbeitungseinheit 110 bei Schritt S560 eine Serie von Bildern abtasten und Objekte identifizieren, die an Positionen in dem Bild erscheinen, die wahrscheinlich Verkehrssignale beinhalten. Beispielsweise kann die Verarbeitungseinheit 110 einen Satz von Kandidatenobjekten erzeugen, indem sie eine Filterverarbeitung auf identifizierte Objekte anwendet und zutreffende Objekte ausschließt (das heißt, herausfiltert), die wahrscheinlich nicht einer Verkehrsampel entsprechen. Eine solche Filterung kann basierend auf verschiedenen Eigenschaften einer Verkehrsampel durchgeführt werden, wie etwa einer Form, einer Abmessung, einer Textur, einer Position (beispielsweise Position relativ zu einem Fahrzeug 200) usw. Solche Eigenschaften können in einer Datenbank als mehrere Beispiele von Verkehrssignalen und Verkehrssteuersignalen gespeichert werden. Hier kann die Verarbeitungseinheit 110 in einigen Ausführungsformen eine Mehrfachrahmenanalyse basierend auf einem Satz von Kandidatenobjekten durchführen, die möglicherweise ein Verkehrssignal widerspiegeln. Beispielsweise kann die Verarbeitungseinheit 110 Kandidatenobjekte über aufeinanderfolgende Bildrahmen verfolgen und reale Positionen der Kandidatenobjekte schätzen, wodurch sich bewegende Objekte herausgefiltert werden, die wahrscheinlich keine Ampeln sind. Ferner kann die Verarbeitungseinheit 110 in einigen Ausführungsformen eine Farbanalyse zum Analysieren der Kandidatenobjekte durchführen und relative Positionen von Farben identifizieren, die in einer zutreffenden Verkehrsampel erscheinen und erfasst werden.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S562 eine Form einer Kreuzung analysieren. Die Analyse kann basierend auf einer beliebigen Kombination der unten aufgelisteten ersten bis dritten Informationen durchgeführt werden. Die erste Information ist die Anzahl von Spuren, die auf beiden Seiten eines Fahrzeugs 200 erfasst werden. Die zweiten Informationen sind auf einer Straße erfasste Markierungen, wie beispielsweise Pfeilmarkierungen usw. Die dritte Information ist eine Beschreibung einer Kreuzung, die aus Kartendaten extrahiert wurde, wie etwa Daten, die aus einer Kartendatenbank 160 usw. extrahiert wurden. Dann kann die Verarbeitungseinheit 110 Informationen analysieren, die durch Ausführen von Anweisungen des monokularen Bildanalysemoduls 402 erlangt wurden. Dann kann die Verarbeitungseinheit 110 bei Schritt S560 bestimmen, ob die bei Schritt S560 erfasste Ampel einer oder mehreren Spuren entspricht, die in der Nähe des Fahrzeugs 200 erscheinen.
Anschließend, bei Schritt 564, wenn sich das Fahrzeug 200 einer Einmündung (der Kreuzung) nähert, kann die Verarbeitungseinheit 110 ein Konfidenzniveau aktualisieren, das einer Geometrie der analysierten Kreuzung und einer erfassten Verkehrsampel zugewiesen ist. Das heißt, ein Vergleichsergebnis (das heißt, eine Differenz) zwischen der geschätzten Anzahl von Verkehrsampeln, die an der Kreuzung erscheinen, und der Anzahl von Verkehrsampeln, die tatsächlich an der Kreuzung erscheinen, kann das Konfidenzniveau ändern. Dementsprechend kann die Verarbeitungseinheit 110 gemäß dem Zuverlässigkeitsniveau die Steuerung einem Fahrer des Fahrzeugs 200 anvertrauen, um die Sicherheit zu verbessern. Daher kann die Verarbeitungseinheit 110 die Verkehrsampeln, die in einem Satz von aufgenommenen Bildern erscheinen, identifizieren und die Geometrieinformationen der Kreuzung analysieren, indem sie die Schritte S560 bis S564 ausführt. Anschließend kann die Verarbeitungseinheit 110 basierend auf der Identifikation und der Analyse das Fahrzeug 200 veranlassen, eine oder mehrere Navigationsantworten zu erzeugen, wie zuvor gemäß 13 beschrieben ist.
17 ist ein Ablaufdiagramm, das eine beispielhafte Verarbeitung 500E zum Steuern eines Fahrzeugs 200 illustriert, um eine oder mehrere Navigationsantworten basierend auf einem Kurs des Fahrzeugs zu erzeugen, gemäß einer Ausführungsform der vorliegenden Offenbarung. Das heißt, bei Schritt S570 kann die Verarbeitungseinheit 110 einen Fahrzeugkurs bei einer Anfangsstufe des Fahrzeugs 200 einrichten. Der Fahrzeugkurs kann durch eine Ansammlung von Punkten dargestellt werden, die durch Koordinaten (x, z) dargestellt werden. Bei der Anordnung von Punkten kann ein Abstand „d“ zwischen zwei Punkten im Bereich von etwa 1 Meter bis etwa 5 Meter liegen. In einer Ausführungsform kann die Verarbeitungseinheit 110 den Fahrzeugkurs der Anfangsstufe unter Verwendung von zwei Polynomen eines linken Straßenpolynoms und eines rechten Straßenpolynoms ermitteln (das heißt, konstruieren). Die Verarbeitungseinheit 110 kann geometrische Mittelpunkte berechnen, die jeweils zwischen zwei Punkten definiert sind, die durch Berechnen dieser zwei Polynome erhalten werden, wodurch der Fahrzeugkurs als Berechnungsergebnis erlangt wird. Jedem der geometrischen Mittelpunkte, falls vorhanden, kann ein gegebener Versatz (beispielsweise ein sogenannter smarter Spurversatz) gegeben werden. Wenn also der Versatz null ist, kann das Fahrzeug entsprechend entlang der Mitte der Spuren fahren. Hier kann der Versatz senkrecht zu einem Segment gerichtet sein, das zwischen zwei beliebigen Punkten im Fahrzeugkurs definiert ist. In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 den Fahrzeugkurs basierend auf einem Polynom und einer Hälfte einer geschätzten Spurbreite definieren. Dann wird zu jedem halben Punkt im Fahrzeugkurs ein gegebener Versatz (beispielsweise sogenannter smarter Spurversatz) addiert.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S572 den bei Schritt S570 ermittelten Fahrzeugkurs aktualisieren. Insbesondere kann die Verarbeitungseinheit 110 den bei Schritt S570 erzeugten Fahrzeugkurs rekonstruieren (das heißt, wiederherstellen), indem sie eine höhere Auflösung verwendet, so dass ein Abstand d_k zwischen zwei Punkten in einer Anordnung von Punkten, die den Fahrzeugkurs repräsentieren, kleiner ist als der Abstand di (d) früher beschrieben ist. Beispielsweise kann der Abstand d_k von etwa 0,1 Meter bis etwa 0,3 Meter reichen. Insbesondere kann die Verarbeitungseinheit 110 den Fahrzeugkurs unter Verwendung eines parabolischen Spline-Algorithmus rekonstruieren. Das heißt, mit dem Algorithmus kann die Verarbeitungseinheit 110 einen kumulativen Abstandsvektor S basierend auf einer Ansammlung von Punkten erlangen, die die Gesamtlänge des Fahrzeugkurses darstellen.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S574 einen durch (X₁, Z₁) repräsentierten Vorausschaupunkt in den Koordinaten basierend auf dem Fahrzeugkurs, wie er bei Schritt S572 aktualisiert wurde, bestimmen. Hier kann die Verarbeitungseinheit 110 den Vorausschaupunkt basierend auf dem kumulativen Abstandsvektor S extrahieren. Der Vorausschaupunkt kann ein Vorausschauabstand und eine Vorausschauzeit sein. Der Vorausschauabstand kann als ein Produkt aus einer Geschwindigkeit des Fahrzeugs 200 und der Vorausschauzeit mit einer Untergrenze im Bereich von etwa 10 m bis etwa 20 m berechnet werden. Wenn beispielsweise die Geschwindigkeit des Fahrzeugs 200 abnimmt, kann der Vorausschauabstand beispielsweise auch auf die Untergrenze reduziert werden. Hier kann die Vorausschauzeit im Bereich von etwa 0,5 Sekunden bis etwa 1,5 Sekunden liegen. Die Vorausschauzeit kann umgekehrt proportional zu einer Verstärkung einer oder mehrerer Steuerschleifen sein, wie etwa einer Steuerkursfehlerverfolgungssteuerschleife usw., die beim Erzeugen einer Navigationsantwort in einem Fahrzeug 200 verwendet wird. Beispielsweise kann die Verstärkung der Steuerkursfehlerverfolgungssteuerschleife gemäß einer Bandbreite von jeder von einer Gierratenschleife, einer Lenkaktuatorschleife und einer Dynamik eines Fahrzeugs in seiner seitlichen Richtung oder dergleichen bestimmt werden. Je höher also die Verstärkung der Steuerkursfehlerverfolgungssteuerschleife ist, desto kürzer ist die Vorausschauzeit.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S576 einen Betrag eines Steuerkursfehlers und einen Wert eines Gierratenbefehls basierend auf dem bei Schritt S574 bestimmten Vorausschaupunkt bestimmen. Hier kann die Verarbeitungseinheit 110 das Anwesenheit des Steuerkursfehlers bestimmen, indem sie einen Arkustangens des Vorausschaupunkts berechnet, wie beispielsweise arctan (X₁/Z₁). Ferner kann die Verarbeitungseinheit 110 den Gierratenbefehl als ein Produkt eines Azimutfehlers und hochstufige Steuerungsverstärkung bestimmen. Die hochstufige Steuerungsverstärkung kann gleich einem Wert sein, der als 2/Vorausschauzeit berechnet wird, wenn die Vorausschaudistanz nicht die Untergrenze ist. Wenn im Gegensatz dazu die Vorausschaudistanz die Untergrenze ist, kann die hochstufige Steuerungsverstärkung ein Wert sein, der durch die Formel von 2×Geschwindigkeit eines Fahrzeugs 200/Vorausschaudistanz berechnet wird.
18 ist ein Ablaufdiagramm, das eine beispielhafte Verarbeitung 500F zum Bestimmen, ob ein vorausfahrendes Fahrzeug die Spur wechselt, gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert. Insbesondere kann die Verarbeitungseinheit 110 bei Schritt S580 Navigationsinformationen eines vorausfahrenden Fahrzeugs (beispielsweise eines anderen Fahrzeugs bzw. Fremdfahrzeug, das vor einem eigenen Fahrzeug bzw. Eigenfahrzeug 200 fährt) auswählen. Die Verarbeitungseinheit 110 kann dann eine Position, eine Geschwindigkeit (das heißt, eine Richtung und eine Geschwindigkeit) und/oder eine Beschleunigung des vorausfahrenden Fahrzeugs unter Verwendung der zuvor gemäß 13 und 14 beschriebenen Technologien bestimmen. Ferner kann die Verarbeitungseinheit 110 eines oder mehrere Straßenpolynome, einen Vorausschaupunkt des Fahrzeugs 200 (das heißt, vorausfahrendes Fahrzeug) und/oder eine Schneckenspur (beispielsweise eine Ansammlung von Punkten, die einen Kurs beschreiben, entlang dem das vorausfahrende Fahrzeug fährt) durch Verwenden der zuvor gemäß 17 beschriebenen Technologien bestimmen.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S582 die bei Schritt S580 ausgewählten Navigationsinformationen analysieren. In einer Ausführungsform kann die Verarbeitungseinheit 110 eine Entfernung bzw. einen Abstand entlang einer Straße zwischen der Schneckenspur und dem Straßenpolynom berechnen. Wenn eine solche Abstandsdifferenz entlang der Schneckenspur einen gegebenen Schwellenwert überschreitet, kann die Verarbeitungseinheit 110 bestimmen, dass das vorausfahrende Fahrzeug wahrscheinlich eine Spur wechselt. Hier kann der gegebene Schwellenwert beispielsweise von etwa 0,1 Meter bis etwa 0,2 Meter auf einer geraden Straße, von etwa 0,3 Meter bis etwa 0,4 Meter auf einer mäßig kurvigen Straße und von etwa 0,5 Meter bis etwa 0,6 Meter auf einer stark kurvigen Straße betragen. Andernfalls, wenn mehrere Fahrzeuge erfasst werden, die vor dem Fahrzeug 200 fahren, kann die Verarbeitungseinheit 110 Schneckenspuren dieser Fahrzeuge untereinander vergleichen. Dann kann die Verarbeitungseinheit 110 basierend auf einem Ergebnis des Vergleichs bestimmen, dass eines der Fahrzeuge, dessen Schneckenspur nicht mit der Schneckenspur der anderen Fahrzeuge bzw. Fremdfahrzeuge übereinstimmt, höchstwahrscheinlich die Spur wechselt. Ferner kann die Verarbeitungseinheit 110 eine Krümmung einer Schneckenspur eines führenden Fahrzeugs mit einer erwarteten Krümmung eines Straßenabschnitts vergleichen, entlang dem das führende Fahrzeug fährt. Die erwartete Krümmung kann aus Kartendaten (beispielsweise Daten aus einer Kartendatenbank 160), Polynomen von Straßen und Schneckenspuren anderer Fahrzeuge bzw. Fremdfahrzeuge extrahiert werden. Die erwartete Krümmung kann auch aus Vorwissen über Straßen und dergleichen extrahiert werden. Dann, wenn eine Differenz zwischen der Krümmung der Schneckenspur und der erwarteten Krümmung des Straßenabschnitts einen gegebenen Schwellenwert überschreitet, kann die Verarbeitungseinheit 110 bestimmen, dass das führende Fahrzeug wahrscheinlich die Spur wechselt.
In noch einer weiteren Ausführungsform kann die Verarbeitungseinheit 110 eine momentane Position eines vorausfahrenden Fahrzeugs mit einem Vorausschaupunkt des Fahrzeugs 200 für eine gegebene Periode (beispielsweise etwa 0,5 Sekunden bis etwa 1,5 Sekunden) vergleichen. Dann, wenn ein Abstand zwischen der momentanen Position des vorausfahrenden Fahrzeugs und dem Vorausschaupunkt während der gegebenen Periode variiert und eine kumulative Summe von Schwankungen des Abstands einen gegebenen Schwellenwert überschreitet, kann die Verarbeitungseinheit 110 bestimmen, dass das vorausfahrende Fahrzeug wahrscheinlich die Spur wechselt. Hier kann der gegebene Schwellenwert beispielsweise von etwa 0,3 Meter bis etwa 0,4 Meter auf einer geraden Straße, von etwa 0,7 Meter bis etwa 0,8 Meter für eine mäßig kurvige Straße und von etwa 1,3 Meter bis etwa 1,7 Meter auf einer stark kurvigen Straße betragen. In noch einer anderen Ausführungsform kann die Verarbeitungseinheit 110 eine Geometrie der Schneckenspur analysieren, indem sie einen seitlichen Abstand, mit dem ein vorausfahrendes Fahrzeug entlang der Schneckenspur gefahren ist, mit einer erwarteten Krümmung der Schneckenspur vergleicht. Hier kann ein Radius der erwarteten Krümmung durch die nachfolgend aufgeführte Berechnungsformel berechnet werden, wobei δ_x eine horizontale Fahrstrecke darstellt und δ_z eine Längsfahrstrecke darstellt: (δ_z ² + δ_x ²)/2/(δ_x). Wenn daher eine Differenz zwischen dem seitlichen Fahrabstand und dem erwarteten Krümmungsradius einen gegebenen Schwellenwert (beispielsweise von etwa 500 Metern bis etwa 700 Meter) überschreitet, kann die Verarbeitungseinheit 110 bestimmen, dass das vorausfahrende Fahrzeug wahrscheinlich die Spur wechselt. In noch einer anderen Ausführungsform kann die Verarbeitungseinheit 110 eine Position eines vorausfahrenden Fahrzeugs analysieren. Insbesondere wenn die Position des vorausfahrenden Fahrzeugs ein Straßenpolynom verdeckt (beispielsweise das vorausfahrende Fahrzeug dem Straßenpolynom als Ergebnis einer Berechnung überlagert ist), kann die Verarbeitungseinheit 110 bestimmen, dass das vorausfahrende Fahrzeug wahrscheinlich die Spur wechselt. Wenn in noch einer anderen Ausführungsform ein anderes Fahrzeug vor dem vorausfahrenden Fahrzeug erfasst wird und Schneckenspuren dieser zwei Fahrzeuge nicht parallel zueinander sind, kann die Verarbeitungseinheit 110 bestimmen, dass das dem eigenen Fahrzeug nähere vorausfahrende Fahrzeug wahrscheinlich die Spur wechselt.
Daher kann die Verarbeitungseinheit 110 bei Schritt S584 basierend auf der bei Schritt S582 durchgeführten Analyse bestimmen, ob das vorausfahrende Fahrzeug 200 die Spur wechselt. Hier kann die Verarbeitungseinheit 110 eine Bestimmung durch Gewichtung und Mittelwertbildung einzelner Analysen vornehmen, die bei Schritt S582 durchgeführt werden. Beispielsweise kann in einem solchen Verfahren ein Wert 1 (eins) einer Bestimmung, die von der Verarbeitungseinheit 110 basierend auf einem gegebenen Analysetyp durchgeführt wird, dass das vorausfahrende Fahrzeug wahrscheinlich eine Spur wechselt, zugewiesen werden. Im Gegensatz dazu wird ein Wert 0 (Null) einer von der Verarbeitungseinheit 110 durchgeführten Bestimmung zugewiesen, dass es unwahrscheinlich ist, dass ein vorausfahrendes Fahrzeug die Spur wechselt. Ferner können den unterschiedlichen Analysen, die bei Schritt S582 durchgeführt werden, unterschiedliche Gewichtungen zugewiesen werden. Das heißt, jede der Ausführungsformen der vorliegenden Offenbarung ist nicht auf eine spezifische Kombination von Analysen und Gewichtungen beschränkt.
19 ist ein Ablaufdiagramm, das eine beispielhafte Verarbeitung 600 zum Veranlassen einer oder mehrerer Navigationsantworten basierend auf Stereobildanalyse gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert. Insbesondere kann die Verarbeitungseinheit 110 bei Schritt S610 erste und zweite mehrere Bilder über die Datenschnittstelle 128 empfangen. Beispielsweise kann eine in der Bilderlangungseinheit 120 beinhaltete Kamera (beispielsweise die Bilderlangungseinrichtung 122 oder 124 mit dem Sichtfeld 202 oder 204) mehrere Bilder einer Region vor dem Fahrzeug 200 aufnehmen und die Bilder an die Verarbeitungseinheit 110 mittels eines digitalen Verbindungssystems übertragen. Hier kann das digitale Verbindungssystem ein verdrahtetes Verbindungssystem oder ein drahtloses Verbindungssystem sein. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die ersten und zweiten mehreren Bilder mittels zwei oder mehr Datenschnittstellen empfangen. Die vorliegende Offenbarung ist jedoch nicht auf eine bestimmte Datenschnittstelle beschränkt. Außerdem ist die vorliegende Offenbarung nicht auf ein bestimmtes Protokoll beschränkt.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S620 Anweisungen des Stereobildanalysemoduls 404 ausführen und eine Stereobildanalyse der ersten und zweiten mehreren Bilder durchführen. Die Verarbeitungseinheit 110 kann dann eine 3D-Karte einer Region einer Straße vor dem Fahrzeug erstellen und in den Bildern beinhaltete Merkmale, wie etwa Spurzeichen, Fahrzeuge, Fußgänger usw., erfassen. Die Verarbeitungseinheit 110 kann auch Straßenzeichen, Autobahnausfahrten und Ampeln als die Merkmale in den Bildern basierend auf der 3D-Karte erfassen. Die Verarbeitungseinheit 110 kann ferner Straßengefahren und dergleichen als die Merkmale in den Bildern basierend auf der 3D-Karte erfassen. Die Stereobildanalyse kann im Wesentlichen ähnlich durchgeführt werden, wie sie in zutreffenden Schritten ausgeführt wird, wie sie zuvor gemäß 13 bis 16 beschrieben sind. Beispielsweise führt die Verarbeitungseinheit 110 Anweisungen des Stereobildanalysemoduls 404 aus und erfasst Kandidatenobjekte (beispielsweise Fahrzeuge, Fußgänger, Straßenmarkierungen, Verkehrsampeln, Straßengefahren usw.), die in den ersten und zweiten mehreren Bildern beinhaltet sind. Die Verarbeitungseinheit 110 filtert dann einen Teilsatz von Kandidatenobjekten heraus, indem sie eines von verschiedenen Kriterien verwendet, und führt eine Mehrfachrahmenanalyse zum Analysieren verbleibender Kandidatenobjekte durch. Die Verarbeitungseinheit 110 erlangt dann Messungen und bestimmt deren Konfidenzgrad. Hier kann die Verarbeitungseinheit 110 bei Schritt S620 (das heißt, Analyse von Navigationsinformationen) Informationen von sowohl den ersten als auch den zweiten mehreren Bildern anstelle von Informationen von nur einem Satz von mehreren Bildern verwenden. Beispielsweise kann die Verarbeitungseinheit 110 einen Unterschied in Pixeldaten zwischen Kandidatenobjekten analysieren, die in jedem der ersten und zweiten mehreren Bilder erscheinen. Alternativ kann die Verarbeitungseinheit 110 einen Unterschied in dem Datenteilsatz zwischen zwei Strömen aufgenommener Bilder von Kandidatenobjekten analysieren, die in jedem der ersten und zweiten mehreren Bilder erscheinen. Als noch ein weiteres Beispiel kann die Verarbeitungseinheit 110 eine Position und/oder eine Geschwindigkeit der Kandidatenobjekte relativ zu dem Fahrzeug 200 durch Beobachten eines Ereignisses schätzen, bei dem ein Kandidatenobjekt in einem der mehreren Bilder erscheint, aber nicht in den anderen mehreren Bildern erscheint. Alternativ kann eine Position und/oder eine Geschwindigkeit des Kandidatenobjekts relativ zu dem Fahrzeug 200 basierend auf anderen Unterschieden eines Objekts, das in zwei Bildströmen erscheint, geschätzt werden. Beispielsweise können die Position, die Geschwindigkeit und/oder eine Beschleunigung relativ zu dem Fahrzeug 200 basierend auf einer Ortskurve, einer Position und Bewegungseigenschaften des Objekts, das als ein Merkmal in beiden Bildströmen oder dergleichen erscheint, bestimmt werden.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S630 Anweisungen des Navigationsantwortmoduls 408 ausführen, um zu veranlassen, dass das Fahrzeug 200 basierend auf der bei Schritt S620 durchgeführten Analyse und den vorhergehend gemäß 4 beschriebenen Technologien eine oder mehrere Navigationsantworten erzeugt. Hier können die Navigationsantworten beispielsweise Abbiegen bzw. Kurvenfahren, Spurwechsel und Beschleunigungsänderungen beinhalten. Die Navigationsantworten können auch Geschwindigkeitsänderungen und Bremsen oder dergleichen beinhalten. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Daten verwenden, die als Ergebnis der Ausführung von Anweisungen des Geschwindigkeits-Beschleunigungs-Modul 406 erlangt wurden. Daher können Daten, die als Ergebnis der Ausführung der Anweisung des Geschwindigkeits-Beschleunigungs-Modul 406 erlangt werden, verwendet werden, um das Fahrzeug 200 zu veranlassen, eine oder mehrere Navigationsantworten zu erzeugen. Hier können mehrere Navigationsantworten simultan, der Reihe nach oder in einem Verfahren einer beliebigen Kombination davon erzeugt werden.
20 ist ein Ablaufdiagramm, das eine beispielhafte Verarbeitung 700 zum Veranlassen eines Fahrzeugs 200, eine oder mehrere Navigationsantworten basierend auf einer Analyse von drei Sätzen von Bildern zu erzeugen, gemäß einer Ausführungsform der vorliegenden Offenbarung illustriert. Insbesondere kann die Verarbeitungseinheit 110 bei Schritt S710 erste, zweite und dritte mehrere Bilder mittels der Datenschnittstelle 128 empfangen. Zum Beispiel können Kameras, die in der Bilderlangungseinheit 120 beinhaltet sind, wie etwa eine Bilderlangungseinrichtung 122, 124 und 126 mit Sichtfeldern 202, 204 und 206 usw., mehrere Bilder von vorderen und/oder seitlichen Bereichen des Fahrzeugs 200 aufnehmen und die Bilder mittels einer digitalen Verbindung an die Verarbeitungseinheit 110 senden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 mehrere erste, zweite und dritte Bilder mittels drei oder mehr Datenschnittstellen empfangen. Beispielsweise kann jede der Bilderlangungseinrichtungen 122, 124 und 126 eine Datenschnittstelle zum Kommunizieren von Daten an die Verarbeitungseinheit 110 aufweisen. Die vorliegende Offenbarung ist jedoch nicht auf irgendeine gegebene Datenschnittstelle oder sogar ein bestimmtes Protokoll beschränkt.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt 720 erste, zweite und dritte mehrere Bilder analysieren und erfasst in den Bildern beinhaltete Merkmale, wie Spurzeichen, Fahrzeuge, Fußgänger usw. Die Verarbeitungseinheit 110 erfasst ferner Merkmale, die in den Bildern beinhaltet sind, wie etwa Straßenzeichen, Autobahnausfahrten, Ampeln usw. Die Verarbeitungseinheit 110 erfasst ferner Merkmale, die in den Bildern beinhalten sind, wie etwa Straßengefahren usw. Eine solche Analyse kann im Wesentlichen ähnlich wie in den zuvor gemäß 13 bis 16 und 19 beschriebenen Schritten durchgeführt werden. Das heißt, die Verarbeitungseinheit 110 kann beispielsweise eine monokulare Bildanalyse zum Analysieren jedes der ersten, zweiten und dritten mehreren Bilder durchführen. Hier kann die monokulare Bildanalyse durchgeführt werden, indem Anweisungen des monokularen Bildanalysemoduls 402 ausgeführt werden und die Schritte wie zuvor gemäß 13 bis 16 beschrieben durchgeführt werden. Alternativ kann die Verarbeitungseinheit 110 eine Stereobildanalyse zum Analysieren einer ersten Kombination der ersten und zweiten mehreren Bilder, einer zweiten Kombination der zweiten und dritten mehreren Bilder und/oder einer dritten Kombination der ersten und dritten mehreren Bilder durchführen. Hier wird die Stereobildanalyse durch Ausführen von Anweisungen des Stereobildanalysemoduls 404 und Durchführen der Schritte, wie zuvor gemäß 19 beschrieben, durchgeführt. Informationen, die entsprechend der Analyse zum Analysieren der ersten, zweiten und/oder dritten mehreren Bilder verarbeitet werden, können kombiniert werden. Ferner kann die Verarbeitungseinheit 110 in einigen Ausführungsformen eine Kombination der monokularen und der Stereobildanalyse durchführen. Beispielsweise kann die Verarbeitungseinheit 110 eine monokulare Bildanalyse durch Analysieren der ersten mehreren Bilder und eine Stereobildanalyse durch Analysieren der zweiten und dritten mehreren Bilder durchführen. Hier wird die monokulare Bildanalyse durch Ausführen von Anweisungen des monokularen Bildanalysemoduls 402 ausgeführt. Außerdem wird die Stereobildanalyse durch Ausführen von Anweisungen des Stereobildanalysemoduls 404 ausgeführt. Hier können Positionen der Bilderlangungseinrichtungen 122, 124 und 126 und deren Sichtfelder 202, 204 und 206 die Auswahl eines Analysetyps zum Analysieren der ersten, zweiten und dritten mehreren Bilder beeinflussen. Die bisher offenbarte vorliegende Offenbarung ist jedoch nicht auf eine spezifische Bilderlangungseinrichtung 122, 124 oder 126 oder einen Analysetyp beschränkt, der für erste, zweite und dritte mehrere Bilder durchgeführt wird.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 das Bildgebungssystem 100 basierend auf Bildern testen, die in den Schritten S710 und S720 erlangt und analysiert wurden. Ein solcher Test kann einen Indikator bereitstellen, der die Gesamtleistung des Bildgebungssystems 100 in Bezug auf die Bilderlangungseinrichtungen 122, 124 und 126 angibt und gegebene Konfigurationen hat. Beispielsweise kann die Verarbeitungseinheit 110 einen Prozentsatz von jedem falschen Treffer und Fehler bestimmen. Hier repräsentiert der falsche Treffer eine Situation, in der das Bildgebungssystem 100 fälschlicherweise eine Anwesenheit eines Fahrzeugs oder eines Fußgängers bestimmt. Der Fehler besteht darin, ein solches Objekt zu übersehen.
Anschließend kann die Verarbeitungseinheit 110 bei Schritt S730 das Fahrzeug 200 veranlassen, eine oder mehrere Navigationsantworten basierend auf Informationen zu erzeugen, die entweder aus allen ersten, zweiten und dritten mehreren Bildern oder aus beliebigen zwei der ersten, zweiten und dritten mehreren Bildern erlangt werden. Hier kann eine Auswahl solcher zwei Gruppen mehrerer Bilder aus den ersten, zweiten und dritten mehreren Bildern mindestens von einem der Faktoren in Bezug auf das Objekt abhängen. Beispielsweise beinhaltet der Faktor die Anzahl, einen Typ und eine Größe von Objekten, die in jedem der mehreren Bilder oder dergleichen erfasst werden. Außerdem kann die Verarbeitungseinheit 110 zwei Gruppen solcher mehreren Bilder basierend auf Bildqualität, Auflösung und einem in einem Bild reflektierten effektiven Sichtfeld auswählen. Die Verarbeitungseinheit 110 kann solche zwei Gruppen auch basierend auf der Anzahl der aufgenommenen Rahmen und einem Grad der tatsächlichen Anwesenheit (das heißt, des Erscheinens) eines oder mehrerer Objekte von Interesse in einem Rahmen oder dergleichen auswählen. Hier bedeutet der Grad der tatsächlichen Anwesenheit in einem Rahmen entweder eine Häufigkeit von Rahmen, in denen Objekte erscheinen, oder ein Verhältnis einer Größe eines Objekts zu einer Gesamtgröße des Rahmens, in dem das Objekt erscheint, und dergleichen.
Ferner kann die Verarbeitungseinheit 110 in einigen Ausführungsformen zwei Gruppen von mehreren Bildern aus den ersten, zweiten und dritten mehreren Bildern basierend auf einem Grad auswählen, in dem von einer Bildquelle abgeleitete Informationen mit von einer anderen Bildquelle abgeleiteten Informationen übereinstimmen. Beispielsweise kann die Verarbeitungseinheit 110 Informationen verarbeiten, die von jeder der Bilderlangungseinrichtungen 122, 124 und 126 abgeleitet werden, und einen visuellen Indikator identifizieren, der konsistent in den Gruppen von mehreren Bildern erscheint, die von den Bilderlangungseinrichtungen 122, 124 und 126 aufgenommen wurden, basierend auf einer Kombination dieser Information. Hier beinhaltet der visuelle Indikator Spurmarkierungen, ein Fahrzeug und seine Position und/oder seinen Kurs, wie erfasst, und eine Verkehrsampel, wie erfasst, oder dergleichen.
Beispielsweise kann die Verarbeitungseinheit 110 Informationen kombinieren, die von jeder der Bilderlangungseinrichtungen 122, 124 und 126 abgeleitet und verarbeitet werden. Die Verarbeitungseinheit 110 kann dann die Anwesenheit eines visuellen Indikators in den Gruppen von mehreren Bildern bestimmen, die von den Bilderlangungseinrichtungen 122, 124 und 126 aufgenommen wurden und miteinander konsistent sind. Insbesondere kombiniert die Verarbeitungseinheit 110 Informationen (das heißt, eine Gruppe von mehreren Bildern), die von jedem der Bilderlangungseinrichtungen 122, 124 und 126 abgeleitet und verarbeitet wurden, ungeachtet dessen, ob eine monokulare Analyse, Stereoanalyse oder irgendeine Kombination der zwei Analysen durchgeführt wird. Hier repräsentieren die visuellen Indikatoren, die in den von den Bilderlangungseinrichtungen 122, 124 und 126 aufgenommenen Bildern beinhaltet sind und miteinander konsistent sind, eine Spurmarkierung, ein erfasstes Fahrzeug, eine Position des Fahrzeugs und/oder einen Kurs des Fahrzeugs. Ein solcher visueller Indikator kann auch eine erfasste Ampel oder dergleichen sein. Ferner kann die Verarbeitungseinheit 110 Informationen (das heißt, eine Gruppe mehrerer Bilder) ausschließen, die mit den anderen Informationen inkonsistent sind. Hier können die inkonsistenten Informationen ein Fahrzeug sein, das eine Fahrspur wechselt, ein Spurmodell, das angibt, dass ein Fahrzeug zu nahe am Fahrzeug 200 fährt, usw. Auf diese Weise kann die Verarbeitungseinheit 110 Informationen (das heißt, eine Gruppe von mehreren Bildern), die von zwei Gruppen der ersten, zweiten und dritten mehreren Bilder abgeleitet werden, basierend auf der Bestimmung von Konsistenz und Inkonsistenz auswählen.
Die Navigationsantwort kann Abbiegen bzw. Kurvenfahren, Spurwechsel und eine Beschleunigungsänderung oder dergleichen beinhalten. Die Verarbeitungseinheit 110 kann das Fahrzeug 200 veranlassen, basierend auf der Analyse, die bei Schritt S720 ausgeführt wird, und den Technologien, wie sie vorhergehend gemäß 4 beschrieben sind, eine oder mehrere Navigationsantworten zu erzeugen. Die Verarbeitungseinheit 110 kann das Fahrzeug 200 auch veranlassen, eine oder mehrere Navigationsantworten zu erzeugen, indem Daten verwendet werden, die durch Ausführen von Anweisungen des Geschwindigkeits-Beschleunigungs-Modul 406 erlangt werden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 das Fahrzeug 200 veranlassen, eine oder mehrere Navigationsantworten basierend auf einer relativen Position, einer relativen Geschwindigkeit und/oder einer relativen Beschleunigung zwischen dem Fahrzeug 200 und einem Objekt zu erzeugen, das in einem der ersten, zweiten und dritten mehreren Bildern erfasst wird. Diese mehreren Navigationsantworten können simultan, in einer Sequenz oder in irgendeiner Kombination dieser Reihenfolgen auftreten.
21 ist ein Diagramm, das schematisch Komponenten einer beispielhaften Bildgebungsvorrichtung 2500 illustriert, die als eine Bilderlangungseinrichtung verwendet wird. Die beispielhafte Bildgebungsvorrichtung 2500 beinhaltet ein Linsensystem 1200, das an einen Bildsensor 2100 gekoppelt ist, der als ein Bildgebungssystem fungiert. Das Linsensystem 1200 ist in einem Objektivtubus 1202 aufgenommen, der ein vorderes Abdeckglas 1204 und ein hinteres Abdeckglas 1218 aufweist. Das beispielhafte Linsensystem 1200 beinhaltet eine synthetische Linse, die eine erste bikonvexe Linse 1206, eine zweite bikonvexe Linse 1208, eine erste positive Meniskuslinse 1210 und eine bikonvexe Linse 1212 beinhaltet. Das beispielhafte Linsensystem 1200 beinhaltet auch eine zweite positive Meniskuslinse 1214. Das Linsensystem 1200 beinhaltet auch einen Sperrfilter 1216, der IR- (Infrarot) und UV- (Ultraviolett) Licht eines Spektralbereichs dämpft, das von dem Linsensystem 1200 auf den Bildsensor 2100 projiziert wird. Da das Linsensystem 1200 so konfiguriert ist, dass es eine relativ große MTF (Modulationsübertragungsfunktion) bereitstellt, wenn es Licht in einem Spektralbereich von Rot bis Grün empfängt, kann der Sperrfilter 1216 so konfiguriert sein, dass er mindestens einen Teil des Lichts in einem Spektralbereich von Blau zusätzlich zum Licht in den Spektralbereichen von IR und UV dämpft. Hier kann mindestens eine der bikonvexen Linsen 1206, 1208 und 1212, der ersten positiven Meniskuslinse 1210 und der zweiten positiven Meniskuslinse 1214 als Linsenelement entweder sphärisch oder asphärisch sein. Das Linsenelement, das die Linse bildet, das heißt, die positive Meniskuslinse 1210 und die bikonvexe Linse 1212 können unter Verwendung von optischem Zement verbunden oder durch Luft voneinander getrennt werden. Eine solche Linsenkonfiguration ist jedoch nur ein Beispiel und kann optional geändert werden. Das heißt, anstelle des Linsensystems 1200 können andere Konfigurationen verwendet werden, die Entwurfsregeln erfüllen, wie sie nachstehend unter Bezugnahme auf die Tabellen 1, 2 und 3 beschrieben werden.
Ferner kann die Bildgebungsvorrichtung 2500 auch ein Gehäuse 1222, ein Farbfilterarray 2300 und einen APS-Bildsensor (im Folgenden einfach als Bildsensor bezeichnet) 1226 beinhalten. Der Bildsensor kann ein CMOS-Sensor (Complementary Metal Oxide Semiconductor) sein. Hier ist eine relative Größe sowohl des Farbfilterarrays 2300 als auch des Bildsensors 1226 zum leichteren Verständnis der Bildgebungsvorrichtung 2500 übertrieben dargestellt. Der Bildsensor 1226 ist relativ zu dem Linsensystem 1200 in dem Gehäuse 1222 positioniert, so dass ein Bild von einer Szene mittels des Farbfilterarrays 2300 auf eine obere Oberfläche des Bildsensors 1226 fokussiert wird. Vom Bildsensor 1226 aufgenommene Pixeldaten werden einer Verarbeitungsschaltung 2400 bereitgestellt. Die Verarbeitungsschaltung 2400 wird aktiviert, um die Operation des Bildsensors 1226 zu steuern.
Bei einer Automobilanwendung können Bilddaten in einem blauen Spektralbereich manchmal weniger wichtig sein als Bilddaten in einem roten bis grünen Spektralbereich. Im Allgemeinen besteht ein Weg zum Verbessern einer Quanteneffizienz einer Bildgebungseinrichtung ohne Erhöhen der Anzahl von Aperturen einer Linse darin, eine Linse zu entwerfen, um ein klareres Bild in einem roten bis grünen Spektralbereich als in dem blauen Spektralbereich zu erzeugen, während ein Farbfilter adaptiv zur Linse eingesetzt wird. Es ist jedoch nicht immer erforderlich, ein solches Verfahren zur Verbesserung der Quanteneffizienz der Bildgebungseinrichtung anzuwenden, indem die Linse auf diese Weise entworfen bzw. gestaltet wird. Das heißt, wenn eine Wichtigkeit der Bilddaten im blauen Spektralbereich nicht kleiner ist als eine Wichtigkeit der Bilddaten im roten bis grünen Spektralbereich, muss das Sperrfilter 1216 nicht konfiguriert werden, um Licht im blauen Spektralbereich zu dämpfen.
Hier kann das in 21 als ein Beispiel illustrierte Linsensystem 1200 gemäß den in Tabelle 1 von 22, Tabelle 2 von 23 und Tabelle 3 von 4 illustrierten Entwurfsregeln entworfen werden. Von diesen Tabellen illustriert die Tabelle 1 die Gewichtung einer Wellenlänge, die beim Linsenentwurf verwendet wird. Die Tabelle 2 veranschaulicht eine polychromatische MTF, die beim Linsenentwurf verwendet wird, bei dem eine Wellenlänge wie in Tabelle 1 illustriert gewichtet ist. Die Tabelle 3 illustriert einen Parameter des Sperrfilters 1216, der konfiguriert ist, um sowohl UV-Licht mit einer Wellenlänge kleiner als eine Grenzwellenlänge im Bereich von etwa 395 nm bis etwa 410 nm und IR-Licht mit einer Wellenlänge größer als die Grenzwellenlänge im Bereich von etwa 690 nm bis etwa 705 nm zu dämpfen. Wie vorstehend beschrieben ist, kann der Sperrfilter 1216 in einigen Ausführungsformen so konfiguriert sein, dass er Licht mit einer Wellenlänge von weniger als etwa 500 nm dämpft, wodurch nicht nur Licht im Spektralbereich von blau bis violett, sondern auch Licht im UV-Spektralbereich gedämpft wird.
Ferner spezifiziert die oben beschriebene Entwurfsregel ein Linsensystem, bei dem ein optischer Brennpunkt von Licht im Spektralbereich von Rot bis Grün stärker als andere in einem Sichtfeld von etwa 60 Grad betont wird. Zusätzlich legen die Gewichtungsentwurfsregeln von Tabelle 1 einen höheren Wert auf eine Wellenlänge von Gelb als auf Wellenlängen von Rot und Blau. Auf diese Weise spezifiziert eine in den Tabellen 1 bis 3 gezeigte Sichtfeldentwurfsregel eine relativ höhere MTF für Licht im Spektralbereich zumindest von Rot bis Grün im gesamten Sichtfeld des Linsensystems. Ein solches Linsensystem wird von der Verarbeitungsschaltung 2400 verwendet, die in der Bildgebungsvorrichtung 2500 beinhaltet ist, und kann Elemente von Interesse identifizieren, die in dem gesamten Sichtfeld der Bildgebungsvorrichtung 2500 beinhaltet sind.
25 illustriert ein Beispiel des Bildsensors 2100, der ein Pixelarray 2105, eine mit dem Pixelarray 2105 gekoppelte Leseschaltung 2170 und eine mit dem Pixelarray 2105 gekoppelte Steuerschaltung 2120 beinhaltet. Hier beinhaltet das Pixelarray 2105 entweder einzelne Bildsensoren mit X Pixelspalten und Y Pixelreihen oder ein zweidimensionales (2D) Array, das aus Pixeln (beispielsweise Pixeln P1, P2, ... Pn) besteht. Das Pixelarray 2105 fungiert entweder als Bildsensor mit Vorderseitenbeleuchtung, wie in 26 illustriert ist, oder als Bildsensor mit Rückseitenbeleuchtung, wie in 27 dargestellt. Wie illustriert ist, ist jedes Pixel P des Arrays 2105 in Reihen (beispielsweise Reihen von R1 bis Ry) und Spalten (beispielsweise Spalten von C1 bis Cx) angeordnet, um Bilddaten einer Person, einer Position und/oder eines Objekts zu erlangen. Dann rendern diese Pixel P ein 2D-Bild der Person, des Ortes und/oder des Objekts basierend auf den Bilddaten. Wie später weiter beschrieben wird, kann das Pixelarray 2105 jedem Pixel P eine Farbe zuweisen, indem ein Farbfilterarray 2300 verwendet wird, das mit dem Pixelarray 2105 gekoppelt ist. Hier dient ein einzelnes Pixel als einzelner Punkt in einem Farbbild, das aus einer Ansammlung von Punkten besteht. Eine Farbfiltereinheit (ein einzelner Farbfilter, ein Farbfilter), die später im Detail beschrieben wird, entspricht dem einzelnen Pixel.
Wenn daher jedes Pixel des Pixelarrays 2105 Bilddaten erlangt hat (das heißt, eine elektrische Bildladung), werden die Bilddaten dann von der Leseschaltung 2170 gelesen. Die Bilddaten werden dann zum Zwecke der Speicherung und zusätzlichen Verarbeitung oder dergleichen an die Verarbeitungsschaltung 2400 übertragen. Die Leseschaltung 2170 beinhaltet eine Verstärkerschaltung und eine Analog-/Digital-Wandlungsschaltung (ADC) oder andere Schaltungen. Die Verarbeitungsschaltung 2400 ist mit der Leseschaltung 2170 gekoppelt. Die Verarbeitungsschaltung 2400 führt eine Funktionslogik aus. Die Verarbeitungsschaltung 2400 kann die Bilddaten verarbeiten (oder manipulieren), indem sie darauf eine Zuschneideverarbeitung, einen Drehverarbeitung und eine Verarbeitung zum Entfernen roter Augen als Bildnachbearbeitung anwendet, während sie die Bilddaten speichert. Die Verarbeitungsschaltung 2400 kann die Bilddaten auch verarbeiten oder manipulieren, indem sie darauf eine Helligkeitseinstellverarbeitung und eine Kontrasteinstellverarbeitung oder dergleichen als Bildnachbearbeitung anwendet, während sie die Bilddaten speichert. In einer Ausführungsform wird die Verarbeitungsschaltung 2400 auch verwendet, um die Bilddaten zu verarbeiten, um Rauschen fester Muster zu korrigieren (das heißt, zu reduzieren oder zu entfernen). Ferner wird die mit dem Pixelarray 2105 gekoppelte Steuerschaltung 2120 zum Zwecke des Steuerns von Operationseigenschaften des Pixelarrays 2105 verwendet. Beispielsweise erzeugt die Steuerschaltung 2120 ein Verschlusssignal zum Steuern der Bilderlangung durch das Pixelarray 2105.
26 ist eine Querschnittsansicht, die ein Paar von beispielhaften Vorderseitenbeleuchtungspixel (im Folgenden als FSI-Pixel bezeichnet) 2200 illustriert, die in einem CMOS-Bildsensor beinhalten sind. Hier ist eine Vorderseite des FSI-Pixels 2200 eine Seite eines Substrats 2202, auf der sowohl ein fotoelektrisches Umwandlungselement 2204 und eine entsprechende Pixelschaltung, um kollektiv als eine optische Messregion zu dienen, als auch ein Metallstapel 2206, um die Signale weiterzuverteilen, in dieser Reihenfolge ausgebildet sind. Der Metallstapel 2206 beinhaltet Metallschichten M1 und M2, die jeweils ein Muster bilden, um einen optischen Durchgang zu auszubilden. Somit erreicht Licht, das auf das FSI-Pixel 2200 einfällt, durch diesen Durchgang das fotoelektrische Umwandlungselement 2204. Um als Farbbildsensor zu fungieren, beinhaltet die Vorderseite des FSI-Pixels 2200 ein Farbfilterarray 2300. Das Farbfilterarray 2300 beinhaltet Primärfarbeneinzelfarbfilter 2303. Der Primärfarbeneinzelfarbfilter 2303 ist unterhalb einer Mikrolinse 2207 angeordnet, die einfallendes Licht am fotoelektrischen Umwandlungselement 2204 effektiv konvergiert. Hier illustriert eine Querschnittsansicht von 26 der Einfachheit halber nur zwei Primärfarbeneinzelfarbfilter 2303. Das Farbfilterarray 2300 beinhaltet eine Minimalwiederholungseinheit 2302, wie später detaillierter beschrieben wird.
27 ist eine Querschnittsansicht, die ein Paar von beispielhaften Rückseitenbeleuchtungspixeln (im Folgenden einfach als ein BSI-Pixel bezeichnet) 2250 illustriert, die in einem CMOS-Bildsensor gemäß einer Ausführungsform der vorliegenden Offenbarung beinhaltet sind. Im Gegensatz zu einer in 26 illustrierten Situation ist eine Vorderseite des BSI-Pixels 2250 eine Seite des Farbfilters 2303, auf der ein Substrat 2202, beide von fotoelektrischen Umwandlungselementen 2204 und eine entsprechende Pixelschaltung und ein Metallstapel 2206 zum Weiterverteilen von Signalen in dieser Reihenfolge ausgebildet sind.
Um einen Farbbildsensor zu bilden, beinhaltet die Rückseite des BSI-Pixels 2250 ein Farbfilterarray 2300. Das Farbfilterarray 2300 beinhaltet Primärfarbeneinzelfarbfilter 2303. Der Primärfarbeneinzelfarbfilter 2303 ist unterhalb der Mikrolinse 2207 angeordnet. Jedoch illustriert eine Querschnittsansicht von 27 der Einfachheit halber nur zwei Primärfarbeneinzelfarbfilter 2303. Hier ist das Farbfilterarray 2300 ein Farbfilterarray, das aus einer der später detaillierter beschriebenen Minimalwiederholungseinheiten ausgebildet ist. Die Mikrolinse 2207 konvergiert effektiv einfallendes Licht an einem fotoelektrischen Umwandlungselement 2204. Bei einer solchen Rückseitenbeleuchtung durch das BSI-Pixel 2250 stört eine Metallverbindungsleitung des Metallstapels 2206 nicht einen Kurs, der zwischen einem abzubildenden Objekt und dem fotoelektrischen Umwandlungselement 2204 ausgebildet wird, so dass ein größeres Signal durch das fotoelektrische Umwandlungselement 2204 erzeugt werden kann.
28 illustriert das Farbfilterarray 2300 und einen einzelnen Satz von Minimalwiederholungseinheiten 2302 in einem Kachelzustand, um das Farbfilterarray 2300 auszubilden. Das Farbfilterarray 2300 beinhaltet die Anzahl einzelner Primärfarbeneinzelfarbfilter 2303, die im Wesentlichen der Anzahl individueller Pixel P in dem Pixelarray 2105 entspricht, mit dem das Farbfilterarray 2300 gekoppelt ist oder gekoppelt werden wird. Der einzelne Primärfarbeneinzelfarbfilter 2303 ist optisch mit dem entsprechenden einzelnen Pixel P in der Pixelanordnung 2105 gekoppelt und hat eine gegebene spektrale Lichtempfindlichkeit, die aus einem einzelnen Satz von spektralen Lichtempfindlichkeiten ausgewählt ist. Die gegebene spektrale Lichtempfindlichkeit hat eine hohe Empfindlichkeit gegenüber einem gegebenen Teil eines elektromagnetischen Spektrums und eine geringe Empfindlichkeit gegenüber anderen Teilen des Spektrums. Obwohl ein Pixel P selbst keine Farbe hat, wird das Pixel P üblicherweise als ein Pixel P mit einer gegebenen Lichtantwort betrachtet, da das Farbfilterarray 2300 jedem Pixel P separat eine Lichtantwort zuweist, indem es den Primärfarbeneinzelfarbfilter 2303 auf dem Pixel P platziert. Daher wird ein Pixel P als blaues Pixel bezeichnet, wenn es mit einem Blaufilter kombiniert wird. Außerdem wird ein weiteres Pixel P als grünes Pixel bezeichnet, wenn es mit einem Grünfilter kombiniert wird. Außerdem wird ein weiteres Pixel P als rotes Pixel bezeichnet, wenn es mit einem Rotfilter kombiniert wird.
Die einzelnen Primärfarbeneinzelfarbfilter 2303 des Farbfilterarrays 2300 sind in einer Minimalwiederholungseinheit 2302 gruppiert. Der Primärfarbeneinzelfarbfilter 2303 ist ein Farbfilter, das entsprechend einem einzelnen fotoelektrischen Umwandlungselement 2204 angeordnet ist. Die Minimalwiederholungseinheit 2302 ist vertikal und horizontal gekachelt, wie durch Pfeile veranschaulicht, um das Farbfilterarray 2300 zu auszubilden. Hier ist die Minimalwiederholungseinheit 2302 eine Wiederholungseinheit, die nicht weniger Einzelfilter hat. Das Farbfilterarray 2300 kann viele unterschiedliche sich wiederholende Einheiten beinhalten. Eine Wiederholungseinheit ist jedoch nicht die Minimalwiederholungseinheit, wenn es eine andere Wiederholungseinheit in dem Array mit weniger Einzelfiltern gibt. In anderen Beispielen des Farbfilterarrays 2300 kann die Minimalwiederholungseinheit größer oder kleiner als die Minimalwiederholungseinheit 2302 dieses Beispiels sein.
29 illustriert eine Konfiguration eines Farbfilters der Minimalwiederholungseinheit 2302. Die in 29 dargestellte Minimalwiederholungseinheit 2302 beinhaltet vier Primärfarbeneinzelfarbfilter 2303 unabhängig voneinander. Insbesondere beinhaltet die Minimalwiederholungseinheit 2302 einen einzigen bzw. einzelnen Roteinzelfarbfilter 2303R, einen einzigen bzw. einzelnen Blaueinzelfarbfilter 2303B und zwei Grüneinzelfarbfilter 2303G.
Wie gezeigt ist, ist eine Form jedes Primärfarbeneinzelfarbfilters 2303 quadratisch und vier Primärfarbeneinzelfarbfilter 2303 sind in zwei Reihen und Spalten angeordnet. Daher hat auch die Minimalwiederholungseinheit 2302 eine Quadratform. Die vorliegende Offenbarung ist jedoch nicht darauf beschränkt und eine Form des Primärfarbeneinzelfarbfilters 2303 ist nicht notwendigerweise quadratisch.
Ferner sind, wie in 29 gezeigt, in der Minimalwiederholungseinheit 2302 ein Roteinzelfarbfilter 2303R, ein Grüneinzelfarbfilter 2303G und ein Blaueinzelfarbfilter 2303B durch Bilden eines Bayer-Arrays angeordnet.
Daher lässt der Roteinzelfarbfilter 2303R rotes Licht durch, das als eine von drei Primärfarben dient. Außerdem lässt der Roteinzelfarbfilter 2303R auch Licht einer Primärfarbe durch, die sich von der entsprechenden Primärfarbe (das heißt, Rot) unterscheidet, obwohl deren Durchlässigkeit nicht so groß wie von Rot ist.
30 ist ein Graph, der eine Beziehung zwischen einer Durchlässigkeit des Roteinzelfarbfilter 2303R und einer Wellenlänge illustriert. In 30 illustriert eine durchgezogene Linie die Durchlässigkeit des Roteinzelfarbfilters 2303R. Eine unterbrochene Linie repräsentiert die Durchlässigkeit eines zu vergleichenden allgemeinen Rotfilters. Obwohl es von der Definition abhängt, liegt die Durchlässigkeit von Rot in dem Graphen bei etwa 650 nm. Der Roteinzelfarbfilter 2303R hat eine Durchlässigkeit von etwa 100 % für Rot und lässt somit rotes Licht durch. Da dies jedoch nur ein Beispiel ist, ist die vorliegende Offenbarung nicht auf eine Durchlässigkeit von etwa 100 % für rotes Licht beschränkt. Das heißt, der Roteinzelfarbfilter 2303R kann mit nur einer höheren Durchlässigkeit für rotes Licht ausreichen als für anderes Licht in Primärfarben ausreichen.
Ferner beträgt eine Wellenlänge von grünem Licht etwa 540 nm. Eine Wellenlänge von blauem Licht liegt bei etwa 400 nm. Der allgemeine Rotfilter, der durch die unterbrochene Linie in dem Vergleichsgraphen dargestellt ist, lässt fast nie Licht der anderen Primärfarben durch. Im Gegensatz dazu lässt der Roteinzelfarbfilter 2303R Licht anderer Primärfarben außer der roten Farbe durch, obwohl eine Durchlässigkeit davon nicht so groß wie für Rot ist. Insbesondere, wie in 30 als Beispiel gezeigt, hat der Roteinzelfarbfilter 2303R eine Durchlässigkeit von etwa 30 % für andere Primärfarben.
Das heißt, da fast alle Objekte von Bildgebungszielen ein Spektrum mit einer breiteren Basis anstelle einer einzelnen Wellenlänge (das heißt, einfarbig) haben, kann eine Lichtmenge von dem Objekt, die durch ein Pixel jeder der RGB-Farben erfasst wird, erhöht werden und eine Empfindlichkeit wird dementsprechend verbessert, wenn ein Wellenlängenbereich des Lichts, das durch das Pixel jeder der RGB-Farben erfasst wird, erweitert wird. Daher erweitert eine Ausführungsform der vorliegenden Offenbarung einen Wellenlängenbereich des Lichts, das durch das Pixel jeder der RGB-Farben erfasst wird, um die folgende Ungleichung zu erfüllen.
Schwarz und weiß > eine Ausführungsform > gewöhnliches RGB
Hier werden die Empfindlichkeiten wie nachfolgend beschrieben berechnet. Erstens wird vorausgesetzt, dass ein Objekt weiß ist und eine Lichtintensität (L) sogar in einem Wellenlängenbereich von 380 nm bis 680 nm vorliegt. Es wird auch vorausgesetzt, dass ein Bildsensor mit einem Filter eine Durchlässigkeit von 0 % in einem Wellenlängenbereich ausschließlich von 380 nm bis 680 nm und 100 % in einem Wellenlängenbereich von 380 nm bis 680 nm hat. Es wird ferner vorausgesetzt, dass RBG-Farbfilter Wellenlängen innerhalb eines Wellenlängenbereichs von 380 nm bis 680 nm ausgeben. Insbesondere hat ein Farbfilter B eine Durchlässigkeit von 100 % in einem Wellenlängenbereich von 380 nm bis 480 nm, ein Farbfilter G hat eine Durchlässigkeit von 100 % in einem Wellenlängenbereich von 480 nm bis 580 nm und ein Farbfilter G hat eine Durchlässigkeit von 100 % in einem Wellenlängenbereich von 580 nm bis 680 nm. Es wird auch vorausgesetzt, dass Filter vom RGB-Typ dieser Ausführungsform jeweils 30 % anderer Wellenlängen durchlassen. Daher werden die Empfindlichkeiten der gewöhnlichen RGB-Pixel wie folgt berechnet: $R = 100 Nanometer \times L \times 1,0,$
$G = 100 Nanometer \times L \times 1,0,$
$B = 100 Nanometer \times L \times 1,0,$
Im Gegensatz dazu wird jede der Empfindlichkeiten von Filtern vom RGB-Typ in dieser Ausführungsform durch die folgenden Gleichungen berechnet und ist 1,9-mal so groß wie jede der gewöhnlichen RGB-Pixel. $R = 10 \times L \times 1,0 + 300 nm \times L \times 0,3 = 100nm \times L \times 1,9,$
$G = 10 \times L \times 1,0 + 300 nm \times L \times 0,3 = 100nm \times L \times 1,9,$
$B = 10 \times L \times 1,0 + 300 nm \times L \times 0,3 = 100nm \times L \times 1,9 .$
Die Rate von 30 % ist jedoch nur ein Beispiel für eine Durchlässigkeit, die höher als eine niedrigere effektive Durchlässigkeit ist.
Ferner ist die niedrigere effektive Durchlässigkeit eine Untergrenze der Durchlässigkeit, die zum Verbessern der Empfindlichkeit des Bildsensors 2100 wirksam ist. Die niedrigere effektive Durchlässigkeit kann gemäß einer Spezifikation oder dergleichen, wie für einen Bildsensor 2100 erforderlich, geeignet bestimmt werden. Ferner hat die niedrigere effektive Durchlässigkeit zumindest ein Niveau bzw. Pegel, mit dem die Durchlässigkeit von einem Rauschpegel unterschieden werden kann. Daher kann die niedrigere effektive Durchlässigkeit beispielsweise 10 %, 15 % und 20 % betragen. Außerdem kann die niedrigere effektive Durchlässigkeit beispielsweise 25 % betragen.
Ferner ist, wie durch den Graphen von 30 gezeigt ist, gemäß dem Roteinzelfarbfilter 2303R eine Durchlässigkeit im Wesentlichen nicht nur in der Nähe von Wellenlängen von jeweiligem blauem und grünem Licht gleich, sondern auch um eine Wellenlänge von Farben außer Rot herum. In ähnlicher Weise ist eine Durchlässigkeit in einem Wellenlängenbereich, in dem der allgemeine Rotfilter kein Licht durchlässt, im Wesentlichen die gleiche (das heißt, gleichmäßig).
31 ist ein Graph, der schematisch eine Beziehung zwischen einer Durchlässigkeit des Grüneinzelfarbfilters 2303G und einer Wellenlänge illustriert. In 31 illustriert eine durchgezogene Linie die Durchlässigkeit des Grüneinzelfarbfilters 2303G illustriert. Eine unterbrochene Linie gibt eine Durchlässigkeit eines allgemeinen Grünfilters zum Vergleich an. Der Grüneinzelfarbfilter 2303G hat eine Durchlässigkeit von etwa 100 % für grünes Licht und lässt somit grünes Licht durch. Da die Rate von 100% jedoch nur ein Beispiel ist, ist der Grüneinzelfarbfilter 2303G möglicherweise nur mit einer höheren Durchlässigkeit für Grün als für andere Primärfarben geeignet.
In Anbetracht dessen beträgt gemäß dem in 31 als ein Beispiel illustrierten Grüneinzelfarbfilter 2303G eine Durchlässigkeit für jede andere Farbe außer Grün, einschließlich der anderen Primärfarben, etwa 30%. Daher hat der Grüneinzelfarbfilter 2303G auch eine höhere Durchlässigkeit für die anderen Primärfarben als die vorstehend beschriebene niedrigere effektive Durchlässigkeit.
32 illustriert schematisch eine Beziehung zwischen einer Durchlässigkeit eines Blaueinzelfarbfilter 2303B und einer Wellenlänge. In 32 illustriert eine durchgezogene Linie die Durchlässigkeit des Blaueinzelfarbfilters 2303B. Eine unterbrochene Linie repräsentiert eine Durchlässigkeit eines zu vergleichenden allgemeinen Blaufilters. Der Blaueinzelfarbfilter 2303B hat eine Durchlässigkeit von etwa 100% für Blau und lässt somit blaues Licht durch. Da die Rate von 100 % jedoch nur ein Beispiel ist, kann der Blaueinzelfarbfilter 2303B nur mit einer höheren Durchlässigkeit für Blau als für die anderen Primärfarben geeignet sein.
Ferner hat, wie in 32 als ein Beispiel gezeigt, der Blaueinzelfarbfilter 2303B eine Durchlässigkeit von etwa 30 % für Farben außer Blau, einschließlich der anderen Primärfarben. Daher hat der Blaueinzelfarbfilter 2303B auch eine höhere Durchlässigkeit für die anderen Primärfarben als die niedrigere effektive Durchlässigkeit. Ferner hat, wie gezeigt, jeder des Roteinzelfarbfilters 2303R, des Grüneinzelfarbfilters 2303G und des Blaueinzelfarbfilters 2303B im Wesentlichen die gleiche Durchlässigkeit für Farben außer einer entsprechenden Primärfarbe.
Dementsprechend ist in jedem des Roteinzelfarbfilters 2303R, des Blaueinzelfarbfilters 2303B und des Grüneinzelfarbfilters 2303G eine Durchlässigkeit über den gesamten sichtbaren Bereich höher als die niedrigere effektive Durchlässigkeit, während insbesondere eine Durchlässigkeit einer entsprechenden Primärfarbe erhöht wird. Da der Bildsensor 2100 den Roteinzelfarbfilter 2303R, den Blaueinzelfarbfilter 2303B und den Grüneinzelfarbfilter 2303G beinhaltet, kann der Bildsensor 2100 seine eigene Empfindlichkeit im Vergleich zu einem System mit einem Farbfilter, der Farben außer der entsprechenden Primärfarbe nicht überträgt bzw. nicht durchlässt, effektiv verbessern.
Ferner kann eine Empfindlichkeit verbessert werden, indem ein Filter verwendet wird, der eine höhere Durchlässigkeit für eine Primärfarbe außer einer entsprechenden Primärfarbe als die effektive Durchlässigkeit aufweist. Daher kann mit einem Einzelfarbfilter eine Differenz im Signalpegel im Vergleich zu einem Primärfarbfilter, der keine anderen Primärfarben außer eine entsprechende Primärfarbe durchdringen lässt, oder einem System, das separat mit dem Klarfilter ausgestattet ist, effektiver reduziert werden.
Nachfolgend wird eine zweite Ausführungsform der vorliegenden Offenbarung gemäß 33 beschrieben. In der zweiten und den folgenden Ausführungsformen sind Einrichtungen oder Elemente mit dem gleichen Bezugszeichen identisch zu den bereits beschriebenen Einrichtungen oder Elementen, sofern es nicht anders spezifisch erwähnt wird. Ferner können, falls die früher beschriebene Konfiguration teilweise modifiziert und beschrieben wird, verbleibende Teile der Konfiguration die der bereits beschriebenen Ausführungsformen übernehmen.
Wie in 33 illustriert ist, kann in dieser Ausführungsform anstelle der in der ersten Ausführungsform beschriebenen Minimalwiederholungseinheit 2302 eine Minimalwiederholungseinheit 3302 verwendet werden. Das heißt, die Minimalwiederholungseinheit 3302 beinhaltet einen Roteinzelfarbfilter 2303R, Grüneinzelfarbfilter 2303G und einen Blaueinzelfarbfilter 2303B, die jeweils die gleichen Eigenschaften wie die in der ersten Ausführungsform beschriebenen Einzelfarbfilter aufweisen. Anders als bei der ersten Ausführungsform haben diese Filter der zweiten Ausführungsform jedoch rechteckige Formen. Dies liegt daran, dass die Minimalwiederholungseinheit 3302 zusätzlich einen rechteckigen Rot-Subprimärfarbfilterabschnitt 3304R, Grün-Subprimärfarbfilterabschnitte 3304G und einen Blau-Subprimärfarbfilterabschnitt 3304B unter Beibehaltung eines Quadrats aufnehmen kann. Das heißt, durch Ausbilden des Primärfarbentypeinzelfarbfilter 2303 und des Subprimärfarbfilterabschnitts 3304 in der vorstehend beschriebenen Form wird die Minimalwiederholungseinheit 3302 quadratisch. Die vorliegende Offenbarung ist jedoch nicht auf ein Quadrat beschränkt und die Form der Minimalwiederholungseinheit 3302 kann geändert werden. Das heißt, die Form jedes des Primärfarbentypeinzelfarbfilter 2303 und des Subprimärfarbfilterabschnitts 3304 ist nur ein Beispiel und kann in verschiedene andere Formen geändert werden.
Hier bildet der Subprimärfarbfilterabschnitt 3304 einen Satz mit dem Primärfarbentypeinzelfarbfilter 2303 desselben Farbtyps. Jedoch ist der Subprimärfarbfilterabschnitt 3304 kleiner als der Primärfarbfilterabschnitt 2303. Beispielsweise hat der Subprimärfarbfilterabschnitt 3304 eine Fläche von weniger als der Hälfte einer Kombinationsfläche, die durch Kombinieren des Subprimärfarbfilterabschnitts 3304 und des Primärfarbfilterabschnitts 2303 erlangt wird. Insbesondere ist die Fläche des Subprimärfarbfilterabschnitts 3304 kleiner als eine Hälfte des Primärfarbfilterabschnitts 2303.
Der Rot-Subprimärfarbfilterabschnitt 3304R bildet einen Satz mit dem Roteinzelfarbfilter 2303R. Der Grün-Subprimärfarbfilterabschnitt 3304G bildet ebenso einen Satz mit dem Grüneinzelfarbfilter 2303G. Der Blau-Subprimärfarbfilterabschnitt 3304B bildet auf ähnliche Weise einen Satz zusammen mit dem Blaueinzelfarbfilter 2303B. Somit beinhaltet ein einziger bzw. einzelner Einzelfarbfilter den Satz des Primärfarbentypeinzelfarbfilter 2303 und des Subprimärfarbfilterabschnitts 3304.
Der Subprimärfarbfilterabschnitt 3304 hat eine niedrigere Durchlässigkeit für eine andere Primärfarbe außer eine entsprechenden Primärfarbe als der Primärfarbentypeinzelfarbfilter 2303. Ein Beispiel einer Beziehung zwischen einer Wellenlänge und einer Durchlässigkeit des Subprimärfarbfilterabschnitts 3304 kann dieselbe wie die des allgemeine Primärfarbfilters sein, der durch unterbrochene Linien in einer 30, 31 und 32 dargestellt ist.
Wie gezeigt, ist jeder Subprimärfarbfilterabschnitt 3304 benachbart zu dem Primärfarbentypeinzelfarbfilter 2303 angeordnet, um kollektiv den Satz von Filtern zu bilden. Das heißt, kollektives Bilden des Satzes bedeutet, dass Farben dieser Filter gleich sind. Jedoch muss der Subprimärfarbfilterabschnitt 3304 nicht benachbart zu dem Primärfarbentypeinzelfarbfilter 2303 angeordnet sein, um kollektiv den Satz von Filtern zu bilden.
Eine beispielhafte Struktur einer Bildgebungsvorrichtung 2500 gemäß der zweiten Ausführungsform der vorliegenden Offenbarung wird gemäß 34 beschrieben. Wie dort illustriert ist, beinhaltet die Bildgebungsvorrichtung 2500 separat ein fotoelektrisches Umwandlungselement 2204 (das heißt, linke Seite), das entsprechend dem Primärfarbentypeinzelfarbfilter 2303 vorgesehen ist, und ein weiteres fotoelektrisches Umwandlungselement 2204 (das heißt, rechte Seite), das entsprechend dem Subprimärfarbfilterabschnitt 3304 vorgesehen ist.
Eine Leseschaltung 2170 kann Signale in ein Signal, das von dem fotoelektrischen Umwandlungselement 2204 entsprechend dem Primärfarbeneinzelfarbfilter 2303 ausgegeben wird, und ein Signal trennen, das von dem fotoelektrischen Umwandlungselement 2204 entsprechend dem Subprimärfarbfilterabschnitt 3304 ausgegeben wird. Die Leseschaltung 2170 kann dann diese Signale an die Verarbeitungsschaltung 2400 ausgeben.
Der Primärfarbentypeinzelfarbfilter 2303 hat eine höhere Lichtdurchlässigkeit als der Subprimärfarbfilterabschnitt 3304. Daher ist das fotoelektrische Umwandlungselement 2204, das entsprechend dem Primärfarbentypeinzelfarbfilter 2303 vorgesehen ist, empfindlicher als das fotoelektrische Umwandlungselement 2204, das entsprechend dem Subprimärfarbfilterabschnitt 3304 vorgesehen ist. Im Folgenden wird das fotoelektrische Umwandlungselement 2204, das entsprechend dem Primärfarbentypeinzelfarbfilter 2303 vorgesehen ist, als ein hochempfindliches Pixel 2204H bezeichnet. Das fotoelektrische Umwandlungselement 2204, das entsprechend dem Subprimärfarbfilterabschnitt 3304 vorgesehen ist, kann als ein niedrigempfindliches Pixel 2204L bezeichnet werden.
Ferner kann die Verarbeitungsschaltung 2400 in die Lage versetzt werden, eine Farbe pro Pixel eines Farbbildes zu erzeugen, indem nur eines der Signale verwendet wird, die von dem hochempfindlichen Pixel 2204H und dem niedrigempfindlichen Pixel 2204L ausgegeben werden. Außerdem kann die Verarbeitungsschaltung 2400 eine Farbe pro Pixel eines Farbbildes erzeugen, indem sie beide dieser zwei Typen von Signalen verwendet.
Hier wird das niedrigempfindliche Pixel 2204L als ein Pixel angesehen, das schwieriger gesättigt wird als das hochempfindliche Pixel 2204H. Da der Bildsensor 2100 sowohl das hochempfindliche Pixel 2204H als auch das niedrigempfindliche Pixel 2204L beinhaltet, kann der Bildsensor 2100 einen Dynamikbereich effektiver erweitern als ein System, bei dem nur die hochempfindlichen Pixel 2204H vorgesehen sind.
Ferner verwendet die Verarbeitungsschaltung 2400 einen anderen Korrekturkoeffizienten in einer Situation, in der ein Farbbild unter Verwendung eines Signals erzeugt wird, das von dem hochempfindlichen Pixel 2204H ausgegeben wird, als in einer anderen Situation, in der ein Farbbild unter Verwendung eines Signals erzeugt wird, das von dem niedrigempfindlichen Pixel 2204L ausgegeben wird. Ein Beispiel des Korrekturkoeffizienten kann ein Weißabgleicheinstellwert (das heißt, ein vorfestgelegter Weißabgleich) oder ein Farbmatrixeinstellwert und dergleichen sein. Ein weiteres Beispiel des Korrekturkoeffizienten kann ein Korrekturkoeffizient sein, der beim Berechnen eines Luminanzwerts verwendet wird. Der Weißabgleicheinstellwert ist ein Wert, der eine Signalausgabe von dem niedrigempfindlichen Pixel 2204L stärker korrigiert als eine Signalausgabe von dem hochempfindlichen Pixel 2204H. Im Gegensatz dazu ist der Einstellwert der Farbmatrix ein Koeffizient, der eine Signalausgabe von dem hochempfindlichen Pixel 2204H stark korrigiert, damit sie größer als eine Signalausgabe von dem niedrigempfindlichen Pixel 2204L ist. Ferner ist der beim Berechnen eines Luminanzwerts verwendete Korrekturkoeffizient ein Koeffizient, der eine Signalausgabe von dem niedrigempfindlichen Pixel 2204L stärker korrigiert als eine Signalausgabe von dem hochempfindlichen Pixel 2204H. Ferner können die Korrekturkoeffizienten, die beim Korrigieren von Ausgaben von dem niedrigempfindlichen Pixel 2204L und dem hochempfindlichen Pixel 2204H verwendet werden, durch einen Benutzer separat eingestellt werden.
Nachfolgend wird eine dritte Ausführungsform der vorliegenden Offenbarung gemäß 35 beschrieben. 35 illustriert eine Minimalwiederholungseinheit 4302 eines Farbfilterarrays 4300 gemäß der dritten Ausführungsform der vorliegenden Offenbarung. Insbesondere kann eine Größe der Minimalwiederholungseinheit 4302 dieselbe wie die der Minimalwiederholungseinheit 2302 der ersten Ausführungsform sein. Wie gezeigt ist, hat die Minimalwiederholungseinheit 4302 eine Form, die durch Anordnen von vier Primärfarbentypeinzelfarbfilter 4303 in zwei Reihen und zwei Spalten ausgebildet wird. Konfigurationen außer dem Farbfilterarray 4300 sind im Wesentlichen die gleichen wie die in der ersten Ausführungsform. Daher ist ein einzelnes fotoelektrisches Umwandlungselement 2204 entsprechend jedem Primärfarbentypeinzelfarbfilter 4303 angeordnet.
Ferner beinhaltet der Primärfarbentypeinzelfarbfilter 4303 einen Roteinzelfarbfilter 4303R, Grüneinzelfarbfilter 4303G und einen Blaueinzelfarbfilter 4303B. Insbesondere hat die Minimalwiederholungseinheit 4302 ein Bayer-Array, in dem ein einzelner Roteinzelfarbfilter 4303R, zwei Grüneinzelfarbfilter 4303G und ein einziger bzw. einzelner Blaueinzelfarbfilter 4303B angeordnet sind.
Ferner beinhaltet jeder Primärfarbentypeinzelfarbfilter 4303 einen Primärfarbfilterabschnitt 4304 und einen Klarfilterabschnitt 4305. Insbesondere ist in dieser Ausführungsform der Primärfarbentypeinzelfarbfilter 4303 in einer Quadratform ausgebildet und in zwei Viertel in einer rechteckigen Form unterteilt, so dass ein Viertel ein Primärfarbfilterabschnitt 4304 und das andere Viertel ein Klarfilterabschnitt 4305 ist.
Ferner beinhaltet der Roteinzelfarbfilter 4303R einen Rotfilterabschnitt 4304R als Primärfarbfilterabschnitt 4304. Ferner beinhaltet der Grüneinzelfarbfilter 4303G einen Grünfilterabschnitt 4304G als Primärfarbfilterabschnitt 4304. Ferner beinhaltet der Blaueinzelfarbfilter 4303B einen Blaufilterabschnitt 4304B als Primärfarbfilterabschnitt 4304. Hier sind die Eigenschaften des Rotfilterabschnitts 4304R im Wesentlichen die gleichen wie die des Rot-Subprimärfarbfilterabschnitts 3304R. Ähnlich sind die Eigenschaften des Grünfilterabschnitts 4304G im Wesentlichen die gleichen wie die des Grün-Subprimärfarbfilterabschnitts 3304G. Hier sind die Eigenschaften des Blaufilterabschnitts 4304B im Wesentlichen die gleichen wie die des Blau-Subprimärfarbfilterabschnitts 3304B.
Hier beinhaltet jeder der Klarfilterabschnitte 4305 einen farblosen transparenten Filter. Da er farblos und transparent ist, ist der Klarfilterabschnitt 4305 empfindlicher als der Primärfarbfilterabschnitt 4304. Hier ist der Filter mit höherer Empfindlichkeit als der Primärfarbfilterabschnitt 4304 entweder ein Filter, der die Empfindlichkeit erhöhen kann, selbst wenn im Wesentlichen das gleiche fotoelektrische Umwandlungselement 2204 verwendet wird, oder ein Filter mit einer höheren Lichtdurchlässigkeit als der Primärfarbfilterabschnitt 4304.
Ferner beinhaltet, wie gezeigt, gemäß der dritten Ausführungsform die Minimalwiederholungseinheit 4302 vier Primärfarbentypeinzelfarbfilter 4303. Der Primärfarbentypeinzelfarbfilter 4303 beinhaltet den Primärfarbfilterabschnitt 4304 und den Klarfilterabschnitt 4305. Daher wird die Empfindlichkeit durch die dritte Ausführungsform effektiver verbessert als in einer Situation, in der ein Primärfarbentypeinzelfarbfilter 4303 vollständig aus den Primärfarbfilterabschnitten 4304 zusammengesetzt ist. Da die Empfindlichkeit durch Vorsehen des Klarfilterabschnitts 4305 verbessert wird, kann demzufolge eine Differenz im Signalpegel zwischen Pixeln P im Vergleich zu einem System reduziert werden, in dem der Klarfilter separat von dem Primärfarbfilter als ein Einzelfarbfilter vorgesehen ist.
Nachfolgend wird eine vierte Ausführungsform gemäß 36 beschrieben. Wie in 36 gezeigt ist, ist jeder Primärfarbentypeinzelfarbfilter 5303, der eine Minimalwiederholungseinheit 5302 bildet, in vier kleine Quadrate unterteilt. Dann dient von den vier kleinen Quadraten ein Paar von Quadraten, die vertikal und horizontal zueinander verschoben sind (das heißt, rechts unten angeordnet sind), als Subprimärfarbfilterabschnitte 5304s. Von den vier kleinen Quadraten dienen die verbleibenden zwei Quadrate als Subklarfilterabschnitte 5305s. Insbesondere ist ein Klarfilterabschnitt 5305 in zwei (das heißt, mehrere) Subklarfilterabschnitte 5305s in einem Primärfarbentypeinzelfarbfilter 5303 unterteilt. Der Subklarfilterabschnitt 5305s hat eine hohe Empfindlichkeit, um als Subhochempfindlichkeitsfilterabschnitt zu dienen.
Ferner ist der Primärfarbfilterabschnitt 5304 auch in mehrere Subprimärfarbfilterabschnitte 5304s unterteilt. Obwohl jedoch jeder Primärfarbentypeinzelfarbfilter 3303 5303 durch jeden der Abschnitte konfiguriert ist, wie in 36 illustriert ist, ist ein Verhältnis einer Fläche zwischen dem Primärfarbfilterabschnitt 5304 und dem Klarfilterabschnitt 5305 in jedem Primärfarbentypeinzelfarbfilter 5303 die gleiche wie die, die in 35 illustriert ist. Daher wird ähnlich wie bei einem in 35 dargestellten System gemäß dieser Ausführungsform die Empfindlichkeit effektiver verbessert als bei einem System, bei dem der Primärfarbentypeinzelfarbfilter 5303 vollständig aus den Primärfarbfilterabschnitten 5304 zusammengesetzt ist. Gleichzeitig kann eine Differenz im Signalpegel zwischen Pixeln P im Vergleich zu einem System effektiver reduziert werden, bei dem ein Klarfilter als ein Einzelfarbfilter separat von dem Primärfarbfilter vorgesehen ist.
Nachfolgend wird eine fünfte Ausführungsform gemäß 37 beschrieben. Wie in 37 illustriert ist, beinhaltet eine Minimalwiederholungseinheit 6302 dieser Ausführungsform mehrere Primärfarbentypeinzelfarbfilter 6303, die jeweils im Wesentlichen die gleichen Eigenschaften wie die in der dritten Ausführungsform verwendeten Filter haben. Das heißt, die Minimalwiederholungseinheit 6302 beinhaltet einen Roteinzelfarbfilter 6303R, Grüneinzelfarbfilter 6303Gs und einen Blaueinzelfarbfilter 6303B, die jeweils im Wesentlichen die gleichen Eigenschaften wie die in der dritten Ausführungsform beschriebenen Filter aufweisen. Jedoch ist in der fünften Ausführungsform eine Form von jedem der Abschnitte und Filter rechteckig. Der Grund dafür ist, dass die Minimalwiederholungseinheit 6302 zusätzlich einen Rot-Subprimärfarbfilterabschnitt 6306R, Grün-Subprimärfarbfilterabschnitte 6306G und einen Blau-Subprimärfarbfilterabschnitt 6306B aufnehmen kann, während insgesamt eine Quadratform beibehalten wird. Jeder des Rot-Subprimärfarbfilterabschnitts 6306R, der Grün-Subprimärfarbfilterabschnitte 6306G und des Blau-Subprimärfarbfilterabschnitts 6306B hat im Wesentlichen die gleiche Form wie der Subprimärfarbfilterabschnitt 3304. Das heißt, die Form jedes des Primärfarbentypeinzelfarbfilters 6303 und des Subprimärfarbfilterabschnitts 6306 ist nur ein Beispiel und kann in verschiedene andere Formen geändert werden.
Jeder Primärfarbentypeinzelfarbfilter 6303 beinhaltet einen Primärfarbfilterabschnitt 6304 und einen Klarfilterabschnitt 6305. Daher beinhaltet der Roteinzelfarbfilter 6303R einen Rotfilterabschnitt 6304R und einen Rot-Subprimärfarbfilterabschnitt 6306R, die kollektiv als der Primärfarbfilterabschnitt 6304 dienen. Auf ähnliche Weise beinhaltet der Grüneinzelfarbfilter 6303Gs einen Grünfilterabschnitt 6304G und einen Grün-Subprimärfarbfilterabschnitt 6306G, die kollektiv als der Primärfarbfilterabschnitt 6304 dienen. Daher beinhaltet der Blaueinzelfarbfilter 6303B einen Blaufilterabschnitt 6304B und einen Blau-Subprimärfarbfilterabschnitt 6306B, die kollektiv als der Primärfarbfilterabschnitt 6304 dienen.
Hier sind die Eigenschaften des Rotfilterabschnitts 6304R und des Rot-Subprimärfarbfilterabschnitts 6306R im Wesentlichen die gleichen wie die des Rot-Subprimärfarbfilterabschnitts 3304R. Ebenso sind die Eigenschaften des Grünfilterabschnitts 6304G und des Grün-Subprimärfarbfilterabschnitts 6306G im Wesentlichen die gleichen wie die des Grün-Subprimärfarbfilterabschnitt 3304G. In ähnlicher Weise sind die Eigenschaften des Blaufilterabschnitts 6304B und des Blau-Subprimärfarbfilterabschnitts 6306B dieselben wie die des Blau-Subprimärfarbfilterabschnitts 3304B.
38 illustriert teilweise eine Konfiguration einer Bildgebungsvorrichtung 6500 gemäß der fünften Ausführungsform. Wie in 38 illustriert ist, beinhaltet die Bildgebungsvorrichtung 6500 separat ein fotoelektrisches Umwandlungselement 2204 entsprechend dem Primärfarbentypeinzelfarbfilter 6303 und ein fotoelektrisches Umwandlungselement 2204 entsprechend dem Subprimärfarbfilterabschnitt 6306.
Eine Leseschaltung 2170 trennt Signale in ein Signal, das von dem fotoelektrischen Umwandlungselement 2204 ausgegeben wird, das entsprechend dem Primärfarbentypeinzelfarbfilter 6303 vorgesehen ist, und ein Signal, das von dem fotoelektrischen Umwandlungselement 2204 ausgegeben wird, das entsprechend dem Subprimärfarbfilterabschnitt 6306 vorgesehen ist. Die Leseschaltung 2170 gibt diese Signale dann an eine Verarbeitungsschaltung 6400 aus.
Der Primärfarbentypeinzelfarbfilter 6303 hat eine höhere Lichtdurchlässigkeit als der Subprimärfarbfilterabschnitt 6306. Im Folgenden hat das fotoelektrische Umwandlungselement 2204, das entsprechend dem Primärfarbentypeinzelfarbfilter 6303 vorgesehen ist, ein hochempfindliches Pixel 2204H. Im Gegensatz dazu hat das fotoelektrische Umwandlungselement 2204, das entsprechend dem Subprimärfarbfilterabschnitt 3304 vorgesehen ist, ein niedrigempfindliches Pixel 2204L.
Ferner kann eine Verarbeitungsschaltung 6400 ähnlich wie die Verarbeitungsschaltung 2400 auch ein Farbbild erzeugen, indem entweder das hochempfindliche Pixel 2204H oder das niedrigempfindliche Pixel 2204L oder beide verwendet werden. Daher kann die Verarbeitungsschaltung 6400 einen anderen Korrekturkoeffizienten beim Korrigieren einer Signalausgabe von dem hochempfindlichen Pixel 2204H als einen Korrekturkoeffizienten verwenden, der zum Korrigieren einer Signalausgabe von dem niedrigempfindlichen Pixel 2204L verwendet wird.
Hier werden als Korrekturkoeffizient ein oder mehrere Korrekturkoeffizienten verwendet, die beim Berechnen eines Weißabgleicheinstellwerts, eines Farbmatrixeinstellwerts und eines Luminanzwerts verwendet werden. Eine Größenbeziehung des Korrekturkoeffizienten zwischen dem hochempfindlichen Pixel 2204H und dem niedrigempfindlichen Pixel 2204L ist dieselbe wie die zwischen dem hochempfindlichen Pixel 2204H und dem niedrigempfindlichen Pixel 2204L der zweiten Ausführungsform.
Nachfolgend wird eine sechste Ausführungsform der vorliegenden Offenbarung gemäß 39 beschrieben. 39 illustriert teilweise eine Konfiguration einer Bildgebungsvorrichtung 6500 gemäß der sechsten Ausführungsform. Wie dort illustriert ist, beinhaltet ein Bildsensor 2100 der sechsten Ausführungsform das in 36 illustrierte Farbfilterarray 5300. Daher beinhaltet ein einzelnes Pixel P zwei Subprimärfarbfilterabschnitte 5304s und zwei Subklarfilterabschnitte 5305s.
Daher beinhaltet der Bildsensor 2100 der sechsten Ausführungsform zwei fotoelektrische Umwandlungselemente 2204 jeweils entsprechend den zwei Subklarfilterabschnitten 5305s. Außerdem sind zwei fotoelektrische Umwandlungselemente 2204 jeweils entsprechend den zwei Subprimärfarbfilterabschnitten 5304s vorgesehen.
Eine Verarbeitungsschaltung 7400 wird verwendet und aktiviert, um Signale, die jeweils von den fotoelektrischen Umwandlungselementen 2204 ausgegeben werden, separat durch Steuern der Leseschaltung 2170 zu erlangen. Die Verarbeitungsschaltung 7400 führt ein Bildverarbeitungsverfahren zum Erzeugen von Farbbildern aus. Als Schritt zum Durchführen des Bildverarbeitungsverfahrens stellt die Verarbeitungsschaltung 7400 die Anzahl von fotoelektrischen Umwandlungselementen 2204, die beim Erzeugen einer Farbe eines einzelnen Pixels P verwendet werden, aus (das heißt, durch selektives Verwenden) zwei fotoelektrischen Umwandlungselementen 2204, die entsprechend den zwei Subklarfilterabschnitten 5305s vorgesehen sind, gemäß der Umgebungshelligkeit der Bildgebungsvorrichtung 7500 ein.
Da zwei Subklarfilterabschnitte 5305 verwendet werden, kann die Anzahl effektiver fotoelektrischer Umwandlungselemente 2204 entsprechend den Subklarfilterabschnitten 5305s 0, 1 und 2 (das heißt, es sind drei Wege vorhanden) für ein einzelnes Pixel P sein. In ähnlicher Weise kann, wenn ein oder zwei Schwellenwerte, die Helligkeitsgrade teilen, vorbereitet werden, die Umgebungshelligkeit der Bildgebungsvorrichtung 7500 in zwei oder drei geteilt werden.
Ferner wird die Anzahl fotoelektrischer Umwandlungselemente 2204, die in der Verarbeitungsschaltung 7400 vorgesehen sind, entsprechend den Subklarfilterabschnitten 5305s, die beim Erzeugen einer Farbe eines einzelnen Pixels P verwendet werden, erhöht, wenn die Umgebungshelligkeit der Bildgebungsvorrichtung 7500 abnimmt (das heißt, wenn die Umgebung dunkler wird). Daher ist ein Lichtintensitätssensor 7600 um die Bildgebungsvorrichtung 7500 herum installiert, und die Verarbeitungsschaltung 7400 erfasst die Umgebungshelligkeit der Bildgebungsvorrichtung 7500 basierend auf einem Erfassungssignal von Lichtintensität, das durch den Lichtintensitätssensor 7600 erzeugt wird. Andernfalls kann die Verarbeitungsschaltung 7400 ein Erfassungssignal von Helligkeit von dem Lichtintensitätssensor 7600 erlangen. Andernfalls kann die Verarbeitungsschaltung 7400 einen Wert erlangen, der einen Helligkeitsgrad angibt, der durch andere Prozessoren basierend auf einem von dem Lichtintensitätssensor 7600 erzeugten Erfassungssignal von Lichtintensität bestimmt wird.
Ferner ändert die Verarbeitungsschaltung 7400 einen Korrekturkoeffizienten, der beim Korrigieren eines Signals verwendet wird, das von dem fotoelektrischen Umwandlungselement 2204 ausgegeben wird, gemäß der Anzahl von fotoelektrischen Umwandlungselementen 2204, die beim Erzeugen einer Farbe eines einzelnen Pixels P verwendet werden. Der Korrekturkoeffizient kann einen oder mehrere Werte beispielsweise eines Weißabgleicheinstellwerts, eines Farbmatrixeinstellwerts und eines Luminanzwerts korrigieren.
Je mehr fotoelektrische Umwandlungselemente 2204 entsprechend den Subklarfilterabschnitten 5305s vorgesehen sind, desto dünner ist hier die Farbe vor der Korrektur. Dann stellt die Verarbeitungsschaltung 7400 zunehmend einen Korrekturkoeffizienten auf einen Pegel ein, der in der Lage ist, ein Problem der Farbausdünnung zu lösen, wenn die Anzahl von fotoelektrischen Umwandlungselementen 2204, die entsprechend den Subklarfilterabschnitten 5305s vorgesehen sind, zunimmt. Eine beispielhafte Einstellung wird nachstehend detaillierter beschrieben.
Insbesondere wird ein Betrag eines Korrekturkoeffizienten, der beim Korrigieren eines Weißabgleicheinstellwerts verwendet wird, verringert, wenn die Anzahl von fotoelektrischen Umwandlungselementen 2204, die entsprechend den Subklarfilterabschnitten 5305s vorgesehen sind, zunimmt. Ferner wird ein Betrag eines Korrekturkoeffizienten, der beim Korrigieren eines Farbmatrixeinstellwerts verwendet wird, erhöht, wenn die Anzahl von fotoelektrischen Umwandlungselementen 2204, die entsprechend den Subklarfilterabschnitten 5305s vorgesehen sind, zunimmt. Der Grund dafür ist, dass je mehr fotoelektrische Umwandlungselemente 2204 entsprechend den Subklarfilterabschnitten 5305s vorgesehen sind, desto heller die Farbe vor der Korrektur ist. Ferner wird der Korrekturkoeffizient zum Korrigieren des Luminanzwerts als ein Wert bezeichnet, der abnimmt, wenn die Anzahl von fotoelektrischen Umwandlungselementen 2204, die entsprechend den Subklarfilterabschnitten 5305s vorgesehen sind, zunimmt. Der Grund dafür ist, dass, je mehr fotoelektrische Umwandlungselemente 2204 entsprechend den Subklarfilterabschnitten 5305s vorgesehen sind, desto höher die Helligkeit des Signals vor der Korrektur ist. Ein Korrekturkoeffizient, der gemäß mit einem Umgebungshelligkeitsgrad der Bildgebungsvorrichtung 7500 variiert, wird als Anfangseinstellung basierend auf einer tatsächlichen Messung vorbestimmt. Ferner wird ein beim Korrigieren eines Weißabgleicheinstellwerts verwendeter Korrekturkoeffizient eingestellt, um zu bewirken, dass ein weißliches Objekt in einem ausreichend hellen Bereich weiß ist, um eine Überkorrektur zu verhindern. Beispielsweise wird eine solche Einstellung an einem Ort durchgeführt, der von Scheinwerfern eines Fahrzeugs 200 beleuchtet wird und hell genug ist.
Ferner stellt die Bildgebungsvorrichtung 7500 der sechsten Ausführungsform die Anzahl von niedrigempfindlichen Pixeln 2204L, die beim Erzeugen einer Farbe eines einzelnen Pixels P verwendet werden, aus (das heißt, durch selektives Verwenden) mehreren niedrigempfindlichen Pixeln 2204L, die entsprechend den mehreren Subklarfilterabschnitten 5305s vorgesehen sind, gemäß einem Umgebungshelligkeitsgrad der Bildgebungsvorrichtung 7500 ein. Damit kann, selbst wenn sich die Umgebungshelligkeit der Bildgebungsvorrichtung 7500 ändert, eine Differenz im Signalpegel zwischen Signalen, die von den fotoelektrischen Umwandlungselementen 2204 ausgegeben werden, die entsprechend den Pixeln P vorgesehen sind, reduziert werden.
Obwohl bisher verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, ist die vorliegende Offenbarung nicht darauf beschränkt und es können zumindest die folgenden Modifikationen darin beinhalten sein. Daher können andere verschiedene Änderungen und Modifikationen, die nicht vom Kern der vorliegenden Offenbarung abweichen, in einem Bereich der vorliegenden Offenbarung beinhaltet sein.
Nachfolgend werden verschiedene Modifikationen der vorstehend beschriebenen Ausführungsform kurz beschrieben. Anfänglich wird zunächst eine erste Modifikation kurz beschrieben. In den vorstehend beschriebenen Ausführungsformen sind alle in den jeweiligen Minimalwiederholungseinheiten 2302, 3302, 4302 und 6302 verwendeten Primärfarbeneinzelfarbfilter 2303, 4303, 5303 und 6303 durch Bilden der Bayer-Arrays angeordnet. Die vorliegende Offenbarung ist jedoch nicht darauf beschränkt, und es können verschiedene Anordnungen verwendet werden. Das heißt, beispielsweise können die Primärfarbentypeinzelfarbfilter 2303, 4303, 5303 und 6303, die in der Minimalwiederholungseinheit beinhaltet sind, verschiedene Arrays verwenden, wie beispielsweise ein schräges Bayer-Array, ein Quad-Bayer-Array usw.
Als nächstes wird nachstehend kurz eine zweite Modifikation beschrieben. Die Minimalwiederholungseinheit ist effektiv (das heißt, geeignet), wenn sie mindestens einen Primärfarbentypeinzelfarbfilter 2303, 4303, 5303 oder 6303 beinhaltet. Ferner kann die Minimalwiederholungseinheit einen anderen Einzelfarbfilter außer den Primärfarbentypeinzelfarbfiltern 2303, 4303, 5303 und 6303 beinhalten. Beispielsweise wird als ein solcher Einzelfarbfilter außer dem Primärfarbentypeinzelfarbfilter ein Klareinzelfilter veranschaulicht, der ein farbloser transparenter Einzelfarbfilter ist. Als Beispiel kann auch ein Gelbeinzelfarbfilter genannt werden, der ein Einzelfarbfilter ist, der bewirkt, dass Gelb durchdringt. Ferner kann als Einzelfarbfilter ein Komplementärfarbentypeinzelfarbfilter verwendet werden. Als Beispiele für die Komplementärfarbe können hier Cyan und Magenta genannt werden.
Ferner kann die Minimalwiederholungseinheit die folgenden Kombinationen von Einzelfarbfiltern sein, wobei R einen Roteinzelfarbfilter darstellt, G einen Grüneinzelfarbfilter darstellt und B einen Blaueinzelfarbfilter darstellt. Ferner repräsentiert C einen Klareinzelfarbfilter, Ye repräsentiert einen Gelbeinzelfarbfilter und Cy repräsentiert einen Cyaneinzelfarbfilter. Das heißt, die Minimalwiederholungseinheit kann RGCB, RYeYeB und RYeYeCy sein. Außerdem kann die Minimalwiederholungseinheit RYeYeG, RYeYeC und RYeYeYe sein. Ferner kann die Minimalwiederholungseinheit RCCB, RCCCy und RCCG sein. Ferner kann die Minimalwiederholungseinheit RCCC und RCCYe oder dergleichen sein.
Als nächstes wird nachstehend kurz eine dritte Modifikation beschrieben. In den vorstehend beschriebenen Ausführungsformen sind die Klarfilterabschnitte 4305, 5305 und 6305, die als Hochempfindlichkeitsfilterabschnitte wirken, farblos und transparent. Der im Hochempfindlichkeitsfilterabschnitt verwendete Filter ist jedoch nicht unbedingt farblos und transparent. Das heißt, wenn die Empfindlichkeit des im Hochempfindlichkeitsfilterabschnitt verwendeten Filters höher ist als die jedes der Primärfarbfilterabschnitte 4304, 5304 und 6304 ist, braucht der im hochempfindlichen Filterabschnitt verwendete Filter nicht farblos und transparent zu sein. Beispielsweise kann im Hochempfindlichkeitsfilterabschnitt ein Gelbfilter verwendet werden.
Als nächstes wird nachstehend kurz eine vierte Modifikation beschrieben. In der fünften Ausführungsform kann die Minimalwiederholungseinheit 5302 anstelle der Minimalwiederholungseinheit 6302 verwendet werden. In einer solchen Situation ist das niedrigempfindliche Pixel 2204L an einer gegebenen Position angeordnet, die es dem niedrigempfindlichen Pixel 2204L ermöglicht, Licht zu empfangen, das von einem der zwei Subprimärfarbfilterabschnitte 5304s durchgelassen wird. Auf ähnliche Weise sind die hochempfindlichen Pixel 2204H an gegebenen Positionen angeordnet, die es den hochempfindlichen Pixeln 2204H ermöglichen, Licht zu empfangen, das den Rest der Primärfarbentypeinzelfarbfilter 5303 durchdringt. Hier können mehrere hochempfindliche Pixel 2204H gemäß einer Form des verbleibenden Abschnitts der Primärfarbentypeinzelfarbfilter 5303 bereitgestellt werden.
Als nächstes wird nachstehend kurz eine fünfte Modifikation beschrieben. Die Bildgebungsvorrichtung 2500, 6500 oder 7500 der vorstehend beschriebenen Ausführungsformen werden verwendet, um das Fahrzeug 200 zu veranlassen, die Navigationsantwort zu erzeugen. Die Bildgebungsvorrichtung 2500, 6500 oder 7500 kann jedoch für andere Anwendungen verwendet werden, wie beispielsweise eine Fahrtaufzeichnungsanwendung usw. Ferner kann die Bildgebungsvorrichtung 2500, 6500 oder 7500 für mehrere Anwendungen verwendet werden. Beispielsweise kann die Bildgebungsvorrichtung 2500, 6500 oder 7500 verwendet werden, um ein Fahrzeug 200 zu veranlassen, Navigationsantworten zu erzeugen und gleichzeitig Fahrtaufzeichner zu betreiben.
Als nächstes wird nachstehend kurz eine sechste Modifikation beschrieben. Die Verarbeitungseinheit 110, die Steuerschaltung 2120 und die Verarbeitungsschaltung 2400, 6400 oder 7400, wie in der vorliegenden Offenbarung beschrieben, können durch einen dedizierten Computer realisiert werden, der einen Prozessor bildet, der programmiert ist, um mehrere Funktionen auszuführen. Außerdem können Verfahren zum Betreiben der Verarbeitungseinheit 110, der Steuerschaltung 2120 und der Verarbeitungsschaltung 2400, 6400 oder 7400 durch einen dedizierten Computer realisiert werden, der einen Prozessor bildet, der programmiert ist, um mehrere Funktionen auszuführen. Alternativ können die Verarbeitungseinheit 110, die Verarbeitungsschaltung 2400, 6400 oder 7400 und Verfahren zum Betreiben dieser Schaltungen, wie in der vorliegenden Offenbarung beschrieben, durch eine dedizierte Hardwarelogikschaltung realisiert werden. Andernfalls können die Verarbeitungseinheit 110, die Verarbeitungsschaltung 2400, 6400 oder 7400 und Verfahren zum Betreiben dieser Schaltungen, wie in der vorliegenden Offenbarung beschrieben, durch einen oder mehrere dedizierte Computer realisiert werden, die aus einer Kombination aus einem Prozessor, der ein Computerprogramm ausführt, und einer oder mehreren Hardwarelogikschaltungen bestehen. Die Hardwarelogikschaltungen können beispielsweise ASICs und FPGAs sein.
Das Speichermedium zum Speichern des Computerprogramms ist nicht auf das ROM beschränkt. Das heißt, das Speichermedium kann ein computerlesbares, materielles, nichtflüchtiges Aufzeichnungsmedium sein, das in der Lage ist, einen Computer zu veranlassen, das darin als Anweisungen gespeicherte Programm zu lesen und auszuführen. Beispielsweise kann ein Flash-Speicher das vorstehend beschriebene Programm als Speicher speichern.

Claims

Bildsensor, aufweisend: mehrere fotoelektrische Umwandlungselemente (2204); und mehrere Einzelfarbfilter zum Erzeugen mehrerer Farben, wobei die mehreren Einzelfarbfilter jeweils entsprechend den mehreren fotoelektrischen Umwandlungselementen angeordnet sind, wobei mindestens einer der mehreren Einzelfarbfilter einen Primärfarbentypeinzelfarbfilter (2303) beinhaltet, der Primärfarbentypeinzelfarbfilter Licht einer entsprechenden Primärfarbe und Licht mindestens einer anderer Primärfarben als der entsprechenden Primärfarbe überträgt, der Primärfarbentypeinzelfarbfilter eine erste gegebene Durchlässigkeit für Licht der einen von anderen Primärfarben als der entsprechenden Primärfarbe hat, bei der das Licht der einen von den anderen Primärfarben den Primärfarbentypeinzelfarbfilter durchdringt, die erste gegebene Durchlässigkeit höher als eine Untergrenze einer Durchlässigkeit ist, die eine Empfindlichkeit des Bildsensors verbessert.
Bildsensor gemäß Anspruch 1, wobei der mindestens eine der mehreren Einzelfarbfilter beinhaltet: einen Subprimärfarbfilterabschnitt (3304), der einen Satz mit dem Primärfarbentypeinzelfarbfilter (2303) bildet, der Subprimärfarbfilter eine zweite gegebene Durchlässigkeit für Licht einer Primärfarbe außer einer entsprechenden Primärfarbe hat, die zweite gegebene Durchlässigkeit niedriger als die erste gegebene Durchlässigkeit des Primärfarbentypeinzelfarbfilter für Licht einer Primärfarbe außer einer entsprechenden Primärfarbe ist, wobei die mehreren fotoelektrischen Umwandlungselemente (2204) separat jeweils entsprechend den mehreren Primärfarbentypeinzelfarbfiltern und dem Subprimärfarbfilter angeordnet sind.
Bildgebungsvorrichtung aufweisend: den Bildsensor gemäß Anspruch 2; und eine Verarbeitungsschaltung (2400) zum Erzeugen eines Farbbilds durch Korrigieren und Verarbeiten von Signalen, die von dem Bildsensor ausgegeben werden, wobei die Verarbeitungsschaltung das Farbbild basierend auf einem ersten Signal, das von dem fotoelektrischen Umwandlungselement ausgegeben wird, das entsprechend dem Primärfarbentypeinzelfarbfilter angeordnet ist, und einem zweiten Signal erzeugt, das von dem fotoelektrischen Umwandlungselement ausgegeben wird, das entsprechend dem Subprimärfarbfilter angeordnet ist, wobei ein Korrekturkoeffizient, der beim Korrigieren des Signals verwendet wird, das von dem fotoelektrischen Umwandlungselement ausgegeben wird, das entsprechend dem Primärfarbentypeinzelfarbfilter angeordnet ist, und ein Korrekturkoeffizient, der bei Korrigieren des Signals verwendet wird, das von dem fotoelektrischen Umwandlungselement ausgegeben wird, das entsprechend dem Subprimärfarbfilter angeordnet ist, unterschiedlich zueinander sind.
Bildsensor, aufweisend: mehrere fotoelektrische Umwandlungselemente (2204); und Mehrfarbeneinzelfarbfilter, die jeweils entsprechend den mehreren fotoelektrischen Umwandlungselementen angeordnet sind, wobei mindestens eine der Mehrfarbeneinzelfarbfilter beinhaltet: einen Primärfarbfilter (4304, 5304, 6304), der eine entsprechende Primärfarbe erzeugt; und einen Hochempfindlichkeitsfilter (4305, 5305) der empfindlicher als der Primärfarbfilter ist.
Bildsensor gemäß Anspruch 4, wobei der Primärfarbfilterabschnitt (5304) in mehrere Stücke unterteilt ist.
Bildsensor gemäß Anspruch 5, wobei eines der mehreren Stücke des Primärfarbfilterabschnitts einen Subprimärfarbfilterabschnitt (5304s, 6306) bildet, der eine kleinere Fläche als eine Hälfte des Primärfarbfilters hat, ferner aufweisend: ein niedrigempfindliches Pixel (2204L), das als ein fotoelektrisches Umwandlungselement wirkt, das entsprechend dem Subprimärfarbfilterabschnitt angeordnet ist; und ein hochempfindliches Pixel (2204H), das als ein fotoelektrisches Umwandlungselement wird, das entsprechend zu einem oder mehreren verbleibenden Stücken des Primärfarbfilterabschnitts angeordnet ist.
Bildgebungsvorrichtung aufweisend: den Bildsensor gemäß Anspruch 6; und eine Verarbeitungsschaltung (6400) zum Erzeugen eines Farbbilds durch Verarbeiten von Signalen, die von dem Bildsensor ausgegeben werden; wobei die Verarbeitungsschaltung das Farbbild durch Korrigieren von Signalen, die von sowohl dem niedrigempfindlichen Pixel als auch dem hochempfindlichen Pixel ausgegeben werden, erzeugt, wobei ein Korrekturkoeffizient, der beim Korrigieren des Signals, das von dem niedrigempfindlichen Pixel ausgegeben wird, verwendet wird, und ein Korrekturkoeffizient, der beim Korrigieren des Signals, das von dem hochempfindlichen Pixel ausgeben wird, verwendet wird, unterschiedlich zueinander sind.
Bildgebungsvorrichtung aufweisend: den Bildsensor gemäß einem der Ansprüche 4 bis 6; und eine Verarbeitungsschaltung (6400, 7400) zum Erzeugen eines Farbbilds durch Verarbeiten von Signalen, die von dem Bildsensor ausgegeben werden, wobei der Hochempfindlichkeitsfilterabschnitt in mehrere Subhochempfindlichkeitsfilterabschnitte (5305s) unterteilt ist, wobei die mehreren Subhochempfindlichkeitsfilterabschnitte jeweils entsprechend den mehreren fotoelektrischen Umwandlungselementen angeordnet sind, wobei die Verarbeitungsschaltung die Anzahl von fotoelektrischen Umwandlungselementen, die beim Erzeugen einer Farbe eines Pixels verwendet werden gemäß einer Umgebungsluminanz einstellt.
Bildgebungsvorrichtung gemäß Anspruch 8, wobei die Verarbeitungsschaltung das Farbbild durch Korrigieren der Signale erzeugt, die von den fotoelektrischen Umwandlungselementen ausgegeben werden, wobei die Verarbeitungsschaltung einen Korrekturkoeffizienten, der beim Korrigieren eines oder mehrerer Signale verwendet wird, die von den fotoelektrischen Umwandlungselementen ausgegeben werden, gemäß der Anzahl fotoelektrischer Umwandlungselemente ändert, die beim Erzeugen einer Farbe eines einzelnen Pixels verwendet werden.
Bildverarbeitungsverfahren, das die folgenden Schritte umfasst: Empfangen von einfallendem Licht mit Mehrfarbeneinzelfarbfiltern; Erzeugen von Primärfarben mit einem Primärfarbfilterabschnitt (4304, 5304, 6304); Bewirken, dass ein Teil des einfallenden Lichts einen Hochempfindlichkeitsfilterabschnitt (4305, 5305) mit einer höheren Empfindlichkeit als der Primärfarbfilterabschnitt passiert, wobei der Hochempfindlichkeitsfilterabschnitt in mehrere Subhochempfindlichkeitsfilterabschnitte (5305s) unterteilt ist und die mehreren Subhochempfindlichkeitsfilterabschnitte jeweils entsprechend den mehreren fotoelektrischen Umwandlungselement angeordnet sind, und Einstellen der Anzahl fotoelektrischer Umwandlungselemente, die beim Erzeugen einer Farbe eines einzelnen Pixels verwendet werden, gemäß einer Umgebungsluminanz. Ausführen mehrfacher fotoelektrischer Umwandlung mit mehreren fotoelektrischen Umwandlungselementen (2204), die jeweils entsprechend den Mehrfarbeneinzelfarbfiltern angeordnet sind, um elektrische Signale zu erlangen; Korrigieren der elektrischen Signale; und Erzeugen eines Farbbilds basierend auf den korrigierten elektrischen Signalen.