-
QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
-
Diese Anmeldung basiert auf und umfasst hierin durch Bezugnahme die am 13. Juni 2012 eingereichte
japanische Patentanmeldung Nr. 2012-133869 .
-
HINTERGRUND DER ERFINDUNG
-
Gebiet der Anmeldung
-
Die vorliegende Erfindung bezieht sich auf eine Bildgebungsvorrichtung mit einer Funktion zum Unterdrücken eines Festmusterrauschens, das durch einen Bildgebungssensor der Vorrichtung erzeugt wird.
-
Stand der Technik
-
Ein Festmusterrauschen (Fixed-Pattern-Noise) bezeichnet ein Rauschen, das als ein unverändertes Muster in jedem von aufeinanderfolgenden Frames (die jeweilige aufgenommene Bilder wiedergeben) von Bilddaten auftritt, die durch eine Digitalkamera erzeugt werden. Das Festmusterrauschen resultiert von einem oder mehreren der Arrays von Fotosensoren des Bildgebungssensors, die defekt sind. Diese werden durch Fertigungstoleranzen der Bildgebungssensoren verursacht und jeder defekte Fotosensor erzeugt fortlaufend einen Hoch-Luminanzausgabewert ungeachtet der Lichtintensität, die auf ihn fällt.
-
Verschiedene Vorschläge zum Unterdrücken von solch einem Festmusterrauschen sind gemacht worden, so wie in der
japanischen Patentveröffentlichung Nr. 2006-140982 . Dieses Patent schlägt ein Verfahren vor, wobei Bilddaten einer Mehrzahl von aufeinanderfolgender Frames, die von einem Bildgebungssensor erhalten werden, angehäuft werden und, wobei das Festmusterrauschen basierend auf räumlichen Hochfrequenzkomponenten unterdrückt wird, die in den angehäuften Bilddaten wiedergegeben werden. Jedoch ist es bei solch einem Verfahren nötig, große Speicherressourcen zum Speichern der angehäuften Bilddaten vorzusehen und es ist unmöglich, eine Hochgeschwindigkeit eines Erfassens des Festmusterrauschens zu erreichen.
-
KURZFASSUNG
-
Daher ist es wünschenswert, das obige Problem durch Vorsehen einer Bildgebungsvorrichtung mit einer Funktion zu überwinden, wobei das Festmusterrauschen schnell erfasst und unterdrückt werden kann während nur kleine Speicherressourcen verwendet werden.
-
Die Erfindung ist auf eine Bildgebungsvorrichtungen mit einem optischen System anwendbar, das ein optisches Streuungselement wie zum Beispiel einen optischen Tiefpassfilter zum effektiven Streuen von einfallenden Lichtstrahlen, die in das optische System eintreten, umfasst und mit einem Bildgebungssensor, der mit einem Array von Fotosensoren gebildet ist, die jeweils derart angeordnet sind, dass sie gestreute einfallende Lichtstrahlen von dem optischen Streuelement empfangen. Der Bildgebungssensor wird derart gesteuert, dass er ein Bilddatenframe aufnimmt, das aus jeweiligen Luminanzwerten gebildet ist, die von den Fotosensoren erzeugt werden und, das ein aufgenommenes Bild einer Außenszene wiedergibt.
-
Um die obigen Ziele zu erreichen, umfasst die Bildgebungsvorrichtung ferner eine Extraktionsschaltung zum Verarbeiten des Bilddatenframes, um Hoch-Luminanz-Fotosensoren zu identifizieren wie zum Beispiel Fotosensoren, die jeweilige Luminanzwerte erzeugen, die einen ersten vorbestimmten Schwellenwert überschreiten, und, um isolierte dieser Hoch-Luminanz-Fotosensoren zu identifizieren, zum Beispiel solche, die von allen weiteren Hoch-Luminanz-Fotosensoren in dem Bilddatenframe isoliert sind. Die Bildgebungsvorrichtung umfasst ferner eine Beurteilungsschaltung, die derart konfiguriert ist, dass sie für jeden der isolierten Hoch-Luminanz-Fotosensoren beurteilt, ob dieser Fotosensor ein Festrausch-Fotosensor ist zum Beispiel ein solcher, der ungeachtet der darauf fallenden Lichtintensität unverändert einen Hoch-Luminanzwert erzeugt und folglich ein Festmusterrauschen erzeugt. Diese Beurteilung basiert auf einem Verhältnis zwischen einem zweiten Schwellenwert (kleiner als der erste Schwellenwert) und jeweiligen Luminanzwerten eines Satzes von Fotosensoren, die peripher angrenzend zu dem isolierten Hoch-Luminanz-Fotosensor angeordnet sind und folglich gestreutes Licht empfangen können, das ebenso auf diesen Hoch-Luminanz-Fotosensor fällt.
-
Die Beurteilung wird bevorzugt nur ausgeführt, wenn die Bildgebungsvorrichtung Bilder einer externen (Außen-)Szene nachts aufnimmt.
-
Darüber hinaus beurteilt die Beurteilungsschaltung bevorzugt, dass ein isolierter Hoch-Luminanz-Fotosensor ein Festrausch-Fotosensor ist, wenn jeder der Luminanzwerte der peripher angrenzenden Fotosensoren des isolierten Hoch-Luminanz-Fotosensors kleiner als der zweite vorbestimmte Schwellenwert ist. Jedoch würde es ebenso möglich sein, zu beurteilen, dass ein isolierter Hoch-Luminanz-Fotosensor ein Festrausch-Fotosensor ist, wenn der Mittelwert der Luminanzwerte der peripher angrenzenden Fotosensoren kleiner als der zweite vorbestimmte Schwellenwert ist, oder, wenn die Gesamtmenge der Luminanzwerte der peripher angrenzenden Fotosensoren kleiner als der zweite vorbestimmte Schwellenwert ist.
-
Solch eine Bildgebungsvorrichtung umfasst ferner eine Bilddaten-Korrekturschaltung. Diese unterdrückt das Festmusterrauschen durch Subtrahieren einer Korrekturmenge entsprechend dem Festrausch-Fotosensor von jedem Luminanzwert, der von den Festrausch-Fotosensoren in jedem der Bilddatenframes erzeugt wird. Die Korrekturmenge entsprechend einem Festrausch-Fotosensor wird basierend auf (vorzugsweise durch Mittelwertbilden) Luminanzwerten abgeleitet, die von diesem Fotosensor in den jeweiligen von einer Mehrzahl von zuvor aufgenommenen Bilddatenframes erhalten worden sind.
-
Die Bildgebungsvorrichtung weist bevorzugt einen wiederbeschreibbaren Speicher wie zum Beispiel einen EEPROM zum Speichern von Luminanz-Historiendaten in jeweiligen Datensätzen entsprechend jedem der Festrausch-Fotosensoren zum Verwenden beim Berechnen der entsprechenden Korrekturmengen auf. Jeder Datensatz beinhaltet die Positionskoordinaten des Festrausch-Fotosensors und die Luminanz-Historiendaten (Luminanzwerte, die zuvor von diesem Fotosensor in jeweiligen Bilddatenframes erzeugt werden), mit der entsprechenden Korrekturmenge, die als der Mittelwert der Luminanz-Historiendatenwerte berechnet worden ist.
-
Die Luminanz-Historiendaten von jedem Festrausch-Pixel werden bevorzugt durch Dazuaddieren eines Luminanzwertes periodisch aktualisiert, der von dem entsprechenden Festrausch-Fotosensor in jedem frisch aufgenommenen Bilddatenframe bis zum aktuellen Zeitpunkt erzeugt wird.
-
Solch eine Bildgebungsvorrichtung kann vorteilhafte in einem Kraftfahrzeug zum Verwenden bei einer Erkennung von Objekten wie zum Beispiel anderen Fahrzeugen installiert sein, um Bilder von einem Bereich vor dem Fahrzeug aufzunehmen. Bei diesem Fall kann die Bildgebungsvorrichtung ferner eine Fahrzeuglicht-Erkennungsschaltung aufweisen, die derart konfiguriert ist, dass sie die Schlussleuchten oder Scheinwerfer von solchen weiteren Fahrzeugen erfasst, wenn diese in den Bildern, die durch den Bildgebungssensor aufgenommen werden, erscheinen, wobei die Erfassung basierend auf Inhalten der korrigierten Bilddatenframes ausgeführt wird.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 ist ein Blockdiagramm, das die Allgemeinkonfiguration eines Fahrzeugsteuerungssystems veranschaulicht, das eine Ausführungsform einer Bildgebungsvorrichtung umfasst;
-
2 ist ein Zeitablaufdiagramm zum Veranschaulichen eines Verarbeitens, das durch eine Verarbeitungseinheit der Ausführungsform auf jedes von aufeinanderfolgenden Frames von Videodaten angewendet wird;
-
3A bis 3D veranschaulichen Luminanzwerte, die erzeugt werden, wenn gestreute Lichtstrahlen auf einen Satz von gegenseitlich angrenzende Fotosensoren eines Bildgebungssensors fallen;
-
4 ist ein Diagramm, das Luminanzwerte veranschaulicht, die erzeugt werden, wenn einer eines Satzes von gegenseitig angrenzenden Fotosensoren ein Festrausch-Fotosensor ist;
-
5 ist ein Ablaufdiagramm, das einen Gesamtablauf einer Rauschunterdrückungsverarbeitung und einer Lernverarbeitung zum Identifizieren von Festrausch-Fotosensoren darstellt;
-
6 ist ein Ablaufdiagramm einer Rauschunterdrückungsverarbeitung, die durch die Verarbeitungseinheit der Ausführungsform ausgeführt wird;
-
7 veranschaulicht konzeptionell eine Rauschkarte, die in einem wiederbeschreibbaren Speicher der Ausführungsform gespeichert wird;
-
8 ist ein Ablaufdiagramm einer Rausch-Lernverarbeitung zum Identifizieren von Festrausch-Fotosensoren, die von der Verarbeitungseinheit der Ausführungsform ausgeführt wird;
-
9 veranschaulicht ein Positionsverhältnis zwischen einem Beurteilungobjektpixel und einem Satz von peripher angrenzenden Fotosensoren;
-
10 ist ein Ablaufdiagramm einer Gruppen-Kennzeichnungsverarbeitung, die bei der Rausch-Lernverarbeitung ausgeführt wird; und
-
11 ist ein Ablaufdiagramm einer Gruppen-Kennzeichnungsverarbeitung zum Extrahieren isolierter Hoch-Luminanz-Fotosensoren, die in der Rausch-Lernverarbeitung ausgeführt wird.
-
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
-
Die 1 zeigt eine Allgemeinkonfiguration eines Fahrzeugsteuerungssystems 1, das eine Bildanalysevorrichtung 10 und eine Fahrzeugsteuerungsvorrichtung 90 umfasst, die zur Datenkommunikation über ein Intra-Fahrzeugnetzwerk verbunden sind. Die Bildanalysevorrichtung 10 weist eine digitale Videokamera (die im Folgenden einfach als eine Kamera bezeichnet wird) 20, die aufeinanderfolgende Bilder (als Bilddaten von aufeinanderfolgenden Videosignalframes) von einem Bereich vor dem Host-Fahrzeug aufnimmt und eine Verarbeitungseinheit 30 auf. Die Letztere ist im Wesentlichen durch einen wie im Folgenden beschrieben Mikrocomputer realisiert, mit den Funktionen der Verarbeitungseinheit 30, die durch Ausführen eines gespeicherten Programms durchgeführt werden. Diese Funktionen weisen ein Steuern der Kamera 20 und eine Analyse der Bilddaten auf, die von der Kamera 20 erhalten werden, mit den Zielen das Vorhandensein von Objekten zu erfassen, die vor dem Host-Fahrzeug positioniert sind. Die Erfassungsergebnisse werden zu der Fahrzeugsteuerungsvorrichtung 90 übertragen.
-
Die Bildanalysevorrichtung 10 weist ferner eine Kommunikationseinheit 40 (Kommunikationsschnittstelle) auf, die eine bidirektionalen Übertragung von Daten zwischen der Bildanalysevorrichtung 10 und der Fahrzeugsteuerungsvorrichtung 90 über das Intra-Fahrzeugnetzwerk steuert.
-
Die Fahrzeug-Steuerungsvorrichtung 90 führt eine Steuerung des Host-Fahrzeuges (zum Beispiel eine Steuerung eines Zwischen-Fahrzeug-Trennungsabstandes bzw. eines Abstandes zwischen Fahrzeugen) basierend auf den zuvor von der Bildanalysevorrichtung 10 erhaltenen Erkennungsergebnissen durch. Zusätzlich steuert die Fahrzeug-Steuerungsvorrichtung 90 bei Nachtfahrten die Richtung der Scheinwerferstrahlen des Host-Fahrzeuges (zum Beispiel steuert sie ein Umschalten zwischen Fernlicht/Abblendlicht).
-
Wie dargestellt weist die Kamera 20 ein optisches System 21, das externes einfallendes Licht empfängt, und einen Bildgebungssensor 27 auf, der Bilddaten in Einklang mit einem einfallenden Licht von dem optischen System 21 erzeugt. Insbesondere wird der Bildgebungssensor 27 derart gesteuert, dass er die Bilddaten als aufeinanderfolgende Frames erzeugt, wobei jeder Frame aus jeweiligen Luminanzwerten besteht, die von einem Array von Fotosensoren erhalten werden.
-
Aufgrund der gegebenen Kürze der Beschreibung werden diese Fotossensoren im Folgenden als Pixel bezeichnet und der Erfassungssignalpegel, der durch einen Fotosensoren in Einklang mit einer empfangenen Lichtintensität erzeugt wird, wird als der Luminanzwert bezeichnet, der durch den Fotosensor erzeugt wird.
-
Das optische System 21 besteht aus einer Linse 23 und einem optischen Tiefpassfilter (manchmal bezeichnet als ein Anti-Aliasing-Filter) 25. Der optische Tiefpassfilter 25 dient dazu, bestimmte räumliche Hochfrequenzkomponenten des externen empfangen einfallenden Lichts zu beseitigen, bevor das Licht auf den Bildgebungssensor 27 fällt. Dies wird durch eine Streuung des externen einfallenden Lichtes durchgeführt, das bei dieser Ausführungsform durch Teilen jedes einfallenden Lichtstrahls in vier getrennte Strahlen durchgeführt wird, so wie es in dem Technologiegebiet wohl bekannt ist.
-
Der Bildgebungssensor 27 weist einen Farbfilterarray 27A auf, der aus Rot-(R), Grün-(G) und Blau-(B)Filter gebildet ist, die über entsprechenden des Arrays von Pixeln des Bildgebungssensors 27 positioniert sind. Pixel, die jeweils diesen R-, G-, B-Filtern entsprechen, werden im Folgenden als R-, G- und B-Pixel bezeichnet. Diese Ausführungsform verwendet einen CMOS-(Komplementär-Metalloxyd-Halbleiter)-Bildgebungssensor, jedoch ist die Erfindung ebenso auf weitere Sensortypen wie zum Beispiel einen CCD-(Charge-Coupled-Vorrichtung bzw. Bauteil mit Ladungskopplung)-Bildgebungssensor anwendbar.
-
In jedem von aufeinanderfolgenden Frameintervallen wird der Bildgebungssensor 27 durch die Verarbeitungseinheit 30 gesteuert, um Bilddaten zu erzeugen, die aus jeweiligen Luminanzwerten der Pixel bestehen. Aufgrund des Vorhandenseins des Farbfilter-Arrays 27A erzeugen die Bilddaten Farbbilddaten wie zum Beispiel die Luminanzwerte eines Satzes von jeweiligen angrenzenden R-, G-, B-Pixel, die sowohl Luminanz- als auch Chrominanzinformation für einen Teil eines aufgenommenen Bildes wiedergeben. Die Bilddaten von aufeinanderfolgenden Frames, die jeweilige Bilder des Bereiches vor dem Host-Fahrzeug wiedergeben, werden von dem Bildgebungssensor 27 der Verarbeitungseinheit 30 geliefert.
-
Zusätzlich analysiert die Verarbeitungseinheit 30, um eine Gesamtsteuerung der Bildanalysevorrichtung 10 durchzuführen, die Bilddaten von jeweiligen Frames, die von der Kamera 20 erhalten werden, zum Erkennen von Objekten wie zum Beispiel Personen oder weitere Fahrzeug, die vor dem Host-Fahrzeug positioniert sind. So wie weiter oben angegeben ist die Verarbeitungseinheit 30 im Wesentlichen ein Mikrocomputer mit einer CPU 31, einem ROM 33, einem RAM 35 und einem EEPROM (Elektrisch Löschbarer Programmierbarer Nur-Lese-Speicher) 37, zum Beispiel einem wiederbeschreibbaren nicht-flüchtigen Speicher. Die Funktionen der Verarbeitungseinheit 30 werden durch die CPU 31 durch Ausführen eines Programms durchgeführt, das in dem ROM 33 gespeichert gehalten wird.
-
Durch Steuern der Kamera 20 erlangte die Verarbeitungseinheit 30 periodisch Bilder (Wiedergegeben durch jeweilige Bilddatenframes) von der Kamera 20, die einen Bereich vor dem Host-Fahrzeug zeigen. So wie in der 2 dargestellt, verarbeitet während jedem Frameintervall die Verarbeitungseinheit 30 das kürzlich erlangte Bilddatenframe (zum Beispiel die Bilddaten, die in dem unmittelbar vorangegangenen Frameintervall), wobei die Verarbeitung in zwei aufeinanderfolgenden Stufen ausgeführt wird, die als die Rauschunterdrückungs- und Lernverarbeitung PR1 bzw. die Objekterkennungsverarbeitung PR2 bezeichnet werden. Die Rauschunterdrückungs- und Lernverarbeitung PR1 weist eine Verarbeitung auf, die auf den kürzlich erfassten Bilddatenframe zum Unterdrücken von Rauschen (insbesondere von Festmusterrauschen) angewendet wird, um dadurch korrigierte Bilddaten zu erhalten. Darüber hinaus weist die Rauschunterdrückungs- und Lernverarbeitung PR1 ein Verarbeiten zum Lernen (zum Beispiel Erfassen oder Registrieren) von irgendwelchen Festrausch-Pixeln (zum Beispiel von Pixeln, die feste Luminanzwerte erzeugen, die in dem Festmusterrauschen resultieren), die noch nicht registriert worden sind und zum Aktualisieren von Luminanzhistoriendaten auf, die für jeden von zuvor registrierten Festrausch-Pixeln gespeichert sind.
-
Die Objekterkennungsverarbeitung PR2 wird auf die korrigierten Bilddaten von dem kürzlich erfassten Frame zum Erkennen von Objekten angewendet, die vor dem Host-Fahrzeug positioniert sind.
-
Eine Technologie zum Realisieren solch einer Erfassung ist wohl bekannt, so dass eine detaillierte Beschreibung hiervon weggelassen wird. Wenn das Host-Fahrzeug zum Beispiel bei Nacht (zum Beispiel nachts) betrieben wird, kann die PR2-Verarbeitung zum Erfassen von Fahrzeugscheinwerfern oder Fahrzeugschlussleuchten ausgeführt werden, die in den aufgenommenen Bildern auftreten, die durch die korrigierten Bilddaten wiedergegeben werden.
-
Die Beurteilungsprinzipien, die zum Identifizieren der Festrausch-Pixel verwendet werden, werden in Bezug auf das Beispiel von den 3A~3D (die den Fall veranschaulichen, in dem ein Hoch-Luminanzpixel ein Normalpixel ist) und auf das Beispiel von der 4 (die den Fall veranschaulichen, indem ein Hoch-Luminanzpixel ein Festrausch-Pixel ist) beschrieben werden. Bei dem Beispiel der 3A wird ein Strahl von einem externen Licht, das in die Kamera 20 fällt, durch Aufteilen durch den optischen Tiefpassfilter 25 in vier entstehende Lichtstrahlen zerstreut, von denen angenommen wird, dass sie jeweils auf vier gegenseitig angrenzende Pixel PA, PB, PC und PD des Bildgebungssensors 27 fallen. Es wird angenommen, dass kein weiteres gestreutes Licht auf die Pixel PB, PC, PD fällt, zum Beispiel, dass kein weiterer sich in der Nähe befindender Pixel einen Hoch-Luminanzwert erzeugt.
-
Es wird ebenso angenommen, dass Rot die Haupt-Farbkomponente des einfallenden Lichtstrahls ist, wie das Licht von einer Fahrzeugschlussleuchte, und, dass dieses zerstreut wird, um nur auf die Pixel PA, PB, PC und PD zu fallen. Wenn der Farbfilter-Array 27A entfernt wird, würden die Pixel PA, PB, PC, PD identische Werte einer Luminanz als Antwort auf das gestreute Licht erzeugen, so wie in der 3B veranschaulicht ist. Jedoch werden aufgrund der Dämpfung der Rotkomponente durch die in der 3C dargestellten G-, B-Farbfilter die Luminanzwerte der Pixel PB, PC, PD jeder kleiner als der des R Pixels PA, jedoch wird jeder bedeutend größer als null sein, so wie es in der 3D veranschaulicht ist.
-
In Bezug nun auf die 4 ist bei einem Satz von vier gegenseitig angrenzenden Pixeln PE, PF, PG, PH, der Pixel PE ein Festrausch-Pixel, der einen festen Hoch-Wert einer Luminanz erzeugt und es wird angenommen, dass kein zerstreut Licht auf irgendeinen der Pixel PF, PG, PH (kein weiterer sich in der Nähe befindender Pixel erzeugt einen Hoch-Luminanzwert) fällt. Bei diesem Fall erzeugt jeder der peripher angrenzenden Pixel PF, PG, PH einen Luminanzwert von null oder im Wesentlichen null.
-
Dieses Phänomen wird durch die Ausführungsform wie folgt verwendet. Wenn Bilddaten von aufeinanderfolgende Frames von dem Bildgebungssensor 27 nachts erfasst werden, wird so dann in jedem Frame jeder isolierte Hoch-Luminanzpixel (ein Pixel, der einen Luminanzwert erzeugt, der einen vorbestimmten Schwellenwert übersteigt und räumlich von allen weiteren Hoch-Luminanzpixeln isoliert ist) identifiziert. Eine Entscheidung wird so dann basierend auf dem Mittenwert-Luminanzwerten eines Satzes von peripher angrenzenden Pixeln des isolierten Hoch-Luminanzpixel getroffen, ob der isolierte Hoch-Luminanzpixel ein Festrausch-Pixel ist.
-
Die Rauschunterdrückungs- und Lernverarbeitung PR1, die durch die Verarbeitungseinheit 30 ausgeführt werden, werden zuerst detaillierter in Bezug auf das Ablaufdiagramm der 5 beschrieben werden. Zuerst (Schritt S110) erlangt die Verarbeitungseinheit 30 die aktuellen Bilddaten (zum Beispiel Daten von einem Frame, der von dem Bildgebungssensor 27 erzeugt wird). Danach führt in Schritt S120 die Verarbeitungseinheit 30 die Rauschunterdrückungsverarbeitung durch, die in dem Flussdiagramm der 6 dargestellt ist. Für jeden der jeweiligen Pixel, die als Festrausch-Pixel registriert worden sind, ist ein entsprechender Satz von zuvor erhaltener Luminanzwerte als Luminanz-Historiendaten in einer als eine Rauschkarte bezeichneten Speicherkarte gespeichert worden, die in dem EEPROM 37 gespeichert wird. Die Rauschkarte ist in der 7 konzeptionell veranschaulicht. Der Luminanzwert, der für jeden Festrausch-Pixel in den aktuellen Bilddaten erhalten wird, wird durch Subtrahieren einer korrigierten Menge von ihm korrigiert, die der Mittelwert der entsprechenden Luminanz-Historiendaten ist. Die aktuellen Bilddaten werden dadurch verarbeitet, um korrigierte Bilddaten zu erhalten, bei denen das Festmusterrauschen unterdrückt ist.
-
Insbesondere in Bezug auf die 6, wenn die Rauschunterdrückungsverarbeitung begonnen hat, beurteilt die Verarbeitungseinheit 30, ob eine Rauschunterdrückungsverarbeitung auf alle der Festrausch-Pixel angewendet worden ist, die bereits in der Rauschkarte registriert worden sind (Schritt S210). Für jeden registrierten Pixel werden entsprechende Koordinatendaten (zum Beispiel Positionskoordinaten in dem Pixelarray des Bildgebungssensors 27) und Luminanz-Historiendaten als ein Datensatz in der Rauschkarte gespeichert. Die Luminanz-Historiendaten, die für einen Festrausch-Pixel aufgenommen sind, bestehen aus Luminanzwerten, die aufeinanderfolgend von diesem Pixel bis hin zum aktuellen Zeitpunkt erhalten worden sind (zum Beispiel als aufeinanderfolgende Aktualisierungssamples von jeweiligen Bilddatenframes), wenn Bilder durch die Kamera 20 nachts aufgenommen worden sind.
-
Wenn beurteilt wird, dass eine Rauschunterdrückungsverarbeitung auf alle der Festrausch-Pixel angewendet worden ist, die in der Rauschkarte registriert worden sind (JA in Schritt S210), wird die Ausführung der Rauschunterdrückungsverarbeitungsroutine beendet während andererseits (NEIN in Schritt S210) ein weiterer Festrausch-Pixel ausgewählte wird (Schritt S220). Als Nächstes (Schritt S230) wird basierend auf den Luminanz-Historiendaten für den Pixel, der ausgewählt wird, verarbeitet zu werden (im Folgenden als der Verarbeitungsobjektpixel bezeichnet), eine Korrekturmenge XA als der Mittelwert der Werte in den Luminanz-Historiendaten des Verarbeitungsobjektpixels berechnet. Durch Kennzeichnen des Luminanzwertes, der von dem Verarbeitungsobjektpixel in den aktuellen Bilddaten erhalten wird, als das X, wird dieser dann durch Subtrahieren der entsprechenden Korrekturmenge XA von ihm korrigiert (Schritt S240), um einen entsprechenden korrigierten Luminanzwert (X-XA) zu erhalten. Der Schritt S210 und die folgenden Schritte werden so dann wiederholt ausgeführt.
-
Auf diese Weise werden korrigierte (zum Beispiel solche mit unterdrücktem Festmusterrauschen) Bilddaten von den aktuellen Bilddaten durch Anwenden der Verarbeitung der Schritten S230, S240 auf die kürzlich erhaltenen Luminanzwerte von jedem der Festrausch-Pixel erhalten, die in der Rauschkarte registriert worden sind.
-
Nach Vollenden der Rauschunterdrückungsverarbeitung (JA-Entscheidung in Schritt S210) führt die Verarbeitungseinheit 30 so dann den Schritt S130 von der 5 durch, um zu beurteilen, ob das Fahrzeug aktuell nachts betrieben wird. Falls dies nicht der Fall ist (NEIN-Entscheidung), wird diese Ausführung der Rauschunterdrückungs- und Lernverarbeitungsroutine PR1 beendet, ohne ein Ausführen der Rausch-Lernverarbeitung. Falls dies zutrifft (JA-Entscheidung in Schritt S130) wird eine Rausch-Lernverarbeitung (Schritt S140) ausgeführt, wobei so dann diese Ausführung der Rauschunterdrückungs- und Lernverarbeitung PR1 beendet wird.
-
Die Entscheidung, ob das Host-Fahrzeug aktuell bei Nacht betrieben wird, kann zum Beispiel basierend darauf gefällt werden, ob oder ob nicht die Gesamtluminanz von jedem Bilddatenframe (oder der Mittelwert der jeweiligen Luminanzwerte des Bilddatenframes) sich oberhalb eines vorbestimmten Schwellenwertes befindet. Bei diesem Fall, wenn die Gesamtluminanz (oder ein Luminanzmittelwert) den vorbestimmten Schwellenwert übersteigt, wird eine NEIN-Entscheidung in Schritt S130 der 5 erreicht, während andererseits eine JA-Entscheidung in Schritt S130 gefällt wird und die Rausch-Lernverarbeitung ausgeführt wird. Jedoch könnten andere Verfahren zum Unterscheiden zwischen Tageslicht- und Dunkelheitsbetrieb ins Auge gefasst werden.
-
In Bezug auf das Ablaufdiagramm des in der 8 dargestelltes Rausch-Lernverarbeitung wandelt die Verarbeitungseinheit 30 zuerst (Schritt S310) die korrigierten Bilddaten (erhalten durch den Rauschunterdrückungsschritt S120 von der obigen 5) zu Binärenbilddaten um. Insbesondere werden die korrigierten Luminanzwerte von dem aktuellen Bilddatenframe, die den jeweiligen Pixeln des Bildgebungssensors 27 entsprechen, zu Binärwerten durch Zuordnen eines 1- oder 0-Wertes zu jedem korrigierten Luminanzwert in Einklang damit umgewandelt, ob oder ob nicht er einen vorbestimmten ersten Schwellenwert übersteigt. Die Pixel, für die der entsprechende Luminanzwert von 1 zugeordnet wird, werden im Folgenden als die Hoch-Luminanzpixel bezeichnet.
-
Es ist zu betonen, dass die Binär-Umwandlungsverarbeitung von Schritt S310 auf korrigierte Bilddaten angewendet wird, die durch die Rauschunterdrückungsverarbeitung von Schritt S120 der 5 erhalten werden.
-
Danach (Schritt S320) wendet die Verarbeitungseinheit 30 eine Gruppenkennzeichnung auf die Binärbilddaten an. Hierbei bedeutet ”Kennzeichnung” ein Hinzufügen individueller Kennzeichnung (Labels) zu jeweiligen Pixelgruppen. Jede der Gruppen besteht nur aus Pixeln, die dem Wert 1 zugeordnet worden sind, und jede Gruppe ist aus einem Einzelpixel oder aus einer Mehrzahl von kontinuierlich angrenzenden Pixeln gebildet (zum Beispiel, die jeweils unmittelbar angrenzend zu mindestens einem weiteren Pixel dieser Gruppe positioniert sind). Die gleiche Kennzeichnung wird auf jeden der Pixel der Gruppe gemeinsam zugewiesen. Hierbei gibt ”unmittelbar angrenzend” unmittelbar oberhalb oder unmittelbar unterhalb oder unmittelbar zu der linken Seite oder zu der rechten Seite, oder unmittelbar diagonal angrenzend an. Folglich entsprechen die Gruppen jeweiligen Hoch-Luminanzbereichen in dem aktuell erfassten Bilddatenframe.
-
Das Ablaufdiagramm von der 10 zeigt Details der Kennzeichnungs-Verarbeitungsinhalte. So wie dargestellt, solange einen oder mehrere von Hoch-Luminanzpixeln noch nicht einer Kennzeichnung zugeordnet worden ist (NEIN-Entscheidung in Schritt S320a), wird ein Hoch-Luminanzpixel ausgewählt (Schritt S320b) und einer neuen Kennzeichnung, zum Beispiel, die noch nicht zu irgendeinem weiteren Pixel zugeordnet worden ist) in Schritt S320c zugewiesen. Danach wird eine Suche durchgeführt, um alle Hoch-Luminanzpixel zu bilden, wenn überhaupt, die kontinuierlich angrenzen (so wie oben definiert) zu dem ausgewählten Hoch-Luminanzpixel sind (Schritt S320d). Die neue Kennzeichnung wird so dann zu jedem von diesen Hoch-Luminanzpixeln zugeordnet (Schritt S320i), um dadurch die Kennzeichnung zu einer neuen Gruppe hinzuzufügen. Wenn alle der Hoch-Luminanzpixel einem Label zugeordnet worden sind (JA in Schritt S320a), wird so dann einen Schritt S330 der 8 ausgeführt.
-
Obwohl bei dieser Ausführungsform das Kopieren nur in Einklang mit Luminanzwerten durchgeführt wird, kann es wünschenswert sein, das Kopieren in Einklang mit einer Pixelfarbe durchzuführen, zum Beispiel, um Gruppen von Hoch-Luminanz R-Pixeln, Gruppen von Hoch-Luminanz G-Pixeln und Gruppen von Hoch-Luminanz B-Pixel auszuwählen.
-
Als Nächstes (Schritt S330) wird eine Verarbeitung zum Extrahieren von isolierten Hoch-Luminanzpixeln ausgeführt. Für jede der Kennzeichnungen wird die Pixelanzahl, die zu dieser Kennzeichnung zugeordnet worden sind, gezählt und jede Kennzeichnung extrahiert, für die der Zählwert 1 ist. Auf diese Weise wird jeder von jeweiligen isolierten Hoch-Luminanzpixeln (Hoch-Luminanzbereiche, die durch einen Einzelpixel bestimmt sind) extrahiert (identifiziert), zum Beispiel mit jedem isolierten Hoch-Luminanzpixel, der einen Luminanzwert erzeugt, der den ersten Schwellenwert übersteigt und der räumlich von allen weiteren Hoch-Luminanzpixeln isoliert ist.
-
Das Ablaufdiagramm der 11 stellt Details der Kennzeichnungsverarbeitungsinhalte dar. So wie dargestellt, wenn noch nichts alle der zugeordneten Kennzeichnungen geprüft worden sind (NEIN in Schritt S330a), wird eine zugeordnete Kennzeichnung ausgewählt (Schritt S330d). Die Gesamtanzahl von Hoch-Luminanzpixeln, die dieser Kennzeichnung zugeordnet sind, wird so dann gezählt. Wenn beurteilt wird, dass die Kennzeichnung nur einem Einzel-Hoch-Luminanzpixel zugeordnet ist (JA in Schritt S330c), wird dieser Pixel als ein isolierter Hoch-Luminanzpixel bezeichnet (Schritt S330d). Wenn das ausgewählte Kennzeichen einer Gruppe mit einer Mehrzahl von Hoch-Luminanzpixeln zugeordnet worden ist (NEIN in Schritt S330c), kehrt das Verfahren zu Schritt S330a zurück. Wenn alle der Kennzeichen geprüft worden sind (JA in Schritt S330a), wird so dann der Schritt S340 der 8 ausgeführt.
-
Mit Rückbezug auf die 8, dem Schritt S330 folgend bestimmt die Verarbeitungseinheit 30 in dem Schritt S340, ob alle der isolierten Hoch-Luminanzpixel, die in Schritt S330 identifiziert worden sind, derart beurteilt worden sind, dass sie zu finden sind, wenn sie Festrausch-Pixel sind. Wenn einer oder mehrere solcher isolierten Pixel verbleibt, beurteilt zu werden (NEIN-Entscheidung in Schritt S340), wird der Schritt S350 so dann ausgeführt, um einen weiteren Hoch-Luminanzpixel als einen Beurteilungsobjektpixel auszuwählen, während andererseits (JA-Entscheidung) der Schritt S410 ausgeführt wird.
-
Nach dem Schritt S350 bezieht sich in Schritt S370 die Verarbeitungseinheit 30 auf die Luminanzwerte (in den vor-korrigierten Bilddaten des aktuell erfassten Frames) von einem Satz von Pixeln, die sich peripher angrenzend zu dem Beurteilungsobjektpixel befinden, so wie die Pixel bei den Positionen PB, PC, PD in Bezug auf Pixel PA in dem obigen Beispiel der 3A~3D. Der Begriff ”vor-korrigierte Bilddaten” bezeichnet die Bilddaten, die oben in Schritt S110 der 5 erfasst sind, zum Beispiel die Luminanzwerte des aktuellen Bilddatenframes vor einem Ausführen der Rauschunterdrückungsverarbeitung des Schritts S120.
-
In Schritt S370 beurteilt die Verarbeitungseinheit 30, ob alle dieser peripher angrenzenden Pixel in den vor-korrigierte Bilddaten Luminanzwerte erzeugen, die kleiner als ein vorbestimmter zweiter Schwellenwert sind.
-
Der zweite Schwellenwert wird ausreichend kleiner festgelegt als der erste Schwellenwert, der weiter oben zum Umwandeln der Bilddaten in Binärdaten in Schritt S310 verwendet wird. Die Anmelder der vorliegenden Erfindung haben durch Experiment herausgefunden, dass ein passender Wert für den zweiten Schwellenwert bestimmt werden kann, wobei diese isolierten Hoch-Luminanzpixel, die Festrausch-Pixel sind, zuverlässig detektiert werden können, so wie es im Folgenden beschrieben wird.
-
Wenn bestimmt wird, dass die jeweiligen Luminanzwerte aller peripher angrenzender Pixel des Beurteilungobjektpixels unterhalb des zweiten Schwellenwertes liegen (JA-Entscheidung in Schritt S370), dann beurteilt die Verarbeitungseinheit 30 (Schritt S380), dass der Beurteilungsobjektpixel ein Festrausch-Pixel ist, so wie oben definiert ist. Bei diesem Fall wird ein neuer Datensatz in der Rauschkarte des EEPROM 37 angelegt, der die Positionskoordinaten des Beurteilungsobjektpixels und den aktuell erhaltenen (nicht korrigierten) Luminanzwert des Beurteilungsobjektpixels als einen Initialwert in den Luminanz-Historiendaten für diesen Pixel aufweist (Schritt S390).
-
Nach Schritt S390 kehrt das Verfahren zu Schritt S340 zurück und die obige Serie von Schritten S350 bis S390 werden für einen neuen weiteren isolierten Hoch-Luminanzpixel als den Beurteilungsobjektpixel wiederholt, wenn alle der isolierten Hoch-Luminanzpixel noch nicht beurteilt worden sind (NEIN-Entscheidung in Schritt S340).
-
Wenn bestimmt wird (Schritt S400), dass der Beurteilungobjektpixel nicht ein Festrausch-Pixel ist, werden die Schritte S380, S390 übersprungen und das Verfahren kehrt zu Schritt S340 zurück.
-
Auf diese Weise wird eine Sequenz von Schritten, die bei Schritt S350 startet, für jeden der isolierten Hoch-Luminanzpixel ausgeführt, die von den Binärbilddaten extrahiert werden und, die (da ihre Hoch-Luminanzwerte in den korrigierten Bilddaten auftauchen) noch nicht zuvor als Festrausch-Pixel registriert worden sind. Wenn beurteilt wird, dass ein isolierter Hoch-Luminanzpixel ein neu erfasster Festrausch-Pixel ist, wird der aktuell erlangte (vor-korrigierte) Luminanzwert, der für diesen Pixel erhalten wird, in einem neuen Datensatz gespeichert (Luminanz-Historiendaten und Positionskoordinaten), der in der Rauschkarte entsprechend dem Pixel angelegt wird.
-
Wenn alle der isolierten Hoch-Luminanzpixel beurteilt worden sind (JA in Schritt S340), wird S410 so dann ausgeführt, um die Luminanz-Historiendaten für jeden der jeweiligen Festrausch-Pixel, die zuvor erfasst worden sind, durch Addieren des entsprechenden Luminanzwertes, der von dem aktuellen Bilddatenrahmen erhalten wird, zu den Luminanz-Historiendaten zu aktualisieren. Diese Ausführung der Rausch-Lern-Verarbeitungsroutine ist so dann beendet.
-
Als Ergebnis der Verarbeitung der 8 bestehen die Luminanz-Historiendaten von jedem Festrausch-Pixel aus gespeicherten Luminanzwerten, die fortlaufend für diesen Pixel bis hin zum aktuellen Zeitpunkt erhalten worden sind und, die jeweils durch die Kamera 20 nachts aufgenommen worden sind.
-
Für jeden der Festrausch-Pixel wird die Korrekturmenge XA entsprechend dieses Pixels als der Mittelwert der entsprechenden Luminanz-Historiendaten in Schritt S230 der Rauschunterdrückungsverarbeitungsroutine der 6 berechnet, wobei in Schritt S240 die Korrekturmenge XA von dem aktuellen erfassten (vor-korrigierten) Luminanzwert, der für diesen Pixel erhalten wird, subtrahiert wird, um einen korrigierten Luminanzwert für diesen Pixel zu erhalten. Ein korrigierter Bilddatenframe ohne ein Festmusterrauschen wird dadurch von dem aktuell erfassten Bilddatenframe erhalten.
-
Die obigen Eigenschaften dieser Ausführungsform können wie folgt zusammengefasst werden. Der Bildgebungssensor 27 nimmt fortlaufende Bilder (als jeweilige Bilddatenframes) eines Bereiches vor dem Host-Fahrzeug von einfallendem Licht auf, das durch das optische System 21 empfangen wird, wobei das einfallende Licht durch den optischen Tiefpassfilter 25 in dem optischen System 21 zerstreut wird. Nachdem die Bilddaten des aktuell aufgenommenen Bildes einer Korrektur-(Rauschunterdrückungs)-Verarbeitung unterworfen worden sind, verarbeitet die Verarbeitungseinheit 30 das Array von (korrigierten) Luminanzwerten des aufgenommenen Bildes, um Hoch-Luminanzpixel als Pixel mit einem Luminanzwert oberhalb eines ersten Schwellenwertes zu extrahieren. Die Verarbeitungseinheit 30 extrahiert (identifiziert) so dann jeden der Hoch-Luminanzpixel, der ein isolierter Hoch-Luminanzpixel ist, der zum Beispiel von allen weiteren Hoch-Luminanzpixel isoliert ist (Schritt S310~330).
-
Die Verarbeitungseinheit 30 verarbeitet so dann jeden der isolierten Hoch-Luminanzpixel aufeinanderfolgend als einen Beurteilungobjektpixel zum Beurteilen, ob der Beurteilungobjektpixel ein Festrausch-Pixel ist (so wie oben definiert), wobei die Beurteilung auf den jeweiligen (vor-korrigierten) Luminanzwerten eines Satzes von peripher angrenzenden Pixeln des Beurteilungobjektpixel basiert (Schritte S340~400). Insbesondere wird, wenn alle von diesem Luminanzwerten unterhalb des zweiten Schwellenwerts liegen, beurteilt, dass der isolierte Hoch-Luminanzpixel ein Festrausch-Pixel ist.
-
Mit der obigen Ausführungsform wird es möglich, akkurat und schnell Festrausch-Pixel ohne Erfordernis zu erfassen, dass große Bilddatenmengen zum Verwenden in solch einer Erfassung gespeichert werden müssen, so wie es im Stand der Technik nötig ist. Folglich werden nur kleine Mengen von Speicherressourcen benötigt.
-
Darüber hinaus, da eine Erfassung von Festrausch-Pixeln schnell erreicht werden kann, kann ein Festmusterrauschen schnell von den Bilddaten unterdrückt werden, um rauschfreie korrigierte Bilddaten zu liefern. Wenn es nicht unterdrückt wird, kann das Festmusterrauschen in Fehlern bei einem Beurteilen von Lichtquellen resultieren, die in den aufgenommenen Bildern erscheinen. Insbesondere, wenn die nicht korrigierten Bilddaten Luminanzwerte von Festrausch-Pixeln enthalten, die Rot-(R)-Pixel sind, könnten diese fälschlicherweise als Schlussleuchten von vorher fahrenden Fahrzeugen interpretiert werden. Die obige Ausführungsform ermöglicht, dass dieses Problem verhindert wird.
-
Folglich können Vorgänge, so wie einen Erfassten von Schlussleuchten oder Scheinwerfern von weiteren Fahrzeugen, die bei der Objekterkennungsverarbeitung PR2 ausgeführt werden, zuverlässig durchgeführt werden, um eine angemessene Fahrzeugsteuerung zu ermöglichen, die basierend auf Ergebnissen von solch einer Erfassung erreicht wird.
-
Mit der obigen Ausführungsform werden für jeden der Festrausch-Pixel die Luminanzwerte, die von diesem Pixel in fortlaufenden Bilddatenframes erhalten werden, der Reihe nach als die Luminanz-Historiendaten für den Pixel gespeichert, zum Beispiel als fortlaufende Luminanzsamples zum Verwenden bei einer Berechnung der Korrekturmenge, die auf den Festrausch-Pixel angewendet wird (S410). Die Korrekturmenge XA wird als der Mittelwert der Luminanzwerte in die Luminanz-Historiendaten für den Festrausch-Pixel berechnet, zum Beispiel Werte, die von Bildern erfasst worden sind, die nachts aufgenommen sind. Ein korrigierter Luminanzwert wird so dann durch Subtrahieren der Korrekturmenge XA von dem Luminanzwert entsprechend dem Pixel erhalten, der aktuell von dem Bildgebungssensor 27 erhalten wird.
-
Somit kann mit der obigen Ausführungsform der Festmusterrausch-Anteil in den Bilddaten, die von dem Bildgebungssensor 27 erzeugt werden, akkurat unterdrückt werden. Insbesondere wird, obwohl Abweichungen in den Luminanzwerten aufeinanderfolgend für einen Festrausch-Pixel in aufeinanderfolgenden Frames auftreten werden (zum Beispiel die Werte, die die entsprechenden Luminanz-Historiendaten bei aufeinanderfolgenden Ausführungen von Schritt S410 von der 8 aktualisieren), die entsprechende Korrekturmenge (Mittelwert der Luminanz-Historiendaten) in kurzer Zeit zunehmend akkurat werden. Die Objekterkennungsverarbeitung PR2 kann dadurch aufgrund einer effektiven Unterdrückung des Festmusterrauschens zuverlässig durchgeführt werden.
-
Es soll darauf hingewiesen werden, dass es möglich wäre, die Korrekturmenge XA von einem Festrausch-Pixel durch Anwenden einer gewichteten Mittelung zu erhalten. Insbesondere, je neuer die Luminanzwerte in den Luminanz-Historiendaten des Festrausch-Pixels aufgenommen worden sind, desto größer würde die Gewichtung sein, die diesen Luminanzwerten bei der Mittelwertberechnung gegeben wird.
-
Es sollte ferner darauf hingewiesen werden, dass die Erfindung nicht auf die obige Ausführungsform beschränkt ist und, dass vielseitige Veränderungen oder alternative Formen der Ausführungsformen verkörpert werden können, die in den Umfang der Erfindung fallen, so wie in den beigefügten Ansprüchen dargelegt ist. Mit der obigen Ausführungsform wird zum Beispiel die Entscheidung, ob ein isolierter Pixel ein Festrausch-Pixel ist, basierend darauf gefällt, ob alle der Luminanzwerte eines Satzes von peripher angrenzender Pixel von diesem isolierten Hoch-Luminanzpixel niederer als ein zweiter Schwellenwert sind, der niederer als der erste Schwellenwert ist (der beim Extrahieren der isolierten Hoch-Luminanzpixel verwendet wird). Jedoch würde es gleichermaßen möglich sein, die Entscheidung, ob ein isolierter Hoch-Luminanzpixel ein Festrausch-Pixel ist, basierend darauf zu fällen, ob der Luminanzdurchschnittswert der peripherer angrenzenden Pixeln niederer als ein zweiter Schwellenwert ist, oder basierend darauf zu fällen, ob die Gesamtheit des jeweiligen Luminanzwertes der peripher angrenzenden Pixel niederer als ein zweiter Schwellenwert ist.
-
Darüber hinaus wird bei der obigen Ausführungsform ein optischer Tiefpassfilter verwendet, der durch Spaltung eines einfallenden Lichtstrahles in vier gestreut Lichtstrahlen derart arbeitet, dass die vier gestreuten Lichtstrahlen auf vier gegenseitig angrenzende Pixel einfallen werden.
-
Jedoch könnte es gleichermaßen möglich sein, einen optischen Tiefpassfilter zu verwenden, der einen einfallenden Lichtstrahl in ein paar von gestreuten Lichtstrahlen spaltet. Bei diesem Fall könnte die Beurteilung, ob ein isolierter Hoch-Luminanzpixel ein Festrausch-Pixel ist, basierend auf dem Luminanzwert eines angrenzenden Einzel-Pixels gemacht werden (wie zum Beispiel PB oder PC in dem obigen Beispiel der 3A~3B).
-
Darüber hinaus werden bei der obigen Ausführungsform Luminanzwerte, die für einen Festrausch-Pixel erhalten werden, aufeinanderfolgend als die Luminanz-Historiendaten entsprechend dem Pixel gespeichert und dazu verwendet, eine entsprechende Korrekturmenge XA zu berechnen. Jedoch würde es ebenso möglich sein, jeden kürzlich erhaltenen Luminanzwert zu einem Gesamtluminanzwert zu addieren (zum Beispiel jedes Mal, wenn Schritt S410 von der 8 ausgeführt wird) und nur diesen Gesamtluminanzwert und die Anzahl von Aktualisierungen zu speichern und diese zu verwenden, um die Korrekturmenge XA zu berechnen. Dieses würde es ermöglichen, die benötigten Speicherressourcen im Vergleich zum Stand der Technik weiter zu reduzieren.
-
Darüber hinaus wird bei der obigen Ausführungsform ein fester Wert für den zweiten Schwellenwert bestimmt, der bei einer Beurteilung verwendet wird, ob ein isolierter Hoch-Luminanzpixel (der Beurteilungobjektpixel) ein Festrausch-Pixel ist. Jedoch würde es ebenso möglich sein, den zweiten Schwellenwert in Einklang mit dem Luminanzwert des Beurteilungobjektpixels zu bestimmen. Insbesondere könnte der zweite Schwellenwert im Einklang mit der Differenz zwischen dem Luminanzwert des Beurteilungsobjektpixels und eines Luminanzwertes von peripher angrenzenden Pixeln bestimmt werden (zum Beispiel eine Differenz zwischen dem Luminanzwert des Beurteilungsobjektpixels und des Luminanzmittelwertes eines Satzes von peripher angrenzender Pixel).
-
Die folgenden Beziehungen bestehen zwischen Inhalten der obigen Ausführungsform und der beigefügten Ansprüche. Beim Ausführen des Programms, das in dem ROM 33 gespeichert ist, um die in der 11 dargestellten Betriebsablaufschritte S330a bis S330d durchzuführen, entspricht die Verarbeitungseinheit (Mikrocomputer) 30 einer Extraktionschaltung zum Extrahieren (zum Beispiel Identifizieren) von isolierten Hoch-Luminanz-Fotosensoren, so wie in den Ansprüchen vorgetragen ist. Auf ähnliche Weise entspricht bei einer Ausführung des gespeicherten Programms, um die in der 8 dargestellten Schritte S350 bis S380 durchzuführen, die Verarbeitungseinheit 30 einer Beurteilungsschaltung zu beurteilen, ob ein isolierter Hoch-Luminanz-Fotosensor ein Festrausch-Fotosensor ist, so wie es in den Ansprüchen vorgetragen ist. Auf ähnliche Weise entspricht beim Ausführen des gespeicherten Programms, um die in der 6 dargestellten Schritte S210 bis S240 durchzuführen, die Verarbeitungseinheit 30 einer Korrekturschaltung zum Erhalten von korrigierten Bilddatenrahmen, so wie es in den Ansprüchen vorgetragen ist. Der EEPROM 27 entspricht einem nicht-flüchtigen wiederbeschreibbaren Speicher, so wie es in den Ansprüchen vorgetragen ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2012-133869 [0001]
- JP 2006-140982 [0004]
