DE102011105628B4

DE102011105628B4 - System zur Unterstützung der Sicht eines Fahrers

Info

Publication number: DE102011105628B4
Application number: DE102011105628.2A
Authority: DE
Inventors: Joo Hyun Kim; Kyoung Joong Min
Original assignee: Samsung Electro Mechanics Co Ltd
Current assignee: Samsung Electro Mechanics Co Ltd
Priority date: 2011-02-28
Filing date: 2011-06-28
Publication date: 2022-12-15
Anticipated expiration: 2031-06-29
Also published as: KR20120098107A; KR101761921B1; US8767074B2; US20120218410A1; DE102011105628A1

Abstract

System zur Unterstützung der Sicht eines Fahrers, umfassend:ein Kameramodul, umfassend eine Linse zum Empfangen eines optischen Signals eines Bilds vor einem Fahrzeug, eine Farbfilteranordnung mit einem IR-Filter, einem R-Filter, einem G-Filter und einem B-Filter und einem Bildsensor zum Umwandeln des empfangenen optischen Signals in ein elektrisches Bildsignal, das für eine Bildverarbeitung erforderlich ist;eine Signalextraktionseinheit zum Extrahieren eines RGB-Bildsignals und/oder eines IR-Bildsignals aus dem elektrischen Bildsignal, das von dem Kameramodul ausgegeben worden ist;eine Fahrbahnmusterbilddatenerzeugungseinheit, umfassend ein RGB-Interpolationsteil zum Interpolieren des extrahierten RGB-Bildsignals, ein Signalexpansionsteil zum Expandieren der Datengröße des interpolierten RGB-Bildsignals, und ein Signalumwandlungsteil zum Umwandeln des expandierten RGB-Bildsignals in ein YCbCr-Bildsignal, um für ein Fahrbahnmusterbild erforderliche Daten zu erzeugen;eine Fußgängerbilddatenerzeugungseinheit, umfassend ein IR-Interpolationsteil zum Interpolieren des extrahierten IR-Bildsignals und ein Signalerzeugungsteil zum Erzeugen des YCbCr-Bildsignals des Signalumwandlungsteils in das interpolierte IR-Bildsignal, um für ein Fußgängerbild erforderliche Daten zu erzeugen; undeine Anzeigetreibereinheit zum Implementieren von Bilddaten, die von der Fahrbahnmusterbilddatenerzeugungseinheit und/oder der Fußgängerbilddatenerzeugungseinheit erzeugt worden sind, mittels einer Anzeige,wobei das Signalerzeugungsteil das von dem IR-Interpolationsteil interpolierte IR-Bildsignal als Dunkelheitssignal Y und die Cb- und Cr-Signale des YCbCr-Bildsignals, das von dem Signalumwandlungsteil ausgegeben worden ist, als Farbdifferenzsignal benutzt und das Y-Signal und die Cb- und Cr-Signale erzeugt.

Description

Bezugnahme auf verwandte Anmeldungen
Diese Anmeldung beansprucht die Priorität der koreanischen Patentanmeldung Nr. 10-2011-0017830 , die am 28. Februar 2011 beim Koreanischen Amt für geistiges Eigentum eingereicht wurde und deren Offenbarung in der vorliegenden Anmeldung durch Bezugnahme enthalten ist.
Hintergrund der Erfindung
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein System zur Unterstützung der Sicht eines Fahrers, und insbesondere ein System zur Unterstützung der Sicht eines Fahrers, wobei das System in der Lage ist, ein in der Dunkelheit erzeugtes Farbbild zu verwenden, das zum Erkennen eines Fußgängers erforderlich ist und ein Bild zur Darstellung einer Fahrbahn, das für eine Fahrbahnabweichungswarnung erforderlich ist, wobei ein einziges Kameramodul benutzt wird.
2. Beschreibung des Standes der Technik
Um die Bequemlichkeit und Sicherheit von Fahrern beim Fahren von Fahrzeugen zu verbessern, sind auf dem Gebiet der Fahrzeugtechnologie in jüngster Zeit unterschiedliche Systeme erforscht worden, in denen Kameras an der Vorderseite, der Rückseite, der rechten und linken Seite der Fahrzeuge installiert worden sind, um Bilder über ein Display im Armaturenbrett vor dem Fahrersitz zu beobachten, und der Einsatz derartiger Systeme hat bereits begonnen.
Als ein System zur Unterstützung der Bequemlichkeit eines Fahrers ist ein Nachtsichtsystem (night vision system, NVS) vorgeschlagen worden, dabei handelt es sich um eine Vorrichtung zur Unterstützung der Sicht eines Fahrers beim Fahren eines Fahrzeugs in dunkler Umgebung, beispielsweise wie bei einer Nachtfahrt.
Das Nachtsichtsystem strahlt infrarotes Licht von einem Fahrzeug nach vorne ab und erfasst infrarotes Licht, um dem Fahrer ein Bild zur Verfügung zu stellen.
Der horizontale Sichtwinkel eines für ein Nachtsichtsystem erforderlichen Kameramoduls beträgt ca. 17° und erfordert eine Auflösung eines VGA-Bildschirms von 640 × 480 oder mehr, um einen Fußgänger zu erfassen.
Zusätzlich zu dem Nachtsichtsystem ist als weiteres Fahrerassistenzsystem ein vor einer Fahrbahnabweichung warnendes System (lane departure warning system, LDWS) bekannt, das als Sicherheitssystem dient und das Straßenbild vor dem Fahrzeug durch eine an dem Fahrzeug angebrachte Kamera detektiert, um die Fahrbahn zu erkennen, auf der das Fahrzeug gegenwärtig fährt, und zum Ausgeben eines Alarmsignals, falls das Fahrzeug die Fahrbahn wegen einer Unaufmerksamkeit des Fahrers verlässt oder wenn dieser schlaftrunken ist.
Da das in dem LDWS erforderliche Kameramodul sowohl entfernte als auch in der Nähe befindliche Fahrbahnen vor dem Fahrzeug erkennen muss, ist ein horizontaler Sichtwinkel des Kameramoduls erforderlich, der etwa 40° größer als der in dem Nachtsichtsystem benötigte ist. Da es erforderlich ist, die ein einfaches Muster aufweisende Fahrbahn zu erkennen, ist eine Auflösung gemäß dem QVGA-Standard (quarter video graphics array) von 320 x 200 zu erfüllen, die niedriger als die für das Nachtsichtsystem erforderliche ist.
Dementsprechend, um das Nachtsichtsystem und das Fahrbahnabweichungswarnsystem zu implementieren, wobei ein einziges Kameramodul benutzt wird, wird ein horizontaler Sichtwinkel einer Linse von etwa 40° oder mehr und eine Auflösung des VGA von 640 x 480 oder mehr benötigt.
Frontscheinwerfer des Fahrzeugs benutzen jedoch ein gelbes Licht mit einer Wellenlänge von 555 nm mit einer guten Empfindlichkeit für menschliche Augen. Um einen Überbelichtungseffekt zu vermeiden, bei dem ein Nachtsichtbild durch das Licht von Frontscheinwerfern des gefahrenen Fahrzeugs und eines von der gegenüberliegenden Seite kommenden Fahrzeugs gesättigt ist, werden in den meisten Kameramodulen, die in Nachtsichtsystemen verwendet werden, Infrarotfilter (IR) installiert, die lediglich Licht mit einer Wellenlänge von 650 nm oder mehr passieren zu lassen. Zusätzlich, um eine Verschlechterung der Bildqualität wegen des infraroten Lichts, das von einem sichtbaren Bereich abweicht, zu vermeiden, werden Infrarotfilter zwischen Linsen und Bildsensoren der Kameramodule, die in dem LDWS verwendet werden, installiert, um infrarotes Licht zu blockieren.
Aus diesem Grund kann das in dem Nachtsichtsystem verwendete Kameramodul kein Farbbild erzeugen, um eine Farbe der Fahrbahn zu erkennen, und das in dem LDWS benutzte Kameramodul kann keine Objekte in einer schlecht beleuchteten Umgebung identifizieren. Dementsprechend ist es schwierig, um gleichzeitig das die Fahrbahn darstellende Bild und das einen Fußgänger darstellende Bild bei nächtlichem Fahren zu erzeugen, wobei ein einziges Kameramodul benutzt wird. Dementsprechend, um gleichzeitig das die Fahrbahn darstellende Bild und das einen Fußgänger zur Nachtzeit darstellende Bild zu erzeugen, müssen die entsprechenden Kameramodule benutzt werden, die jeweils in den Systemen erforderlich sind. Das führt dazu, dass die Implementierung eines Systems zur Unterstützung der Sicht des Fahrers beträchtliche Kosten verursacht.
Zusätzlich, wenn das herkömmliche Nachtsichtsystem ein einen Fußgänger darstellendes Bild zeigt, wird ein Schwarzweißbild erzeugt, da der IR-Filter in dem Kameramodul angeordnet ist, so dass es für den Fahrer schwierig ist, das Display zu betrachten und den Fußgänger zu erkennen.
US 2010 / 0 201 816 A1 offenbart ein Fahrzeugrückspiegelsystem mit mehreren Anzeigen. Hierbei beinhaltet ein Rückspiegelbild ein Fahrbahnbild und ein Fußgängerbild, wobei das Rückspiegelbild ein RGB-Bild und ein IR-Bild sein kann.
Aus US 2009 / 0 159 799 A1 ist ein Lichtsensor bekannt, bei dem sowohl RGB-Pixel als auch IR-Pixel vorgesehen sind.
Schließlich offenbart US 2010 / 0 231 755 A1 ein Verfahren zur Bildfilterung.
Zusammenfassung der Erfindung
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, die oben beschriebenen Probleme zu überwinden und ein System zur Unterstützung der Sicht eines Fahrers anzugeben, das in der Lage ist, gleichzeitig ein zur Nachtzeit aufgenommenes Bild, das zum Erkennen eines Fußgängers erforderlich ist und ein Fahrbahnbild darzustellen, das für einen Alarm bei einer Abweichung von der Fahrbahn erforderlich ist, wobei ein einziges Kameramodul benutzt wird, und wobei die Sicht des Fahrers unterstützt wird durch zur Verfügung stellen eines Farbbilds eines Fußgängers.
Zur Lösung dieser Aufgabe ist ein System zur Unterstützung der Sicht eines Fahrers vorgesehen, umfassend: ein Kameramodul, umfassend eine Linse zum Empfangen eines optischen Signals eines Bilds vor einem Fahrzeug, eine Farbfilteranordnung mit einem IR-Filter, einem R-Filter, einem G-Filter und einem B-Filter und einem Bildsensor zum Umwandeln des empfangenen optischen Signals in ein elektrisches Bildsignal, das für eine Bildverarbeitung erforderlich ist; eine Signalextraktionseinheit zum Extrahieren eines RGB-Bildsignals und/oder eines IR-Bildsignals aus dem elektrischen Bildsignal, das von dem Kameramodul ausgegeben worden ist; eine Fahrbahnmusterbilddatenerzeugungseinheit, umfassend ein RGB-Interpolationsteil zum Interpolieren des extrahierten RGB-Bildsignals, ein Signalexpansionsteil zum Expandieren der Datengröße des interpolierten RGB-Bildsignals, und ein Signalumwandlungsteil zum Umwandeln des expandierten RGB-Bildsignals in ein YCbCr-Bildsignal, um für ein Fahrbahnmusterbild erforderliche Daten zu erzeugen; eine Fußgängerbilddatenerzeugungseinheit, umfassend ein IR-Interpolationsteil zum Interpolieren des extrahierten IR-Bildsignals und ein Signalerzeugungsteil zum Erzeugen des YCbCr-Bildsignals des Signalumwandlungsteils in das interpolierte IR-Bildsignal, um für ein Fußgängerbild erforderliche Daten zu erzeugen; und eine Anzeigetreibereinheit zum Implementieren von Bilddaten, die von der Fahrbahnmusterbilddatenerzeugungseinheit und/oder der Fußgängerbilddatenerzeugungseinheit erzeugt worden sind, mittels einer Anzeige, wobei das Signalerzeugungsteil das von dem IR-Interpolationsteil interpolierte IR-Bildsignal als Dunkelsignal Y und Cb- und Cr-Signale des YCbCr-Bildsignals, das von dem Signalumwandlungsteil ausgegeben worden ist, als Farbdifferenzsignal benutzt und das Y-Signal und die Cb- und Cr-Signale erzeugt.
Zusätzlich kann in der Farbfilteranordnung der Infrarotfilter in einer n-ten Reihe angeordnet sein und der Infrarotfilter und irgendeiner der B-, G- und R-Filter können abwechselnd in der n+1-ten Reihe angeordnet sein.
Weiterhin kann das System eine Schneideeinheit zum Abschneiden eines verbleibenden Abschnitts umfassen, abgesehen von einem interessierenden Bereich, der dem horizontalen Sichtwinkel der Linse entspricht, der zum Erfassen des Fußgängers erforderlich ist, bevor eine Bildsignalverarbeitung in der Fußgängerbilddatenerzeugungseinheit durchgeführt wird.
Daneben kann die Fahrbahnabweichungsfeststellungseinheit ferner ein Weißausgleichsauswertungsteil umfassen, um das Eingangssignal einem Weißausgleich zu unterziehen, und ein erstes Filterteil zum Entfernen eines Elements, das sich wie Rauschen verhält, von dem RGB-Bildsignal, das von der Signalextraktionseinheit extrahiert worden ist.
Zusätzlich kann die Fußgängerbilddatenerzeugungseinheit ferner ein Helligkeitsverbesserungsteil zum Verbessern des Helligkeitswerts eines niedrigen Signalniveaus wegen einer dunklen Umgebung beim nächtlichen Fahren aufweisen, und ein zweites Filterteil zum Entfernen eines als Rauschen wirkenden Elements von dem Infrarotbildsignal, das von der Signalextraktionseinheit extrahiert worden ist.
Erfindungsgemäß ist vorgesehen, dass der Signalerzeugungsteil das von dem IR-Interpolationsteil interpolierte IR-Bildsignal als Dunkelsignal (Licht und Schatten) Y verwendet und Cb- und Cr-Signale des YCbCr-Bildsignals, das von dem Signalumwandlungsteil ausgegeben worden ist, als Farbdifferenzsignal benutzt, und das Y-Signal und die Cb- und Cr-Signale erzeugt.
Darüber hinaus kann das System ferner eine Fahrbahnerkennungseinheit zum Erkennen einer Fahrbahn aus den Bilddaten umfassen, die von der Fahrbahnbilddatenerzeugungseinheit erzeugt worden sind, und eine Fahrbahnabweichungsfeststellungseinheit zum Feststellen, ob das Fahrzeug von der Fahrbahn abweicht, die von der Fahrbahnerkennungseinheit erkannt worden ist, und eine Alarmeinheit zum Erzeugen eines Alarms, wenn das Fahrzeug die Fahrbahn verlässt.
Zusätzlich kann das System ferner eine Fußgängererkennungseinheit zum Erkennen eines Fußgängers aus den Bilddaten umfassen, die von der Fußgängerbilddatenerzeugungseinheit erzeugt worden sind, eine Abstandsfeststellungseinheit zum Erfassen eines Abstands zu dem Fußgänger, und eine Alarmeinheit zum Erzeugen einer Bereichsinformation des Bereichs, in dem sich der Fußgänger befindet, basierend auf der Fußgängererkennungseinheit und der Abstandserfassungseinheit, und das System kann einen Alarm auslösen, wenn sich der Fußgänger in einem gefährlichen Bereich befindet.
Gemäß einem weiteren, nicht-erfindungsgemäßen Gesichtspunkt wird ein Verfahren zur Unterstützung der Sicht eines Fahrers vorgeschlagen, umfassend: (a) Empfangen eines optischen Signals eines Bilds vor einem Fahrzeug von einem Kameramodul und Umwandeln des optischen Signals in ein elektrisches Bildsignal, das einer Bildverarbeitung unterzogen wird; (b) Extrahieren eines RGB-Bildsignals und/oder eines IR-Bildsignals aus dem elektrischen Bildsignal; (c) Interpolieren des RGB-Bildsignals, das in Schritt (b) extrahiert worden ist, Vergrößern der Datengröße des interpolierten RGB-Bildsignals, und anschließend Umwandeln des RGB-Bildsignals in ein YCbCR-Bildsignal, um Daten zu erzeugen, die für ein Fahrbahnbild erforderlich sind; (d) Interpolieren des IR-Bildsignals, das in dem Schritt (b) extrahiert worden ist, und Erzeugen des YCbCR-Bildsignals, das in dem Schritt (c) in das interpolierte IR-Signal umgewandelt wurde, um Daten zu erzeugen, die für ein Fußgängerbild in Farbbildqualität erforderlich sind; und (e) Darstellen der Bilddaten, die in den Schritten (c) und/oder (d) erzeugt worden sind, auf einer Anzeige.
Zusätzlich kann das Verfahren ferner vor der Bildsignalverarbeitung im Schritt (d) das Durchführen eines Schneideprozesses des verbleibenden Abschnitts umfassen, abgesehen von einem interessierenden Bereich, der dem horizontalen Sichtwinkel der Linse entspricht, der zum Erkennen des Fußgängers erforderlich ist.
Ferner kann das Verfahren zusätzlich das Erkennen der Fahrbahn anhand der in dem Schritt (c) erzeugten Bilddaten umfassen und feststellen, ob das Fahrzeug die erkannte Fahrbahn verlässt, um einen Alarm zu erzeugen, wenn das Fahrzeug die Fahrbahn verlässt.
Figurenliste
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung werden durch die nachfolgende Beschreibung von Ausführungsbeispielen und die zugehörigen Zeichnungen erläutert, in denen:

1 ist ein Blockdiagramm und zeigt die Konfiguration eines Systems zur Unterstützung der Sicht eines Fahrers gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung;
2 ist eine Ansicht und zeigt ein 8 x 8 Bildfilterfeld, das in dem System zur Unterstützung zur Sicht eines Fahrers gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung genutzt wird;
3 ist eine Ansicht und zeigt lediglich R-, G- und B-Filter in einem Farbfilterfeld gemäß 2, das in der vorliegenden Erfindung benutzt wird;
4 ist eine Ansicht und zeigt beispielhaft den horizontalen Sichtwinkel einer Linse, die zum Erzeugen eines Bilds erforderlich ist, das Fußgänger darstellt; und
5 ist ein Flussdiagramm und zeigt den Ablauf eines Verfahrens zur Unterstützung der Sicht eines Fahrers, bei dem das System zur Unterstützung der Sicht eines Fahrers benutzt wird, gemäß einem nicht-erfindungsgemäßen Ausführungsbeispiel.

Detaillierte Beschreibung der bevorzugten Ausführungsbeispiele
Nachfolgend wird ein Schaltungsaufbau zur Signalübertragung der vorliegenden Erfindung im Detail unter Bezugnahme auf die zugehörigen Zeichnungen beschrieben. Die nachfolgenden Ausführungsbeispiele sind als Beispiele gedacht, um einem Fachmann auf diesem Gebiet vollständig die der Erfindung zugrundeliegende Idee zu vermitteln. Daher sollte die vorliegenden Erfindung nicht so verstanden werden, als wäre sie auf die hier beschriebenen Ausführungsbeispiele beschränkt und die Erfindung kann auf unterschiedliche Arten verwirklicht werden. Die Größe und die Dicke einer Vorrichtung kann in den Zeichnungen vergrößert dargestellt sein, um die Erläuterung zu erleichtern. Übereinstimmende Bestandteile werden nachfolgend mit denselben Bezugszeichen bezeichnet.
1 ist ein Blockdiagramm und zeigt den Aufbau eines Systems zur Unterstützung der Sicht eines Fahrers gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung.
Bezug nehmend auf 1 umfasst das System zur Unterstützung der Sicht eines Fahrers gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung eine Linse zum Empfangen eines optischen Signals eines Bilds vor einem Fahrzeug, ein Farbfilterfeld, bestehend aus einem Infrarotfilter (IR-Filter), einem R-Filter, einem G-Filter und einem B-Filter, einem Kameramodul 100, bestehend aus einem Bildsensor zum Umwandeln des empfangenen optischen Signals in ein elektrisches Quellenbildsignal, das für eine Bildverarbeitung erforderlich ist, eine Signalextraktionseinheit 200 zum Extrahieren eines RGB-Bildsignals und/oder eines IR-Bildsignals aus dem elektrischen Quellenbildsignal, das von dem Kameramodul 100 ausgegeben worden ist, eine Fahrbahnbilddatenerzeugungseinheit 500 zum Erzeugen von Daten, die in einem Bild zum Darstellen einer Fahrbahn (nachfolgend als Fahrbahnbild bezeichnet) erforderlich sind, wobei das extrahierte RGB-Bildsignal benutzt wird, eine Fußgängerbilddatenerzeugungseinheit 400 zum Erzeugen von Daten, die in einem Bild zum Darstellen eines Fußgängers in einem Farbbild (nachfolgend als Fußgängerbild bezeichnet) erforderlich sind, wobei das extrahierte IR-Bildsignal benutzt wird, und eine Anzeigetreibereinheit 600 zum Darstellen von Bilddaten, auf einer Anzeige, welche Bilddaten von der Fahrbahnbilddatenerzeugungseinheit 500 und/oder der Fußgängerbilddatenerzeugungseinheit 400 erzeugt worden sind.
Um eine Bildsignalverarbeitung (image signal process, ISP) entlang einer Bild-Pipeline (image pipe, I-pipe) durchzuführen, wird zunächst ein optisches Signal eines Bilds vor dem Fahrzeug von einer Linse erfasst. Dieses Bild muss in ein elektrisches Quellenbildsignal umgewandelt werden, das in dem Bildverarbeitungsverfahren benötigt wird, was durch den Bildsensor durchgeführt werden kann. Dabei kann der Bildsensor herkömmliche Bildsensoren wie einen CCD-Bildsensor (charge coupled device), oder einen CMOS-Bildsensor (complementary metal oxide semiconductor) benutzen, usw., die Erfindung ist jedoch nicht darauf beschränkt.
Da ein lichtempfindliches Bauteil, das einen Bildsensor bildet (eine kleine lichtempfindliche Diode, die als lichtempfindlicher Bereich benutzt wird) keine spektralen Eigenschaften erfassen kann, sondern im Allgemeinen die Intensität eines optischen Signals eines Objekts messen kann, kann ein Farbfilterfeld (color filter array, CFA) angeordnet werden, so dass lediglich ein optisches Signal, das eine bestimmte Frequenzbandbreite hat, durchgelassen wird, wobei die Frequenzbandbreite einem Farbbild entspricht. Da jedoch das System zur Unterstützung der Sicht eines Fahrers gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung vorgesehen ist, um ein Fußgängerbild und/oder ein Fahrbahnbild zu erzeugen, wobei ein einziges Kameramodul 100 benutzt wird und wobei das Fußgängerbild als Farbbild erzeugt wird, anders als bei einem Farbfilterfeld, das bei einem herkömmlichen Fahrbahnabweichungswarnsystem (lane departure warning system, LDWS) oder bei dem Nachsichtsystem (night vision system, NVS) benutzt wird, kann ein Farbfilterfeld benutzt werden, bestehend aus einem IR-Filter, einem R-Filter, einem G-Filter und einem B-Filter.
2 ist eine Ansicht und zeigt ein 8 x 8 Farbfilterfeld, das in dem System zur Unterstützung des Sicht eines Fahrers gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung benutzt wird.
Der B-Filter ist ein Farbfilter um lediglich ein Signal zu übertragen entsprechend blauer Farbinformation des optischen Signals, das durch die Linse einfällt, der G-Filter ist ein Farbfilter um lediglich ein der grünen Farbinformation entsprechendes Signal zu übertragen, der R-Filter ist ein Farbfilter um lediglich ein Signal entsprechend der roten Farbinformation zu übertragen, und der IR-Filter ist ein Filter um lediglich ein festgelegtes Infrarotsignal zu übertragen.
Bezug nehmend auf 2 ist in einer n-ten Reihe (wobei n eine natürliche Zahl ist), lediglich der IR-Filter vorgesehen, und in einer n+1-ten Reihe sind der IR-Filter und irgendeiner der B-, G- und R-Filter abwechselnd angeordnet. Da jedoch das menschliche Sehen besonders empfindlich hinsichtlich der Helligkeit ist, insbesondere im Hinblick auf ein grünes (G) Element, das von den meisten Sensoren erfasst wird, während blaue (B) und rote (R) Elemente, deren Auflösung beim menschlichen Sehen verringert sind, von einer kleinen Anzahl von Sensoren erfasst werden, können die B-, G- und R-Filter in einem Verhältnis von 1:2:1 vorgesehen sein.
Wenn die IR-, R-, G- und B-Filter wie oben beschrieben angeordnet sind, beträgt das Verhältnis der IR-, R-, G- und B-Filter 12:1:2:1. Dementsprechend, selbst wenn die Anzahl der Pixel, durch die lediglich optische Signale, die eine IR-Frequenzbandbreite aufweisen, passieren, 75 % beträgt, beispielsweise wenn ein Bildsensor mit einer Auflösung von 1280 x 960 benutzt wird, ist es möglich, eine Bildqualität zu erhalten, die dem QVGA-Standard entspricht oder eine Bildqualität, die erforderlich ist, um die Fahrbahn zu erkennen.
Obwohl das System beschrieben wurde unter Bezugnahme auf ein 8 x 8 Farbfilterfeld mit einem Verhältnis der IR-, R-, G- und B-Filter von 12:1:2:1 und dem Bildsensor mit einer Auflösung von 1280 x 960, der diesem entspricht, können Bildfilterfelder mit unterschiedlichen Größen (beispielsweise ein 16 x 16 Farbfilterfeld) und Bildsensoren mit unterschiedlichen Auflösungen (beispielsweise Auflösungen von 1920 x 1200, 2048 x 1536, usw.) benutzt werden, in Abhängigkeit der Anforderungen der Bildqualität des Fußgängerbilds und des Fahrbahnbilds oder in Abhängigkeit der Kapazität einer zentralen Steuereinheit (central processing unit, CPU) oder eines Speichers, und dementsprechend kann das Verhältnis der IR-, R-, G- und B-Filter unterschiedlich sein.
Wenn das von der Linse empfangene optische Signal in das elektrische Quellenbildsignal durch den Bildsensor umgewandelt worden ist, um es auszugeben, kann die Signalextraktionseinheit 200 wahlweise ein RGB-Bildsignal oder ein IR-Bildsignal aus dem elektrischen Quellenbildsignal extrahieren.
Da das optische Signal der IR-Bandbreite, das von einem IR-Übertrager ausgestrahlt worden ist, zur Erzeugung von Daten zum Implementieren eines Fußgängerbilds benutzt wird und da das optische Signal der Bandbreite des sichtbaren Lichts benutzt wird, um Daten zum Implementieren eines Fahrbahnbilds zu erzeugen, trennt die Signalextraktionseinheit 200 das RGB-Bildsignal oder ein IR-Bildsignal von dem elektrischen Quellenbildsignal, das von dem Kameramodul 100 ausgegeben wird, um wahlweise eines davon zu extrahieren.
Wenn das 8 x 8 Bildfilterfeld, das in 2 gezeigt ist, benutzt wird, werden daher lediglich Pixelwerte der R-, G- und B-Filter wahlweise als RGB-Bildsignal von dem elektrischen Quellenbildsignal extrahiert, entsprechend den Reihen, in denen die R-, G- und B-Filter des Farbfilterfelds angeordnet sind, und lediglich ein IR-Pixelwert kann selektiv als das IR-Bildsignal aus dem elektrischen Quellenbildsignal extrahiert werden entsprechend allen Reihen des Farbfilterfelds.
Wenn das RGB-Bildsignal getrennt und von der Signalextraktionseinheit 200 extrahiert wird, kann die Fahrbahnbilddatenerzeugungseinheit 500 Daten erzeugen, die in dem Fahrbahnbild erzeugt worden sind, wobei das extrahierte RGB-Bildsignal benutzt wird.
Die Fahrbahnbilddatenerzeugungseinheit 500 wie oben beschrieben kann einen RGB-Interpolationsteil 530 zum Interpolieren des RGB-Bildsignals umfassen, einen Signalexpansionsteil 540 zum Expandieren der Größe der Daten des interpolierten RGB-Bildsignals auf die Datengröße des IR-Bildsignals, das durch ein IR-Interpolationsteil 430 interpoliert worden ist, und ein Signalumwandlungsteil 550 zum Umwandeln des expandierten RGB-Bildsignals in ein YCbCr-Bildsignal.
Da jeder der R-, G- und B-Filter des 8 x 8 Farbfilterfelds, das in 2 gezeigt ist, eine Farbinformation der drei Farben rot, grün und blau besitzt, um ein perfektes Farbbild zu erhalten, kann das RGB-Interpolationsteil 530 einen Algorithmus zum Erlangen der anderen beiden Farbinformationen durchführen, die nicht in einem entsprechenden Filter enthalten sind, unter Bezugnahme auf die Farbinformation, die in dem entsprechenden Filter des Farbfilterfelds enthalten ist und die in benachbarten Filtern enthaltene Farbinformation.
Ein im Allgemeinen wohlbekanntes Verfahren zum Interpolieren von RGB-Bildsignalen ist eine bilineare Interpolation, wobei ein Durchschnittswert von benachbarten Pixeln benutzt wird. Da jedoch, wie oben beschrieben wurde, das Farbfilterfeld in dem System zur Unterstützung der Sicht eines Fahrers gemäß der vorliegenden Erfindung aus den IR-, R-, G- und B-Filtern besteht, wird die von dem RGB-Interpolationsteil 530 in der vorliegenden Erfindung benutzte Interpolation nachfolgend im Detail beschrieben.
3 ist eine Ansicht und zeigt lediglich die R-, G- und B-Filter in dem 8 x 8 Farbfilterfeld, das in 2 gezeigt ist. Bezug nehmend auf 3 kann beispielsweise, wenn ein 44. Pixel, der lediglich einen B-Wert hat, interpoliert wird, ein G-Wert des 44sten Pixels interpoliert werden durch Berechnen des Durchschnittswerts der G-Werte von vier Pixeln (28., 42., 46. und 60. Pixel), und ein R-Wert des 44. Pixels kann interpoliert werden durch Berechnen des Duchschnittswerts der R-Werte von vier Pixeln (26., 30., 58. und 62. Pixel), die um den 44. Pixel in Diagonalrichtung angeordnet sind. Wie oben beschrieben wurde, kann die Interpolation, die in dem RGB-Interpolationsteil 530 der vorliegenden Erfindung durchgeführt wird, zunächst lediglich einen Pixelwert der R-, G- und B-Filter um den Filter extrahieren, um interpoliert zu werden, ausgenommen ein Pixelwert des IR-Filters um die R-, G- und B-Filter, um in dem Farbfilterfeld interpoliert zu werden, wodurch das RGB-Bildsignal gemäß der bilinearen Interpolation interpoliert wird.
Das Signalausdehnungsteil 540 kann das RGB-Bildsignal empfangen, das von dem RGB-Interpolationsteil 530 ausgegeben wird, um einen Algorithmus durchzuführen, bei dem die Datengröße des RGB-Bildsignals auf die Datengröße des IR-Bildsignals expandiert wird, das in dem IR-Interpolationsteil 430 interpoliert worden ist.
Wenn das RGB-Bildsignal durch das RGB-Interpolationsteil 530 unter Benutzung des 8 x 8 Farbfilterfelds interpoliert worden ist, wie in 3 gezeigt ist, da die R-, G- und B-Filter abgesehen von dem IR-Filter, eine Datengröße eines 4 x 4-Felds aufweisen, expandiert ein Signalerzeugungsteil 440 die Datengröße (4 x 4-Datengröße) des RGB-Bildsignals, das durch eine Vorverarbeitung der Erzeugung eines YCbCr-Signals in ein IR-Bildsignal interpoliert worden ist, das die Datengrö-ße eines 8 x 8-Felds besitzt, auf die Datengröße (8 x 8-Datengröße) des IR-Bildsignals. Dies kann durch ein Bildabgleichverfahren wie ein bilineares Abgleichverfahren, ein bikubisches Abgleichverfahren, oder dergleichen durchgeführt werden.
Wenn die Datengröße des RGB-Bildsignals durch das Signalexpansionsteil 540 vergrößert worden ist, kann das Signalumwandlungsteil 550 einen Algorithmus zum Umwandeln des RGB-Bildsignals in ein Bildsignal eines XCbCr-Bildraums durch eine Matrixberechnung, die durch die nachfolgende Gleichung 1 beschrieben wird, gemäß dem ITU.BT-709-Standard durchführen. $[\begin{matrix} Y \\ C b \\ C r \end{matrix}] = [\begin{matrix} 0.2215 & 0.7154 & 0.0721 \\ - 0.1145 & - 0.3855 & 0.5 \\ 0.5016 & 0.4556 & - 0.0459 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}]$
Ein Helligkeitselement Y und ein Chromaelement CbCr können durch die obige Berechnung getrennt werden. Dabei entspricht Y einer Dunkelheitsinformation (Licht und Schatten) des Lichts, Cb ist der Unterschied zwischen der Dunkelheitsinformation (Licht und Schatten) Y und B, und Cr ist der Unterschied zwischen der Dunkelheitsinformation (Licht und Schatten) Y und R.
Im Allgemeinen ist der Grund zum Umwandeln des RGB-Signals in das YCbCr-Signal, dass Rauschen und Klarheit des Bildes im Wesentlichen mit dem Y-Element zusammenhängen. Dementsprechend kann das Berechnungsverfahren vereinfacht werden, indem lediglich das Y-Element verarbeitet wird, anstelle der Verarbeitung des gesamten RGB-Signals. In der vorliegenden Erfindung kann zusätzlich zu dem oben genannten Grund das umgewandelte YCbCr-Signal an das Signalerzeugungsteil 440 ausgegeben werden, um das IR-Bildsignal zu erzeugen, um ein Fußgängerbild als Farbbild zu erzeugen. Das Verfahren zum Erzeugen von YCbCr in dem IR-Bildsignal wird unter Bezugnahme auf das Signalerzeugungsteil 440 nachfolgend beschrieben.
Wenn Daten zur Darstellung eines Fahrbahnbilds gemäß dem RGB-Interpolationsteil 530 erzeugt werden, gemäß dem Signalexpansionsteil 540 und dem Signalumwandlungsteil 550, das in der Fahrbahnbilddatenerzeugungseinheit 500 enthalten ist, kann die Anzeigetreibereinheit 600 die Signaldaten empfangen, die von der Fahrbahnbilddatenerzeugungseinheit 500 ausgegeben worden sind, um ein Fahrbahnbild über die Anzeige des Benutzers anzuzeigen.
Um ein Bild zu erzeugen, das eine klarere Bildqualität aufweist, kann die Fahrbahnbilddatenerzeugungseinheit 500 ferner einen Weißausgleichsteil (white balance, WB) 510 aufweisen zur Durchführung eines Algorithmus zur Durchführung eines Weißausgleichs, um ein Phänomen zu steuern, bei dem die Kamera eine Fahrbahnfarbe wegen der Frontscheinwerfer nicht korrekt erkennt, und ein erstes Filterteil 520 zur Durchführung eines Algorithmus zum Entfernen von Rauschen eines Elements, das sich wie Rauschen verhält aus dem extrahierten RGB-Bildsignal. Dementsprechend kann das Weißausgleichsteil 510 einen Punkt extrahieren, der als graues Objekt erkannt worden ist, im Hinblick auf ein Eingangssignal, um eine Farbtemperatur zu schätzen, basierend auf Farbinformationen des grauen Objekts, und es kann die Farbe des Ausgangssignals entsprechend anpassen durch Multiplizieren einer Verstärkung gemäß dem RGB-Kanal, um es zu korrigieren. Das erste Filterteil 520 kann Rauschelemente mittels eines Verfahrens entfernen, wobei im Allgemeinen ein Niederpassfilter (low pass filter, LPF) benutzt wird, die vorliegende Erfindung ist jedoch nicht darauf beschränkt.
Wie oben beschrieben wurde, wurde das Bildsignalverarbeitungsteil zum Darstellen des Fahrbahnbilds, das das RGB-Bildsignal benutzt, das von der Signalextraktionseinheit 200 extrahiert worden ist, beschrieben. Nachfolgend wird der Bildsignalverarbeitungsteil zum Darstellen eines Fußgängerbilds in einem Farbbild, wobei das IR-Bildsignal benutzt wird, das von der Signalextraktionseinheit 200 extrahiert worden ist, beschrieben.
Wenn das IR-Bildsignal separiert und von der Signalextraktionseinheit 200 extrahiert wird, kann die Fußgängerbilddatenerzeugungseinheit 400 Daten erzeugen, die für das Fußgängerbild in einem Farbbild erforderlich sind, wobei das extrahierte IR-Bildsignal benutzt wird.
Die Fußgängerbilderzeugungseinheit 400 kann den Interpolationsteil 430 zum Interpolieren des extrahierten IR-Bildsignals umfassen, und das Signalerzeugungsteil 440 zum Erzeugen eines YCbCr-Bildsignals, das von dem Signalumwandlungsteil 550 und dem interpolierten IR-Bildsignal ausgegeben worden ist.
Das IR-Interplationsteil 430 kann das IR-Bildsignal interpolieren, wobei ein Durchschnittswert der IR-Filtersignale in der Umgebung der R-, G- und B-Filter benutzt wird. Das bedeutet, um das IR-Bildsignal zu interpolieren, werden Signale entsprechend dem 10., 12., 14., 16., 26., 28., 30., 32., 42., 44., 46., 48., 58., 60., 62. und 64. Pixel, wie in 2 gezeigt ist, interpoliert. Beispielsweise im Fall des 10. Pixels wird ein Durchschnittswert der IR-Pixelwerte berechnet, um interpoliert zu werden, die an der oberen, unteren, linken und rechten Seite um das 10. Pixel herum angeordnet sind. In ähnlicher Weise können die andren 12., 14., 16., 26., 28., 30., 32., 42., 44., 46., 48., 58., 60., 62. und 64. Pixel ebenso das IR-Bildsignal mittels desselben Verfahrens interpolieren.
Wenn das IR-Bildsignal, das in dem IR-Interpolationsteil 430 interpoliert worden ist, ausgegeben wird, kann das Signalerzeugungsteil 440 das Signal empfangen, um einen Algorithmus der Erzeugung des YCbCr-Bildsignals anzuwenden, das von dem Signalumwandlungsteil 550 ausgegeben worden ist und auf das eingegebene IR-Bildsignal anwenden, um ein Fußgängerbild in Farbbildqualität zu erzeugen.
Im Hinblick auf den Algorithmus zum Erzeugen des YCbCr-Bildsignals in das IR-Bildsignal wird das IR-Bildsignal, das durch den IR-Interpolationsteil 430 interpoliert worden ist, als Licht- und Schattensignal Y angesehen. Zusätzlich kann in dem von dem Signalumwandlungsteil 550 umgewandelten YCbCr-Signal lediglich ein Cb-Signal und ein Cr-Signal als Farbdifferenzsignal benutzt werden, um das Y-Signal zu erzeugen, das von dem IR-Bildsignal erhalten wurde, um die Cb- und Cr-Signale zu erzeugen, die von dem RGB-Bildsignal erhalten wurden, um Fußgängerbilddaten in Farbbildqualität zu erzeugen, in denen eine Farbinformation zu dem IR-Bild addiert worden ist, wobei eine dunkle Stelle Helligkeit ausgesetzt wird.
Wenn Daten zum Darstellen eines Fußgängerbilds in Farbbildqualität gemäß dem IR-Interpolationsteil 430 erzeugt worden sind und gemäß dem Signalerzeugungsteil 440, das in der Fußgängerbilddatenerzeugungseinheit 400 enthalten ist, kann die Anzeigetreibereinheit 600 Signaldaten empfangen, die von der Fußgängerbilddatenerzeugungseinheit 400 ausgegeben worden sind, um ein Fußgängerbild auf der Anzeige des Benutzers darzustellen.
Um eine klarere Qualität des Bildes umzusetzen, kann die Fußgängerbilddatenerzeugungseinheit 400 ferner ein Helligkeitsverbesserungsteil 400 zum Durchführen eines Algorithmus zum Verbessern eines niedrigen Signalniveauwertes wegen einer dunklen Umgebung während des nächtlichen Fahrens umfassen, und einen zweiten Filterteil 420 zum Durchführen eines Algorithmus zum Entfernen von Rauschen von Elementen, die sich wie Rauschen verhalten, aus dem extrahierten IR-Bildsignal, die vor dem IR-Interpolationsteil 430 angeordnet sind.
Das Helligkeitsverbesserungsteil 410 kann den Helligkeitswert des Eingangssignals verbessern, indem ein Verfahren wie eine Gammakurve und Histogrammstrecken verwendet wird, ein Histogrammausgleicher, oder dergleichen. Zusätzlich kann das zweite Filterteil 420 Rauschelemente durch das Anwenden eines Niederpassfilters (low pass filter, LPF) entfernen, ähnlich wie in dem ersten Filterteil 520. Aus Gründen der Bequemlichkeit unterscheidet die vorliegende Erfindung zwischen dem ersten Filterteil 520, das in der Fahrbahnbilddatenerzeugungseinheit 500 enthalten ist, und dem zweiten Filterteil 420, das in der Fußgängerbilddatenerzeugungseinheit 400 enthalten ist, aber es ist für einen Fachmann auf diesem Gebiet klar, dass das erste Filterteil 520 und das zweite Filterteil 420 in derselben Verarbeitungsvorrichtung angeordnet sein können, falls erforderlich.
Das System zur Unterstützung der Sicht eines Fahrers gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung kann ferner vor der Signalverarbeitung der Fußgängerbilddatenerzeugungseinheit 400 eine Schneideeinheit 300 umfassen zum Abschneiden des verbleibenden Teils, abgesehen von interessierenden Bereichen, so dass lediglich die interessierenden Bereiche entsprechend dem horizontalen Sichtwinkel der Linse, die zum Erkennen des Fußgängers erforderlich sind, der Signalverarbeitung unterworfen werden.
4 ist eine beispielhafte Ansicht und zeigt den horizontalen Sichtwinkel der Linse, die zur Erzeugung eines Fußgänger darstellenden Bilds erforderlich ist. Anders als bei dem Fahrbahnbild, bei dem sowohl entfernte als auch nahe Fahrspuren vor dem Fahrzeug erkannt und angezeigt werden müssen, da ein Objekt, das sich in einem entfernten Abstand befindet, erkannt und dargestellt werden sollte, beträgt unter Bezugnahme auf 4 in dem Fall eines Fußgängerbilds der horizontale Lichtwinkel einer Linse, die in dem Fußgängerbild erforderlich ist, etwa 17°. Dementsprechend wird vor der Erzeugung von Bilddaten, die zur Darstellung eines Fußgängers erforderlich sind, der verbleibende Teil, abgesehen von dem interessierenden Bereich, in dem sich der Fußgänger befindet, einem Abschneideverfahren unterworfen gemäß Positionsinformationen eines festgelegten Bildbereichs, und anschließend wird lediglich das Bildsignal gemäß dem interessierenden Bereich verarbeitet, um eine unnötige Berechnung zu vermeiden.
Zusätzlich kann das System zur Unterstützung der Sicht eines Fahrers gemäß der vorliegenden Erfindung ferner eine Fahrbahnerkennungseinheit 700 zum Erkennen einer Fahrbahn anhand von Bilddaten umfassen, die von der Fahrbahnbilddatenerzeugungseinheit 500 erzeugt worden sind, eine Fahrbahnabweichungsfeststellungseinheit 800 zum Ermitteln, ob das Fahrzeug die Fahrbahn verlässt, die von der Fahrbahnerkennungseinheit 700 erkannt worden ist, und eine Alarmeinheit 900 zum Erzeugen eines Alarms, wenn das Fahrzeug die Fahrbahn verlässt.
Durch Benutzung von Verfahren, die in den veröffentlichten koreanischen Patentanmeldungen KR 10 2009 0 059 804 A und KR 10 2008 0 033 034 A offenbart sind, kann die Fahrbahnerkennungseinheit 700 Arten von Fahrbahnen erkennen wie gestrichelte Linien, durch die ein Fahrbahnwechsel möglich ist und eine durchgehende Linie, bei der ein Fahrbahnwechsel nicht möglich ist, sowie Farben der Fahrbahnen wie eine weiße Linie, die eine allgemeine Fahrbahn ist, eine gelbe Linie, die eine Mittellinie ist, und eine blaue Linie, die eine Busspurfahrbahn ist. Die Fahrbahnabweichungsfeststellungseinheit 800 kann Daten von der Fahrbahnerkennungseinheit 700 empfangen, um einen Alarm zu erzeugen, wobei die Alarmeinheit 900 benutzt wird, wenn sich das Fahrzeug der durchgezogenen Linie nähert, durch die ein Fahrbahnwechsel unmöglich wird, oder wenn das Fahrzeug sich der Mittellinie oder der Busspur nähert, wodurch die Sicherheit des Fahrers garantiert werden kann.
Zusätzlich kann das System zur Unterstützung der Sicht des Fahrers gemäß der vorliegenden Erfindung ferner eine Fußgängererfassungseinheit 1000 zum Erfassen eines Fußgängers aus Bilddaten umfassen, die von der Fußgängererfassungseinheit 1000, einer Entfernungserfassungseinheit 1100 zum Erfassen des Abstands zu einem Fußgänger, der von der Fußgängererkennungseinheit 1000 erfasst worden ist, und einer Alarmeinheit 1200 zum Erzeugen eines Alarms, wenn sich ein Fußgänger in einem gefährlichen Bereich befindet durch Berechnen von Informationen des Bereichs, in dem sich der Fußgänger befindet, auf der Basis der Fußgängererkennungseinheit 1000 und der Entfernungserfassungseinheit 1100.
Die Fußgängererkennungseinheit 1000 kann ihre Funktion durchführen durch Benutzen einer allgemein bekannten Technik, die in der US-Patentanmeldung US 2007 / 0 230 792 A1 offenbart ist, und die Entfernungserfassungseinheit 1100 kann einen Entfernungssensor zum Durchführen einer Funktion zum Erfassen des Abstands zu einem Fußgänger durchführen, insbesondere einem Infrarotsensor, ein Lasersensor, usw.
Nachfolgend wird ein nicht-erfindungsgemäßes Verfahren zur Unterstützung der Sicht des Fahrers beschrieben, bei dem das System zur Unterstützung der Sicht des Fahrers gemäß der vorliegenden Erfindung benutzt wird.
5 ist ein Flussdiagramm und zeigt den Ablauf des Verfahrens der Unterstützung der Sicht eines Fahrers, wobei das System zur Unterstützung der Sicht des Fahrers gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung benutzt wird.
Bezug nehmend auf 5 umfasst das Verfahren zur Unterstützung der Sicht eines Fahrers gemäß der vorliegenden Erfindung zunächst das Empfangen eines optischen Signals eines Bilds vor einem Fahrzeug von einer Kamera und Umwandeln des optischen Signals in ein elektrisches Quellenbildsignal, das zur Durchführung einer Bildverarbeitung erforderlich ist (S101).
Anschließend wird ein RGB-Bildsignal oder ein IR-Bildsignal aus dem elektrischen Quellenbildsignal (S102) in der Signalextraktionseinheit 200 extrahiert.
Anschließend wird das in dem Schritt S102 extrahierte RGB-Bildsignal in der Fahrbahnbilddatenerzeugungseinheit 500 interpoliert und die Größe der Signaldaten kann auf die Datengröße des IR-Bildsignals expandiert werden, um es in ein YCbCr-Bildsignal umzuwandeln, um Daten zu erzeugen, die für das Fahrbahnbild erforderlich sind, oder das IR-Bildsignal, das in dem Schritt S102 extrahiert wurde, kann in der Fußgängerbilddatenerzeugungseinheit 400 interpoliert werden und das YCbCr-Bildsignal, das von dem Signalumwandlungsteil 550 ausgegeben worden ist, kann in das interpolierte IR-Bildsignal synthetisiert werden, um Daten zu erzeugen, die für ein Fußgängerbild in Farbbildqualität (S104) erforderlich sind. Das Verfahren des Interpolierens der RGB- und IR-Signale oder das Expandieren, Umwandeln und Synthetisieren der Größe der Signaldaten entspricht dem oben Beschriebenen, und daher wird die detaillierte Beschreibung nicht wiederholt.
In dem Schritt S104 wird um ein klareres Fahrbahnbild zu erhalten ein Algorithmus zur Durchführung eines Weißausgleichs auf das Eingangssignal an dem Weißausgleichsteil 510 durchgeführt und ein Algorithmus zum Entfernen von als Rauschen wirkenden Elementen des ersten Filterteils 520 kann weiter durchgeführt werden, und in ähnlicher Weise, um ein klareres Fußgängerbild zu erhalten, kann ein Algorithmus zum Verbessern des Helligkeitswertes des Signalsniveaus in dem Helligkeitsverbesserungsteil 410 durchgeführt werden und ein Algorithmus zum Entfernen von als Rauschen wirkenden Elementen kann von dem zweiten Filterteil 420 durchgeführt werden.
Wenn für das Fahrbahnbild oder das Fußgängerbild erforderliche Daten in dem Schritt S104 erzeugt worden sind, können die von der Fußgängerbilddatenerzeugungseinheit 400 ausgegebenen Signaldaten und/oder von der Fahrbahnbilddatenerzeugungseinheit 500 ausgegebene Signaldaten empfangen werden, um das Fahrbahnbild und/oder das Fußgängerbild auf der Anzeige des Benutzers darzustellen (S105), was durch die Anzeigetreibereinheit 600 durchgeführt wird.
Das Verfahren zur Unterstützung der Sicht eines Fahrers kann ferner vor der Erzeugung der Fußgängerbilddaten in dem Schritt S104 die Durchführung eines Schneideprozesses des verbleibenden Abschnitts umfassen, abgesehen von dem interessierenden Bereich gemäß dem horizontalen Sichtwinkel der Linse, der zur Erkennung des Fußgängers erforderlich ist, durch die Schneideeinheit 300 (S103).
Zusätzlich kann das Verfahren ferner einen Alarmschritt (S106) der Erkennung der Fahrbahn aus den Bildsignaldaten umfassen, die von der Fahrbahnbilddatenerzeugungseinheit 500 erzeugt worden sind, um zu bestimmen, ob das Fahrzeug von der erkannten Fahrbahn abweicht und um einen Alarm zu erzeugen, wenn das Fahrzeug von der Fahrbahn abweicht.
Aus der vorhergehenden Beschreibung erkennt man, dass es möglich ist, die Sicht des Fahrers bei geringen Kosten zu verbessern, da das Nachtbild, das zum Erkennen des Fußgängers und das Fahrbahnbild, das zum zur Verfügung stellen des Fahrbahnabweichungsalarms erforderlich ist, gleichzeitig durch Benutzen eines einzigen Kameramoduls erzeugt werden können.
Zusätzlich kann das Fußgängerbild bei nächtlicher Fahrt als Farbbild dargestellt werden, um es dem Fahrer zu ermöglichen, den Fußgänger frühzeitig zu erkennen.
Obwohl bevorzugte Ausführungsbeispiele der vorliegenden Erfindung in der obigen Beschreibung gezeigt und beschrieben wurden, ist es für einen Fachmann auf diesem Gebiet klar, dass Ersetzungen, Änderungen und Abweichungen in diesen Ausführungsbeispielen möglich sind, ohne das Prinzip und die Idee des allgemeinen erfinderischen Konzepts zu verlassen, dessen Schutzbereich durch die beigefügten Patentansprüche und deren Äquivalente festgelegt ist.

Claims

System zur Unterstützung der Sicht eines Fahrers, umfassend: ein Kameramodul, umfassend eine Linse zum Empfangen eines optischen Signals eines Bilds vor einem Fahrzeug, eine Farbfilteranordnung mit einem IR-Filter, einem R-Filter, einem G-Filter und einem B-Filter und einem Bildsensor zum Umwandeln des empfangenen optischen Signals in ein elektrisches Bildsignal, das für eine Bildverarbeitung erforderlich ist; eine Signalextraktionseinheit zum Extrahieren eines RGB-Bildsignals und/oder eines IR-Bildsignals aus dem elektrischen Bildsignal, das von dem Kameramodul ausgegeben worden ist; eine Fahrbahnmusterbilddatenerzeugungseinheit, umfassend ein RGB-Interpolationsteil zum Interpolieren des extrahierten RGB-Bildsignals, ein Signalexpansionsteil zum Expandieren der Datengröße des interpolierten RGB-Bildsignals, und ein Signalumwandlungsteil zum Umwandeln des expandierten RGB-Bildsignals in ein YCbCr-Bildsignal, um für ein Fahrbahnmusterbild erforderliche Daten zu erzeugen; eine Fußgängerbilddatenerzeugungseinheit, umfassend ein IR-Interpolationsteil zum Interpolieren des extrahierten IR-Bildsignals und ein Signalerzeugungsteil zum Erzeugen des YCbCr-Bildsignals des Signalumwandlungsteils in das interpolierte IR-Bildsignal, um für ein Fußgängerbild erforderliche Daten zu erzeugen; und eine Anzeigetreibereinheit zum Implementieren von Bilddaten, die von der Fahrbahnmusterbilddatenerzeugungseinheit und/oder der Fußgängerbilddatenerzeugungseinheit erzeugt worden sind, mittels einer Anzeige, wobei das Signalerzeugungsteil das von dem IR-Interpolationsteil interpolierte IR-Bildsignal als Dunkelheitssignal Y und die Cb- und Cr-Signale des YCbCr-Bildsignals, das von dem Signalumwandlungsteil ausgegeben worden ist, als Farbdifferenzsignal benutzt und das Y-Signal und die Cb- und Cr-Signale erzeugt.
System nach Anspruch 1, dadurch gekennzeichnet, dass in der Farbfilteranordnung der IR-Filter in n-ter Reihe angeordnet ist, und der IR-Filter und irgendeiner der B-, G- und R-Filter sind abwechselnd in n+1-ten Reihe angeordnet.
System nach Anspruch 1, dadurch gekennzeichnet, dass es ferner eine Schneideeinheit zum Abschneiden eines verbleibenden Abschnitts aufweist, abgesehen von einem interessierenden Bereich entsprechend einem horizontalen Sichtwinkel der Linse, der zum Erkennen des Fußgängers erforderlich ist, bevor eine Bildsignalverarbeitung in der Fußgängerbilddatenerzeugungseinheit durchgeführt wird.
System nach Anspruch 1, dadurch gekennzeichnet, dass die Fahrbahnmusterbilddatenerzeugungseinheit ferner ein Weißausgleichsteil zum Durchführen eines Weißausgleichs bei dem Eingangssignal aufweist, und ein erstes Filterteil zum Entfernen eines als Rauschen wirkenden Elements aus dem RGB-Bildsignal, das von der Signalextraktion aus einem Signal extrahiert worden ist.
System nach Anspruch 1, dadurch gekennzeichnet, dass die Fußgängerbilddatenerzeugungseinheit ferner ein Helligkeitsverbesserungsteil umfasst zum Verbessern des Helligkeitswertes eines niedrigen Signalniveaus wegen einer dunklen Umgebung bei nächtlichem Fahren, und ein zweites Filterteil zum Entfernen eines als Rauschen wirkenden Elements aus dem IR-Bildsignal, das von der Signalentfernungseinheit extrahiert worden ist.
System nach Anspruch 1, dadurch gekennzeichnet, dass es eine Fahrbahnerkennungseinheit zum Erkennen einer Fahrbahn in den Bilddaten umfasst, die von der Fahrbahnmusterbilddatenerzeugungseinheit erzeugt worden sind, und eine Fahrbahnabweichungsfeststellungseinheit zum Feststellen, ob das Fahrzeug von der Fahrbahn abweicht, die von dem Fahrbahnerkennungsteil erkannt worden ist, und eine Alarmeinheit zum Erzeugen eines Alarms, wenn das Fahrzeug die Fahrbahn verlässt.
System nach Anspruch 1, dadurch gekennzeichnet, dass es ferner eine Fußgängererkennungseinheit zum Erkennen eines Fußgängers in den Bilddaten umfasst, die von der Fußgängerbilddatenerzeugungseinheit erzeugt worden sind, eine Abstandsdetektionseinheit zum Erkennen des Abstands von einem Fußgänger, und eine Alarmeinheit zum Erzeugen einer Bereichsinformation, in welchem Bereich sich der Fußgänger befindet, basierend auf der Fußgängererkennungseinheit und der Abstandsdetektionseinheit und die einen Alarm erzeugt, wenn der Fußgänger sich in einem gefährlichen Bereich befindet.