DE102011005056A1

DE102011005056A1 - Aktives Sichthilfegerät und -verfahren für Fahrzeug

Info

Publication number: DE102011005056A1
Application number: DE102011005056A
Authority: DE
Inventors: Tsutomu Ishi; Yumiko Yoshikawa; Ryuji Funayama; Shinya Kawamata
Original assignee: NEC Corp; Toyota Motor Corp
Current assignee: NEC Corp; Toyota Motor Corp
Priority date: 2010-03-03
Filing date: 2011-03-03
Publication date: 2011-12-01
Also published as: JP4977923B2; US8854464B2; CN102194103A; US20110216196A1; CN102194103B; JP2011182300A

Abstract

Ein Sichthilfegerät enthält eine Lichtempfangseinheit, die von einem Gegenstand reflektiertes Licht empfängt, um ein Signal für ein Bild für jedes der Wellenlängenbänder zu generieren, eine Wellenlängen-Auswahleinheit, um in dem Bild für mindestens ein Wellenlängenband einen Satz derjenigen der Pixel mit vergleichbaren Lichtstärken, die den größten besetzten Bereich definieren, als einen Referenzbereich festzulegen, und für jedes von nicht in dem Referenzbereich enthaltenen Identifikationszielpixeln einen Wert des Pixels in dem Bild für jedes Wellenlängenband mit einem Pixelwert des Referenzbereichs zu vergleichen, um mindestens zwei Wellenlängenbänder auszuwählen, die wirksam zum Detektieren des Gegenstands sind, und eine Anzeigeeinheit, um die Identifikationszielpixel basierend auf einer Wellenlängenbandkombination zu gruppieren, die für jedes Identifikationszielpixel ausgewählt wird, und ein Bild anzuzeigen, in dem der Gegenstand basierend auf der Gruppierung unterscheidbar gezeigt wird.

Description

Diese Anmeldung basiert auf und beansprucht die Priorität der Japanischen Patentanmeldung Nr. 2010-046429 , die am 3. März 2010 eingereicht wurde, und deren Offenbarung hier durch Verweis vollständig eingeschlossen ist.
HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung:
Die vorliegende Erfindung betrifft ein aktives Sichthilfegerät und ein aktives Sichthilfeverfahren für ein Fahrzeug, die eingesetzt werden, um einem Fahrer besseres Identifizieren eines während des Fahrens eines Fahrzeugs zu sehenden Gegenstands zu ermöglichen.
2. Beschreibung von verwandten Techniken:
Beim Fahren eines Fahrzeugs muss ein Fahrer des Fahrzeugs Gegenstände wie zum Beispiel andere Fahrzeuge, Personen auf der Straße, Markierungslinien auf der Straßenoberfläche, Strukturen am Straßenrand visuell identifizieren und das Fahrzeug entsprechend der Ergebnisse der Identifizierung dieser Gegenstände fahren. Zum Beispiel muss der Fahrer bestimmen, wenn er beim Fahren einen länglichen, vertikal stehenden Gegenstand vor ihm und etwas links in der Vorwärtsfahrtrichtung entdeckt, ob der Gegenstand ein Strommast oder ein Fußgänger ist. Wenn der Gegenstand ein Fußgänger oder dergleichen ist, muss der Fahrer Maßnahmen ergreifen, zum Beispiel langsam fahren. Unter schlechten Bedingungen wie zum Beispiel Regenwetter oder in der Nacht ist das Entdecken eines Gegenstands im Sichtfeld vor dem Fahrzeug jedoch schwierig. Die Bestimmung, was der Gegenstand tatsächlich ist, ist noch schwieriger.
Daher ist die Anbringung eines aktiven Sichthilfegeräts in einem Fahrzeug untersucht worden, um die Identifizierung eines Gegenstands zu vereinfachen, von dem erwartet wird, dass er sich im Sichtfeld des Fahrers befindet. Das aktive Sichthilfegerät beleuchtet den Bereich vor dem Fahrzeug mit nahem Infrarotlicht oder dergleichen, um ein Bild einer Szene in der Vorwärtsfahrtrichtung wie vom Fahrzeug gesehen zu erfassen, wodurch dem Fahrer ermöglicht wird, einfach zu bestimmen, was jeder der Gegenstände in dem Bild darstellt. Man erwartet, dass das Reflexionsspektrum mit dem Typ des Gegenstands variiert. Damit ein Gegenstand identifiziert werden kann, ist es daher vorgeschlagen worden, eine Mehrzahl von Bildern für verschiedene Wellenlängenbänder unter Verwendung einer Mehrbandkamera oder dergleichen zum Identifizieren des Gegenstands zu erfassen.
Wie in JP2005-115631A beschrieben ist, bietet die Mehrbandkamera verglichen mit normalen Farbkameras, die Filter verwenden, welche den drei Primärfarben, d. h. den drei Wellenlängenbändern entsprechen, Wellenlängenbänder an, die individuell schmal sind. Die Mehrbandkamera enthält weiter eine große Anzahl solcher Wellenlängenbänder, um Erfassen von Bildern für die jeweiligen einzelnen Wellenlängenbänder zu ermöglichen. Eine typische Mehrbandkamera enthält mehrere bis mehrere zehn von Wellenlängenbändern. Aufgrund der großen Anzahl von Wellenlängenbändern ermöglicht die Verwendung der Mehrbandkamera, das Spektrum von Licht von jedem Punkt auf dem Gegenstand zu reproduzieren, obwohl die Genauigkeit der spektralen Reproduktion niedrig ist. JP2005-115631A offenbart ein Bildanzeigegerät, das eine Mehrbandkamera verwendet, um Bilder zu erfassen, wobei der Benutzer für eins derselben einen Bereich spezifiziert, damit das Spektrum des Bereichs in einem Diagramm angezeigt werden kann, oder das ein Bild für eine bestimmte Wellenlänge berechnet und anzeigt, wenn die Wellenlänge spezifiziert ist.
JP-2001-099710A zeigt eine Mehrbandkamera mit einer einzelnen Abbildungsvorrichtung, zum Beispiel einem CCD-(charge-coupled device, ladungsgekoppelte Vorrichtung) Sensor, der zum Beispiel einen einstellbaren Flüssigkristallfilter verwendet, welcher ein übertragbares Wellenlängenband steuert, um die übertragbare Wellenlänge so zu wechseln, dass Bilder für eine Mehrzahl von Wellenlängenbändern erfasst werden. JP2001-099710A zeigt weiter eine Technik zum Ausgleichen einer Abweichung von einem festgelegten Wert für die spektralen Übertragungseigenschaften des einstellbaren Filters und zum Bestimmen des Spektrums eines Gegenstands bei einer feineren Wellenlängenauflösung von Bildern für eine Mehrzahl von Wellenlängenbändern.
JP11-096333A zeigt eine Technik zum Bestimmen des Spektrums eines Gegenstands bei einer feineren Wellenlängenauflösung von Bildern für eine Mehrzahl von Wellenlängenbändern, die durch eine Mehrbandkamera erfasst werden, ähnlich wie JP2001-099710A . JP11-096333A offenbart ferner die Verwendung eines Drehfilters zum Wechseln eines Bands zur Abbildung, wenn eine einzelne Abbildungsvorrichtung vorgesehen ist.
Wenn ein Gegenstand mit Licht beleuchtet wird und ein Bild des von dem Gegenstand reflektierten Lichts erfasst wird, können Bilder für eine Mehrzahl von Wellenlängenbändern erfasst werden, indem als eine Beleuchtungsquelle eine Anzahl von Leuchtdioden (LEDs) jeweils mit Schmalbandemissions-Spektraleigenschaften verwendet wird, um Bilder des Gegenstands zu erfassen, während die Wellenlänge des Beleuchtungslichts variiert.
Darüber hinaus offenbart JP2008-15709A als ein Beispiel zum Identifizieren eines Gegenstands in einer großen Anzahl von Bildern für eine große Anzahl von Wellenlängenbändern, die durch eine Mehrbandkamera, einen Hyperspektralsensor mit mehr Wellenlängenbändern oder dergleichen erfasst wird, ein Verfahren zum Untersuchen, was die Oberfläche des Bodens bedeckt, basierend auf einer großen Anzahl von Hyperspektralbildern. Dieses Verfahren untersucht, ob die Zieloberfläche des Bodens zum Beispiel eine Straße oder Wasseroberfläche darstellt, oder mit Pflanzen bedeckt ist, und ob die Oberfläche des Bodens mit Pflanzen bedeckt ist, d. h. es untersucht die Verteilung von Vegetation. Das Verfahren nach JP2008-152709A legt im Voraus eine Kombination einer Mehrzahl von Wellenlängenbändern fest, die zur Klassifizierung von Bereichen gemäß Klassen von Straßen, Wäldern und dergleichen geeignet sind, um eine automatische Auswahl eines Extraktionszielbereichs zu ermöglichen. Zum Beispiel wird Lernen mit kontrollierten Daten zum Festlegen der Klassen verwendet. Dann werden nur Bilder für eine Mehrzahl von Wellenlängenbändern im Voraus ausgewählt, die zu extrahierenden Klassen entsprechen. Der Zielbereich wird anschließend in den ausgewählten Bildern identifiziert.
ZUSAMMENFASSUNG DER ERFINDUNG
Es ist eine Technik selbst geschaffen worden, die beinhaltet, Bilder für eine Mehrzahl von Wellenlängenbändern unter Verwendung einer Mehrbandkamera oder dergleichen zu erfassen und das Reflexionsspektrum oder dergleichen eines Gegenstands zu bestimmen. Momentan steht jedoch keine ausreichende Technik zur Verfügung, die genaues Identifizieren des Gegenstands in jeglichen Situationen ermöglicht, wenn Bilder für eine Mehrzahl von Wellenlängenbändern bereitgestellt werden. Die oben beschriebene und in JP2008-1527209A dargestellte Technik erfordert Voreinstellung der Klassen, die anzeigen, welche Kombination von Wellenlängenbändern abhängig von dem zu detektierenden Gegenstandstyps zu verwenden ist. Daher ist sogar die in JP2008-152709A dargestellte Technik unzureichend, um den Gegenstand wirksam zu detektieren und identifizieren, wenn Bilder in einer ständig variierenden Situation wie zum Beispiel derjenigen erfasst werden, wenn ein Fahrzeug fährt, und wenn keine Informationen zur Verfügung stehen, die die Beschaffenheit des Gegenstands selbst anzeigen. Außerdem erfordert diese Technik das Lernen mit kontrollierten Daten, um die Klassen festzulegen. Folglich ist die relevante Verarbeitung selbst kompliziert.
Von der Betrachtungsweise ausgehend, dass eine aktive Sichthilfe in einem Fahrzeug angebracht wird, um das Fahren und die Tätigkeit des Fahrers zu unterstützen, ist es zuerst erforderlich, dass das Gerät einen Gegenstand auf der Straße oder am Straßenrand zuverlässig detektiert und das Vorliegen eines solchen Gegenstands einem Fahrer in Echtzeit präsentiert. Vorausgesetzt, dass das Gerät anschließend bestimmen kann, was der Gegenstand darstellt, muss das Ergebnis der Bestimmung dem Fahrer zusätzlich in Echtzeit präsentiert werden können.
Eine Aufgabe der vorliegenden Erfindung besteht in der Schaffung eines Sichthilfegeräts mit einem einfachen Aufbau, und das geeignet in einem Fahrzeug angebracht wird, wobei das Gerät ermöglicht, einen Gegenstand auf der Straße oder am Straßenrand genau zu detektieren und einen Fahrer so zu unterstützen, dass der Fahrer einfach bestimmen kann, was der Gegenstand darstellt.
Eine andere Aufgabe der vorliegenden Erfindung besteht in der Schaffung eines Sichthilfeverfahrens, das genaue Detektion eines Gegenstands auf der Straße oder am Straßenrand im Fahrzeug ermöglicht, und das einen Fahrer so unterstützt, dass der Fahrer einfach bestimmen kann, was der Gegenstand darstellt.
Einem exemplarischen Aspekt der vorliegenden Erfindung zufolge enthält das Sichthilfegerät Folgendes: eine Lichtquelleneinheit, die konfiguriert ist, einen Gegenstand mit Licht in einem einer Mehrzahl von Wellenlängenbändern mit verschiedenen Spitzenwellenlängen zu beleuchten, wobei sie zwischen den Wellenlängenbänder wechselt; eine Lichtempfangseinheit, die konfiguriert ist, das von dem Gegenstand reflektierte Licht zu empfangen und ein Signal für ein Bild für jedes der Mehrzahl von Wellenlängenbändern zu generieren; eine Wellenlängen-Auswahleinheit, die konfiguriert ist, Signalstärken von Pixeln miteinander in mindestens einem Bild zu vergleichen, und einen Satz derjenigen der Pixel mit vergleichbaren Signalstärken, die den größten besetzten Bereich definieren, als Referenzbereich festzulegen, und die Pixel, die nicht in dem Referenzbereich enthalten sind, als Identifikationszielpixel festzulegen, und für jedes der Identifikationszielpixel einen Wert des Pixels in dem Bild für jedes Wellenlängenband mit einem Pixelwert des Referenzbereichs zu vergleichen, um mindestens zwei Wellenlängenbänder auszuwählen, die für die Detektion des Gegenstands wirksam sind; und eine Anzeigeeinheit, die konfiguriert ist, die Identifikationszielpixel basierend auf einer Kombination aus einer Mehrzahl von Wellenlängenbändern zu gruppieren, die durch die Wellenlängen-Auswahleinheit für jedes Identifikationszielpixel ausgewählt wird, und ein Bild anzuzeigen, in dem der Gegenstand basierend auf dem Ergebnis der Gruppierung erkennbar gezeigt wird.
Einem anderen exemplarischen Aspekt der vorliegenden Erfindung zufolge, enthält das Sichthilfeverfahren die folgenden Schritte: Beleuchten eines Gegenstands mit Licht in einem einer Mehrzahl von Wellenlängenbändern mit unterschiedlichen Spitzenwellenlängen, wobei zwischen den Wellenlängenbändern gewechselt wird; Empfangen des von dem Gegenstand reflektierten Lichts, um ein Signal für ein Bild für jedes der Mehrzahl von Wellenlängenbändern zu generieren; Vergleichen von Signalstärken von Pixeln miteinander in mindestens einem Bild und Festlegen eines Satzes derjenigen der Pixel mit vergleichbaren Signalstärken, die den größten besetzten Bereich definieren, als einen Referenzbereich; Festlegen der Pixel, die nicht in dem Referenzbereich enthalten sind, als Identifikationszielpixel, und Vergleichen, für jedes der Identifikationszielpixel, eines Werts des Pixels in dem Bild für jedes Wellenlängenband mit einem Pixelwert des Referenzbereichs, um mindestens zwei Wellenlängenbänder auszuwählen, die zur Detektion des Gegenstands wirksam sind; Gruppieren der Identifikationszielpixel basierend auf einer Kombination aus einer Mehrzahl von Wellenlängenbändern, die durch die Auswahl für jedes Identifikationszielpixel ausgewählt werden; und, basierend auf dem Ergebnis der Gruppierung, Anzeigen eines Bilds, in dem der Gegenstand erkennbar gezeigt wird.
Den obigen Konfigurationen zufolge wird der Gegenstand basierend auf dem Referenzbereich extrahiert, der in Echtzeit extrahiert wird. Somit kann der Gegenstand sogar in einer sich ständig ändernden Situation zuverlässig von einem anderen Gegenstand in dem Bild unterschieden werden. Außerdem müssen keine detaillierten Spektrumsberechnungen durchgeführt werden, während der Gegenstand von einem anderen Gegenstand unter Verwendung einer solchen etwas begrenzten Anzahl von Wellenlängenbändern unterschieden wird, wie sie durch Wechseln zwischen einer Mehrzahl von Lichtquellen bereitgestellt werden, um für jedes Identifikationszielpixel eine Kombination aus Wellenlängenbändern zu bestimmen, die das Identifikationszielpixel darstellt. Auf diese Weise kann die erforderliche Rechenverarbeitung vereinfacht werden und der Umfang des Geräts kann reduziert werden.
Die obigen und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden Beschreibung basierend auf den anliegenden Zeichnungen deutlich werden, die exemplarische Ausführungsformen der vorliegenden Erfindung darstellen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm, das die Konfiguration eines aktiven Sichthilfegeräts für ein Fahrzeug gemäß einer exemplarischen Ausführungsform der vorliegenden Erfindung zeigt;
2 ist ein Ablaufdiagramm, das die durch eine Wellenlängen-Auswahleinheit durchgeführte Verarbeitung zeigt;
3 ist ein Diagramm, das die Verarbeitung darstellt, die durch die Wellenlängen-Auswahleinheit durchgeführt wird;
4 ist ein Blockdiagramm, das die Konfiguration eines aktiven Sichthilfegeräts für ein Fahrzeug gemäß einer anderen exemplarischen Ausführungsform der vorliegenden Erfindung zeigt.
AUSFÜHRLICHE BESCHREIBUNG DER EXEMPLARISCHEN AUSFÜHRUNGSFORMEN
Ein Gerät gemäß einer exemplarischen Ausführungsform der in 1 gezeigten vorliegenden Erfindung ist ein aktives Sichthilfegerät, das in einem Fahrzeug angebracht ist, um einen Gegenstand zu detektieren, dessen Vorliegen im Sichtfeld des Fahrers erwartet wird, und den Fahrer über das Vorliegen des Gegenstands zu informieren, um den Fahrer so zu unterstützen, dass der Fahrer den Gegenstand identifizieren kann. Um die getrennte Detektion von mindestens zwei Gegenständen zu ermöglichen, beleuchtet das Sichthilfegerät den Gegenstand mit mindestens zwei Typen von Licht in verschiedenen Wellenlängenbändern, und wählt mindestens zwei Typen von Wellenlängenbändern, die zur Identifikation wirksam sind, aus Reflexionsstärkesignalen aus, die durch Reflexion von Licht durch den Gegenstand erhalten werden. Anschließend werden basierend auf den ausgewählten Wellenlängenbändern zwei Gegenstände angezeigt und voneinander in einem Bild unterschieden.
Das Sichthilfegerät enthält: eine Lichtquelleneinheit 11 mit mindestens zwei Lichtquellen S₁ bis S_n zum Beleuchten des Messgegenstands 20, eines Gegenstands, dessen Vorliegen vor einem Fahrzeug erwartet wird, mit Licht in verschiedenen Wellenlängenbändern, zum Beispiel nahen Infrarotstrahlen; und eine Modulationseinheit 12, die zum Steuern der Lichtquelleneinheit 11 konfiguriert ist, um die Lichtstärke von Beleuchtungslicht 21 zu modulieren, das von der Lichtquelleneinheit 11 auf den Messgegenstand 20 gerichtet wird. Die Strahlungs- oder Emissionsspektren der Lichtquellen S₁ bis S_n sind bekannt und haben unterschiedliche Spitzenwellenlängen. Die Modulationseinheit 12 kann die Strahlungsdichten der Lichtquellen S₁ bis S_n individuell modulieren. Der Ausdruck ”Modulation”, wie er hier verwendet wird, beinhaltet keine Modulation, die nur Einschalten und Ausschalten jeder der Lichtquellen umfasst. Durch die Lichtquellen S₁, S₂, ...S_n abgestrahltes Licht wird als jeweils in den Wellenlängenbänder B₁, B₂, ..., B_n enthalten betrachtet. Zusätzlich werden zur bequemeren Beschreibung die Wellenlängenbänder B₁, B₂, ...B_n so betrachtet, dass sich ihre Spitzenwellenlängen in dieser Reihenfolge vergrößern.
Damit von Gegenständen reflektiertes Licht 22 so empfangen und angezeigt werden kann, dass mindestens zwei Gegenstände in einem Bild voneinander unterschieden werden können, enthält das Sichthilfegerät weiter: eine Lichtempfangseinheit 13, die aus einem CCD-Sensor gebildet wird und konfiguriert ist, von dem Gegenstand reflektiertes Licht 22 zu empfangen, und das Licht in ein elektrisches Signal für ein Bild basierend auf der Reflexionsstärke des reflektierten Lichts umzuwandeln; eine Recheneinheit 14, die zum Durchführen von Rechenprozessen wie zum Beispiel Subtraktionen und Divisionen an dem von der Lichtempfangseinheit 13 erhaltenen Signal konfiguriert ist; eine Wellenlängen-Auswahleinheit 15, die konfiguriert ist, Reflexionsstärkesignale zu vergleichen, die durch den Recheneinheit 14 als Bilder für die jeweiligen Wellenlängen ausgegeben werden, um mindestens zwei Wellenlängenbänder auszuwählen, die zum Unterscheiden von Gegenständen voneinander wirksam sind; und eine Anzeigeinheit 16, die konfiguriert ist, mindestens zwei Gegenstände basierend auf dem Satz von Wellenlängenbändern unterscheidbar anzuzeigen, die durch die Wellenlängen-Auswahleinheit 15 ausgewählt werden. Die Recheneinheit 14 kann konfiguriert sein, das Differenzbild zwischen einem Bild, das erhalten wird, wenn ein Gegenstand mit Licht beleuchtet wird, und einem Bild zu bestimmen, das erhalten wird, wenn der Gegenstand nicht mit Licht beleuchtet wird, wodurch die nachteiligen Auswirkungen von zusätzlichen Hintergrundlichtkomponenten beseitigt werden. Darüber hinaus kann die Recheneinheit 14 konfiguriert werden, Reflexionsstärkesignale basierend auf der Strahlungsstärkenverteilung jeder der Lichtquellen in der Lichtquelleneinheit 11 und der spektralen Empfindlichkeit eines Lichtempfangselements in der Lichtempfangseinheit 13 zu korrigieren, um genauere Reflexion zu berechnen.
Nun soll die Wellenlängen-Auswahleinheit 15 beschrieben werden.
In der Konfiguration gemäß der vorlegenden Ausführungsform ist eine Mehrzahl von Lichtquellen S₁ bis S_n mit unterschiedlichen Spitzenwellenlängen in der Lichtquelleneinheit 11 vorgesehen. Die Modulationseinheit 12 erlaubt einer der Lichtquellen, Licht zu emittieren, während sie zwischen Lichtquellen umschaltet. Ein Messziel 20 wird dann mit Beleuchtungslicht 21 aus der Lichtquelle beleuchtet und die Lichtempfangseinheit 13 empfängt reflektiertes Licht 22 von dem Messziel 20. Infolgedessen wird eine Mehrzahl von Bildern in verschiedenen Wellenlängenbändern erfasst. Zum Beispiel werden unter Annahme von sechs Lichtquellen mit verschiedenen Spitzenwellenlängen sechs Bilder in verschiedenen Wellenlängenbändern erhalten, das heißt, Bilder, die Wellenlängenbändern B₁ bis B₆ entsprechen. Es wird erwartet, dass jedes der Bilder eine Mehrzahl von Gegenständen zeigt, die in dem gleichen Sichtfeld vorliegen. Hier wird angenommen, dass jedes der Bilder Gegenstände A und B enthält. Da die Gegenstände verschiedene Reflexionsspektren bieten, kann der Gegenstand A in einem Bild heller als der Gegenstand B und in einem anderen Bild dunkler als Gegenstand B angezeigt werden, und die Gegenstände A und B können möglicherweise in noch einem anderen Bild nicht wesentlich voneinander unterschieden werden. Ein solches Beispiel ist in 1 als die Bilder 41 und 42 gezeigt. Das Bild 41 wird von Licht aus der Lichtquelle S₃ erhalten. Das Bild 42 wird von Licht aus der Lichtquelle S₆ erhalten. Beim Unterstützen der Fahrt eines Fahrzeugs ist es nicht zu bevorzugen, dem Fahrer eine Vielzahl von Bildern zu präsentieren, sondern es ist zu bevorzugen, Gegenstand A und Gegenstand B deutlich unterscheidbar in einem einzelnen Bild anzuzeigen.
Somit wählt die Wellenlängen-Auswahleinheit 15 zum Beispiel basierend auf sechs Bildern für verschiedene Wellenlängenbänder mindestens zwei Wellenlängenbänder aus, die zum unterscheidbaren Anzeigen einer Mehrzahl von Gegenständen, zum Beispiel von Gegenständen A und B für jedes Pixel geeignet sind. Die so ausgewählten Wellenlängenbänder werden verwendet, damit die Anzeigeeinheit 16 die im Folgenden beschriebenen Gegenstände deutlich unterscheidbar anzeigen kann. Ein Auswahlverfahren kann darin bestehen, einen Satz einer Mehrzahl von Wellenlängenbändern auszuwählen, wie es die Inversion des Größenverhältnisses des Reflexionsstärkesignalpegels zwischen den Gegenständen beinhaltet, oder einen Satz einer Mehrzahl von Wellenlängenbändern auszuwählen, der eine Differenz von mindestens einem gegebenen Wert im Reflexionsstärkesignalpegel zwischen den Gegenständen beinhaltet.
Das in 1 gezeigte Diagramm 31 zeigt die Auswahl eines der Wellenlängenbänder B₁ bis B₆. In diesem Diagramm ist die Signalstärke eines Signals von einem Gegenstand entsprechenden Pixeln durch eine Strichellinie für jedes Wellenlängenband gezeigt, während die Signalstärke eines Signals von einem anderen Gegenstand entsprechenden Pixeln durch eine durchgezogene Linie für jedes Wellenlängenband gezeigt ist.
Die Auswahl eines Satzes von Wellenlängenbändern erfordert Extraktion eines Bereichs aus einem Bild, der einen Kandidaten für einen Gegenstand darstellt. Da das Gerät in einem Fahrzeug angebracht ist, wird hier angenommen, dass ein relativ großer Bereich jedes Bilds durch einen Straßenoberflächenteil besetzt ist, der mit Asphalt oder Beton gepflastert ist, obwohl dies von dem Sichtwinkel der Lichtempfangseinheit 13 abhängen kann. Somit versucht die Wellenlängen-Auswahleinheit 15 zuerst, einen gepflasterten Straßenoberflächenteil als einen Referenzbereich zu detektieren, und verwendet dann den Referenzbereich als eine Referenz zum Vergleich, um die Signalstärken von Pixeln zu vergleichen, die nicht zum Referenzbereich gehören.
Basierend auf dem Vergleichsergebnis wählt die Wellenlängen-Auswahleinheit 15 einen Satz von Wellenlängenbändern aus, wodurch der Gegenstand von dem Referenzbereich unterschieden werden kann. Die nicht in dem Referenzbereich enthaltenen Pixel werden im Folgenden als Identifikationszielpixel bezeichnet.
Es wird angenommen, dass der Satz von auszuwählenden Wellenlängenbändern zwei Wellenlängenbänder enthält. Wenn der Referenzbereich bereits festgelegt ist, kann ein Satz von Wellenlängenbändern, der Unterscheiden des Gegenstands von dem Referenzbereich ermöglicht, für die Identifikationszielpixel basierend beispielsweise auf (i) bis (iii) ausgewählt werden:

(i) In einem ersten Fall, in dem der Pixelwert jedes der Identifikationszielpixel gleich oder größer als der des Referenzbereichs für alle der Wellenlängenbänder ist, werden Wellenlängenbänder ausgewählt, die die größten bzw. kleinsten Unterschiede enthalten, welche aus der Subtraktion des Pixelwerts des Referenzbereichs von dem Pixelwert des Identifikationszielpixels resultieren;
(ii) In einem zweiten Fall, in dem der Pixelwert des Identifikationszielpixels gleich oder kleiner als der des Referenzbereichs für alle der Wellenlängenbänder ist, werden Wellenlängenbänder ausgewählt, die die größten bzw. kleinsten Unterschiede enthalten, welche aus der Subtraktion des Pixelwerts des Identifikationszielpixels von dem Pixelwert des Referenzbereichs resultieren;
(iii) In einem dritten Fall, in dem der Pixelwert des Identifikationszielpixels größer als der des Referenzbereichs in einigen Wellenlängenbändern ist, während der Pixelwert des Identifikationszielpixels kleiner als der des Referenzbereichs in einigen Wellenlängenbändern ist, werden Wellenlängenbänder, die die größten Werte des Identifikationszielpixels in einer positiven Richtung bzw. einer negativen Richtung enthalten, basierend auf dem Pixelwert des Referenzbereichs ausgewählt.

2 ist ein Ablaufdiagramm, das ein Beispiel des Betriebs der Wellenlängen-Auswahleinheit 15 darstellt, und 3 ist ein Diagramm, das zeigt, wie ein Bild während des Betriebs verarbeitet wird.
Zuerst werden in Schritt 101 in einem Bild für ein jegliches Wellenlängenband die Signalstärken von Pixeln miteinander verglichen. Dann werden diejenigen der Pixel mit vergleichbaren Signalstärken, die den größten besetzten Bereich definieren, als der Referenzbereich festgelegt. Um genaues Festlegen des Referenzbereichs zu ermöglichen, kann der oben beschriebene Prozess wiederholt an Bildern für eine Mehrzahl von Wellenlängenbändern durchgeführt werden. Der Prozess muss jedoch nicht an allen der Wellenlängenbänder durchgeführt werden. Zum Beispiel werden in einem Bild für das Wellenlängenband B₁ die Signalstärken von Pixeln miteinander verglichen, und ein Satz derjenigen der Pixel mit vergleichbaren Signalstärken, die den größten besetzten Bereich definieren, wird als der Referenzbereich festgelegt. Anschließend wird dieser Prozess wiederholt an Bildern für die Wellenlängenbänder B₂, B₃... in dieser Reihenfolge durchgeführt. Als Ergebnis werden schließlich in Bild 51 in 3 schraffiert dargestellte Pixel als der Referenzbereich festgelegt.
Anschließend wird in Schritt 102 in einem Bild für ein jegliches Wellenlängenband die Signalstärke der Identifikationszielpixel mit der Signalstärke der Pixel in dem Referenzbereich verglichen. Basierend auf dem Vergleichsergebnis wird in Schritt 103 ein Satz von mindestens zwei zur Identifikation geeigneten Wellenlängenbändern für jedes Identifikationszielpixel ausgewählt. In Bild 52 in 3 sind die Identifikationszielpixel als weiße Pixel gezeigt. Die Pixel in dem Referenzbereich entsprechen der Straßenoberfläche und bieten alle ähnliche Reflexionsspektren. Somit zeigt unter der Annahme, dass die Pixel in dem Referenzbereich das gleiche Reflexionsspektrum bieten, die durchgezogene Linie B in 3 die Signalstärke, d. h. das Reflexionsspektrum des Referenzbereichs in jedem der Wellenlängenbänder B₁ bis B₆ an. Außerdem zeigt die dargestellte Strichellinie A das Spektrum des zweiten Pixels von links in der oberen Reihe der Identifikationszielpixel in Bild 52 an. Die Wellenlängenbänder B₂ und B₆ werden für dieses Pixel ausgewählt, da das Größenverhältnis des Reflexionspegels zwischen den Wellenlängenbändern B₂ und B₆ invertiert wird. In ähnlicher Weise zeigt die Strichellinie C das Spektrum des dritten Pixels von links in der zweiten Reihe von unten in Bild 52 an. Die Wellenlängenbänder B₂ und B₅ werden für dieses Pixel ausgewählt.
Dann bestimmt das Gerät in Schritt 104, ob der Vergleich zwischen den Identifikationszielpixeln und den Referenzbereichpixeln an allen der Wellenlängenbänder durchgeführt wurde. Wenn der Vergleich nicht an allen der Wellenlängenbänder durchgeführt wurde, kehrt der Prozess zum Schritt 102 zurück, um einen Vergleich an dem nächsten Wellenlängenband durchzuführen. Wenn der Vergleich an allen der Wellenlängenbänder durchgeführt worden ist, wird der Prozess bei Schritt 105 fortgesetzt. in Schritt 105 werden Pixel gruppiert, die den gleichen Satz von zur Identifikation geeigneten Wellenlängenbändern enthalten. Anschließend endet die durch die Wellenlängen-Auswahleinheit 14 durchgeführte Verarbeitung. Die den gleichen Satz von zur Identifikation geeigneten Wellenlängenbändern beinhaltenden Pixel werden im Folgenden als die Pixel mit der gleichen Eigenschaft bezeichnet.
In dem hier dargestellten Beispiel resultiert die Gruppierung in der Auswahl des Satzes von Wellenlängenbändern B₂ und B₆ für alle der Pixel in der oberen Reihe und der nächsten Reihe unter der oberen Reihe, wie in Bild 53 in 3 gezeigt ist. Somit bilden diese Pixel eine Gruppe. Die ausgewählten Pixel haben die Eigenschaft, den Satz von Wellenlängenbändern B₂ und B₆ zu beinhalten. Die Pixel in dieser Gruppe bieten ein solches Spektrum, wie es durch die Strichellinie A in Bild 52 in 3 gezeigt ist, und entsprechen einer Substanz mit dem Spektrum A. In ähnlicher Weise wird der Satz von Wellenlängenbändern B₂ und B₅ für die zweiten und dritten Pixel von links in der zweiten Reihe von unten ausgewählt. Somit bilden diese Pixel eine andere Gruppe. Die ausgewählten Pixel haben die Eigenschaft, den Satz von Wellenlängenbändern B₂ und B₅ zu beinhalten. Die Pixel in dieser Gruppe bieten ein solches Spektrum, wie es durch die Strichellinie C in Bild 52 in 3 gezeigt ist, und entsprechen einer Substanz mit dem Spektrum C.
Die Anzeigeeinheit 16 zeigt ein Ausgabebild 23 an. In dem Ausgabebild 23 werden die Pixel in dem Referenzbereich so angezeigt, dass sie von den anderen Pixeln unterschieden werden können, und die Pixel mit einer Eigenschaft werden so angezeigt, dass sie von Pixeln mit einer anderen Eigenschaft unterschieden werden können. Das heißt, die Anzeigeeinheit 16 zeigt Pixelgruppen auf dem Bildschirm einer nach oben gerichteten Anzeige oder dergleichen an, um so einfaches Unterscheiden einer Pixelgruppe mit der gleichen Eigenschaft von einer anderen Pixelgruppe mit einer anderen Eigenschaft zu ermöglichen. Dies ermöglicht Warnung des Fahrers vor einem anderen Fahrzeug oder Fußgänger, das oder der in der Vorwärtsfahrtrichtung vorhanden ist. Bild 54 in 3 zeigt ein Anzeigebeispiel. In der Praxis kann eine Farbanzeige oder dergleichen bereitgestellt werden. In Bild 54 in 3 sind zur Beschreibung die Pixel, die zu dem Referenzbereich gehören, durch mittelstarke Schraffierung gezeigt. Die Pixel mit der Eigenschaft, die dem Satz von Wellenlängenbändern B₂ und B₆ entsprechen, d. h. die Spektrum A betenden Pixel, sind durch leicht gefärbte Rasterpunkte gezeigt. Die Pixel mit der dem Satz von Wellenlängenbändern B₂ und B₅ entsprechenden Eigenschaft, d. h. die Spektrum C bietenden Pixel, sind durch dunkel gefärbte Schraffierung gezeigt.
Beim Betrachten eines solchen Ausgabebilds 23 kann der Fahrer einfach das Vorliegen eines Fußgängers, anderen Fahrzeugs oder eines Hindernisses vor dem Fahrzeug in der Vorwärtsfahrtrichtung erkennen. Der Fahrer kann weiter basierend auf der Form des Gegenstands im Ausgabebild 23 bestimmen, welcher Gegenstand vorhanden ist.
4 zeigt ein aktives Sichthilfegerät gemäß einer anderen Ausführungsform der vorliegenden Erfindung. Das in 4 gezeigte Sichthilfegerät wird durch Hinzufügen einer Datenbankeinheit 17 zu dem in 1 gezeigten Sichthilfegerät konfiguriert. Eine zum Halten von Spektrumsdaten über jeden Objekttyp konfigurierte Datenbank ist in der Datenbankeinheit 17 gespeichert. Das Kurvenbild 32 in 4 zeigt ein Beispiel von in der Datenbankeinheit 17 gespeicherten Daten. Hier werden Spektrumsdaten über den Gegenstand D und Spektrumsdaten über Gegenstand E in der Datenbankeinheit 17 gespeichert.
In dieser Konfiguration durchsucht die Anzeigeeinheit 16 die Datenbank bezüglich jeder Gruppe der Pixel basierend auf der Eigenschaft jeder Pixelgruppe zum Bestimmen, welchem Gegenstand die Pixelgruppe entspricht, zum Beispiel, ob die Pixelgruppe einem Strommast oder einem Fußgänger entspricht. Anschließend zeigt die Anzeigeeinheit 16 in dem so angezeigten Ausgabebild 23, wie es dem Fahrer präsentiert wird, unterscheidbar Gegenstände und zeigt weiter Zeichen oder führt Hervorhebung zum Anzeigen der Beschaffenheit jedes Gegenstands durch.
Auf diese Weise kann der Fahrer einfach das Vorliegen von beispielsweise einem Fußgänger, einem anderen Fahrzeug oder einem Hindernis vor dem Fahrzeug in der Vorwärtsfahrtrichtung sowie das Ergebnis der Identifikation erkennen, das die Beschaffenheit des Gegenstands vor dem Fahrzeug anzeigt.
Es wird offensichtlich sein, dass andere Variationen und Modifikationen an den oben beschriebenen Ausführungsformen und Funktionalitäten unter Erreichung einiger oder aller ihrer Vorteile vorgenommen werden können. Es ist eine Aufgabe der anliegenden Patentansprüche, alle solche Variationen und Modifikationen abzudecken, die in den wahren Geist und Umfang der Erfindung fallen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2010-046429 [0001]
JP 2005-115631 A [0005]
JP 2001-099710 A [0006, 0007]
JP 11-096333 A [0007]
JP 2008-15709 A [0009]
JP 2008-152709 A [0009, 0010]
JP 2008-1527209 A [0010]

Claims

Sichthilfegerät, das Folgendes umfasst: eine Lichtquelleneinheit, die konfiguriert ist, um einen Gegenstand mit Licht in einem einer Mehrzahl von Wellenlängenbändern mit verschiedenen Spitzenwellenlängen zu beleuchten, während sie zwischen den Wellenlängenbändern wechselt; eine Lichtempfangseinheit, die konfiguriert ist, das von dem Gegenstand reflektierte Licht zu empfangen um ein Signal für ein Bild für jedes der Mehrzahl von Wellenlängenbänder zu generieren; eine Wellenlängen-Auswahleinheit, die konfiguriert ist, Signalstärken von Pixeln miteinander in mindestens einem Bild zu vergleichen, und einen Satz derjenigen der Pixel mit vergleichbaren Signalstärken, die den größten besetzten Bereich definieren, als einen Referenzbereich festzulegen, und die Pixel, die nicht in dem Referenzbereich enthalten sind, als Identifikationszielpixel festzulegen, und für jedes der Identifikationszielpixel einen Wert des Pixels in dem Bild für jedes Wellenlängenband mit einem Pixelwert des Referenzbereichs zu vergleichen, um mindestens zwei Wellenlängenbänder auszuwählen, die für die Detektion des Gegenstands wirksam sind; und eine Anzeigeeinheit, die konfiguriert ist, die Identifikationszielpixel basierend auf einer Kombination aus einer Mehrzahl von Wellenlängenbändern zu gruppieren, die durch die Wellenlängen-Auswahleinheit für jedes Identifikationszielpixel ausgewählt wird, und ein Bild anzuzeigen, in dem der Gegenstand basierend auf dem Ergebnis der Gruppierung erkennbar gezeigt wird.
Gerät nach Anspruch 1, das weiter eine Recheneinheit umfasst, die konfiguriert ist, das Signal für das Bild für jedes der Mehrzahl von Wellenlängenbändern basierend auf einem Signal zu korrigieren, das durch die Lichtempfangseinheit erhalten wird, wenn der Gegenstand nicht mit dem Licht von der Lichtquelleneinheit beleuchtet wird.
Gerät nach Anspruch 1, bei dem die Bilder für die Mehrzahl von Wellenlängenbändern verwendet werden, um den Referenzbereich festzulegen.
Gerät nach Anspruch 1, bei dem die Wellenlängen-Auswahleinheit zwei Wellenlängenbänder in einer solchen Weise auswählt, dass in einem ersten Fall, in dem der Pixelwert jedes der Identifikationszielpixel gleich wie oder größer als der Pixelwert des Referenzbereichs für alle der Wellenlängenbänder ist, die Wellenlängen-Auswahleinheit Wellenlängenbänder auswählt, welche jeweils die größten und kleinsten Unterschiede beinhalten, welche aus der Subtraktion des Pixelwerts des Referenzbereichs von dem Pixelwert des Identifikationszielpixels resultieren; dass in einem zweiten Fall, in dem der Pixelwert des Identifikationszielpixels gleich wie oder kleiner als der Pixelwert des Referenzbereichs für alle der Wellenlängenbänder ist, die Wellenlängen-Auswahleinheit Wellenlängenbänder auswählt, welche jeweils die größten und kleinsten Unterschiede beinhalten, welche aus der Subtraktion des Pixelwerts des Identifikationszielpixels von dem Pixelwert des Referenzbereichs resultieren; und dass in einem dritten Fall, der anders als der erste und zweite Fall ist, die Wellenlängen-Auswahleinheit Wellenlängenbänder, die die größten Werte des Identifikationszielpixels in jeweils einer positiven Richtung und einer negativen Richtung beinhalten, basierend auf dem Pixelwert des Referenzbereichs auswählt.
Gerät nach Anspruch 1, das weiter eine Datenbank aufweist, die konfiguriert ist, Spektrumsdaten über jeden Gegenstandstyp zu enthalten, wobei die Anzeigeeinheit die Datenbank durchsucht, um den Gegenstand zu identifizieren, und ein Ergebnis der Identifizierung anzeigt.
Sichthilfeverfahren, das die folgenden Schritte umfasst: Beleuchten eines Gegenstands mit Licht in einem einer Mehrzahl von Wellenlängenbändern mit unterschiedlichen Spitzenwellenlängen, während zwischen den Wellenlängenbändern gewechselt wird; Empfangen des von dem Gegenstand reflektierten Lichts, um ein Signal für ein Bild für jedes der Mehrzahl von Wellenlängenbändern zu generieren; Vergleichen von Signalstärken von Pixeln miteinander in mindestens einem Bild und Festlegen eines Satzes derjenigen der Pixel mit vergleichbaren Signalstärken, die den größten besetzten Bereich definieren, als einen Referenzbereich; Festlegen der Pixel, die nicht in dem Referenzbereich enthalten sind, als Identifikationszielpixel, und Vergleichen, für jedes der Identifikationszielpixel, eines Werts des Pixels in dem Bild für jedes Wellenlängenband mit einem Pixelwert des Referenzbereichs, um mindestens zwei Wellenlängenbänder auszuwählen, die zur Detektion des Gegenstands wirksam sind; Gruppieren der Identifikationszielpixel basierend auf einer Kombination aus einer Mehrzahl von Wellenlängenbändern, die durch die Auswahl für jedes Identifikationszielpixel ausgewählt werden; und, Anzeigen eines Bilds, in dem der Gegenstand erkennbar gezeigt wird, basierend auf dem Ergebnis der Gruppierung.
Verfahren nach Anspruch 6, das weiter umfasst, das Signal für das Bild für jedes der Mehrzahl von Wellenlängenbändern basierend auf einem Signal zu korrigieren, das erhalten wird, wenn der Gegenstand nicht mit dem Licht beleuchtet wird.
Verfahren nach Anspruch 6, bei dem die Bilder für die Mehrzahl von Wellenlängenbändern verwendet werden, um den Referenzbereich festzulegen.
Verfahren nach Anspruch 6, bei dem zwei Wellenlängenbänder in solcher Weise ausgewählt werden, dass in einem ersten Fall, in dem der Pixelwert jedes der Identifikationszielpixel gleich wie oder größer als der Pixelwert des Referenzbereichs für alle der Wellenlängenbänder ist, die Wellenlängenbänder ausgewählt werden, welche jeweils die größten und kleinsten Unterschiede beinhalten, welche aus der Subtraktion des Pixelwerts des Referenzbereichs von dem Pixelwert des Identifikationszielpixels resultieren; dass in einem zweiten Fall, in dem der Pixelwert des Identifikationszielpixels gleich wie oder kleiner als der Pixelwert des Referenzbereichs für alle der Wellenlängenbänder ist, die Wellenlängenbänder ausgewählt werden, welche jeweils die größten und kleinsten Unterschiede beinhalten, welche aus der Subtraktion des Pixelwerts des Identifikationszielpixels von dem Pixelwert des Referenzbereichs resultieren; und dass in einem dritten Fall, der anders als der erste und zweite Fall ist, die Wellenlängenbänder, welche die größten Werte des Identifikationszielpixels jeweils in einer positiven Richtung und einer negativen Richtung beinhalten, basierend auf dem Pixelwert des Referenzbereichs ausgewählt werden.
Verfahren nach Anspruch 6, das weiter umfasst, eine Datenbank zu durchsuchen, die konfiguriert ist, Spektrumsdaten über jeden Gegenstandstyp zum Identifizieren des Gegenstands zu enthalten, und ein Ergebnis der Identifikation anzuzeigen.