-
Die vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung, sowie ein Fleckerkennungsverfahren bei der Aufnahme von Bildern mittels einer Stereokamera, welche das Äußere um ein Fahrzeug herum durch ein Fensterglas aus dem Fahrzeuginneren heraus aufnehmen kann, also beispielsweise bei einem Kraftfahrzeug.
-
Bei diesem Typ von Vorrichtung wird ein Abstand zu einem Objekt, welches sich vorderhalb des Fahrzeugs befindet, aus einer Parallaxe auf der Grundlage eines Bilds berechnet, welches von einer linken Kamera einer Stereokamera aufgenommen wird, sowie eines Bilds, welches von einer rechten Kamera der Stereokamera aufgenommen wird. Es besteht die Möglichkeit, dass sich Flecken auf dem Fensterglas befinden und ein Fleck auf dem Fensterglas kann möglicherweise die Genauigkeit der Abstandsberechnung verringern.
-
Die
DE 10 2012 210 116 A1 schlägt eine Technologie vor, mittels der Scheibenwischerschlieren auf Fahrzeugfenstern von frisch aufgetroffenem Niederschlag in Form von Tropfen oder dergl. besser unterscheidbar sind, um eine effizientere automatische Wischeransteuerung zu ermöglichen.
-
Die
DE 2012 222 126 A1 beschreibt eine Ansteuerung einer Reinigungsvorrichtung für eine Fahrzeugkamera, bei der die von der Fahrzeugkamera ausgegebene Bildqualität überwacht wird, um bei nachlassender Qualität einen Reinigungsvorgang beispielsweise eines Objektivs auszulösen.
-
Die
DE 102 54 684 A1 beschreibt ein System zur Überwachung des Zustands eines Wischgummis in einem Scheibenwischer eines Fahrzeugs. Mittels eines optischen Sensors wird eine Schlierenbildung im Wischbereich erfasst. Anhand des Erfassungsergebnisses wird auf den Abnutzungszustand des Wischgummis geschlossen. Ein ähnliches Ziel wird bei der
DE 10 2009 041 544 A1 verfolgt. Hier werden nicht die Schlieren per se, sondern ein von den Schlieren erzeugter Schattenwurf erfasst.
-
Die
DE 10 2013 225 972 A1 schlägt im Rahmen der Ansteuerung einer Scheibenwischeranordnung vor, verschiedene Umgebungs- oder Umweltparameter in den Ansteuerungsvorgang mit einfließen zu lassen.
-
Die
JP 2012-201 178 A beschreibt eine Vorrichtung, welche eine Bestimmung dahingehend durchführt, dass, wenn ein unveränderter Bereich sich über die Zeit hinweg nicht ändert und in einem Aufnahmebild einer Stereokamera während der Fahrt eines Fahrzeugs erkannt wird, dann dieser unveränderte Bereich ein nicht weggewischter Fleck ist, der von einer Wischervorrichtung nicht entfernt wurde und es wird festgestellt, dass die Wischerleistung eines Wischerblatts verschlechtert ist.
-
Bei der Technologie gemäß der
JP-2012-201178 A wird ein Fleck auf dem Fensterglas, der in den Aufnahmebildern erscheint, nur angesprochen und ein Fleck auf dem Fensterglas, der in den Aufnahmebildern nicht klar wiedergegeben wird (z. B. ungleichmäßiges Wischen eines Scheibenwischers bei Regenwetter (d. h. Wasserfilm, Fettfilm etc.)) wird nicht berücksichtigt.
-
Wenn es jedoch einen Fleck auf dem Fensterglas gibt, der in den Aufnahmebildern nicht klar wiedergegeben wird und wenn Lichtquellen (z. B. der Scheinwerfer eines entgegenkommenden Fahrzeugs, Straßenbeleuchtung etc.) von der Stereokamera durch das Fensterglas aufgenommen werden, erscheinen manchmal in den Aufnahmebildern Streifen, Schlieren (Lichtreflexe), welche von den Lichtquellen ausgehen. Wenn der Abstand aufgrund einer Parallaxe basierend auf den Aufnahmebildern berechnet wird, in welchen derartige Streifen erscheinen, wird möglicherweise ein fehlerhaftes Ergebnis aufgrund dieser Streifen ausgegeben, beispielsweise die Anzeige, dass sich ein Gegenstand in einem eigentlichen leeren Raum befindet, was technisch problematisch ist.
-
Mit Blick auf die voranstehenden Probleme ist es daher Aufgabe der vorliegenden Erfindung, ein Objekterkennungsvorrichtung und ein Fleckerkennungsverfahren bereit zu stellen, so dass eine Verschmutzung auf einem Fensterglas erkannt werden kann, welche Streifen erzeugen kann.
-
Die obige Aufgabe der vorliegenden Erfindung lässt sich gemäß einem ersten Aspekt lösen durch eine Objekterkennungsvorrichtung, die in einem Fahrzeug angeordnet ist und Aufnahmebilder einer Stereokamera verwendet, wobei die Stereokamera zwei Kameras hat, von denen jede das äußere (die Umgebung) des Fahrzeugs aus dem Fahrzeuginneren heraus durch einen Bereich eines Fensterglases aufnimmt, der von einem Scheibenwischer gewischt wird, wobei die Objekterkennungsvorrichtung ausgestattet ist mit: einem Lichtquellendetektor, der eine Lichtquelle auf einem Aufnahmebild erkennen kann, welches von wenigstens einer der beiden Kameras aufgenommen wurde; einen Randdetektor, der einen Rand in dem Aufnahmebild, welches von wenigstens einer der beiden Kameras aufgenommen wurde, zu erkennen vermag, wobei sich der Rand in einer Richtung erstreckt, welche eine Wischrichtung des Scheibenwischers kreuzt; und einen Bestimmer, der bestimmen kann, dass das Fensterglas fleckig ist, wenn der sich in Kreuzungsrichtung von der Lichtquelle aus erstreckende Rand fortlaufend über eine bestimmte Zeit hinweg erkannt wird, was auf der Grundlage eines Erkennungsergebnisses von dem Lichtquellendetektor und einem Erkennungsergebnis von dem Randdetektor erfolgt.
-
In dem Bereich des Fensterglases, der von dem Scheibenwischer gewischt wird, erstreckt sich in vielen Fällen ein Fleck in Wischrichtung des Scheibenwischers. Wenn somit das Fensterglas mit einem Fleck versehen ist und wenn die außerhalb des Fahrzeugs liegende Lichtquelle von der Stereokamera durch den Bereich des Fensterglases aufgenommen wird, der vom Scheibenwischer gewischt wird, erscheint ein Streifen oder eine Schliere ausgehend von der Lichtquelle in dem aufgenommenen Bild in einer Richtung, welche die Wischrichtung des Scheibenwischers kreuzt, wobei die Details hiervon noch beschrieben werden. Die Streifen oder die Schliere in dem aufgenommenen Bild sind heller als seine oder ihre Umgebung und haben einen relativ großen Unterschied im Pixelwert (z. B. Unterschied in dem Luminanzwert) gegenüber der Umgebung. Wenn somit ein Randerkennungsprozess an dem aufgenommenen Bild durchgeführt wird, wird dieser Streifen als ein Rand erkannt.
-
Wenn der Rand, der sich in einer Richtung quer zur Wischrichtung des Scheibenwischers von der Lichtquelle aus erstreckt, auf der Grundlage des Erkennungsergebnisses von dem Lichtquellendetektor, sowie dem Erkennungsergebnis vom Randdetektor erkannt wird, erscheint der Streifen, der sich in eine Richtung quer zur Wischerrichtung des Scheibenwischers von der Lichtquelle aus erstreckt, sehr wahrscheinlich in dem aufgenommenen Bild. Der Bestimmer bestimmt, dass das Fensterglas einen Fleck hat, wenn die Kante, welche sich in einer Richtung quer zur Wischrichtung des Scheibenwischers von der Lichtquelle aus erstreckt, über eine bestimmte Zeit hinweg fortlaufend erkannt wird.
-
Wie oben beschrieben kann die Objekterkennungsvorrichtung gemäß Ausführungsformen der vorliegenden Erfindung den Fleck auf dem Fensterglas erkennen, in dem nicht der Fleck selbst auf dem Fensterglas erkannt wird, sondern in dem der Streifen oder die Schliere, der oder die durch den Fleck verursacht wird, als der Rand erkannt wird. Somit ist es bei der Objekterkennungsvorrichtung gemäß Ausführungsformen der vorliegenden Erfindung möglich, den Fleck auf dem Fensterglas zu erkennen, der die Erzeugung des Streifens oder der Schliere bewirkt und der in einem aufgenommenen Bild kaum klar erkennbar ist.
-
Zusätzlich ist es möglich, die Bestimmungszuverlässigkeit zu verbessern, da der Bestimmer bestimmen kann, dass das Fensterglas befleckt ist, wenn der Rand, der sich in einer Richtung quer zur Wischrichtung des Scheibenwischers von der Lichtquelle erstreckt, für eine bestimmte Zeit fortlaufend erkannt wird, wie oben beschrieben.
-
Die Aufgabe der vorliegenden Erfindung kann darüber hinaus gemäß einem weiteren Aspekt durch ein Fleckerkennungsverfahren in einer Objekterkennungsvorrichtung gelöst werden, welche in einem Fahrzeug angeordnet und welche Aufnahmebilder einer Stereokamera verwendet, wobei die Stereokamera zwei Kameras hat, von denen jede das Äußere eines Fahrzeugs von einem Fahrzeuginneren aus durch einen Bereich eines Fensterglases aufnimmt, der von einem Scheibenwischer gewischt wird, wobei das Objekterkennungsverfahren enthält: Erkennen einer Lichtquelle in einem aufgenommenen Bild, das von wenigstens einer der beiden Kamera aufgenommen worden ist; Erkennen eines Rands, der sich in einer Richtung quer zu einer Wischrichtung des Scheibenwischers erstreckt, in dem aufgenommenen Bild, dass von wenigstens einer der zwei Kameras aufgenommen wurde; und bestimmen, dass das Fensterglas befleckt ist, wenn der Rand, der sich in der Querrichtung von der Lichtquelle aus erstreckt, durchgängig über eine bestimmte Zeit hinweg erkannt wird, und zwar auf der Grundlage eines Erkennungsergebnisses der Erkennung einer Lichtquelle oder eines Erkennungsergebnisses der Erkennung eines Rand.
-
In dem Fleckerkennungsverfahren gemäß der vorliegenden Erfindung ist es wie bei der Objekterkennungsvorrichtung gemäß der Erfindung möglich, den Fleck auf dem Fensterglas, der die Erzeugung von Streifen oder Schlieren verursacht und der kaum klar in ein aufgenommenem Bild erscheint, zu erkennen, und es ist auch möglich, die Bestimmungszuverlässigkeit bei der Bestimmung zu verbessern.
-
Weitere Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben sich besser aus der nachfolgenden Beschreibung von Ausführungsformen an Hand der Zeichnung.
-
Es zeigt:
-
1 als Blockdiagramm einen wesentlichen Teil einer Objekterkennungsvorrichtung gemäß einer ersten Ausführungsform;
-
2 eine Darstellung zur Erläuterung einer Lagebeziehung zwischen einem Scheibenwischerwischbereich und einer Stereokamera, wenn eine Windschutzscheiben eines Fahrzeugs von dem Fahrzeugaußenraum her betrachtet wird;
-
3 eine Konzeptdarstellung einer Mehrzahl von Bildern, welche von einer Stereokamera aufgenommen werden und welche zeitseriell fortlaufend sind;
-
4 schematisch ein Beispiel von Bildern, die von einer Stereokamera aufgenommen werden;
-
5 schematisch ein Beispiel eines Parallaxenbilds, welches auf den aufgenommenen Bildern von 4 basiert;
-
6 eine Darstellung einer Beziehung zwischen einer Wischrichtung eines Scheibenwischers und von Schlieren oder Streifen, die sich von einer Lichtquelle aus erstrecken oder von einer Lichtquelle ausgehen;
-
7 ein Flussdiagramm eines Fleckerkennungsprozesses gemäß der ersten Ausführungsform;
-
8A bis 8D Darstellungen eines Randerkennungsverfahrens gemäß der ersten Ausführungsform; und
-
9 ein Flussdiagramm eines Fleckerkennungsprozesses gemäß einer zweiten Ausführungsform.
-
Eine Objekterkennungsvorrichtung und ein Fleckerkennungsverfahren gemäß Ausführungsformen der vorliegenden Erfindung werden nachfolgend unter Bezugnahme auf die Zeichnung beschrieben.
-
<Erste Ausführungsform>
-
Eine Objekterkennungsvorrichtung und ein Fleckerkennungsverfahren gemäß einer ersten Ausführungsform der vorliegenden Erfindung werden anhand der 1 bis 8D beschrieben.
-
(Konfiguration der Objekterkennungsvorrichtung)
-
Eine Konfiguration oder ein Aufbau der Objekterkennungsvorrichtung gemäß der ersten Ausführungsform wird anhand von 1 beschrieben. 1 ist ein Blockdiagramm, welches einen wesentlichen Teil einer Objekterkennungsvorrichtung gemäß der ersten Ausführungsform zeigt.
-
In 1 ist eine Objekterkennungsvorrichtung 1 ausgestattet mit einer Stereokamera 10, einer Stereobilderkennungsvorrichtung 20 und einer Anzeigevorrichtung 30.
-
Die Stereokamera 10 ist ausgestattet mit: einer linken Kamera 11 mit einer Linse 11a und einem Abbildungselement 11b; einer rechten Kamera 12 mit einer Linse 12a und einem Abbildungselement 12b; einer zentralen Verarbeitungseinheit (CPU) 13 für die Kamera und einer Bildausgabe 14.
-
Die Abbildungselemente 11b und 12b können eine ladungsträgergekoppelte Vorrichtung (CCD) oder dergleichen enthalten. Die Kamera-CPU 13 kann die Belichtungsvorgänge etc. in jeder der linken und rechten Kamera 11 und 12 steuern. Weiterhin kann die Kamera-CPU 13 aufgenommene Bilder, welche von den Abbildungselementen 11b und 12b aufgenommen worden sind, als Bildsignale an die Stereobilderkennungsvorrichtung 20 über die Bildausgabe 14 ausgeben, welche eine Ausgabeschnittstelle ist.
-
Hierbei sind die linke Kamera 11 und die rechte Kamera 12, welche die Stereokamera 10 bilden, in einem Scheibenwischerwischbereich einer Windschutzscheibe 40 eines Fahrzeugs angeordnet, wie in 2 gezeigt. 2 ist eine Darstellung der Lagebeziehung zwischen dem Scheibenwischerwischbereich und der Stereokamera, wenn die Windschutzscheibe des Fahrzeugs von außen her betrachtet wird. Die „Windschutzscheibe 40” der Ausführungsform sei ein Beispiel eines „Fensterglases” gemäß der vorliegenden Erfindung.
-
Genauer gesagt, wenn ein nicht dargestellter Scheibenwischerschalter von einer Bedienungsperson (einem Fahrer) betätigt wird, schwenkt ein nicht dargestellter Wischerarm über die Windschutzscheibe 40. Im Ergebnis wischt ein linkes Scheibenwischerblatt 41l einen Wischerbereich 40l auf der linken Seite der Windschutzscheibe 40 und ein rechtes Scheibenwischerblatt 41r wischt einen Wischerbereich 40r, der sich auf der rechten Seite der Windschutzscheibe 40 befindet. In dem Scheibenwischerwischbereich liegt die linke Kamera 11 an einer Position in einem oberen Teil des Wischerbereichs 40l auf der linken Seite. Die rechte Kamera 12 befindet sich an einer Position im oberen Bereich des Wischerbereichs 40r auf der rechten Seite.
-
Jede der Kameras 11 und 12 nimmt das Äußere des Fahrzeugs durch den Scheibenwischerwischbereich der Windschutzscheibe 40 vom Inneren des Fahrzeugs her auf. Jede der Kameras 11 und 12 nimmt das Äußere um das Fahrzeug herum fortlaufend in bestimmten Zeitintervallen auf, so dass eine Mehrzahl von Fotografie- oder Aufnahmebildern, welche zeitseriell aufgenommen worden sind, erzeugt werden (siehe 3).
-
Zurückkehrend zu 1, so ist die Stereobilderkennungsvorrichtung 20 mit einem Lichtquellendetektor 21, einem Randdetektor 22 und einem Fleckbestimmer 23 versehen. Der Lichtquellendetektor 21, der Randdetektor 22 und der Fleckbestimmer 23 haben Funktonen, die von einer nicht dargestellten CPU realisiert werden, die für die Stereobilderkennungsvorrichtung vorgesehen ist und ein Computerprogramm abarbeitet, welches in einem nicht dargestellten Lesespeicher (ROM) gespeichert ist. Die Funktionen der Stereobilderkennungsvorrichtung 20 von 1 sind Funktionen zur Durchführung der später noch zu beschreibenden Fleckerkennung. Die Stereobilderkennungsvorrichtung 20 hat auch die Funktion oder Funktionen einer Objekterkennung oder ähnliche Funktionen, auf welche hier nicht näher eingegangen wird.
-
(Einfluss von Flecken auf der Windschutzscheibe)
-
Nachfolgend wird ein Bilderkennungsprozess der Objekterkennungsvorrichtung 1 mit obigem Aufbau erläutert, sowie Einflüsse auf den Bilderkennungsprozess durch einen Fleck auf der Windschutzscheibe 40, wobei Bezug genommen wird auf die 4 und 5. 4 zeigt schematisch ein Beispiel von Bildern, die von der Stereokamera aufgenommen werden. 5 ist eine Darstellung, welche schematisch ein Beispiel eines Parallaxenbilds zeigt, welches auf den aufgenommenen Bildern von 4 basiert. Um in 4 eine komplizierte Darstellung zu vermeiden, wird nur eine Position als „Lichtquelle” beschrieben, wobei jedoch in der Realität eine Mehrzahl von Lichtquellen in dem Aufnahmebild erscheint.
-
Wenn auf der Grundlage der aufgenommenen Bilder von der Stereokamera 10 der Bilderkennungsprozess durchgeführt wird, verwendet die Objekterkennungsvorrichtung 1 vorbestimmte Kalibrierdaten, um zunächst aus den aufgenommenen Bildern den Einfluss von hardwareinternen Fehlerfaktoren aufgrund der Linsen 11a und 11b, der Abbildungselemente 12a und 12b zu entfernen (z. B. Linsenverzerrung, Abweichungen der optischen Achsen, Brennweitenabweichungen, Bildelementverzerrung etc.) und führt dann einen vorhandenen geometrischen Umwandlungsprozess durch, beispielsweise die Anpassung einer epipolaren Linie mit einer horizontalen Bildebene.
-
Die Objekterkennungsvorrichtung 1 kann den Bilderkennungsprozess auf der Grundlage von Bilddaten durchführen, an welchen der geometrische Umwandlungsprozess durchgeführt worden ist. Der Bilderkennungsprozess kann einen Objekterkennungsprozess auf der Grundlage eines Parallaxenbilds (oder Parallaxeninformation) und eines Objekterkennungsprozesses mittels einer Musteranpassung durchführen.
-
Der Objekterkennungsprozess auf der Grundlage des Parallaxenbilds ist beispielsweise der Erhalt einer Korrelation zwischen einem Paar von Bildern, welche von der linken Kamera 11 und der rechten Kamera 12 aufgenommen wurden (das heißt einem i-ten linken Bild und einem j-ten rechten Bild in 3) und die Berechnung eines Abstands zum Objekt mittel Triangulation auf der Grundlage der Parallaxe für das gleiche Objekt. Genauer gesagt, der Abstand zu dem Objekt wird durch Entnahme eines Teils, in welchem das Objekt aufscheint aus dem Paar von Bildern und durch Erhalt eines Verschiebebetrags (oder der Parallaxe) an einem entsprechendem Punkt des entnommenen Teils zwischen dem Paar von Bildern berechnet.
-
Dem gegenüber kann der Objekterkennungsprozess auf der Grundlage einer Musteranpassung beispielsweise unter Verwendung eines von entweder der linken Kamera 11 oder der rechten Kamera 12 aufgenommenen Bild durchgeführt werden. Für die Musteranpassung kann ein vorhandenes Verfahren angewendet werden. Insbesondere können beispielsweise Verfahren bei der Musteranpassung verwendet werden, welche eine Vektorkorrelation, eine geometrische Anpassung, ein normalisiertes Korrelationsverfahren, eine Restanpassung oder dergleichen unter Verwendung eines Bezugsmusters benutzen.
-
Wenn es einen nicht weggewischten Fleck gibt, der vom Scheibenwischer auf der Windschutzscheibe 40 des Fahrzeugs zurückgelassen wird, ergeben sich in manchen Fällen Streifen oder Schlieren, welche sich von einer Lichtquelle erstrecken, in den aufgenommenen Bildern, wenn relativ starkes Licht durch die Windschutzscheibe 40 in die Stereokamera 10 eintritt.
-
Wenn der Streifen ausgehend von der Lichtquelle in dem aufgenommenen Bild erscheint, ändert sich eine Neigung (oder Erzeugungsrichtung) des Streifens in den aufgenommenen Bildern zwischen einem linken Bild, aufgenommen von der linken Kamera 11 und einem rechten Bild, aufgenommen von der rechten Kamera 12, wie in 4 gezeigt. Die Erzeugungsrichtung des Streifens oder der Schliere wird später noch beschrieben.
-
Auf der Grundlage der aufgenommenen Bilder von 4 wird das Parallaxenbild gemäß 5 erhalten. Im Parallaxenbild gibt es einen Bereich, der eine Parallaxe in einem nahen Bereich anzeigt und zwar in einem Teilbereich entsprechend Bereichen, wo Streifen in den aufgenommenen Bildern gemäß 4 erscheinen. Ein Abstand, der aus der Parallaxe zwischen den Streifen im linken Bild und dem Streifen im rechten Bild auf diese Weise berechnet wurde, kann erheblich unterschiedlich zu dem tatsächlichen Abstand zwischen der Lichtquelle und der Stereokamera 10 sein. Wenn der Objekterkennungsprozess auf der Grundlage des Parallaxenbilds durchgeführt wird, kann fehlerhaft erkannt werden, dass ein Objekt in einem eigentlich leeren Raum vorhanden ist. Dies kann möglicherweise z. B. die unnötige Auslösung eines Notbremssystems bewirken, welches das Ergebnis des Bilderkennungsprozesses durch die Objekterkennungsvorrichtung 1 verwendet.
-
(Erzeugungsrichtung von Streifen)
-
Anhand von 6 werden nachfolgend die Streifen oder Schlieren näher erläutert. 6 ist eine Darstellung, welche eine in Beziehung zwischen einer Wischrichtung eines Scheibenwischers und eines Streifens erläutert, der sich vor einer Lichtquelle aus erstreckt oder von dieser ausgeht.
-
Es ist bekannt, dass, wenn ein Fleck (oder Kratzer), der sich in einer Richtung auf der Oberfläche eines transparenten Bauteils, beispielsweise Glas erstreckt und eine Lichtquelle durch das transparente Bauteil aufgenommen wird, dann ein Streifen oder eine Schliere ausgehend von der Lichtquelle in einer Richtung quer zu der einen Richtung in den aufgenommenen Bildern erscheint. Dies kann durch ein Lichtbrechungsphänomen erklärt werden.
-
Im Fall der Windschutzscheibe 40 eines Fahrzeugs wird oftmals durch die Wischerblätter 41l und 41r über den Fleck gewischt, so dass dieser sich oftmals in Wischrichtung des Scheibenwischers erstreckt oder ausbreitet. Wenn somit die Lichtquelle durch die Windschutzscheibe 40 aufgenommen wird, wenn die Windschutzscheibe 40 befleckt ist, erscheint der Streifen oder die Schliere ausgehend von der Lichtquelle in dem aufgenommenen Bild in einer Richtung quer zur Wischrichtung des Scheibenwischers (siehe 6).
-
In 6 ist die Windschutzscheibe 40 absichtlich mit einem Fleck versehen, um die Wischrichtung des Scheibenwischers klar zu machen (um den Fleck in dem aufgenommenen Bild wiederzugeben). Es hat sich für den vorliegenden Erfinder herausgestellt, dass ein Streifen oder eine Schliere sich in einer Richtung quer zur Wischrichtung des Scheibenwischers erstreckt, ungeachtet der Größe des Flecks, solange ein derartiger Fleck auf der Windschutzscheibe 40 ist.
-
Der Erfinder der vorliegenden Anmeldung hat sich auf die Erzeugungsrichtung des Flecks konzentriert und ein Verfahren zur Erkennung eines Flecks auf der Windschutzscheiben 40 entwickelt.
-
Der Begriff „Richtung quer zur Wischrichtung des Scheibenwischers” ist nicht auf eine Richtung senkrecht zur Wischrichtung des Scheibenwischers beschränkt, sondern enthält grundsätzlich eine Richtung, welche als die Wischrichtung des Scheibenwischers kreuzend betrachtet werden kann, auch wenn sie mehr oder weniger von einer Richtung senkrecht zur Wischrichtung des Scheibenwischers abweicht.
-
(Fleckerkennungsverfahren)
-
Nachfolgend wird ein Fleckerkennungsverfahren durch die Objekterkennungsvorrichtung 1 mit obigem Aufbau anhand von 7 und den 8a bis 8D beschrieben. 7 ist ein Flussdiagramm, welches einen Fleckerkennungsprozess gemäß der ersten Ausführungsform darstellt. Die 8A bis 8D sind Darstellungen, welche ein Randerkennungsverfahren gemäß der ersten Ausführungsform erläutern. Der Ablauf des Fleckerkennungsprozesses von 7 wird wiederholt zu bestimmten Zeitpunkten durchgeführt, während der Zündschalter des Fahrzeugs eingeschaltet ist.
-
Im Flussdiagramm von 7 erkennt zunächst die Stereobilderkennungsvorrichtung 20 der Objekterkennungsvorrichtung 1 die Lichtquelle (Schritt S101). Bei der ersten Ausführungsform werden die Lichtquellenerkennung und die Randerkennung gemäß nachfolgender Beschreibung an einem Bild durchgeführt, welches von entweder der linken Kamera 11 oder der rechten Kamera 12 der Stereokamera 10 aufgenommen wurde. Hier sei angenommen, dass die Lichtquellenerkennung an dem linken Bild durchgeführt wird, welches von der linken Kamera 11 aufgenommen wurde.
-
Genauer gesagt, der Lichtquellendetektor 21, der Stereobilderkennungsvorrichtung 20 entnimmt einen Bereich, in welchem Pixel hoher Helligkeit (z. B. Pixel mit einem Helligkeitswert von 255) miteinander in Verbindung sind, als einen Lichtquellenbereich aus dem linken Bild. Der Lichtquellendetektor 21 gibt Informationen entsprechend Lage, Größe etc. des entnommenen Lichtquellenbereichs aus dem Bild als Lichtquellenpositionsinformation aus. Wenn kein Lichtquellenbereich erkannt wird, sind die Lichtquellenpositionsinformationen leere Daten.
-
Parallel zum obigen Schritt S101 führt die Stereobilderkennungsvorrichtung 20 die Randerkennung durch (S102). Ein Streifen in dem aufgenommenen Bild ist heller als seine Umgebung und hat einen relativ hohen Unterschied im Pixelwert (z. B. Unterschied im Helligkeitswert) gegenüber der Umgebung, und wird somit als ein Rand erkannt.
-
Genauer gesagt, der Randdetektor 22 der Stereobilderkennungsvorrichtung 20 dreht das in 8A dargestellte linke Bild, welches ein Verarbeitungsziel ist, um einen vorab gesetzten bestimmten Winkel, wie in 8B gezeigt. Dann wendet der Randdetektor 22 einen Längs-Sobel Filter an dem um den bestimmten Winkel gedrehte linke Bild an, so dass ein Rand in einer Randerkennungsrichtung erkannt wird (siehe 8C). Dann dreht der Randdetektor 22 das linke Bild wieder in seine Ausgangslage zurück (8D).
-
Der „bestimmte Winkel” wird hierbei auf der Grundlage der Wischrichtung des Scheibenwischers bestimmt. Genauer gesagt, die Wischrichtung des Wischers wird auf der Grundlage einer Information erhalten, welche eine Anordnungsposition der Stereokamera 10 (beispielsweise erhalten aus Fahrzeuggestaltungszeichnungen, Stereokameraeinbauzeichnungen, etc.) in dem in den 8A bis 8D gezeigten Bildern von oben links nach unten rechts die Wischrichtung des Scheibenwischers.
-
Wie in dem obigen Abschnitt „Erzeugungsrichtung des Streifens” beschrieben, ist die Richtung des Streifens, welcher von der Lichtquelle aus verläuft, eine Richtung, welche die Wischrichtung des Scheibenwischers schneidet. Somit ist der „bestimmte Winkel” als ein Winkel bestimmt, bei dem die Richtung, welche die Wischrichtung des Scheibenwischers kreuzt, die Randerkennungsrichtung ist.
-
Der von der obigen Randerkennung erkannte Rand ist ein Rand, der sich in einer Richtung erstreckt, die in die Wischrichtung des Scheibenwischers kreuzt und gibt mit hoher Wahrscheinlichkeit den Streifen oder die Schliere an, der oder die durch den Fleck auf der Windschutzscheibe 40 verursacht wurde.
-
Der Scheibenwischerwischbereich ist gemäß 2 bogenförmig. Die Wischrichtung des Scheibenwischers kann jedoch in entsprechenden Bereichen, die in den Abbildungselementen 11b und 12b erscheinen, als geradlinig betrachtet werden. Wie weiterhin in 2 gezeigt, haben die linke Kamera 11 und die rechte Kamera 12 unterschiedliche Anordnungspositionen. Somit unterscheidet sich die Wischrichtung des Scheibenwischers in der linken Kamera 11 von der Wischrichtung des Scheibenwischers in der rechten Kamera 12. Im Ergebnis unterscheidet sich der bestimmte Winkel in dem linken Bild, das von der linken Kamera 11 aufgenommen wird, von dem bestimmten Winkel dem rechten Bild, das von der rechten Kamera aufgenommen wird.
-
Der Randdetektor 22 kann eine Information ausgeben, welche einen Startpunkt und einen Endpunkt des erkannten Rands in dem Bild angibt, was eine Randinformation ist. Wenn kein Rand erkannt wird, ist die Randinformation ein leerer Datenwert.
-
Dann bestimmt der Fleckbestimmer 23 der Stereobilderkennungsvorrichtung 20, ob oder ob nicht die Lichtquelle an der Lichtquellenpositioninformation erkannt wird (Schritt S103). Wenn bestimmt wird, dass die Lichtquelle nicht erkannt worden ist (Schritt S103: NEIN) setzt die Objekterkennungsvorrichtung 1 den Wert eines Zählers zurück, der für eine Fleckbestimmung gemäß nachfolgender Beschreibung verwendet wird (Schritt S109) und beendet vorübergehend den Ablauf. Nach einer bestimmten Wartezeit führt die Objekterkennungsvorrichtung 1 einen Fleckerkennungsprozess am linken Bild (z. B. einen (i + 1)-ten linken Bild in 3) neben dem linken Ziel- oder Sollbild für die momentane Fleckerkennung (z. B. einem i-ten linken Bild in 3) auf zeitserieller Basis durch.
-
Wenn bestimmt wird, dass die Lichtquelle erkannt worden ist (Schritt S103: JA), bestimmt der Fleckbestimmer 23 auf der Grundlage der Randinformation (S104) ob oder ob nicht der Rand erkannt worden ist. Wenn bestimmt wird, dass der Rand nicht erkannt worden ist (Schritt S104: NEIN) setzt die Objekterkennungsvorrichtung 1 den Wert des Zählers zurück, der für die später zu beschreibenden Fleckbestimmung (S109) verwendet wird und beendet vorübergehend den Prozess. Nach einer bestimmten Wartezeit führt die Objekterkennungsvorrichtung 1 den Fleckerkennungsprozess an dem linken Bild (z. B. dem (i + 1)-ten linken Bild in 3) neben dem linken Sollbild für die Fleckbestimmung (z. B. dem i-ten linken Bild in 3) auf zeitserieller Basis durch.
-
Wenn bestimmt wird, dass der Rand erkannt worden ist (Schritt S104: JA) bestimmt der Fleckbestimmer 23 auf der Grundlage der Lichtquellenpositionsinformation und der Randerkennungsinformation, ob oder ob nicht es der Rand ist, der sich von der Lichtquelle aus erstreckt, die von der Lichtquellenpositionsinformation (das heißt dem Streifen) angegeben wird, wobei der Rand durch die Randerkennungsinformation angegeben wird (Schritt S105).
-
Hierbei kann bestimmt werden, ob oder ob nicht es der „Rand ist, der sich von der Lichtquelle aus erstreckt”, in dem beispielsweise bestimmt wird, ob oder ob nicht der von der Randerkennungsinformation angegebene Rand oder eine Verlängerungslinie hiervon durch die Lichtquelle (oder der Lichtquellenbereich) verläuft, die oder der von der Lichtquellenpositionsinformation angegeben wird. Wenn eine Mehrzahl von Rändern erkannt wird und wenigstens einer aus der Mehrzahl von Rändern gemäß der Randerkennungsinformation durch die Lichtquelle (oder den Lichtquellenbereich) verläuft, die oder der durch die Lichtquellenpositionsinformation angegeben wird, wird bestimmt, dass es einen Rand gibt, der sich von der Lichtquelle aus erstreckt bzw. von dieser ausgeht.
-
Wenn bestimmt wird, dass es keinen Rand gibt, der sich von der Lichtquelle aus erstreckt (Schritt S105: NEIN) setzt die Objekterkennungsvorrichtung 1 den Wert des Zählers zurück, der für die später zu beschreibende Fleckbestimmung verwendet wird (Schritt S109) und beendet den Prozess vorübergehen. Nach einer bestimmten Wartezeit führt die Objekterkennungsvorrichtung 1 den Fleckerkennungsprozess an dem linken Bild (z. B. den (i + 1)-ten linken Bild in 3) neben dem linken Sollbild für die momentane Fleckerkennungsprozess (z. B. den i-ten linken Bild in 3) auf einer zeitseriellen Basis durch.
-
Wenn andererseits bestimmt wird, dass es einen Rand gibt, der sich von der Lichtquelle aus erstreckt (Schritt S105: JA), ändert der Fleckbestimmer 23 den Wert des Zählers (Schritt S106). Beispielsweise kann der Wert des Zählers um eins erhöht werden oder kann um eins verringert werden (das heißt kann inkrementiert oder dekrementiert) wenn bestimmt wird, dass es einen Rand gibt, der sich von der Lichtquelle aus erstreckt.
-
Dann bestimmt der Fleckbestimmer 23 ob oder ob nicht der sich von der Lichtquelle aus erstreckende Rand fortlaufend länger als eine gewisse Zeitlang erkannt wird (Schritt S107). Genauer gesagt, wenn bestimmt wird, dass es einen Rand gibt, der sich von der Lichtquelle aus erstreckt und wenn der Wert des Zählers inkrementiert wird, bestimmt der Fleckbestimmer 23, dass der sich von der Lichtquelle aus erstreckende Rand fortlaufend für eine gewisse Zeitlang erkannt wird, wenn der momentane Wert des Zählers größer oder gleich einem Wert des Zählers ist, der erhalten wird, wenn bestimmt wird, dass sich der Rand von der Lichtquelle aus erstreckt, wobei alle aus der Mehrzahl von Aufnahmebildern in Betracht gezogen werden, welche zeitseriell über eine bestimmte Zeit hinweg (z. B. 10 Sekunden) fortlaufend sind.
-
Wenn andererseits bestimmt wird, dass es der Rand ist, der sich von der Lichtquelle aus erstreckt und wenn der Wert des Zählers inkrementiert wird, bestimmt der Fleckbestimmer 23, dass der sich von der Lichtquelle aus erstreckende Rand fortlaufend über eine gewisse Zeit hinweg erkannt wird, wenn der momentane Wert des Zählers größer als oder gleich null ist. Wenn der Wert des Zählers dekrementiert wird, kann ein Anfangswert des Zählers auf einen Absolutwert des Werts des Zählers gesetzt werden, der verringert wird, wenn bestimmt wird, dass es einen Rand gibt, der sich von der Lichtquelle aus erstreckt, wobei alle aus der Mehrzahl von Aufnahmebildern in Betracht gezogen werden, welche zeitseriell entsprechend der bestimmten Zeit fortlaufend sind.
-
In dem Prozess im Schritt S107 ist es nicht notwendig, dass der gleiche Rand fortlaufend länger als eine bestimmte Zeitlang erkannt wird. Solange der sich von der Lichtquelle aus erstreckende Rand fortlaufend länger als eine bestimmte Zeit erkannt wird, wird, ungeachtet ob oder ob nicht der Rand der gleiche ist, bestimmt, dass der Rand fortlaufend länger als die bestimmte Zeit erkannt wurde.
-
Wenn bestimmt wird, dass der Rand nicht fortlaufend länger als die bestimmte Zeitlang erkannt wird (Schritt S107: NEIN), beendet die Objekterkennungsvorrichtung 1 vorübergehend den Ablauf. Nach einer bestimmten Wartezeit führt die Objekterkennungsvorrichtung 1 den Fleckerkennungsprozess am linken Bild (z. B. den (i + 1)-ten linken Bild in 3) neben dem linken Zielbild für die momentane Fleckerkennungsprozess (z. B. dem i-ten linken Bild in 3) auf zeitserieller Basis durch.
-
Wenn andererseits bestimmt wird, dass der sich von der Lichtquelle aus erstreckende Rand fortlaufend länger als die bestimmte Zeitlang erkannt wird (Schritt 107: JA), gibt der Fleckbestimmer 23 eine Information aus, welche anzeigt, dass die Windschutzscheibe 40 befleckt ist, also eine Fleckvorhanden/Nichtvorhanden-Information. Die Anzeigevorrichtung 30, welche die Fleckvorhanden/Nichtvorhanden-Information empfängt, die angibt, dass die Windschutzscheibe 40 befleckt ist, kann den Fahrer des Fahrzeugs davon informieren, dass die Windschutzscheibe 40 einen Fleck hat, in dem Zeichen oder eine Grafik angezeigt wird, oder in dem eine bestimmte Markierung zum Aufleuchten gebracht wird.
-
Dann beendet die Objekterkennungsvorrichtung 1 vorübergehend den Prozess. Nach einer bestimmten Wartezeit führt die Objekterkennungsvorrichtung 1 den Fleckerkennungsprozess am linken Bild (z. B. den (i + 1)-ten linken Bild in 3) neben dem linken Zielbild für die momentane Fleckerkennung (z. B. dem i-ten linken Bild in 3) auf zeitserieller Basis durch.
-
Die „bestimmte Zeit” gemäß der Ausführungsform ist ein Wert zur Bestimmung ob oder ob nicht die Windschutzscheibe 40 einen Fleck hat und ist typischerweise als ein fester Zeitwert bestimmt. Sie kann jedoch auch als ein variabler Wert entsprechend einer bestimmten physikalischen Größe oder einen Parameter bestimmt werden. Die „bestimmte Zeit” gemäß obiger Beschreibung kann als eine Zeit entsprechend der Anzahl von Erkennungen festgesetzt werden, bei der die Wahrscheinlichkeit einer fehlerhaften Bestimmung innerhalb eines erlaubbaren Bereich ist, beispielsweise auf der Grundlage einer Beziehung zwischen der Wahrscheinlichkeit der fehlerhaften Bestimmung und der Anzahl von Erkennungsvorgängen, bei denen der sich von der Lichtquelle aus erstreckende Rand fortlaufend erkannt wird, wobei die Beziehung durch Experimente, Erfahrungswerte oder Simulationen erhalten werden kann. Die „bestimmte Zeit” gemäß der Ausführungsform ist ein Beispiel der „vorbestimmten Zeit” gemäß Ausführungsformen der vorliegenden Erfindung.
-
Die Objekterkennungsvorrichtung 1 kann so ausgestattet werden, dass sie den oben erwähnten Bilderkennungsprozess stoppt oder anhält oder automatisch die Windschutzscheibe 40 unter Verwendung einer Scheibenreinigungsflüssigkeit und des Scheibenwischers reinigt, sowie den Fahrer vom Fahrzeug davon zu informieren, dass die Windschutzscheibe 40 einen Fleck hat (verschmutzt ist), wenn bestimmt wird, dass die Windschutzscheibe 40 einen Fleck hat. Aufgrund einer derartigen Ausgestaltung wird der Bilderkennungsprozess auf der Grundlage des aufgenommenen Bildes, wo sich der Streifen befindet, durchgeführt, was es möglich macht ein fehlerhaftes Ergebnis zu vermeiden, wobei dieses Ergebnis dann anzeigen würde, dass ein Objekt in einem eigentlich leeren Raum vorhanden ist.
-
Der „Lichtquellendetektor 21” der „Randdetektor 22” und der „Fleckbestimmer 23” gemäß der Ausführungsform sind jeweils ein Beispiel für „Lichtquellendetektor”, „Randdetektor” und „Bestimmer” gemäß Ausführungsformen der vorliegenden Erfindung. Die „Lichtquellenpositionsinformation” und die „Randinformation” der Ausführungsform sind jeweils ein Beispiel für „Erkennungsergebnis vom Lichtquellendetektor” und „Erkennungsergebnis vom Randdetektor” der vorliegenden Erfindung.
-
(Effekt der Erfindung)
-
Bei dem Fleckerkennungsverfahren in der Objekterkennungsvorrichtung 1 gemäß der Ausführungsform wird gemäß obiger Beschreibung bestimmt, ob oder ob nicht die Windschutzscheibe einen Fleck hat, in dem als ein Rand ein Streifen oder eine Schliere erkannt wird, welche sich in Wischrichtung des Scheibenwischers von der Lichtquelle aus erstreckt. Mit anderen Worten, bei der vorliegenden Ausführungsform wird es möglich, denn Fleck auf der Windschutzscheibe 40 zu erkennen, der die Erzeugung eines Streifens bewirkt, ungeachtet davon, ob oder ob nicht der Fleck selbst auf der Windschutzscheibe 40 in Aufnahmebildern erscheint.
-
Insbesondere bei Nacht, wenn der Fahrer kaum visuell die Umgebung erkennen kann, gibt es eine Vielzahl von Lichtquellen, beispielsweise den Scheinwerfer von entgegenkommenden Fahrzeugen und Straßenbeleuchtung und Streifen oder Schlieren können sehr wahrscheinlich in den Aufnahmebildern erscheinen, wenn die Windschutzscheibe 40 fleckig ist. Jedoch auch bei Tag können abhängig von den jeweiligen Bedingungen um das Fahrzeug herum Streifen oder Schlieren in den Aufnahmebildern erscheinen, wenn die Windschutzscheibe 40 fleckig ist. Der Fahrer kann aufgrund eines fehlerhaften Ergebnisses im Bilderkennungsprozess, verursacht von Streifen in den Aufnahmebildern verunsichert werden, wenn beispielsweise diese fehlerhaften Ergebnisse eine unnötige Auslösung eines Fahrunterstützungssystems bewirken, z. B. eines Notbremssystems oder dergleichen.
-
Wenn die Objekterkennungsvorrichtung gemäß der Ausführungsform dafür ausgelegt ist, beispielsweise den Bilderkennungsprozess anzuhalten oder zu unterbrechen, wenn bestimmt wird, dass die Windschutzscheibe 40 verschmutzt ist, ist es möglich, einen unnötigen Betrieb eines Fahrunterstützungssystems zu vermeiden, was in der Praxis äußert sinnvoll ist.
-
Ungeachtet der Anordnung der Stereokamera 10 wie in 2 gezeigt, können beispielsweise die linke Kamera 11 und die rechte Kamera 12 der Stereokamera 10 nur entweder in dem linksseitigen Wischerbereichs 40l oder dem rechtsseitigen Wischerbereich 40r angeordnet sein.
-
Der Ablauf im Schritt S104 des Flussdiagramms von 7 kann vor oder parallel zu dem Ablauf von Schritt S103 durchgeführt werden. Nicht nur das Verfahren der Lichtquellenerkennung und das Verfahren zur Randerkennung gemäß obiger Beschreibung, sondern auch andere verschiedene bekannte Verfahren können angewendet werden.
-
<zweite Ausführungsform>
-
Eine Objekterkennungsvorrichtung und ein Fleckerkennungsverfahren gemäß einer zweiten Ausführungsform werden anhand von 9 beschrieben. Bei obiger Ausführungsform wird der Fleckerkennungsprozess an dem Bild durchgeführt, welches von entweder der linken Kamera 11 oder der rechten Kamera 12 der Stereokamera 10 aufgenommen wurde. Bei der zweiten Ausführungsform wird der Fleckerkennungsprozess sowohl an einem Bild von der linken Kamera 11 als auch ein Bild von der rechten Kamera 12 durchgeführt. Der verbleibende Aufbau ist gleich wie bei der ersten Ausführungsform. Somit werden bei der zweiten Ausführungsform Erläuterungen welche gleich der ersten Ausführungsform sind, weggelassen und gleiche Zeile in der Zeichnung haben gleiche Bezugszeichen. Der wesentliche Unterschied wird nachfolgend anhand von 9 erläutert.
-
(Fleckerkennungsverfahren)
-
Das Fleckerkennungsverfahren in der Objekterkennungsvorrichtung 1 gemäß der zweiten Ausführungsform soll anhand des Flussdiagramms von 9 erläutert werden.
-
In 9 führt die Stereobilderkennungsvorrichtung 20 der Objekterkennungsvorrichtung 1 die Fleckerkennung an einem linken Bild durch, welches von der linken Kamera 11 der Stereokamera 10 aufgenommen wurde (Schritt S201). Genauer gesagt, die Stereobilderkennungsvorrichtung 20 führt die Abläufe der Schritte S101 bis S107 und S109 im Flussdiagramm von 7 am linken Bild durch.
-
Parallel zu dem Ablauf in Schritt S201 führt die Stereobilderkennungsvorrichtung 20 die Fleckerkennung am rechten Bild durch, welches von der rechten Kamera 12 der Stereokamera 10 aufgenommen wurde (Schritt S202). Genauer gesagt, die Stereobilderkennungsvorrichtung 20 führt die Abläufe der Schritte S101 bis S107 und S109 im Flussdiagramm von 7 auch am rechten Bild durch.
-
Hierbei wird beispielsweise die Fleckerkennung an dem i-ten linken Bild gemäß 3 im Ablauf von Schritt S201 durchgeführt, die Fleckerkennung wird an dem j-ten rechten Bild, welches gleichzeitig wie das linke Bild aufgenommen wurde, im Ablauf von Schritt S202 durchgeführt. Nach einem Ergebnis einer wiederholten Durchführung des Fleckerkennungsprozesses gemäß der Ausführungsform, wenn beispielsweise die Fleckerkennung an dem i-ten bis (i + n)-ten linken Bildern von 3 durchgeführt worden ist, wird die Fleckerkennung auch an den j-ten bis (j + n)-ten rechten Bildern durchgeführt, welche entsprechend gleichzeitig wie die i-ten bis (i + n)-ten linken Bildern aufgenommen worden sind.
-
Dann bestimmt der Fleckbestimmer 23 der Stereobilderkennungsvorrichtung 20, ob oder ob nicht die Windschutzscheibe 40 Flecken hat, in dem auch das Ergebnis des Ablaufs von Schritt S201 zurückgegriffen wird (Schritt S203). Genauer gesagt, der Fleckbestimmer 23 bestimmt, dass die Windschutzscheibe 40 wenigstens einen Fleck aufweist, wenn betreffend das linke Bild bestimmt wird, dass der Rand, der sich von der Lichtquelle aus erstreckt, fortlaufend die gewisse Zeitlang erkannt worden ist (Ablauf im Schritt S107 des Flussdiagramms von 7).
-
Wenn bestimmt wird, dass die Windschutzscheiben 40 keinen Fleck hat (Schritt S203: NEIN) beendet die Objekterkennungsvorrichtung 1 vorübergehend den Prozess. Nach einer bestimmten Wartezeit führt die Objekterkennungsvorrichtung 1 den Fleckerkennungsprozess am linken Bild und am rechten Bild (z. B. den (i + 1)-ten linken Bild und den (j + 1)-ten rechten Bild in 3) neben dem linken Zielbild und dem rechten Zielbild für die momentane Fleckerkennung (z. B. den i-ten linken Bild und dem j-ten rechten Bild in 3) auf zeitserieller Basis durch.
-
Wenn andererseits bestimmt wird, dass die Windschutzscheibe 40 wenigstens einen Fleck aufweist (Schritt S203: JA), bestimmt der Fleckbestimmer 23 ob oder ob nicht die Windschutzscheiben 40 einen Fleck hat, wobei auf das Ergebnis des Ablaufs im Schritt S202 zurückgegriffen wird (Schritt S204).
-
Genauer gesagt, der Fleckbestimmer 23 bestimmt, dass die Windschutzscheibe 40 einen Fleck hat, wenn betreffend das rechte Bild bestimmt wird, dass der sich von der Lichtquelle aus erstreckende Rand fortlaufend eine gewisse Zeitlang erkannt worden ist (Ablauf im Schritt S107 des Flussdiagramms von 7).
-
Wenn bestimmt wird, dass die Windschutzscheibe 40 keinen Fleck hat (Schritt S204: NEIN), beendet die Objekterkennungsvorrichtung 1 vorübergehend den Prozess. Nach einer bestimmten Wartezeit führt die Objekterkennungsvorrichtung 1 den Fleckerkennungsprozess am linken Bild und am rechten Bild (z. B. den i + 1)-ten linken Bild und dem (j + 1)-ten rechten Bild in 3) neben dem linken Zielbild und dem rechten Zielbild für die momentane Fleckerkennung (z. B. dem i-ten linken Bild und dem j-ten rechten Bild in 3) auf zeitserieller Basis durch.
-
Wenn andererseits bestimmt wird, dass die Windschutzscheibe 40 einen Fleck hat (Schritt S204: JA), gibt der Fleckbestimmer 23 eine Information als Fleck vorhanden/nicht vorhanden-Information aus. Die Anzeigevorrichtung 30, welche die Fleck vorhanden/nicht vorhanden-Information empfängt, welche angibt, dass die Windschutzscheiben 40 wenigstens einen Flecken hat, kann den Fahrer des Fahrzeugs darüber informieren, dass die Windschutzscheibe 40 einen Fleck hat, in dem Zeichen oder Grafiken dargestellt werden oder eine Anzeige zum Aufleuchten gebracht wird.
-
Dann beendet die Objekterkennungsvorrichtung 1 vorübergehend den Ablauf. Nach einer bestimmten Wartezeit führt die Objekterkennungsvorrichtung 1 den Fleckerkennungsprozess am linken Bild und am rechten Bild (z. B. den (i + 1)-ten linken Bild und dem (j + 1)-ten rechten Bild in 3) neben dem linken Zielbild und dem rechten Zielbild für die momentane Fleckerkennung (z. B. i-ten linken Bild und dem j-ten rechten Bild in 3) auf zeitserieller Basis durch.
-
Aufgrund dieses Aufbau ist es möglich, die Bestimmungsgenauigkeit im Vergleich zu einem Fall zu verbessern, bei dem der Fleck auf der Windschutzscheibe 40 nur unter Verwendung entweder des Bilds von der linken Kamera 11 oder des Bilds von der rechten Kamera 12 der Stereokamera 10 erkannt wird. Mit anderen Worten, eine fehlerhafte Bestimmung kann weiter verringert werden.
-
Die „linke Kamera 11” und die „rechte Kamera 12” der Ausführungsform sind ein Beispiel von „zwei Kameras, welche eine Stereokamera bilden” gemäß der vorliegenden Erfindung. Das „linke Bild” und das „rechte Bild” der Ausführungsform sind jeweils ein Beispiel für „erstes Bild” und „zweites Bild” der vorliegenden Erfindung.
-
Der Ablauf im Schritt S204 des Flussdiagramms von 9 kann vor oder parallel zum Ablauf von Schritt S203 durchgeführt werden.
-
Beschrieben wurde insoweit zusammenfassend eine Objekterkennungsvorrichtung, die in einem Fahrzeug angeordnet ist und Aufnahmebilder einer Stereokamera verwendet, welche das Äußere um das Fahrzeug herum aus dem Fahrzeuginneren heraus durch einen Bereich eines Fensterglases aufnimmt, der von einem Scheibenwischer gewischt wird. Die Objekterkennungsvorrichtung ist ausgestattet mit: einem Lichtquellendetektor, der eine Lichtquelle in einem Aufnahmebild erkennen kann; einem Randdetektor, der einen Rand erkennen kann, der sich in dem Aufnahmebild in einer Richtung erstreckt, welche eine Wischrichtung des Scheibenwischers kreuzt; und einem Bestimmer, der bestimmen kann, dass das Fensterglas wenigstens einen Fleck aufweist, wenn sich der von der Lichtquelle aus in Kreuzungsrichtung erstreckende Rand fortlaufend eine bestimmte Zeitdauer lang auf der Grundlage eines Erkennungsergebnisses vom Lichtquellendetektor und eines Erkennungsergebnisses vom Randdetektor erkannt wird.
-
Die Erfindung kann anders ausgeführt oder umgesetzt werden, als hier beschrieben, ohne vom Wesen und Umfang hiervon abzuweichen. Die vorliegenden Ausführungsformen und Beispiele sind somit als rein illustrativ und nicht einschränkend zu verstehen, da der Umfang der vorliegenden Erfindung durch die beigefügten Ansprüche und deren Äquivalente definiert ist und nicht durch die voran stehende exemplarische Beschreibung von Ausführungsformen.
