-
Technisches Gebiet
-
Die Erfindung betrifft eine Vorrichtung zur Bilderkennung, die im Fahrzeug eingebaut ist, und anhand von Bilddaten, die den vom Fahrzeug aus aufgenommenen Bildern der Umgebung entsprechen, die Situation der Umgebung des Fahrzeugs, wie andere Fahrzeuge und Fußgänger, weiße Streifen, erkennt, sowie ein Verfahren zur Steuerung der genannten Vorrichtung.
-
Hintergundtechnik
-
Bisher sind Vorrichtungen zur Bilderkennung, die im Fahrzeug eingebaut sind, und Verfahren zur Steuerung dieser Vorrichtungen bekannt, die dazu dienen, anhand von Bilddaten, die den vom Fahrzeug aus aufgenommenen Bildern der Umgebung entsprechen, die Situation der Umgebung des Fahrzeugs, wie andere Fahrzeuge und Fußgänger, oder weiße Streifen, zu erkennen. Bei diesen Arten von Vorrichtungen zur Bilderkennung wurde im Fahrzeug eine Kamera o.ä. vorgesehen, und durch Veränderung des zu erkennenden Bereichs im Bild entsprechend dem Änderungsbetrag der Lichtachse der Kamera wurde die Erkennungsleistung der Vorrichtung für Erkennungsobjekte erhöht, und Abweichungen der Lage der Lichtachse der Kamera wurden korrigiert (siehe z.B. Patentdokument 1).
-
Entgegenhaltungen
-
Patentdokumente
-
- (Patentdokument 1: Japanische offengelegte Patentanmeldung 2012-093872
-
Offenbarung der Erfindung
-
Zu lösende technische Aufgaben
-
Jedoch, bei den genannten Vorrichtungen zur Bilderkennung mit der bisherigen Technik war es besonders dann, wenn man Fahrzeuge, die sich nach rechts und links erheblich neigen, wie z.B. Zweiräder, mit einem Bildaufnahmgerät, wie Kamera ausstattet, schwierig, Bilderkennug wie Gegenstandserkennung wie andere Fahrzeuge und Fußgänger, oder Weiße-Streifen-Erkennung angemessen durchzuführen.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die genannten Probleme der bisherigen Technik zu lösen, und eine Vorrichtung zur Bilderkennung und ein Verfahren zur Steuerung der Vorrichtung zu bieten, die auch bei geneigtem Fahrzeug die Bilderkennung angemessen durchführen kann.
-
Mittel zur Lösung der Aufgaben
-
Die Erfindung betrifft eine Vorrichtung zur Bilderkennung, die im Fahrzeug eingebaut ist, und anhand von Bilddaten, die den vom Fahrzeug aus aufgenommenen Bildern der Umgebung entsprechen, die Situation der Umgebung des Fahrzeugs erkennt, dadurch gekennzeichnet, dass die Vorrichtung mit einem Neigungsdetektionsteil, das die Neigung des Fahrzeugs detektiert, einem Bilddrehungsteil, das die Bilddaten entsprechend der vom Neigungsdetektionsteil detektierten Neigung durch Drehung korrigiert, sowie einem Bilderkennungsteil, das anhand der vom Bilddrehungsteil durch Korrektur durch Drehung der Bilddaten generierten, korrigierten Bilddaten die Situation der Umgebung des Fahrzeugs erkennt, ausgestattet ist.
-
Hierbei kann das Bilddrehungsteil die Bilddaten so durch Drehung korrigieren, dass das Bild in die Richtung der Fahrzeugneigung geneigt wird. Das Bilddrehungsteil kann die Bilddaten so durch Drehung korrigieren, dass das Bild nur soweit geneigt wird, wie das Fahrzeug geneigt ist. Das Neigungsdetektionsteil kann die Neigung des Fahrzeugs mittels eines Neigungswinkelsensors detektieren. Das Neigungsdetektionsteil kann die Neigung des Fahrzeugs anhand der Bilddaten ermitteln. Das Neigungsdetektionsteil kann die Neigungsinformation, die der Fahrzeugneigung entspricht, an das Bilddrehungsteil ausgeben.
-
Die Erfindung betrifft weiterhin ein Verfahren zur Steuerung der Vorrichtung zur Bilderkennung, die im Fahrzeug eingebaut ist, und anhand von Bilddaten, die den vom Fahrzeug aus aufgenommenen Bildern der Umgebung entsprechen, die Situation der Umgebung des Fahrzeugs erkennt, wobei die Vorrichtung mit einem Neigungsdetektionsteil, das die Neigung des Fahrzeugs detektiert, einem Bilddrehungsteil, das die Bilddaten entsprechend der vom Neigungsdetektionsteil detektierten Neigung durch Drehung korrigiert, sowie einem Bilderkennungsteil, das anhand der korrigierten Bilddaten, die vom Bilddrehungsteil durch Drehung korrigiert wurden, die Situation der Umgebung des Fahrzeugs erkennt, ausgestattet ist, dadurch gekennzeichnet, dass das Neigungsdetektionsteil den Schritt zur Detektion der Fahrzeugneigung aufweist, das Bilddrehungsteil den Schritt zum Korrigieren der Bilddaten durch Drehung aufweist, und das Bilderkennungsteil den Schritt zur Erkennung der Situation der Umgebung des Fahrzeugs anhand der korrigierten Bilddaten, die vom Bilddrehungsteil durch Drehung der Bilddaten korrigiert wurden, aufweist.
-
Hierbei kann das Bilddrehungsteil die Bilddaten so durch Drehung korrigieren, dass das Bild in die Richtung der Fahrzeugneigung geneigt wird. Das Bilddrehungsteil kann die Bilddaten so durch Drehung korrigieren, dass das Bild nur soweit geneigt wird, wie das Fahrzeug geneigt ist. Das Neigungsdetektionsteil kann die Neigung des Fahrzeugs mittels eines Neigungswinkelsensors detektieren. Das Neigungsdetektionsteil kann die Neigung des Fahrzeugs anhand der Bilddaten ermitteln. Das Neigungsdetektionsteil kann die Neigungsinformation, die der Fahrzeugneigung entspricht, an das Bilddrehungsteil ausgeben.
-
Wirkung der Erfindung
-
Die vorliegende Erfindung ermöglicht eine angemessene Bilderkennung auch bei geneigtem Fahrzeug.
-
Kurzbeschreibung der Zeichnungen
-
1 ist ein Blockschema, das die Vorrichtung zur Bilderkennung und den Neigungswinkelsensor gemäß der ersten Ausführungsform zeigt.
-
2 zeigt schematisch den geneigten Zustand des Fahrzeugs (von vorne gesehen).
-
3 zeigt ein vom Fahrzeug aus aufgenommenes Bild der in Fahrtrichtung vor dem Fahrzeug liegenden Umgebung.
-
4 zeigt ein aufgenommenes Bild, das durch Drehung korrigiert wurde.
-
5 ist ein Blockschema, das die Vorrichtung zur Bilderkennung 20 gemäß der zweiten Ausführungsform zeigt.
-
6 zeigt schematisch den geneigten Zustand des Fahrzeugs auf einer geneigten Straßenoberfläche (von vorne gesehen).
-
Ausführung der Erfindung
-
Im folgenden werden vorteilhafte Ausführungsformen anhand der Zeichnungen beschrieben.
-
(1) Erste Ausführungsform
-
1 ist ein Blockschema, das die Vorrichtung zur Bilderkennung und den Neigungswinkelsensor gemäß der ersten Ausführungsform zeigt. Diese Vorrichtung zur Bilderkennung 10 ist eine Vorrichtung, die auf einem Fahrzeug, wie einem motorisierten Zweirad vorgesehen ist, und anhand von Bilddaten, die den vom Fahrzeug aus aufgenommenen Bildern der Umgebung entsprechen, die Situation der Umgebung des Fahrzeugs durch Bilderkennung wie die Gegenstandserkennung wie Erkennung von anderen Fahrzeugen und Fußgängern oder Weißstreifenerkennung, d.h. Erkennung von weißen Streifen, erkennt.
-
Die Vorrichtung zur Bilderkennung 10 ist mit einem Sensor 1 verbunden, und ist mit einem Neigungswinkeleingabeteil (Neigungsdetektionsteil) 2, einem Bildaufnahmeteil 3, einem Bilddrehungsteil 4, einem Bilderkennungsteil 5, einem Fahrunterstützungsteuerteil 6 und einem Ausgabeteil 7 ausgestattet.
-
Der Neigungswinkelsensor 1 ist ein Sensor zur Detektion des Fahrzeugneigungswinkels. Der Neigungswinkelsensor 1 ist mit dem Neigungswinkeleingabeteil 2 verbunden, und gibt dem ermittelten Neigungswinkel entsprechendes Neigungswinkelsignal an das Neigungswinkelausgabeteil 2 aus. In der vorliegenden Ausführungsform wird der detektierte Neigungswinkel als Signal an das Neigungswinkeleingabeteil 2 ausgegeben, aber er kann auch als dem Neigungswinkel entsprechende Neigungswinkeldaten an das Neigungswinkeleingabeteil 2 ausgegeben werden.
-
Der Neigungswinkeleingabeteil 2 ist ein Detektionsteil, das zur Detektion des Neigungswinkels des Fahrzeugs durch die Vorrichtung zur Bilderkennung 10 anhand des vom Neigungswinkelsensor 1 eingegebenen Neigungswinkelsignals dient. Dieses Neigungswinkeleingabeteil 2 generiert Neigungswinkeldaten anhand des eingegebenen Signals, und gibt die generierten Neigungswinkeldaten als Neigungsinformation an das Bildaufnahmeteil 3 aus.
-
Das Bildaufnahmeteil 3 ist eine Kamera, und nimmt die Umgebung vor dem Fahrzeug als Standbilder oder Bewegtbilder auf. Dieses Bildaufnahmeteil 3 generiert anhand der aufgenommenen Bilder Bildaten, und gibt sie zusammen mit den vom Neigungswinkeleingabeteil 2 eingegebenen Neigungswinkeldaten an das Bilddrehungsteil 4 aus.
-
Das Bilddrehungsteil 4 ist ein Bildverarbeitungsteil, welches dazu dient, die Bilddaten durch Drehung so zu korrigieren, dass das den Bilddaten entsprechende Bild entsprechend gedreht wird. Dieses Bilddrehungsteil 4 korrigiert durch Drehung die vom Bildaufnahmeteil 3 eingegebenen Daten anhand der Neigungswinkeldaten, d.h. der Neigungsinformation, die im Neigungswinkeleingabeteil 2 detektiert, und über das Bildaufnahmeteil 3 eingegeben wurde. Das Blddrehungsteil 4 gibt die durch Drehung korrigierte Bilddaten an das Bilderkennungsteil 5 aus.
-
Das Bilderkennungsteil 5 erkennt die Situation der Umgebung des Fahrzeugs anhand der eingegebenen Bilddaten. Das Bilderkennungsteil 5 ist nämlich so konstruiert, dass es Gegenstandserkennung, d.h. Erkennung von anderen Fahrzeugen, Fußgängern, Motorrädern und Fahrrädern; Fahrbahnerkennung, d.h. Erkennung von weißen Streifen o.ä., und Schildererkennung, d.h. Erkennung von Verkehrsschildern, ausführt. Das Bilderkennungsteil 5 gibt, nach Ausführung von Erkennungsfunktionen, Positionsinformationsdaten einschließlich der Positionsinformationen der erkannten Gegenstände an das Fahrassistenzsteuerteil 6 aus.
-
Das Fahrassistenzsteuerteil 6 unterstützt den Fahrers beim Fahren und gibt dem Fahrer Warnungen ab. Das Fahrassistenzsteuerteil 6 führt anhand der vom Bilderkennungsteil 5 eingegebenen Positionsinformationsdaten Prozesse für die automatische Notbremsung im Falle, dass Hindernisse o.ä. vor dem Fahrzeug liegen, den Abstandsregeltempomat, die Fahrzeugsteuerung wie Verhinderung des Abkommens von der Fahrbahns, und Warnungen für den Fahrer im Rahmen des Fahrassistenzsystems wie Kollisionswarnung, Warnung beim Abkommen von der Fahrbahn, Warnung im Zusammenhang mit der Erkennung von Schildern u.a. aus. Das Fahrassistenzsteuerteil 6 führt Prozesse für die Fahrzeugsteuerung und die Warnungen aus, und gibt Steuersignale, die diesen Prozessen entsprechen, an das Ausgabeteil 7 aus.
-
Das Ausgabeteil 7 kann Signale von der Vorrichtung zur Bilderkennung 10 an das Bremsaggregat, an die elektrische Steuereinheit für den Motor, an die elektrische Servolenkung. u.a. ausgeben. Dadurch, dass dieses Ausgabeteil 7 die vom Fahrassistenzsteuerteil 6 eingegebenen Steuersignale zur elektrischen Steuereinheit des Fahrzeugs o.ä, ausgibt, kann das Fahrzeug die obenbeschriebenen Fahrzeugsteuerungen oder Warnungen durch die Steuerung der elektrischen Steuereinheit u.a. ausführen.
-
Im Folgenden wird die in der Vorrichtung zur Bilderkennung 10 stattfindende Korrektur der Bilddaten durch Drehung beschrieben. 2 zeigt schematisch den geneigten Zustand des Fahrzeugs (von vorne gesehen). 3 zeigt ein vom Fahrzeug aus aufgenommenes Bild der in Fahrtrichtung vor dem Fahrzeug liegenden Umgebung. 4 zeigt ein aufgenommenes Bild, das durch Drehung korrigiert wurde. 3 und 4 zeigen eine Situation, in der auf der Oberfläche r einer auf einem horizontalen Boden g gebauten rechtskurvigen Straße vor dem Fahrzeug ein Kraftfahrzeug c fährt.
-
Bei motorisierten Zweirädern neigt der Fahrer bei einer Kurvenfahrt die Karrosserie, um sich der Zentrifugalkraft entgegenzusetzen: Wie in 2 gezeigt, neigt sich das Fahrzeug bei einer Rechtskurve nach rechts. 2 zeigt den Zustand, dass das Fahrzeug in Bezug auf die in die Richtung der Schwerkraft velaufende imaginäre Linie O um den Neigungswinkel α geneigt ist. Wenn sich das Fahrzeug um den Neigungswinkel α nach rechts neigt, so neigt sich das am Fahrzeug befestigte Bildaufnahmeteil 3 zusammen mit dem Fahrzeug, so dass das vom Bildaufnahmeteil 3 aufgenommene Bild ein um den Neigungswinkel α entgegen dem Uhrzeigersinn geneigtes Bild wird.
-
Zuerst, wenn der Neigungswinkelsensor 1 den Neigungswinkel α detektiert, gibt der Neigungswinkelsensor 1 Neigungswinkelsignal an das Neigungswinkeleingabeteil 2 aus. Daraufhin ermittelt das Neigungswinkeleingabeteil 2 den Neigungswinkel α des Fahrzeugs, und gibt diesen als Neigungsinformation an das Bidlaufnahmeteil 3 aus.
-
Werden Neigungswinkeldaten vom Neigungswinkeleingabeteil 2 eingegeben, gibt das Bildaufnahmeteil 3 die dem aufgenommenen Bild entsprechenden Bilddaten zusammen mit den Neigungswinkeldaten an das Bilddrehungsteil 4 aus.
-
Werden Neigungswinkeldaten und Bilddaten vom Bildaufnahmeteil eingegeben, korrigiert das Bilddrehungsteil 4 die Bilddaten anhand der Neigungswinkeldaten durch Drehung, und generiert korrigierte Bilddaten. Hierbei erfolgt die Korrektur der Bilddaten durch Drehung so, dass das den Bilddaten entsprechende Bild um den Betrag der Neigung des Fahrzeugs in die Neigungsrichtung geneigt wird. Nämlich wird das Bild, das den durch die Korrektur durch Drehung korrigierten Bilddaten entspricht, wie in 4 gezeigt, um den Winkel α entgegen dem Uhrzeigersinn gedreht, so dass die Straßenoberfläche r, der Boden g, und das vorne fahrende Fahrzeug c im Bild so gezeigt, als ob das Fahrzeug horizontal zur Straßenoberfläche fahren würde. Das Bilddrehungsteil 4 gibt die generierten, korrigierten Bilddaten an das Bilderkennungsteil 5 aus.
-
Werden die korrigierten Bilddaten eingegeben, erkennt das Bilderkennungsteil 5 durch den Bilderkennungsprozess anhand der korrigierten Bilddaten die Situation der Umgebung des Fahrzeugs, und gibt Positionsinformationsdaten, die Positionsinformationen der erkannten Gegenstände u.a. enthalten, an das Fahrassistenzsteuerteil 6 aus. Die Postionsinformationsdaten sind kombinierte Daten, bestehend aus den durch Drehung korrigierten Bilddaten und den Positionsinformationen von erkannten Gegenständen o.ä.; zum Beispiel können Bilder, die den Positionsinformationsdaten entsprechen, Angaben von Positionsinformationen der auf dem Bild erkannten Gegenstände sein.
-
Werden Positioinsinformationsdaten eingegeben, führt das Fahrassistenzsteuerteil 6 Prozesse für die Fahrzeugsteuerungen und Warnungen aus, und gibt Steuersignale an das Ausgabeteil 7 aus.
-
Werden Steuersignale eingegeben, gibt das Ausgabeteil 7 die eingegebenen Steuersignale zu diversen Einrichtungen wie der elektrischen Steuereinheit im Fahrzeug aus.
-
In der oben beschriebenen Vorgehensweise führt die Vorrichtung zur Bilderkennung 10 nach Ausführung der Korrektur der dem bei geneigtem Fahrzeug aufgenommenen Bild entsprechenden Bilddaten durch Drehung den Bilderkennungsprozess aus.
-
In dieser Ausführungsform ist die Vorrichtung zur Bilderkennung 10 mit einem Bilddrehungsteil 4, das die Bilddaten entsprechend dem vom Neigungswinkeleingabeteil 2 ermittelten Neigungswinkel α durch Drehung korrigiert, und einem Bilderkennungsteil 5, das die Situation der Umgebung des Fahrzeugs anhand der korrigierten Bilddaten, die vom Bilddrehungsteil 4 durch Korrektur der Bilddaten durch Drehung generiert wurden, erkennt, ausgestattet. Aus diesen Gründen ist das Bilderkennungsteil im Stande, den Bilderkennungsprozess mit demselben Algorithmus wie im Fall, dass das Fahrzeug nicht geneigt ist, auszuführen. Daher kann die Bilderkennung auch bei geneigtem Fahrzeug angemessen durchgeführt werden.
-
(2) Zweite Ausführungsform
-
5 ist ein Blockschema, das die Vorrichtung zur Bilderkennung 20 gemäß der zweiten Ausführungsform zeigt. 6 zeigt schematisch den geneigten Zustand des Fahrzeugs auf einer geneigten Straßenoberfläche, von vorne des Fahrzeugs gesehen. Die Vorrichtung zur Bilderkennung 20 gemäß der zweiten Ausführungsform unterscheidet sich von der ersten Ausführungsform darin, dass anstelle des Neigungssensors 1 und des Neigungswinkeleingabeteils 2 gemäß der ersten Ausführungsform ein Neigungswinkelschätzteil (Neigungswinkeldetektionsteil) 8 vorgesehen ist. In 5 sind für Bestandteile, die mit denen der ersten Ausführungsform vergleichbar sind, dieselben Bezugszeichen verwendet, um eine Wiederholung der Erläuterung zu vermeiden, und hier werden nur die von der ersten Ausführungsform abweichenden Teile ausführlich beschrieben.
-
Die Vorrichtung zur Bilderkennung 20 gemäß dieser Ausführungsform ist mit einem Neigungswinkelschätzteil 8 ausgestattet. Dieses Neigungswinkelschätzteil 8 analysiert die dem vom Bildaufnahmeteil 3 aufgenommenen Bild entsprechenden Bilddaten, und ermittelt den Neigungswinkel γ des Fahrzeugs in Bezug auf die vertikal zur Straßenoberfläche r verlaufenden imaginären Linie O‘. Nämlich braucht der Neigungswinkel α des Fahrzeugs in Bezug auf die in die Schwerkraftrichtung verlaufende imaginäre Linie O nicht mit einem Neigungswinkelsensor o.ä. detektiert zu werden. Dabei schätzt das Neigungswinkelschätzteil 8 den Neigungswinkel γ des Fahrzeugs, indem im optischen Fluss Bewegungen der Gegenstände im Bild mit Hilfe von Vektoren gezeigt werden. Auf diese Weise wird, wie in 6 gezeigt, auch wenn die Straßenoberfläche r mit einem Neigungswinkel β geneigt ist, der Neigungswinkel γ des Fahrzeugs in Bezug auf die Straßenoberfläche r ermittelt, und anschließend wird der Neigungswinkel γ des Fahrzeugs zur imaginären Linie O‘, die vertikal zur Straßenoberfläche r verläuft, ermittelt. Folglich wird bei der Vorrichtung zur Bilderkennung 20, auch wenn das Fahrzeug auf einer geneigten Straßenoberfläche r fährt, das Bild, welches den korrigierten Bilddaten, die so durch Drehung der Bilddaten korrigiert wurden, dass der Neigungswinkel γ des Fahrzeugs kompensiert wird, entspricht, so angezeigt, wie in 4 gezeigt, als ob die Straßenoberfläche r und der Boden g horizontal wären.
-
Hat das Neigungswinkelschätzteil 8 anhand des vom Bildaufnahmeteil 3 aufgenommenen Bildes den Neigungswinkel des Fahrzeugs γ ermittelt, so generiert es Neigungswinkeldaten, und gibt die generierten Neigungswinkeldaten an das Bilddrehungsteil 4 aus. In der zweiten Ausführungsform werden nämlich die Neigungswinkeldaten nicht über das Bildaufnahmeteil 3, sondern direkt an das Bilddrehungsteil 4 ausgegeben, und vom Bildaufnahmeteil 3 werden nur Bilddaten an das Bilddrehungsteil 4 ausgegeben.
-
In dieser Ausführungsform ist die Vorrichtung zur Bilderkennung 20 mit einem Neigungswinkelschätzteil 8 ausgestattet, welches anhand des vom Bildaufnahmeteil 3 aufgenommenen Bildes den Neigungswinkel γ zur vertikal zur Straßenoberfläche r verlaufenden imaginären Linie O‘ ermittelt. Daher ist es nicht erforderlich, den auf die Schwerkraftrichtung bezogenen Neigungswinkel α etwa mittels eines Neigungswinkelsensors zu ermitteln; das Bild, das den durch die Korrektur durch Drehung erhaltenen, korrigierten Bilddaten entspricht, kann, auch wenn die Straßenoberfläche r geneigt ist, immer so angezeigt werden, als ob die Straßenoberfläche r horizontal wäre. Daher lässt sich die Bilderkennung angemessen ausgeführt werden, auch wenn das Fahrzeug bzw. die Straßenoberfläche geneigt ist.
-
Oben wurde die vorliegende Erfindung anhand von Ausführungsformen beschrieben, aber die Erfindung beschränkt sich nicht auf diese Ausführungsformen. Zum Beispiel erfolgt in der ersten Ausführungsform die Korrektur durch Drehung der dem Bild entsprechenden Bilddaten nur mit dem vom Neigungswinkelsensor 1 detektierten Neigungswinkel α, aber die Korrektur beschränkt sich nicht auf dieses Verfahren. Man kann zusätzlich zum Neigungswinkelsensor 1 einen Neigungsrate-Sensor o.ä. an die Vorrichtung zur Bilderkennung anschließen, und anhand von Information des Karrosserieverhaltens wie Neigungsrate o.ä. präzisere Korrektur der Bilddaten durch Drehung realisieren. Information des Karrosserieverhaltens kann man mit anderen Sensoren als Kamera, wie z.B. mit einem Radar oder einem Ultraschallsensor gewinnen.
-
In den obigen Ausführungsformen wird die Neigung der Karrosserie anhand des Neigungswinkels ermittelt, aber Ermittlung der Neigung der Karrosserie beschränkt sich nicht darauf. Neigung der Karrosserie kann auch anhand von anderen Elementen als Neigungswinkel ermittelt werden.
-
In den obigen Ausführungsformen wird die Vorrichtung zur Bilderkennung 10, 20 in motorisierte Zweiräder eingebaut, aber Fahrzeuge, die mit dieser Vorrichtung auszgestattet werden können, beschränken sich nicht auf motorisierte Zweiräder. Es können auch Kraftfahrzeuge oder andere Fahrzeuge sein, soweit sie mit dieser Vorrichtung ausgestattet werden können.
