DE102018214712A1

DE102018214712A1 - Fahrzeugsteuervorrichtung und -verfahren zum Erkennen von Verkehrszeichen

Info

Publication number: DE102018214712A1
Application number: DE102018214712.4A
Authority: DE
Inventors: Shinnosuke SAITO
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2017-09-06
Filing date: 2018-08-30
Publication date: 2019-03-07
Also published as: CN109461318B; CN109461318A; JP2019046371A; JP6649329B2

Abstract

Eine Fahrzeugsteuervorrichtung (2) zum Steuern eines Fahrzeugs erhält ein Bild durch Aufnehmen einer Umgebung des Fahrzeugs (S202), erhält Information einer Benutzerbedienung, die an dem Fahrzeug durchgeführt und von dem Fahrzeug akzeptiert wird (S201), extrahiert Information eines in dem Bild enthaltenen Verkehrszeichens mittels eines basierend auf der Benutzerbedienung bestimmten Betriebsmodus (S204), und steuert das Fahrzeug zur Ausführung eines vorbestimmten Prozesses basierend auf der Information des Verkehrszeichens (S205).

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Verkehrszeichenerkennungstechnik.
Beschreibung der verwandten Technik
Es gibt ein System, das Verkehrszeichen basierend auf Bildern erkennt, die von einer an einem Fahrzeug angebrachten Kamera aufgenommen werden. Da Verkehrszeichen zwischen Ländern und Gebieten unterschiedlich sind, ist es wichtig, ein Land oder ein Gebiet zu spezifizieren, in dem ein Fahrzeug fährt, um diese Verkehrszeichen richtig auszuwerten. Die DE 10 2009 057 553 A1 beschreibt eine Technik, die ein den gegenwärtigen Ort eines Fahrzeugs angebendes Ländersignal basierend auf externer Information wie etwa Fahrspuren und Verkehrszeichen erzeugt, das erzeugte Signal in ein Verkehrszeichenerkennungssystem eingibt und Detektionsfehler unter Verwendung der jedem Land eigenen Verkehrszeicheninformation und dergleichen vermeidet.
Wenn in dieser Technik der DE 10 2009 057 553 A1 die Erkennungsgenauigkeit der externen Information schlechter wird, wird auch die Genauigkeit des Ländersignals schlechter, und infolgedessen wird die Verkehrszeichenerkennungsgenauigkeit basierend auf dem Ländersignal schlechter. Übrigens ist es auch möglich, Verkehrszeichen mittels gesamter Verkehrszeicheninformation vieler Länder und Gebiete zu erkennen. In diesem Fall können jedoch Detektionsfehler zwischen unterschiedlichen Verkehrszeichen auftreten, die in mehreren Ländern unterschiedliche Formen oder Merkmale haben.
ABRISS DER ERFINDUNG
Die vorliegende Erfindung verbessert die Verkehrszeichenerkennungsgenauigkeit eines Verkehrszeichenerkennungssystems.
In einem ersten Aspekt gibt die vorliegende Erfindung eine Fahrzeugsteuervorrichtung gemäß den Ansprüchen 1 bis 8 an.
In einem zweiten Aspekt gibt die vorliegende Erfindung ein Fahrzeug gemäß Anspruch 9 an.
In einem dritten Aspekt gibt die vorliegende Erfindung ein Verfahren nach Anspruch 10 an.
Weiter Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von Ausführungsbeispielen (im Bezug auf die beigefügten Zeichnungen) ersichtlich.
Figurenliste

1 ist ein Blockdiagramm zur Erläuterung des Aufbaus einer erfindungsgemäßen Vorrichtung;
2 ist ein Flussdiagramm, das ein Beispiel des von einer Fahrzeugsteuervorrichtung ausgeführten Prozesssablaufs zeigt; und
3 ist ein Flussdiagramm, das ein Beispiel des von der Fahrzeugsteuervorrichtung ausgeführten Prozessablaufs zeigt.

BESCHREIBUNG DER AUSFÜHRUNGEN
Nachfolgend werden Ausführungen der vorliegenden Erfindung im Bezug auf die beigefügten Zeichnungen erläutert. Übrigens ist die vorliegende Erfindung auf ein beliebiges Fahrzeug anwendbar, in dem ein Verkehrszeichenerkennungssystem zum Erkennen von Verkehrszeichen angebracht ist. Zum Beispiel kann die folgende Diskussion auch auf ein beliebiges Fahrzeug angewendet werden, das durch ein Zeichenerkennungssystem ein Zeichen erkennt und mittels des Erkennungsergebnisses eine vorbestimmte Fahrzeugsteuerung ausführt (z.B. Video- oder Audioinformation-Ausgabe). In einigen Fällen braucht eine Fahrzeugsteuervorrichtung basierend auf Zeichenerkennung nicht in einem Fahrzeug installiert zu sein. Zum Beispiel kann ein Fahrzeug auch so ausgeführt sein, dass es Sensorinformation, wie etwa ein von einer bordeigenen Kamera aufgenommenes Bild, oder Information zu einer Bedienung vom Verwender des Fahrzeugs zu einer Fahrzeugsteuervorrichtung sendet, die sich außerhalb des Fahrzeugs befindet, und Information vom Ergebnis der Verkehrszeicheninformation, die in der Fahrzeugsteuervorrichtung basierend auf der Information erhalten wird, empfängt. Diese Erkennungsergebnisinformation kann in einem Beispiel ein Fahrzeugsteuerbefehl sein, und das Fahrzeug führt gemäß der Information eine vorbestimmte Fahrzeugsteuerung aus.
(Aufbau der Vorrichtung)
1 ist ein Blockdiagramm einer Fahrzeugsteuervorrichtung 2 gemäß dieser Ausführung, welche ein Fahrzeug 1 steuert. Das Fahrzeug 1 ist hier zum Beispiel ein vierrädriges Automobil, kann aber auch ein anderes Fahrzeug als ein vierrädriges Fahrzeug sein, wie etwa ein zweirädriges Fahrzeug. In einer Ausführung enthält das Fahrzeug 1 die Fahrzeugsteuervorrichtung 2, eine Kamera 11, eine Anzeigeeinheit 12 und eine Bedienungseinheit 13. In einem Beispiel enthält die Fahrzeugsteuervorrichtung 2 eine Erkennungseinheit 21, eine Akzeptiereinheit 22, eine Entscheidungseinheit 23 und eine Ausgabeeinheit 24. Übrigens ist jede dieser Funktionseinheiten der Fahrzeugsteuervorrichtung 2 zum Beispiel durch eine ECU (elektronische Steuereinheit) konfiguriert, und sie können miteinander kommunizieren. Die ECU enthält einen Prozessor wie etwa eine CPU (zentrale Prozessoreinheit), eine Speichervorrichtung wie etwa einen Halbleiterspeicher sowie eine Schnittstelle für eine externe Vorrichtung. Die Speichervorrichtung speichert vom Prozessor auszuführende Programme, beim Prozess durch den Prozessor zu verwendende Daten und dergleichen. Jede ECU kann mehrere Prozessoren, Speichervorrichtungen, Schnittstellen und dergleichen enthalten. Übrigens ist 1 vereinfacht, um die Anordnung der Fahrzeugsteuervorrichtung 2 gemäß dieser Ausführung zu erläutern, so dass das Fahrzeug 1 natürlich (nicht gezeigte) Funktionen von allgemeinen Fahrzeugen hat, zum Beispiel Funktionen zu Antreiben und Bremsen des Fahrzeugs 1 zum Fahren.
Die Kamera 11 nimmt die Umgebung einschließlich einer Sicht vor das Fahrzeug 1 auf, und gibt das Bild in die Erkennungseinheit 21 der Fahrzeugsteuervorrichtung 2 ein. Es kann übrigens anstelle oder zusätzlich zur Kamera 12 auch ein anderer Sensor verwendet werden. Das heißt, es ist auch möglich, einen beliebigen Sensor zu verwenden, der in der Lage ist, eine Außenumgebung zu sensieren. Die Anzeigeeinheit 12 zeigt Information basierend auf einem Ausgangssignal von der Ausgabeeinheit 24 des Fahrzeugsteuervorrichtung 2 an. Übrigens kann auch ein Lautsprecher zum Präsentieren einer akustischen Information auch anstelle oder zusätzlich zur Anzeigeeinheit 12 enthalten sein. Das heißt, das Fahrzeug 1 kann eine beliebige Informationspräsentierfunktion enthalten. Die Bedienungseinheit 13 ist eine beliebige Schnittstelle zum Akzeptieren von Benutzerbedienungen im Bezug auf das Fahrzeug 1. Zum Beispiel kann die Bedienungseinheit 13 eine Schnittstelle enthalten, um das Umschalten von Geschwindigkeits- oder Distanzeinheiten anzuzeigen. Auch kann die Bedienungseinheit 13 eine Schnittstelle enthalten, um Bedienungen eines Benutzers zu akzeptieren, wie etwa das Umschalten des Kanals eines Funkempfängers.
Die Erkennungseinheit 21 erhält ein Bild der von der Kamera 11 aufgenommenen Außenumgebung und erkennt und extrahiert ein in dem Bild enthaltenes Verkehrszeichen basierend auf vorbestimmten Lexikondaten. Zum Beispiel bestimmt die Erkennungseinheit 21, ob ein Bereich, der zum Muster der in den Lexikondaten enthaltenen Verkehrszeichen-Bilddaten passt, in Bilddaten vorhanden ist, die durch Bildgebung durch die Kamera 11 erhalten werden. Übrigens kann diese Bestimmung auch mittels einer existierenden Musterabgleichfunktion ausgeführt werden. Die Erkennungseinheit 21 sendet das Bestimmungsergebnis zur Entscheidungseinheit 23 und Ausgabeeinheit 24. Die Akzeptiereinheit 22 erhält Information einer Benutzerbedienung der Bedienungseinheit 13, überwacht, ob eine Benutzerbedienung an der Bedienungseinheit 13 vorliegt, und detektiert, wenn eine Benutzerbedienung vorliegt, detaillierte Inhalte der Bedienung. Die Akzeptiereinheit 22 gibt die Ergebnisse der Überwachung und Detektion an die Entscheidungseinheit 23 aus. Im Übrigen kann die Akzeptiereinheit 22 zum Beispiel auch Ergebnisse der Überwachung und Detektion periodisch ausgeben. Zum Beispiel kann die Akzeptiereinheit 22 der Entscheidungseinheit 23 melden, dass keine Benutzerbedienung vorliegt. Die Entscheidungseinheit 23 entscheidet über in der Erkennungseinheit 21 zu verwendende Lexikondaten basierend auf dem von der Erkennungseinheit 21 erhaltenen Außenumgebungergebnis und der von der Akzeptiereinheit 22 detektierten Benutzerbedienung. Details des Prozesses der Entscheidungseinheit 23 werden später beschrieben. Die Ausgabeeinheit 24 führt, basierend auf dem von der Erkennungseinheit 21 erkannten Verkehrszeichen, eine Steuerung aus, um zu veranlassen, dass die Anzeigeeinheit 12 Information anzeigt. Übrigens kann die Ausgabeeinheit 24 auch eine Steuerung durchführen, um zusätzlich zur Informationsanzeige einen Ton auszugeben, oder eine beliebige Information ausgeben, um eine andere vorbestimmte Steuerung an dem Fahrzeug 1 auszuführen.
(Prozessablauf)
Die Fahrzeugsteuervorrichtung 2 dieser Ausführung steuert das Fahrzeug 1 basierend auf Information zu einem Verkehrszeichen, die durch die Erkennungseinheit 21 aus einem Bild extrahiert wird, das durch Abbilden der Außenumgebung durch die Kamera 11 erhalten wird. Zum Beispiel veranlasst die Fahrzeugsteuervorrichtung 2, dass die Ausgabeeinheit 24 Information auf der Anzeigeeinheit 12 darstellt, um den Fahrer über das Vorhandensein des Verkehrszeichens oder die Inhalte des Verkehrszeichens zu informieren. Auch wenn das Fahrzeug 1 eine automatische Fahrfunktion hat, und ein eine Geschwindigkeitsbeschränkung anzeigendes Zeichen aus dem aufgenommenen Bild extrahiert wird, kann die Fahrzeugsteuervorrichtung 2 das Fahrzeug 1 so steuern, dass es mit einer Geschwindigkeit fährt, welche die Geschwindigkeitsbeschränkung nicht überschreitet.
Ein Verkehrszeichen wird aus einem aufgenommenen Bild im Bezug auf eine Datenbank von zu verwendenden Zeichen und basierend auf in der Datenbank gesammelter Referenzinformation extrahiert. Wenn man zum Beispiel Verkehrszeichen-Bilddaten als Referenzbild verwendet, wird ein Verkehrszeichen aus einem aufgenommenen Bild durch Musterabgleich extrahiert. In diesem Fall ist es zum Beispiel möglich, die Extraktion eines Verkehrszeichens mittels erster Lexikondaten, die Referenzinformation von jedem Land oder Gebiet erfassen, und/oder die Extraktion eines Verkehrszeichens mittels zweiter Lexikondaten, welche Referenzinformation einer Mehrzahl von Ländern oder Gebieten erfassen, durchzuführen. Die Extraktion eines Verkehrszeichens durch die ersten Lexikondaten kann mit hoher Genauigkeit durchgeführt werden, weil die Daten eine Referenzinformation von anderen Ländern oder Gebieten enthalten. Andererseits erfordert die Verwendung der ersten Lexikondaten die Unterscheidung zwischen Ländern oder Gebieten. Die Extraktion eines Verkehrszeichens durch die zweiten Lexikondaten erfordert keine Unterscheidung zwischen Ländern oder Gebieten, weil Daten verwendet werden können, die mehreren Ländern oder Gebieten gemeinsam sind. Jedoch ist die Unterscheidungsgenauigkeit zwischen Verkehrszeichen mit ähnlichen Mustern aber unterschiedlichen Bedeutungen in mehreren Ländern oder Gebieten manchmal ungenügend. Wenn die Verkehrszeichenunterscheidungsgenauigkeit ungenügend ist, könnte die Genauigkeit der Fahrzeugsteuerung ungenügend werden, wie etwa Fahrsteuerung oder Informationspräsentation. Es ist daher wichtig, die ersten Lexikondaten in so vielen Situationen wie möglich zu verwenden. In einigen Ländern oder Gebieten ist jedoch die Unterscheidungsgenauigkeit des Lands oder Gebiets, in dem sich das Fahrzeug befindet, niedrig, so dass die ersten Lexikondaten nicht genutzt werden können, aber die zweiten Lexikondaten verwendet werden. Infolgedessen könnte die Genauigkeit der Verkehrszeichenerkennung ungenügend werden.
Um mit einer solchen Situation zurechtzukommen, veranlasst die Fahrzeugsteuervorrichtung 2 gemäß dieser Ausführung, dass die Entscheidungseinheit 23 basierend auf einer Benutzerbedienung, die an der Bedienungseinheit 13 durchgeführt und über die Akzeptiereinheit 22 akzeptiert wird, entscheidet, ob die ersten Lexikondaten oder die zweiten Lexikondaten verwendet werden sollen. Wenn übrigens die ersten Lexikondaten verwendet werden, bestimmt die Entscheidungseinheit 23 ferner das Land oder das Gebiet der zu verwendenden ersten Lexikondaten. Wenn ein Verkehrszeichen, das für ein Land oder Gebiet eindeutig ist, detektiert wird, während die zweiten Lexikondaten verwendet werden, können, in Antwort auf die Detektion, unabhängig von der Benutzerbedienung, die zu verwendenden Lexikondaten zu den ersten Lexikondaten des Landes oder Gebiets gewechselt werden. Wenn jedoch die Wechsel unmöglich ist, oder wenn der Benutzer vorab eine Bedienung durchgeführt hat, die zu einem Land oder Gebiet gehört, macht es die Fahrzeugsteuervorrichtung gemäß dieser Ausführung möglich, die ersten Lexikondaten basierend auf Benutzerbedienung auszuwählen.
Wenn zum Beispiel die Einheiten von Geschwindigkeit oder Distanz, die in dem Fahrzeug 1 zu verwenden sind, durch Benutzerbedienung umgeschaltet werden, bestimmt die Fahrzeugsteuervorrichtung ein Gebiet, in dem sich das Fahrzeug 1 befindet. Wenn zum Beispiel durch Benutzerbedienung die Einheiten von „Kilometer“ in „Meile“ umgeschaltet werden, kann die Fahrzeugsteuervorrichtung bestimmen, dass das Fahrzeug 1 in ein Land gekommen ist, in dem „Meilen“ angezeigt werden, wie etwa GB. Ähnlich erkennt die Fahrzeugsteuervorrichtung ein Gebiet, in dem sich das Fahrzeug befindet, entsprechend davon, ob eine Benutzerbedienung zum Setzen des Fahrens auf „links halten“ oder „rechts halten“ des Fahrzeugs 1 akzeptiert wird. Wenn zum Beispiel die Einstellung des Fahrzeugs 1, das auf der rechten Seite der Straße fährt, auf „links halten“ umgeschaltet wird, kann die Entscheidungseinheit 23 bestimmen, dass das Fahrzeug 1 in ein Land mit Linksverkehr gekommen ist, wie etwa GB. In diesem Fall kann die Fahrzeugsteuervorrichtung das Land oder das Gebiet basierend auf dem Sensierergebnis der Außenumgebung, zusätzlich zur Benutzerbedienung, erkennen. Die Außenumgebung kann in einer Sprache sein, die hauptsächlich in den umgebenden Zeichentafeln, einer vorbestimmten Landmarkierung oder dergleichen verwendet wird. Zum Beispiel ist in vielen europäischen Ländern der Verkehr „rechts halten“, und die Geschwindigkeitseinheit ist „Kilometer“. Andererseits ist es auch möglich, das Land oder das Gebiet, wo das Fahrzeug 1 verbleibt, aus Ländern oder Gebieten, deren Verkehrsseite oder Geschwindigkeitseinheit gemeinsam ist, durch Erkennung von Verkehrszeichen mittels der zweiten Lexikondaten oder Identifizieren eines Nummernschilds eines anderen Fahrzeugs zu erkennen. Das heißt, die Ausführung erkennt ein Land oder ein Gebiet basierend auf Benutzerbedienung, aber die Benutzerbedienung ist nur ein Element, das bei der Erkennung eines Landes oder Gebiets zu verwenden ist, und es wird auch Information zur Benutzerbedienung genutzt, um die Genauigkeit der Erkennung eines Lands oder Gebiets zu verbessern. Übrigens ist die Benutzerbedienung ein Konzept, das nicht nur „eine Bedienung ist durchgeführt worden“ enthält, sondern auch „keine Bedienung ist durchgeführt worden“. Nachdem zum Beispiel die Geschwindigkeitseinheit auf „Kilometer“ gestellt ist, kann die Fahrzeugsteuervorrichtung bestimmen, dass das Fahrzeug 1 nicht in irgendein Land oder Gebiet gelangt ist, das als Geschwindigkeitseinheit „Meile“ verwendet, während für die Einstellung keine Benutzerbedienung durchgeführt worden ist. Daher ist nachfolgend „keine Bedienung“ auch als Benutzerbedienung zu verstehen.
Wenn die Entscheidungseinheit 23 ein Land oder ein Gebiet basierend auf Benutzerbedienung bestimmen kann, extrahiert die Erkennungseinheit 21 ein Verkehrszeichen aus einem von der Kamera 11 aufgenommenen Bild mittels der ersten Lexikondaten, die dem Land oder dem Gebiet entsprechen. Die Entscheidungseinheit 23 kann auch zum Beispiel basierend auf der Kanalfrequenz oder Sprache der Radiosendung, der Kanalfrequenz oder Sprache einer Verkehrsinformationsendevorrichtung, oder eines Netzwerkoperators oder einer Frequenz zum Liefern eines drahtlosen Kommunikationsdienstes zwischen dem Fahrzeug 1 und einem externen Netzwerk oder dergleichen, der durch Benutzerbedienung gewählt ist/sind, ein Land oder ein Gebiet spezifizieren, wo sich das Fahrzeug befindet. Zum Beispiel hält die Entscheidungseinheit 23 eine Liste von Kanalfrequenzen von Radiosendungen in jedem Land oder Gebiet und spezifiziert ein Land oder Gebiet, wo sich das Fahrzeug 1 befindet, durch Bestimmung, ob die Frequenz der von Benutzer ausgewählten Radiosendung zu einer Kanalfrequenz in der Liste passt. Wenn übrigens die Frequenz derselben Radionsendung in mehreren Ländern oder Gebieten genutzt wird, kann die Entscheidungseinheit 23 ein Gebiet oder einen Bereich spezifizieren, wo das Fahrzeug 1 verbleibt, zum Beispiel anhand des Ergebnisses von Verkehrszeichenerkennung mittels der zweiten Lexikondaten oder des Ergebnisses der Außenumgebungserkennung, zusätzlich zur Benutzerbedienung. Die Entscheidungseinheit 23 kann auch eine zu nutzende Liste einschränken, indem sie grob ein Gebiet spezifiziert, in dem sich das Fahrzeug 1 befindet, gemäß einem Land oder Gebiet, das als Land oder Gebiet spezifiziert ist, wo das Fahrzeug 1 innerhalb einer vorbestimmten Zeit in der Vergangenheit geblieben ist. Zum Beispiel könnte ein übliches Fahrzeug außerstande sein, innerhalb von drei Stunden von Frankreich nach Ungarn zu fahren. Wenn sich daher das Fahrzeug 1 innerhalb der letzten drei Stunden in Frankreich befand, kann die Entscheidungseinheit 23 ein Land oder ein Gebiet spezifizieren, in dem sich das Fahrzeug 1 befindet, unter Nutzung einer Liste von Ländern oder Gebieten, zu dem das Fahrzeug von Frankreich aus in etwa drei Stunden fahren kann, ohne eine Liste zu verwenden, welche Ungarn enthält. Wie oben beschrieben, kann die Entscheidungseinheit 23, basierend auf Benutzerbedienung zum Umschalten der Einstellung des Fahrzeugs 1 gemäß dem Land oder Gebiet, in dem das Fahrzeug 1 verbleibt, das Land oder Gebiet spezifizieren, in dem das Fahrzeug 1 verbleibt und kann die entsprechenden ersten Lexikondaten verwenden. Dementsprechend kann die Fahrzeugsteuervorrichtung 2 eine geeignete Verkehrszeichenerkennung und Fahrzeugsteuerung entsprechend den Verkehrsbedingungen jedes Landes durchführen.
Wenn übrigens die Fahrzeugsteuervorrichtung 2 ein Land oder Gebiet, wo das Fahrzeug 1 verbleibt, basierend auf auf Benutzerbedienung nicht spezifizieren kann, führt die Fahrzeugsteuervorrichtung 2 einen Verkehrszeichenerkennungsprozess mittels der zweiten Lexikondaten durch. Diese Umgebung, in der ein Land oder Gebiet basierend auf Benutzerbedienung nicht spezifiziert werden kann, kann einen Fall enthalten, in dem die Benutzerbedienung falsch ist. Das heißt, wenn die Benutzerbedienung falsch ist oder eine am Zielort durchzuführende Bedienung nicht durchgeführt worden ist, könnte ein basierend auf der Benutzerbedienung spezifiziertes Land oder Gebiet in Konflikt stehen mit einem Land oder Gebiet, das aus der Außenumgebung oder dergleichen geschätzt ist. In diesem Fall kann die Entscheidungseinheit 23 bestimmen, dass ein Land oder Gebiet nicht spezifiziert werden kann, und kann die Verwendung der zweiten Lexikondaten bestimmen. Das heißt, die Entscheidungseinheit 23 kann die Verwendung der zweiten Lexikondaten bestimmen, wenn die ersten Lexikondaten entsprechend dem vorbestimmten Land oder Gebiet verwendet worden sind, und fortlaufend die Nutzung der zweiten Lexikondaten bestimmen, wenn die zweiten Lexikondaten verwendet worden sind. Daher kann auch in einer Umgebung, in der der Benutzer eine Bedienung entsprechend einem falschen Land oder Gebiet durchgeführt hat, die Fahrzeugsteuervorrichtung die Verkehrszeichenerkennung und Fahrzeugsteuerung ausführen.
Wenn darüber hinaus ein basierend auf Benutzerbedienung spezifiziertes Land oder Gebiet mit einem aus der Außenumgebung oder dergleichen geschätzten Land oder Gebiet nicht übereinstimmt, kann die Fahrzeugsteuervorrichtung 2 auch eine Steuerung durchführen, um eine Meldung zu präsentieren, die eine Benutzerbedienung anfordert, um zu veranlassen, dass das Fahrzeug 1 dem aus der Außenumgebung oder dergleichen geschätzten Land oder Gebiet entspricht. Zum Beispiel kann in einer Situation, in der geschätzt wird, dass sich das Fahrzeug 1 zu einem Land oder Gebiet bewegt hat, das ein anderes Verkehrszeichensystem hat, die Fahrzeugsteuervorrichtung 2 den Benutzer über die Anzahl auf dem Bildschirm der Anzeigeeinheit 12 oder ein Sprachführung durch einen Lautsprecher (nicht gezeigt) zu informieren, die Geschwindigkeitseinheit und die Verkehrsseite einzustellen. Dies erlaubt es dem Benutzer, das Fahrzeug 1 geeignet einzustellen. Wenn ferner ein basierend auf Benutzerbedienung spezifiziertes Land oder Gebiet mit einem aus der Außenumgebung oder dergleichen geschätzten Land oder Gebiet nicht übereinstimmt, kann die Fahrzeugsteuervorrichtung eine Steuerung durchführen, um zur Steuerung des Fahrzeugs keine Information von einem extrahierten Verkehrszeichen zu verwenden. Das heißt, die Fahrzeugsteuervorrichtung 2 kann in einem vorbestimmten Prozess an dem Fahrzeug 1 entscheiden, extrahierte Information nicht zu nutzen (zum Beispiel von der Ausgabeeinheit 24 keine Information auszugeben), und kann zum Beispiel entscheiden, einen Prozess des Präsentierens eines extrahierten Verkehrszeichens nicht auszuführen. Dies macht es möglich, das Auftreten einer Unannehmlichkeit zu verhindern, die durch die Verwendung eines Verkehrszeichenerkennungsergebnisses hervorgerufen wird, das mit hoher Wahrscheinlichkeit falsch ist, weil die einem falschen Land oder Gebiet entsprechenden Lexikondaten verwendet werden. Übrigens kann in diesem Fall die Fahrzeugsteuervorrichtung 2 auch das Einstellen von zu verwendenden Lexikondaten, und/oder eine Meldung an den Nutzer und/oder die Nichtverwendung der extrahierten Information in dem vorbestimmten Prozess ausführen. Das heißt, die Fahrzeugsteuervorrichtung 2 kann auch eine Kombination der oben beschriebenen Prozesse ausführen.
Übrigens setzt in der obigen Erläuterung die Fahrzeugsteuervorrichtung 2 die zu verwendenden Lexikondaten 2 basierend auf Benutzerbedienung. Jedoch kann die Fahrzeugsteuervorrichtung 2 auch einen anderen Betriebsmodus setzen als das Einstellen der Lexikondaten. Zum Beispiel kann dies Fahrzeugsteuervorrichtung 2 auch eingestellt werden, um einen Parameter zur Erkennung eines Verkehrszeichens oder die Steuerung der Anzeige oder dergleichen entsprechend einem Land oder Gebiet zu verwenden, anstelle von oder zusätzlich zu den Lexikondaten, basierend auf einer Benutzerbedienung an dem Fahrzeug. Zum Beispiel kann die Fahrzeugsteuervorrichtung 2 die Verkehrszeichenerkennungsgenauigkeit verbessern, indem sie die Parameter geeignet einstellt. Die Fahrzeugsteuervorrichtung 2 kann auch einen Verkehrszeichenextraktionsbereich nach Bedarf durch geeignetes Einstellen von Parametern erweitern oder verengen, um hierdurch ein Verkehrszeichen aus einem geeigneten Bereich zu extrahieren, der für die Informationspräsentation an den Benutzer, Fahrsteuerung und dergleichen erforderlich ist. Das heißt, basierend auf Benutzerbedienung an dem Fahrzeug 1 kann die Fahrzeugsteuervorrichtung 2 eine Steuerung zum Erhöhung der Genauigkeit der Verkehrszeichenerkennung und zum Optimieren der Bedingungen der Zeichenerkennung entsprechend geeigneten Lexikondaten und Betriebsmodi entsprechend verschiedenen Parametern durchführen. Übrigens kann die Fahrzeugsteuervorrichtung 2 eine Benutzerbedienung anwenden, um verschiedene Prozesse, zu schalten, zum Beispiel die Steuerung zum Veranlassen, das der Fahrer in einer Weise fährt, die tendenziell zum Fahren in jedem Land oder Gebiet passt (in einigen Fällen die Ausführung automatischer Fahrt), zusätzlich zu der Extraktion von Verkehrszeichen. In der obigen Erläuterung wird ein Land oder Gebiet basierend auf Benutzerbedienung spezifiziert. In der Praxis ist es jedoch lediglich erforderlich, einen Betriebsmodus basierend auf Benutzerbedienung zu setzen, so dass der Schritt zum Spezifizieren eines Lands oder Gebiets in dem Prozess nicht existiert.
Übrigens ist der oben beschriebene „Benutzer“ in vielen Fällen der Fahrer, kann aber auch einen anderen Benutzer enthalten, wie etwa einen Insassen. Dementsprechend braucht eine Benutzerbedienung keine Bedienung vom Fahrer zu sein, und enthält auch eine Bedienung durch einen anderen Benutzer des Fahrzeugs als den Fahrer.
Die 2 und 3 fassen die oben beschriebenen Prozesse zusammen. Die Fahrzeugsteuervorrichtung 2 gemäß dieser Ausführung startet den in 2 gezeigten Prozess basierend auf einem vorbestimmten Auslöser, zum Beispiel, wenn das Fahrzeug 1 aktiviert wird oder der Benutzer eine vorbestimmte Funktion des Fahrzeugs 1 freigegeben hat.
Im in 2 gezeigten Prozess erhält die Fahrzeugsteuervorrichtung 2 Benutzerbedienungsinformation über die Akzeptiereinheit 22 durch Überwachung, ob eine vorbestimmte Benutzerbedienung an dem Fahrzeug 1 (der Bedienungseinheit 13) durchgeführt wird (Schritt S201), und erhält ferner Außenumgebungsinformation über die Kamera 11 und die Erkennungseinheit 21 (Schritt S202). Die vorbestimmte Benutzerbedienung kann zum Beispiel sein, die Einheit der Geschwindigkeit oder der Distanz auf „Kilometer“ oder „Meile“ einzustellen, die Auswahl der Frequenz oder Sprache eines Radios, oder die Auswahl des Netzwerkoperators oder der Frequenz von drahtloser Kommunikation. Die Außenumgebungsinformation kann zum Beispiel ein Verkehrszeichen sein, das mittels der zweiten Lexikondaten extrahiert wird, eine Sprache, die hauptsächlich auf den benachbarten Zeichentafeln verwendet wird und dergleichen, oder eine vorbestimmte Landmarkierung. Übrigens ist oben ein Beispiel erläutert worden, in dem die Benutzerbedienungsinformation erhalten wird, bevor die Außenumgebungsinformation erhalten wird, aber die Benutzerbedienungsinformation und die Außenumgebungsinformation können auch parallel erhalten werden, oder die Außenumgebungsinformation kann auch vor der Benutzerbedienungsinformation erhalten werden. Danach veranlasst die Fahrzeugsteuervorrichtung 2, dass die Entscheidungseinheit 23 einen Betriebsmodus zum Extrahieren von Verkehrszeicheninformation basierend auf der erhaltenen Benutzerbedienungsinformation und der Außenumgebungsinformation bestimmt (Schritt S203).
Dieser Prozess in Schritt S203 wird nachfolgend anhand von 3 erläutert. Im Prozess von Schritt S203 bestimmt die Fahrzeugsteuervorrichtung 2 zunächst, ob der Bedienungsmodus, der basierend auf der in Schritt S202 erhaltenen Benutzerbedienungsinformation bestimmt ist, zu der in Schritt S202 erhaltenen Außenumgebungsinformation passt (Schritt S301). Wenn der Bedienungsmodus basierend auf der Benutzerbedienungsinformation zu der Außenumgebungsinformation passt (JA in Schritt S301), wählt die Fahrzeugsteuervorrichtung 2 den Betriebsmodus entsprechend der Benutzerbedienungsinformation als Betriebsmodus zum Extrahieren von Verkehrszeicheninformation (Schritt S302).
Wenn andererseits der Betriebsmodus basierend auf der Benutzerbedienungsinformation nicht zur Außenumgebungsinformation passt (NEIN in Schritt S301), führt die Fahrzeugsteuervorrichtung 2 einen oder beide der Prozesse der Schritte S303 und S305 aus. In Schritt S303 führt die Fahrzeugsteuervorrichtung 2 eine Meldung durch, die eine Benutzerbedienung anfordert, indem sie einen Fall berücksichtigt, in dem zum Beispiel der Benutzer vergessen hat, die Einheit der Geschwindigkeit oder der Distanz einzustellen. Wenn eine Benutzerbedienung durch diese Anforderung erhalten wird (JA in Schritt S304), wählt die Fahrzeugsteuervorrichtung 2 einen Betriebsmodus entsprechend dieser Benutzerbedienungsinformation als den Betriebsmodus zum Extrahieren von Verkehrszeicheninformation (Schritt S302). Wenn andererseits, auch nach der Meldung in Schritt S303, keine Benutzerbedienung erhalten wird (NEIN in Schritt S304), setzt die Fahrzeugsteuervorrichtung 2 den Betriebsmodus zum Extrahieren von Verkehrszeicheninformation gemäß der Außenumgebung, oder entscheidet sich für die Nichtverwendung des Extraktionsergebnisses unabhängig von einer Benutzerbedienung (Schritt S305). Wenn zum Beispiel die durch die Meldung in Schritt S302 angeforderte Benutzerbedienung nicht durchgeführt wird und ein Land oder Gebiet basierend auf der Außenumgebungsinformation spezifiziert werden kann, kann die Fahrzeugsteuervorrichtung 2 einen Betriebsmodus wählen, der erste Lexikondaten entsprechend dem Land oder Gebiet verwendet. Auch wenn die durch die Meldung in Schritt S303 angeforderte Benutzerbedienung nicht erfolgt und basierend auf der Außenumgebungsinformation ein Land oder Gebiet nicht spezifiziert werden kann, kann die Fahrzeugsteuervorrichtung 2 einen Betriebsmodus mittels der zweiten Lexikondaten auswählen. Wenn ferner die durch die Meldung in Schritt S303 angeforderte Benutzerbedienung nicht erfolgt, kann die Fahrzeugsteuervorrichtung 2 die zweiten Lexikondaten wählen, unabhängig davon, ob ein Land oder Gebiet spezifiziert werden kann. Die Fahrzeugsteuervorrichtung 2 kann auch einen Betriebsmodus unabhängig von Benutzerbedienung setzen, oder kann den gegenwärtigen Betriebsmodus beibehalten, und entscheiden, das Verkehrszeichenextraktionsergebnis, das in dem Betriebsmodus erhalten wird, bei der Steuerung des Fahrzeugs nicht zu verwenden.
Übrigens kann ein Betriebsmodus auch durch Benutzerbedienung allein bestimmt werden. Das heißt, wenn eine Benutzerbedienung erfolgt, damit das Fahrzeug nur einem vorbestimmten Land oder Gebiet entspricht, kann ein Betriebsmodus auch basierend auf dieser Benutzerbedienung gesetzt werden, ohne die Bestimmung in Schritt S301 durchzuführen. Das heißt, ein Betriebsmodus kann basierend auf zumindest auf Benutzerbedienung bestimmt werden, und kann nach Bedarf auch unter Berücksichtigung der Außenumgebungsinformation bestimmt werden. Die macht es unnötig, die Prozesse der Schritte S301 und S303 bis S305 auszuführen, wie in 3 mit den gepunkteten Linien angegeben.
Wieder im Bezug auf 2 veranlasst die Fahrzeugsteuervorrichtung 2, dass die Erkennungseinheit 21 einen Verkehrszeichenextraktionsprozess durch den in Schritt S203 bestimmten Betriebsmodus ausführt (Schritt S204) und führt eine vorbestimmte Steuerung an dem Fahrzeug 1 basierend auf dem Extraktionsergebnis aus. Die vorbestimmte Steuerung kann enthalten, die extrahierte Verkehrszeicheninformation dem Benutzer zu präsentieren, eine Fahrtsteuerung basierend auf der extrahierten Verkehrszeicheninformation durchzuführen, und dergleichen.
Wie oben beschrieben, kann die Fahrzeugsteuervorrichtung 2 die Verkehrszeichenerkennungsgenauigkeit verbessern, indem ein Betriebsmodus basierend auf Benutzerbedienung an einem Fahrzeug gesetzt wird.
(Zusammenfassung der Ausführung)
1. Eine Fahrzeugsteuervorrichtung gemäß der obigen Ausführung ist eine Fahrzeugsteuervorrichtung zum Steuerung eines Fahrzeugs, wobei die Vorrichtung konfiguriert ist zum: Erhalten eines Bilds durch Aufnehmen einer Umgebung des Fahrzeugs; Erhalten von Information einer Benutzerbedienung, die an dem Fahrzeug durchgeführt und von dem Fahrzeug akzeptiert wird; Extrahieren von Information eines in dem Bild enthaltenen Verkehrszeichens mittels eines basierend auf der Benutzerbedienung bestimmten Betriebsmodus; und Steuern des Fahrzeugs zur Ausführung eines vorbestimmten Prozesses basierend auf der Information des Verkehrszeichens.
In dieser Ausführung kann die Fahrzeugsteuervorrichtung Verkehrszeichen durch einen geeigneten Betriebsmodus basierend auf einer vom Benutzer des Fahrzeugs durchgeführten Bedienung extrahieren.
2. Es wird die Fahrzeugsteuervorrichtung gemäß der obigen Ausführung angegeben, worin die Benutzerbedienung ein Schalten ist, um eine Einstellung des Fahrzeugs entsprechend einem Land oder Gebiet durchzuführen.
Wenn in dieser Ausführung ein Betrieb entsprechend einem Land oder einem Gebiet, wo das Fahrzeug bleibt, durchgeführt wird, kann die Fahrzeugsteuervorrichtung ein Verkehrszeichen durch einen dem Land oder dem Gebiet entsprechenden Betriebsmodus extrahieren.
3. Es wird die Fahrzeugsteuervorrichtung gemäß der obigen Ausführung angegeben, worin das Schalten enthält, Einheiten von Geschwindigkeit oder Distanz zu schalten.
In dieser Ausführung kann die Fahrzeugsteuervorrichtung zwischen Verkehrszeichen in Ländern oder Gebieten, wo die Einheiten von Geschwindigkeit oder Distanz unterschiedlich sind, genau unterscheiden.
4. Es wird die Fahrzeugsteuervorrichtung gemäß der obigen Ausführung angegeben, worin der Betriebsmodus ein Betriebsmodus ist, um das in dem Bild enthaltene Verkehrszeichen zu erkennen.
In dieser Ausführung kann ein Betriebsmodus, der zur genauen Erkennung von Verkehrszeichen in der Lage ist, basierend auf Benutzerbedienung bestimmt werden.
5. Es wird die Fahrzeugsteuervorrichtung gemäß der obigen Ausführung angegeben, worin der Betriebsmodus zum Erkennen des Verkehrszeichens einen ersten Modus, der Referenzinformation verwendet, die einem Land oder Gebiet entspricht, sowie einen zweiten Modus, der Referenzinformation verwendet, die durch Erfassen von Information für eine Mehrzahl von Ländern oder Gebieten erhalten wird, enthält.
In dieser Ausführung ist es möglich, Verkehrszeichen durch den ersten Modus mittels einem Land oder Gebiet entsprechender Referenzinformation genau zu erkennen, und Verkehrszeichen durch den zweiten Modus auch dann zu erkennen, wenn ein Land oder Gebiet nicht spezifiziert werden kann.
6. Es wird die Fahrzeugsteuervorrichtung gemäß der obigen Ausführung angegeben, worin, wenn basierend auf der Benutzerbedienung bestimmt wird, dass das Fahrzeug in einem vorbestimmten Land oder Gebiet fährt, das in dem Bild enthaltene Verkehrszeichen mittels Referenzinformation entsprechend dem vorbestimmten Land oder Gebiet durch den ersten Modus erkannt wird.
Wenn in dieser Ausführung ein Land oder Gebiet, wo ein Fahrzeug fährt, durch Benutzerbedienung spezifiziert werden kann, kann ein Verkehrszeichen mittels dem Land oder Gebiet entsprechender Referenzinformation genau extrahiert werden.
7. Es wird die Fahrzeugsteuervorrichtung gemäß der obigen Ausführung angegeben, worin, wenn ein Land oder Gebiet, wo das Fahrzeug fährt, basierend auf zumindest der Benutzerbedienung nicht bestimmt wird, das in dem Bild enthaltene Verkehrszeichen mittels einer Mehrzahl von Ländern oder Gebieten durch gemeinsame Referenzinformation durch den zweiten Modus erkannt wird.
In dieser Ausführung können Verkehrszeichen auch dann erkannt werden, wenn ein Land oder Gebiet, wo das Fahrzeug fährt, nicht spezifiziert werden kann.
8. Es wird die Fahrzeugsteuervorrichtung gemäß der obigen Ausführung angegeben, worin, wenn das Fahrzeug ein Ziel detektiert, das nicht einem Betriebsmodus entspricht, der basierend auf der Benutzerbedienung bestimmt ist, die Vorrichtung das Setzen eines Betriebsmodus unabhängig von der Benutzerbedienung und/oder einer Meldung an den Benutzer, dass der Benutzer die Benutzerbedienung an dem Fahrzeug durchführen sollte, und/oder die Nichtverwendung von Information des extrahierten Verkehrszeichens bei der Steuerung des Fahrzeugs ausführt.
Wenn in dieser Ausführung ein Ziel, das nicht zu einem basierend auf Benutzerbedienung bestimmten Betriebsmodus passt, detektiert wird, weil die Benutzerbedienung ungeeignet ist oder der Benutzer vergessen hat, eine Bedienung durchzuführen, kann der Einfluss der Entscheidung des Betriebsmodus durch Benutzerbedienung unterdrückt werden.
9. Ein Fahrzeug gemäß der obigen Ausführung umfasst die oben genannte Fahrzeugsteuervorrichtung.
In dieser Ausführung kann eine geeignete Steuerung in Echtzeit durchgeführt werden, indem der oben beschriebene Prozess innerhalb des Fahrzeugs rasch ausgeführt wird.
10. Ein Verfahren gemäß der obigen Ausführung ist ein Verfahren zur Ausführung durch eine Fahrzeugsteuervorrichtung zum Steuern eines Fahrzeugs, welches aufweist: Erhalten eines Bilds durch Aufnehmen einer Umgebung des Fahrzeugs; Erhalten von Information einer Benutzerbedienung, die an dem Fahrzeug durchgeführt und von dem Fahrzeug akzeptiert wird; Extrahieren von Information eines in dem Bild enthaltenen Verkehrszeichens mittels eines basierend auf der Benutzerbedienung bestimmten Betriebsmodus; und Steuern des Fahrzeugs zur Ausführung eines vorbestimmten Prozesses basierend auf der Information des Verkehrszeichens.
In dieser Ausführung kann die Fahrzeugsteuervorrichtung ein Verkehrszeichen durch einen geeigneten Betriebsmodus basierend auf einer vom Benutzer des Fahrzeugs durchgeführten Bedienung extrahiert werden.
Während die vorliegende Erfindung im Bezug auf die Ausführungsbeispiel beschrieben worden ist, versteht es sich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Der Umfang der folgenden Ansprüche dient als breiteste Interpretierung, um alle Modifikationen, Äquivalente, Strukturen und Funktionen zu umfassen.
Eine Fahrzeugsteuervorrichtung zum Steuern eines Fahrzeugs erhält ein Bild durch Aufnehmen einer Umgebung des Fahrzeugs, erhält Information einer Benutzerbedienung, die an dem Fahrzeug durchgeführt und von dem Fahrzeug akzeptiert wird, extrahiert Information eines in dem Bild enthaltenen Verkehrszeichens mittels eines basierend auf der Benutzerbedienung bestimmten Betriebsmodus, und steuert das Fahrzeug zur Ausführung eines vorbestimmten Prozesses basierend auf der Information des Verkehrszeichens.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102009057553 A1 [0002, 0003]

Claims

Fahrzeugsteuervorrichtung (2) zum Steuern eines Fahrzeugs, wobei die Vorrichtung konfiguriert ist zum: Erhalten (11) eines Bilds durch Aufnehmen einer Umgebung des Fahrzeugs; Erhalten (22) von Information einer Benutzerbedienung, die an dem Fahrzeug durchgeführt und von dem Fahrzeug akzeptiert wird; Extrahieren (21) von Information eines in dem Bild enthaltenen Verkehrszeichens mittels eines basierend auf der Benutzerbedienung bestimmten Betriebsmodus; und Steuern (24) des Fahrzeugs zur Ausführung eines vorbestimmten Prozesses basierend auf der Information des Verkehrszeichens.
Die Vorrichtung nach Anspruch 1, wobei die Benutzerbedienung ein Schalten ist, um eine Einstellung des Fahrzeugs entsprechend einem Land oder Gebiet durchzuführen.
Die Vorrichtung nach Anspruch 2, wobei das Schalten enthält, Einheiten von Geschwindigkeit oder Distanz zu schalten.
Die Vorrichtung nach einem der Ansprüche 1 bis 3, wobei der Betriebsmodus ein Betriebsmodus ist, um das in dem Bild enthaltene Verkehrszeichen zu erkennen.
Die Vorrichtung nach Anspruch 4, wobei der Betriebsmodus zum Erkennen des Verkehrszeichens einen ersten Modus, der Referenzinformation verwendet, die einem Land oder Gebiet entspricht, sowie einen zweiten Modus, der Referenzinformation verwendet, die durch Erfassen von Information für eine Mehrzahl von Ländern oder Gebieten erhalten wird, enthält.
Die Vorrichtung nach Anspruch 5, wobei, wenn basierend auf der Benutzerbedienung bestimmt wird, dass das Fahrzeug in einem vorbestimmten Land oder Gebiet fährt, das in dem Bild enthaltene Verkehrszeichen mittels Referenzinformation entsprechend dem vorbestimmten Land oder Gebiet durch den ersten Modus erkannt wird.
Die Vorrichtung nach Anspruch 5 oder 6, wobei, wenn ein Land oder Gebiet, wo das Fahrzeug fährt, basierend auf zumindest der Benutzerbedienung nicht bestimmt wird, das in dem Bild enthaltene Verkehrszeichen mittels einer Mehrzahl von Ländern oder Gebieten durch gemeinsame Referenzinformation durch den zweiten Modus erkannt wird.
Die Vorrichtung nach einem der Ansprüche 1 bis 7, wobei, wenn das Fahrzeug ein Ziel detektiert, das nicht einem Betriebsmodus entspricht, der basierend auf der Benutzerbedienung bestimmt ist, die Vorrichtung das Setzen eines Betriebsmodus unabhängig von der Benutzerbedienung und/oder einer Meldung an den Benutzer, dass der Benutzer die Benutzerbedienung an dem Fahrzeug durchführen sollte, und/oder die Nichtverwendung von Information des extrahierten Verkehrszeichens bei der Steuerung des Fahrzeugs ausführt.
Fahrzeug (1), das eine Fahrzeugsteuervorrichtung von einem der Ansprüche 1 bis 8 aufweist.
Verfahren zur Ausführung durch eine Fahrzeugsteuervorrichtung (2) zum Steuern eines Fahrzeugs, welches aufweist: Erhalten eines Bilds durch Aufnehmen einer Umgebung des Fahrzeugs (S202); Erhalten von Information einer Benutzerbedienung, die an dem Fahrzeug durchgeführt und von dem Fahrzeug akzeptiert wird (S201); Extrahieren von Information eines in dem Bild enthaltenen Verkehrszeichens mittels eines basierend auf der Benutzerbedienung bestimmten Betriebsmodus (S203, S204); und Steuern des Fahrzeugs zur Ausführung eines vorbestimmten Prozesses basierend auf der Information des Verkehrszeichens (S205).