DE19954001B4

DE19954001B4 - Verfahren und Einrichtung zur elektronischen Verkehrszeichenerkennung

Info

Publication number: DE19954001B4
Application number: DE19954001A
Authority: DE
Inventors: Rudolf Mai; Frank Pfeffer; Carsten Woche; Ricky Hudi; Christoph Leemann
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 1999-11-10
Filing date: 1999-11-10
Publication date: 2006-12-28
Anticipated expiration: 2019-11-11
Also published as: DE19954001A1

Abstract

Verfahren zur elektronischen Verkehrszeichenerkennung mittels elektronischer Bilderfassung und automatischer logischer Bildauswertung, wobei
die Sicht- und Fahrverhältnisse gesondert elektronisch erfasst und automatisch logisch ausgewertet werden und dass darauf entsprechend abgestimmt die Bilderfassung durch die entsprechende Steuerung oder Auswertung der eingesetzten Sensorsysteme situationsspezifisch optimiert wird, wobei
bei zunehmender Eigengeschwindigkeit das Verkehrszeichen aus größerer Entfernung bereits gesucht und bei Erfassung durch elektronisch generiertes Heranzoomen optisch vergrößert wird, wobei
die tageszeit- und/oder witterungsabhängigen Lichtverhältnisse zur Bestimmung eines frühen Zeitpunktes des Heranzoomens aus größerer Entfernung mitberücksichtigt werden.

Description

Die Erfindung betrifft ein Verfahren sowie eine Einrichtung zur elektronischen Verkehrszeichenerkennung mittels elektronischer Bilderfassung und automatisch logischer Bildauswertung.
Verfahren und Einrichtungen dieser Art werden im Automobilbau bereits vielfach getestet und sind daher in verschiedenster Form bekannt. Wegen der Komplexität der Verkehrszeichenerkennung über elektronische Mittel, sind Verfahren und Einrichtungen dieser Art in der Praxis noch nicht zu finden. Die Einführung von Verfahren und Einrichtungen dieser Art ist für Serienfahrzeuge jedoch bereits in unmittelbarer Nähe. Verfahren und Einrichtungen dieser Art sind grundsätzlich technisch machbar, jedoch müssen diese in einem vertretbaren Verhältnis zum technischen Aufwand für Kraftfahrzeuge stehen, mit anderen Worten, die dazu notwendigen Mittel müssen bezahlbar sein. Darüber hinaus darf die Notwendigkeit von elektronischen Verarbeitungsgeräten nicht solche Ausmaße annehmen, dass die Unterbringung der notwendigen Geräte im Kraftfahrzeug Schwierigkeiten bereiten würde.
Auf Versuchsstrecken werden jedoch bereits funktionstüchtige und im Geräteaufwand vertretbare Verfahren und Einrichtungen erprobt. Diese Erprobungen werden zumeist unter Idealbedingungen durchgeführt. Für das Ziel einer Alltagstauglichkeit bedarf es aber Systeme, die auch mit visuell schwierigen Situationen, wie Regen, Dämmerlicht, vorausfahrende Fahrzeuge, sowie mit hohen Relativ- und Absolutfahrgeschwindigkeiten zurechtkommen.

Zur generellen elektronischen Verkehrszeichenerkennung beim Einsatz in Kraftfahrzeugen ist beispielsweise aus der DE 296 10 677 U1 ein Bilderfassungsgerät zur optischen Abtastung und Erkennung von am Straßenrand aufgestellten Verkehrsschilder durch Mustervergleich bekannt. Dabei werden die erfaßten Bilddaten innerhalb des Kraftfahrzeuges in entsprechender Weise angezeigt. Der Fahrzeugführer wird dadurch gesondert auf die entsprechende Verkehrssituation bzw. Beschilderung hingewiesen. Hierbei ist es bereits wichtig, dass die Verkehrsschilder an der erwarteten Stelle am Straßenrand aufgestellt werden, weil das Bilderfassungsgerät ansonsten Schwierigkeiten mit der Abtastung hätte. Zum einen sind solche Normplazierungen nicht in allen Situationen möglich, wie beispielsweise im Baustellenbereich und dgl. und zum anderen kommen Tageslichtverhältnisse hinzu, die die optische Abtastung und Erkennung erheblich erschweren.

Aus der DE 298 02 953 U1 ist eine permanente optische Abtastung des rechten Fahrbahnrandes durch Videokamera bekannt. Die so erfaßten Daten werden an einen Rechner im Kraftfahrzeug übermittelt. Innerhalb des Rechners erfolgt eine Auswertung der erfaßten Bilddaten, ggf. nach Mustern, und das Ermittlungsergebnis wird visuell und/oder akustisch im Fahrzeug angezeigt.

Aus der DE 295 20 819 U1 ist eine geschwindigkeitsbegrenzende Einrichtung bekannt, welche mit einer Codeerkennung von Verkehrszeichen arbeitet. Die Verkehrszeichen werden bei einer Einrichtung dieser Art nicht optisch erfaßt, sondern jedes Verkehrszeichen enthält eine Codierung, die innerhalb des Kraftfahrzeuges beim Passieren desselben erfaßt werden kann. Die so ermittelten Bedeutungsinhalte der Verkehrszeichen werden innerhalb des Fahrzeuges logisch umgesetzt und als geschwindigkeitsbegrenzende Eingriffnahme auf die Steuerung des Fahrzeuges geleitet. Das heißt, hierbei werden Gaspedalbetätigung und Bremspedalbetätigung beeinflußt. Nachteilig ist hierbei, dass die Verkehrszeichen nicht als solches erfaßt werden, sondern jedes Verkehrszeichen entweder mit einem Sender oder einem entsprechenden optischen Code versehen sein müßte, der sodann gelesen werden kann.

Aus der DE 36 19 824 C2 (nächstkommender Stand der Technik) ist ein Bildsensor bekannt, welcher Bilddaten aus unterschiedlichen Blickrichtungen liefert. Die Summe aller Bilddaten wird gesammelt und in Verbindung mit der Verkehrszeichenerkennung werden Höchstgeschwindigkeitssollwerte ermittelt, die dann innerhalb des Fahrzeuges angezeigt werden. Die Summe aus mehreren Bildsensoren ergibt somit zwar ein größeres Blickfeld, jedoch werden unterschiedliche Tageslichtverhältnisse sowie auch Verkehrsverhältnisse nicht gesondert berücksichtigt.

Im allgemeinen sind weitere Verfahren sowie Einrichtungen bekannt, bei welchen die Optik von Bildsensoren oder Videokameras im Hinblick auf ihre Brennweite verändert werden kann. Auch hier findet keine gesonderte Berücksichtigung der Tagesverhältnisse oder auch der Sichtverhältnisse statt.

Wesentlich ist überdies, dass auch bei höheren Fahrgeschwindigkeiten Verkehrszeichen sicher erkannt werden müssen. Bei höheren Fahrgeschwindigkeiten kommen die schwierigen Tageslichtverhältnisse und weitere Verkehrsflußparameter erschwerend hinzu.

Aus der JP 113 123 00 A ist eine Fahrzeugkamera mit fahrzeuggeschwindigkeitsabhängiger Zoomfunktion zur Aufnahme und Wiedergabe des Straßenverlaufs bekannt, insbesondere zur Wiedergabe von verkehrsrelevanten Objekten. Bei hoher Fahrzeuggeschwindigkeit wird dabei der Fernbereich der Straße mit Straßenobjekten vor dem Fahrzeug durch Heranzoomen erfasst.

Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren sowie eine Einrichtung der gattungsgemäßen Art dahingehend zu verbessern, dass situationsberücksichtigende, frühzeitige bzw. rechtzeitige Verkehrszeichenerkennung möglich ist, die hohe Fahrgeschwindigkeiten, wie auch Verkehrssituationen insgesamt berücksichtigen.

Bei einem Verfahren der gattungsgemäßen Art ist die gestellte Aufgabe erfindungsgemäß durch die Merkmale des Patentanspruches 1 gelöst.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den abhängigen Ansprüchen 2-5 angegeben.

Hinsichtlich einer Einrichtung der gattungsgemäßen Art ist die gestellte Aufgabe erfindungsgemäß durch die Merkmale des Patentanspruches 6 gelöst.

Weitere vorteilhafte Ausgestaltungen der erfindungsgemäßen Einrichtung sind in den übrigen Ansprüchen angegeben.

Die verfahrensgemäße erfinderische Lehre besteht darin, dass die Sicht- und/oder Fahr- und/oder Verkehrsverhältnisse gesondert elektronisch erfaßt und automatisch logisch ausgewertet werden und dass daraus abgestimmt, die Bilderfassung durch die entsprechende Steuerung oder Auswertung der eingesetzten Sensorsysteme situationsspezifisch optimiert wird. Zur Verkehrszeichenerkennung kommt eine Situationserkennung durch eine entsprechend übergeordnete Auswertung der Bildsensordaten hinzu. Die Bildsensordaten sind somit nicht mehr alleine nur fixiert auf die Erkennung der Verkehrszeichen, sondern erkennen die Situation als solche und gehen dann im Hinblick auf eine sichere Erfassung des Verkehrszeichens, die Verkehrsverhältnisse berücksichtigend, auf die Steuerung der Optik der Bilderfassungseinheit ein.

Dabei wird bei zunehmender Eigengeschwindigkeit das Verkehrszeichen bereits aus großer Entfernung gesucht und bei Erfassung durch elektronisches Heranzoomen vergrößert wird. Hierdurch ist realisiert, dass eine frühzeitige Ausschau nach entsprechenden Verkehrszeichen vom System automatisch ausgelöst wird, sobald die Eigengeschwindigkeit des Fahrzeuges zunehmend ist. Auf diese Weise wird das Bilderfassungssystem schon frühzeitig auf durch hohe Geschwindigkeiten sehr rasch herannahende Verkehrszeichen optimiert. Weiter werden die Tageszeit und/oder witterungsabhängige Lichtverhältnisse in entsprechender Weise mitberücksichtigt und das Verkehrszeichen durch entsprechende Einstellung der Optik bereits aus größerer Entfernung anvisiert bzw. gesucht und gezoomt.

Weiterhin vorteilhaft ist vorgeschlagen, dass bei Erfassung des Verkehrszeichens durch Heranzoomen, auf die Geschwindigkeit des Kraftfahrzeuges abgestimmt, die Optik derart nachgeregelt wird, dass für die Dauer der optisch logischen Erfassung und Verifizierung, die Schärfe fortlaufend kontinuierlich nachgeregelt wird.

Hierdurch wird gewährleistet, dass in Berücksichtigung der Eigengeschwindigkeit, die Optik durch ein permanentes Nachzoomen das Verkehrszeichen in optimaler eingestellter Brennweite erfaßt, und während des Heranfahrens an das Verkehrszeichen für die Dauer, die für die Erfassung und Verifizierung des Verkehrszeichens benötigt wird, in der Elektronik ein deutlich und sicher auswertbares Quasi-Standbild entsteht.

Weiterhin ist vorteilhaft, dass die Verkehrsdichte optisch und elektronisch logisch erfaßt wird, und dass unter Erzielung einer vorausschauenden Verkehrszeichenerfassung, auch bei temporärer Verdeckung der Verkehrszeichen durch andere Fahrzeuge, die Verkehrszeichen bereits aus größerer Entfernung anvisiert und gezoomt werden. Diese Ausgestaltung hat den Vorteil, dass das System nicht mehr statisch auf einen gewissen Erfassungsbereich festgelegt ist, sondern dass das System insgesamt erheblich vorausschauender arbeitet. Hierzu wird die Verkehrsdichte als weiterer Bewertungsparameter hinzugenommen, um beispielsweise das Verkehrszeichen in solchen Fällen auch bei niedrigeren Geschwindigkeiten bereits aus großer Entfernung zu suchen, anzuvisieren und zu zoomen. Hierdurch wird verhindert, dass bei hoher Verkehrsdichte das Verkehrszeichen unerkannt bleibt.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass Sonnensensordaten ebenfalls berücksichtigt werden, um ggf. einen sehr viel früheren Zeitpunkt zur Erfassung des Verkehrszeichens festzulegen, d. h. bereits aus großer Entfernung zu suchen, anzuvisieren und zu zoomen. Hierdurch entstehen Winkelverhältnisse, die erheblich günstiger sind, als beim optischen Erfassen des Verkehrszeichens aus direkter, unmittelbarer Nähe.

Ebenso vorteilhaft ist dabei die Mitberücksichtigung von Regensensordaten, die im übrigen in der gleichen Weise bei entsprechender Wetterlage eine frühzeitige Anvisierung und Zoomung des Verkehrszeichens bewirkt.

Weiterhin vorteilhaft ist, das Verfahren in die Betriebsweise mit einem Navigationssystem dahingehend einzubinden, dass örtlich schwierige Parameter, wie beispielsweise auftretende oder wiederholt auftretende hohe Verkehrsdichten mitberücksichtigt werden. Im Hinblick auf die erfindungsgemäße Einrichtung besteht der Kern der Erfindung darin, dass über die Kamera oder über weitere Sensoren die Umgebungsdaten, wie Sicht-, Fahr- und Verkehrsverhältnisse erfaßbar und bewertbar sind, und dass entsprechende Kameranachführungsmittel oder Mittel zum Zoomen der Kameraoptik derart beeinflußbar sind, dass das Verkehrszeichen bereits aus großer Entfernung anvisiert und zur Erfassung gezoomt werden kann.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass über Tachosensoren die aktuelle Geschwindigkeit informationstechnisch mit der elektronischen Einheit zur Ansteuerung der Kameraoptik und/oder -nachführung verschaltet ist. Insgesamt ist hierdurch eine Einrichtung gegeben, die nach einem oben beschriebenen Verfahren arbeitet bzw. dasselbe realisierbar macht.

In weiterer vorteilhafter Ausgestaltung sind Abstandssensoren vorgesehen, mit deren Hilfe man Abstände zu vorausfahrenden Fahrzeugen, ggf. Relativgeschwindigkeiten auch unter Berücksichtigung der Eigengeschwindigkeit bestimmen kann, um bereits im Vorfeld die Sichtverhältnisse logisch auswerten zu können, ob es beispielsweise notwendig wird, das Verkehrszeichen bereits aus großer Entfernung zu zoomen, weil beim Herannahen Fahrzeuge die Verkehrszeichen verdecken könnten. Um solche Situationen elektronisch werten zu können, bedarf es entsprechender Mustervergleichsverfahren.

In weiterer Realisierung der angegebenen, verfahrensgemäßen Ausgestaltung sind Lichtsensoren vorgesehen, die Tageszeit oder Lichtverhältnisse als solches deuten und auswerten können und auf das entsprechende Verfahren in der beschriebenen, vorausschauenden Weise einwirken können. Ebenso ist dann auch einrichtungsgemäß Sonnensensor und Regensensor vorhanden und entsprechend logisch mit der Einrichtung verschaltet.

Eine entsprechend logische Verschaltung findet auch mit dem Navigationssystem in einer entsprechenden Ausgestaltungsform der erfindungsgemäßen Einrichtung statt. Die Verschaltung der einzelnen Elemente insgesamt und untereinander mit der besagten Einrichtung kann durch fahrzeuginterne Bussysteme auf einfache Weise realisiert werden. Weiterhin sind Mittel vorgesehen, um wiederkehrende Muster erkennen zu können, bzw. als solche zu identifizieren und daraufhin entsprechende Muster zu hinterlegen. Dies in Verbindung mit dem erfindungsgemäßen Verfahren schafft ein selbstlernendes System, welches nicht nur im Hinblick auf neue Verkehrszeichen selbstlernende Parameter für weitergehende neue Muster erlernt, sondern es werden auch Verkehrssituationen als solche erfaßt und mitberücksichtigt und im wiederkehrenden Fall auch entsprechend verwertet.

Die Erfindung ist in der Zeichnung dargestellt und nachfolgend näher beschrieben.
Die Abbildung zeigt die prinzipielle Verschaltung der wichtigsten Elemente und deren funktionsmäßiges Zusammenwirken. Im Kraftfahrzeug ist an entsprechend geeigneter Stelle, beispielsweise im Scheinwerferbereich vorne, eine Kamera 1 angeordnet. Die Kamera 1 enthält im übrigen eine elektrisch einstellbare Optik bzw. optische Mittel 50. Die Bilddaten, die von der Kamera 1 erfaßt werden, werden dem Auswerterechner 2 zugeführt. Des weiteren sind ein Regensensor 10, ein Sonnensensor 20 sowie ein Tachosensor 30 vorgesehen. Die Ausgangswerte dieser Sensoren werden ebenfalls dem Auswerterechner 2 zugeführt. Zwischen dem Auswerterechner 2 und der Navigationseinrichtung 40 ist ebenfalls eine logische signaltechnische Verbindung. Der Ausgang des Auswerterechners ist mit einer elektronischen Anzeigeeinrichtung 60 verbunden. Diese elektronische Anzeigeeinrichtung 60 kann visuell oder ggf. auch visuell oder akustisch arbeiten. Durch entsprechende Sprachgeneration können die erkannten Verkehrszeichen oder Verkehrssituationen auch als Sprachnachricht in den Fahrgastraum generiert werden.
Ein weiterer Abgang aus dem Auswerterechner 2 ist mit dem optischen Nachführsystem der optischen Mittel 50 der Kamera 1 verbunden. Im Auswerterechner 2 werden nunmehr alle verfügbaren Daten gesammelt. So werden als erstes und übergeordnet die einkommenden Bilddaten der Kamera 1 zugeführt. Die Daten von Regensensor 10, Sonnensensor 20 und Tachosensor 30, sowie die des Navigationssystemes 40, werden zusätzlich eingespeist.
Innerhalb des Auswerterechners werden zunächst nach logischen Mustervergleichsverfahren die Bilddaten ausgewertet. Die Daten von Regensensor, Sonnensensor und Tachosensor sowie auch der Navigationseinrichtung werden zusätzlich berücksichtigt, um genügende Daten dem Regelkreis für die Nachführung der optischen Mittel 50 der Kamera 1 zur Situationsbewertung zur Verfügung zu haben. Innerhalb des Auswerterechners 2 wird somit die Gesamtsituation gewertet. Im oben beschriebenen Falle werden bei schwierigen Verkehrssituationen Steuersignale aus dem Auswerterechner 2 generiert, die die optischen Mittel 50 der Kamera 1 nachstellen. So wird beispielsweise dann vorausschauend bei entsprechender Situation das Verkehrszeichen frühzeitig und aus großer Entfernung gesucht, anvisiert und sodann zur Erkennung und Deutung und Auswertung gezoomt. Besonders wirksam ist in diesem Fall, dass der Auswerterechner 2 eine Fülle von Daten, die über die reinen Bilddaten hinausgehend sind, zur Verfügung hat, um die sodann einkommenden Bilddaten wiederum besser auszuwerten bzw. die Optik in entsprechender Weise nachführen zu können. Dies unterscheidet sich deutlich von einem mehr oder weniger undifferenzierten Heranzoomen der Verkehrszeichen.
Insgesamt entsteht um den Auswerterechner und die Kamera herum ein geschlossener Regelkreis, der letztendlich die Stellmittel für das Nachführungssystem mit Hilfe der optischen Mittel 50 der Kamera 1 ansteuert und somit wiederum die einkommenden Bilddaten verbessert. Es entsteht nicht nur ein signaltechnischer, sondern auch ein logischer Regelkreis. Bei verifizierter Erkennung eines Verkehrszeichens wird dasselbe entweder visuell oder akustisch auf der Anzeige 60 dargestellt bzw. hörbar gemacht.

Claims

Verfahren zur elektronischen Verkehrszeichenerkennung mittels elektronischer Bilderfassung und automatischer logischer Bildauswertung, wobei die Sicht- und Fahrverhältnisse gesondert elektronisch erfasst und automatisch logisch ausgewertet werden und dass darauf entsprechend abgestimmt die Bilderfassung durch die entsprechende Steuerung oder Auswertung der eingesetzten Sensorsysteme situationsspezifisch optimiert wird, wobei bei zunehmender Eigengeschwindigkeit das Verkehrszeichen aus größerer Entfernung bereits gesucht und bei Erfassung durch elektronisch generiertes Heranzoomen optisch vergrößert wird, wobei die tageszeit- und/oder witterungsabhängigen Lichtverhältnisse zur Bestimmung eines frühen Zeitpunktes des Heranzoomens aus größerer Entfernung mitberücksichtigt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei Erfassung des Verkehrszeichens durch Heranzoomen auf die Geschwindigkeit des Kraftfahrzeuges abgestimmt die Optik derart nachgeregelt wird, dass für die Dauer der optisch logischen Erfassung und Verifizierung die Schärfe fortlaufend kontinuierlich nachgeregelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verkehrsdichte optisch und elektronisch logisch erfasst und unter Erzielung einer vorausschauenden Verkehrszeichenerfassung auch bei temporärer Verdeckung der Verkehrszeichen durch andere Fahrzeuge die Verkehrszeichen bereits aus größerer Entfernung anvisiert und gezoomt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Sonnensensordaten und/oder Regensensordaten in entsprechender Weise mitberücksichtigt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das System unter Einbeziehung des Navigationssystems zumindest an wiederholt gleichartig schwierigen Orten die entsprechenden Parameter oder aber das Verkehrszeichen als solches ortsbezogen abgespeichert wird bzw. werden.
Einrichtung zur elektronischen Verkehrszeichenerkennung mittels elektronischer Bilderfassung und automatisch logischer Bildauswertung, wobei die Verkehrszeichenerfassung über eine Kamera oder über Bildsensoren erfolgt und in einem elektronischen Auswerterechner logisch ausgewertet werden, wobei über die Kamera (1) oder über weitere Sensoren (10, 20, 30) die Sicht- und Fahrverhältnisse erfassbar und bewertbar sind und dass entsprechende Kameranachführungsmittel oder entsprechende optische Mittel (50) zum Zoomen der Kameraoptik derart beeinflussbar sind, dass das Verkehrszeichen bereits aus großer Entfernung anvisiert und zur Erfassung gezoomt wird, wobei über Tachosensoren (30) die aktuelle Geschwindigkeit informationstechnisch mit dem elektronischen Auswerterechner (2) zur Ansteuerung der Kameraoptik und/oder nachführung verschaltet ist und dass Lichtsensoren vorgesehen sind, über welche Tageszeit oder Lichtverhältnisse erfassbar und ebenfalls dem Auswerterechner (2) zuführbar sind.
Einrichtung nach Anspruch 6, dadurch gekennzeichnet, dass Abstandssensoren vorgesehen sind, welche auf die gleiche Weise informationstechnisch mit dem Auswerterechner (2) verschaltet sind.
Einrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass mindestens ein Sonnensensor (20) und/oder Regensensoren (10) vorgesehen sind, welche entsprechende Daten dem Auswerterechner (2) zuführen.
Einrichtung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass der Auswerterechner (2) des Systems ebenfalls mit dem bordeigenen Navigationssystem (40) verschaltet ist.
Einrichtung nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass Speicherelemente vorgesehen sind, über welche wiederkehrende Muster in ausreichender Anzahl abspeicherbar sind.