DE102014214711B4 - Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem - Google Patents

Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem Download PDF

Info

Publication number
DE102014214711B4
DE102014214711B4 DE102014214711.5A DE102014214711A DE102014214711B4 DE 102014214711 B4 DE102014214711 B4 DE 102014214711B4 DE 102014214711 A DE102014214711 A DE 102014214711A DE 102014214711 B4 DE102014214711 B4 DE 102014214711B4
Authority
DE
Germany
Prior art keywords
routes
image
traffic sign
assistance system
rectangular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102014214711.5A
Other languages
English (en)
Other versions
DE102014214711A1 (de
Inventor
Alexander Behrens
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Priority to DE102014214711.5A priority Critical patent/DE102014214711B4/de
Priority to US14/808,257 priority patent/US9792511B2/en
Publication of DE102014214711A1 publication Critical patent/DE102014214711A1/de
Application granted granted Critical
Publication of DE102014214711B4 publication Critical patent/DE102014214711B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Automation & Control Theory (AREA)

Abstract

Verfahren (20) zum Betrieb eines Assistenzsystems (2) eines Kraftfahrzeugs zur Detektion eines rechteckförmigen Verkehrszeichens (4), bei dem- mittels einer Kamera (8) ein Bild (16) des Verkehrszeichens (4) erfasst wird,- innerhalb des erfassten Bildes (16) drei oder weniger erste Strecken (40) bestimmt werden, wobei die ersten Strecken (40) mittels eines Gradientenverfahrens bestimmt werden, und- anhand der ersten Strecken (40) ein Abbild (18) des Verkehrszeichens (4) identifiziert wird.

Description

  • Die Erfindung betrifft ein Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie ein Assistenzsystem eines Kraftfahrzeugs.
  • Mittels Verkehrszeichen werden Führer von Kraftfahrzeugen auf Gefahren oder bestehende gesetzliche Regelungen hingewiesen. Beispielsweise werden mit Hilfe von Verkehrszeichen bestehende Geschwindigkeitsbegrenzungen, Überholverbote oder Beschaffenheiten von Straßen angegeben. Auch wird eine Verkehrsführung mittels Verkehrszeichen repräsentiert, wie z.B. das Vorhandensein einer Einbahnstraße oder einer Sackgasse sowie ein Verbot einer Einfahrt in eine bestimmte Straße. In jüngster Zeit werden Kraftfahrzeuge mit einer zunehmenden Anzahl von Assistenzsystemen ausgerüstet, um den Führern von Kraftfahrzeugen den Betrieb derselben zu erleichtern. So sind Assistenzsysteme bekannt, mittels derer Verkehrszeichen erfasst werden. Hierfür wird mittels einer Kamera ein Bereich vor dem Kraftfahrzeug aufgenommen und ein hierin abgebildetes Verkehrszeichen bestimmt.
  • Zur Bestimmung des Verkehrszeichens wird das erstellte Bild überprüft, ob hierin ein bekanntes Muster vorhanden ist, das ein Abbild des Verkehrszeichens repräsentiert. Runde Verkehrszeichen unterscheiden sich hierbei lediglich in dem Durchmesser, der mittels geeigneter Skalierung des Abbilds des Verkehrszeichens angepasst werden kann. Eine Herausforderung bilden rechteckförmige Verkehrszeichen, da sich diese üblicherweise in deren Höhen- zu Breitenverhältnis vergleichsweise ausgeprägt unterscheiden. So existieren im Wesentlichen quadratische Verkehrszeichen, aber auch Verkehrszeichen, deren Breite das 1,5-Fache deren Höhe beträgt. Ebenso sind Verkehrszeichen länderspezifisch, so dass innerhalb des Assistenzsystems eine Vielzahl unterschiedlicher Verkehrszeichenformen hinterlegt werden muss, um einen ordnungsgemäßen Betrieb zu gewährleisten. Dies ist vergleichsweise aufwendig und speicherintensiv.
  • Zudem muss das erstellte Bild auf ein Vorliegen sämtlicher hinterlegter Verkehrszeichenformen analysiert werden. Dies benötigt vergleichsweise viel Rechenleistung, so dass eine Auswertung des erfassten Bildes im Wesentlichen in Echtzeit nicht oder nur mittels einer vergleichsweise kostenintensiven Recheneinheit realisiert werden kann. Daher werden nicht sämtliche Bilder erfasst, die mittels einer Kamera des Assistenzsystems erfassbar wären. Infolgedessen ist es möglich, dass ein Verkehrszeichen mittels des Assistenzsystems nicht erfasst wird, und folglich der Führer des Kraftfahrzeugs auf dessen Existenz nicht hingewiesen wird.
  • In US 2010 / 0 067 805 A1 ist ein Verfahren zur Identifizierung eines Verkehrszeichens offenbart, wobei zur Identifizierung eines dreieckförmigen Verkehrszeichens drei gerade Linien verwendet werden.
  • Aus „Shojania, H.: Real-time Traffic Sign Detection. Project Report, Fall 2003“ ist ein Verfahren zur Detektion von Verkehrszeichen bekannt, bei dem die Eckebereiche des zu erfassenden Verkehrszeichen bestimmt werden.
  • In „Cardarelli, E. [et al.]: Road signs shapes detection based on Sobel phase analysis. IEEE Intelligent Vehicles Symposium IV, 2009, pp. 376-381“ ist ein Verfahren zur Detektion von dreieckförmigen Verkehrszeichen offenbart, bei dem mindestens drei Kanten erfasst werden.
  • Aus Parada -Loira, F. [et al.]: Local Contour Patterns for Fast Traffic Sign Detection. IEEE Intelligent Vehicles Symposium IV, 2010, pp. 1-6" ist ein System zur Detektion von runden und dreieckigen Verkehrszeichen bekannt.
  • US 8 340 420 B2 beschreibt eine Methode zur Erkennung von dreieck- oder viereckförmigen Verkehrszeichen anhand von x- oder y-Achsen-Histogrammen und anhand einer Polynomregression.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs zur Detektion eines polygonen Verkehrszeichens sowie ein Assistenzsystem anzugeben, wobei die Identifikation des Verkehrszeichens innerhalb des erfassten Bildes insbesondere vergleichsweise zeitsparend und vorzugsweise vergleichsweise robust erfolgt.
  • Hinsichtlich des Verfahrens wird die Aufgabe durch die Merkmale des Anspru-chs 1 und hinsichtlich des Assistenzsystems durch die Merkmale des Anspruchs 9 erfindungsgemäß gelöst. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der Unteransprüche.
  • Mittels des Verfahrens wird ein Assistenzsystem eines Kraftfahrzeugs betrieben. Das Verfahren und das Assistenzsystem dienen hierbei der Detektion eines rechteckförmigen Verkehrszeichens. Mittels des Verfahrens wird ein rechteckförmiges Verkehrszeichen detektiert. Mittels einer Kamera wird ein Bild des Verkehrszeichens erfasst. Die Kamera ist beispielsweise eine Mono- oder Stereokamera und vorzugsweise in eine Fahrtrichtung des Kraftfahrzeugs ausgerichtet. Geeigneterweise wird hierbei das Bild digitalisiert. Zweckmäßigerweise weist hierfür die Kamera einen Chip, beispielsweise einen CCD- oder einen CMOS-Chip auf.
  • In einem weiteren Arbeitsschritt werden innerhalb des erfassten Bildes drei oder weniger erste Strecken bestimmt. Unter Strecke wird insbesondere eine geradlinig verlaufende Kurve verstanden. Die maximale Länge jeder der ersten Strecken ist hierbei mittels der Ausdehnung des Bildes begrenzt. Beispielsweise weist zumindest eine der ersten Strecken eine Anzahl von Streckenabschnitten auf, die zueinander beabstandet sind, jedoch auf einer gemeinsamen Geraden liegen. Zusammenfassend ist jede der ersten Strecken insbesondere eine geradlinig verlaufende Kurve mit Streckenabschnitten, die entweder zusammenhängend oder zueinander beabstandet sind, jedoch stets auf der gemeinsamen Geraden liegen. Die Anzahl der bestimmten ersten Strecken ist geringer als die Anzahl der Kanten des rechteckförmigen Verkehrszeichens. Da ein rechteckförmiges Verkehrszeichen bestimmt werden soll, beträgt folglich die Anzahl der ersten Strecken gleich drei oder weniger. Anhand der ersten Strecken wird ein Abbild des Verkehrszeichens identifiziert. Hierbei wird jeder ersten Strecke eine der Kanten des Verkehrszeichens zugeordnet. Mit anderen Worten entspricht jede der ersten Strecken einer der abgebildeten Kanten des Verkehrszeichens. Zusammenfassend repräsentieren die ersten Strecken die Kanten, wobei zur Identifizierung des Abbilds des Verkehrszeichens weniger erste Strecken herangezogen werden als das Verkehrszeichen Kanten aufweist.
  • Infolgedessen ist bei der Identifizierung des Abbilds zumindest ein Freiheitsgrad vorhanden, so dass bei einem vergleichsweise qualitätsarmen Bild, beispielsweise bei einem verringerten Kontrast, auch sicher das Abbild identifiziert werden kann. Auch ist ein Rechenaufwand zur Bestimmung der ersten Strecken im Vergleich zur Bestimmung einer zur Anzahl der Kanten korrespondierenden Anzahl von ersten Strecken reduziert, weswegen das Verfahren vergleichsweise zeitsparend ausgeführt werden kann. Ferner ist muss aufgrund des vorhandenen Freiheitsgrads nicht das vollständige Abbild des Verkehrszeichens in einem Speicher hinterlegt werden, sondern die Hinterlegung bestimmter Abschnitte hiervon reicht zur Durchführung des Verfahrens aus. Beispielsweise ist ein Winkel zwischen zwei Kanten und/oder ein Verhältnis von zumindest zwei Kanten eines bestimmten Verkehrszeichens innerhalb des Assistenzsystems hinterlegt. Sobald eine derartige Signatur, also der hinterlegte Winkel und/oder das Verhältnis der Kanten, innerhalb des Bilds bestimmt wurde, ist somit das Verkehrszeichen identifiziert.
  • Vorzugsweise werden nach Identifizierung des Abbilds des Verkehrszeichens in einem weiteren Schritt weitere Strecken bestimmt, die die verbleibenden abgebildeten Kanten des Verkehrszeichens repräsentieren. Alternativ oder in Kombination hierzu wird das mittels des Verkehrszeichens abgebildete Symbol identifiziert. Beispielsweise wird ein das Verkehrszeichen repräsentierendes Symbol einem Führer des Kraftfahrzeugs angezeigt, beispielsweise mittels eines Head-up-Displays, Kombiinstrument, oder das Symbol wird auf eine Frontscheibe des Kraftfahrzeugs projiziert.
  • Erfindungsgemäß werden die ersten Strecken innerhalb des Bildes mittels eines Gradientenverfahrens bestimmt. Hierfür wird geeigneterweise das Bild in eine Anzahl von Unterabschnitten unterteilt und jedem Unterabschnitt ein bestimmter Wert zugewiesen. Sofern das Bild digitalisiert vorliegt, entspricht jeder geeigneterweise insbesondere einem Pixel. Der Wert ist beispielsweise ein Helligkeits- oder Farbwert. Unterscheiden sich die Werte zweier benachbarter Unterabschnitte um mehr als einen Grenzwert, so wird angenommen, dass zwischen diesen zumindest ein Abschnitt einer der ersten Strecken vorhanden ist. Sofern eine Anzahl derartiger Abschnitte identifiziert wurde, die vorzugsweise miteinander in Kontakt, und geradlinig angeordnet sind, ist eine der ersten Strecken identifiziert. Auf diese Weise werden vergleichsweise sicher die ersten Strecken innerhalb des Bildes bestimmt. Geeigneterweise werden die ersten Strecken mittels eines Hysterese -Verfahrens, insbesondere dem Canny-Kantenoperator bestimmt.
  • Indem die Anzahl der ersten Strecken der Anzahl der Kanten des Verkehrszeichens abzüglich eins beträgt, ist bei der Identifizierung des Abbilds des Verkehrszeichens genau ein Freiheitsgrad vorhanden. Folglich werden bei einem rechteckförmigen Verkehrszeichen genau drei erste Strecken bestimmt. Infolgedessen ist auch eine Identifizierung von Abbildern von Verkehrszeichen ermöglicht, deren Verhältnis von Höhe zu Breite unbekannt ist oder sich von einem bestimmten Wert unterscheidet, wobei jedoch eine fehlerhafte Identifizierung von weiteren Objekten als Verkehrszeichen vermieden wird. Zur Identifizierung ist es ausreichend, wenn der Abstand der beiden zueinander parallelen ersten Strecken bekannt ist oder aber das Bild wird in einem weiteren Arbeitsschritt passend skaliert.
  • Geeigneterweise wird innerhalb des Bildes ein Bereich definiert, innerhalb dessen die ersten Strecken bestimmt werden. Mit anderen Worten wird nicht das vollständige Bild auf das Vorhandensein der ersten Strecken hin überprüft. Auf diese Weise ist die Geschwindigkeit, mit der das Verfahren ausgeführt werden kann, weiter erhöht. Beispielsweise ist der Bereich konstant oder wird insbesondere abhängig von aktuellen Anforderungen angepasst, wie einer Geschwindigkeit oder Trajektorie des Kraftfahrzeugs. Alternativ oder besonders bevorzugt in Kombination hierzu wird innerhalb des Bildes eine Anzahl zweiter Strecken bestimmt, wobei die Anzahl der zweiten Strecken größer als die Anzahl der ersten Strecken und insbesondere größer oder gleich der Anzahl der Kanten ist. Aus den auf diese Weise bestimmten zweiten Strecken werden die ersten Strecken ausgewählt. Mit anderen Worten entspricht jede der ersten Strecken einer der zweiten Strecken. Beispielsweise weist zumindest eine der zweiten Strecken eine Anzahl von Streckenabschnitten auf, die zueinander beabstandet sind, jedoch auf einer gemeinsamen Geraden liegen. Mit anderen Worten ist jede der zweiten Strecken insbesondere eine geradlinig verlaufende Kurve mit Streckenabschnitten, wobei die jeweiligen Streckenabschnitten entweder zusammenhängend oder zueinander beabstandet sind, und wobei jedoch sämtliche Streckenabschnitten jeder der zweiten Strecken stets auf einer jeweiligen gemeinsamen Geraden liegen. Vorzugsweise werden hierbei sämtliche zweiten Strecken mittels eines Gradientenverfahrens bestimmt. Insbesondere wird das Verfahren abgebrochen, sofern innerhalb des erfassten Bildes nicht eine bestimmte Anzahl von zweiten Strecken bestimmt wurde. Insbesondere wird das Verfahren abgebrochen, wenn die Anzahl der zweiten Strecken geringer als eine vorgegebene Anzahl von ersten Strecken ist. Alternativ hierzu wird das Verfahren abgebrochen, falls der Gradientenverlauf bei zumindest einer der zweiten Strecken einen Schwellwert unterschreitet, sofern ein Gradientenverfahren zur Bestimmung der zweiten Strecken herangezogen wird. Insbesondere werden lediglich derartige Strecken als erste Strecken und/oder zweite Strecken herangezogen, die eine vorgegebene Mindestlänge aufweisen. Geeigneterweise werden die zweiten Strecken mittels eines Hysterese -Verfahrens, insbesondere dem Canny-Kantenoperator bestimmt.
  • In einer besonders bevorzugten Ausführungsform der Erfindung werden sämtliche Strecken innerhalb des Bereichs bestimmt, wofür insbesondere ein Gradientenverfahren herangezogen wird. Aus dieser Gesamtzahl der Strecken werden die zweiten Strecken ausgewählt. Insbesondere werden lediglich sämtliche im Wesentlichen horizontal und/oder vertikal verlaufende Strecken innerhalb des Bereichs bestimmt und als zweite Strecken herangezogen. Insbesondere werden hiervon lediglich diejenigen Strecken als zweite Strecke herangezogen, die eine bestimmte Mindestlänge aufweisen. Unter im Wesentlichen horizontal bzw. vertikal wird eine horizontal bzw. vertikal laufende Strecke verstanden, wobei eine absolute Abweichung von beispielsweise bis zu 10°, 5°, 3°, 2° oder 1° darunter erfasst ist. Infolgedessen werden ebenfalls verkippte, also nicht korrekt positionierte, Verkehrszeichen identifiziert. Ebenso wird eine perspektivische Verzerrung bei einer nicht senkrechten Ausrichtung bezüglich des Kraftfahrzeugs kompensiert. Aufgrund der Heranziehung sämtlicher derartiger Strecken ist die Wahrscheinlichkeit zur korrekten Identifizierung des Abbilds des Verkehrszeichens erhöht. auch repräsentieren derartig verlaufende Strecken meist künstliche Objekte, zu denen Verkehrszeichen zählen.
  • Insbesondere wird als Bereich eine Anzahl von Rechteckformen gewählt. Mit anderen Worten setzt sich der Bereich aus einer Anzahl von Rechteckformen zusammen, die beispielsweise in Kontakt miteinander oder zueinander beabstandet sind. Vorzugsweise sind die Rechteckformen hierbei vertikal bzw. horizontal ausgerichtet. Auf diese Weise ist das Bild vergleichsweise einfach in den Bereich aufteilbar. Auch ist die Bestimmung der zweiten Strecken vergleichsweise einfach, sofern als zweite Strecken sämtliche horizontalen und vertikalen Strecken innerhalb des Bereichs herangezogen werden. Hierbei werden geeigneterweise innerhalb der vertikal ausgerichteten Rechteckformen lediglich im Wesentlichen vertikal verlaufende Strecken und innerhalb der horizontal ausgerichteten Rechteckformen lediglich im Wesentlichen horizontal verlaufende Strecken bestimmt. Unter horizontal ausgerichteter Rechteckform wird hierbei insbesondere ein Rechteck verstanden, dessen horizontale Ausdehnung größer als dessen vertikale Ausdehnung ist, und dessen Kanten horizontal oder vertikal angeordnet sind.
  • Geeigneterweise wird die Größe der Rechteckformen verändert, also dessen Breite und/oder Höhe. Auf diese Weise ist die Wahrscheinlichkeit erhöht, dass sich eine der abgebildeten Kanten des Verkehrszeichens innerhalb einer der Rechteckformen befindet, wobei nicht das vollständige Bild auf das Vorhandensein einer derartigen Kante hin analysiert wird. Andererseits ist es auf diese Weise auch ermöglicht, nicht korrekt ausgerichtete Verkehrszeichen zu identifizieren, sofern also die Kanten beispielsweise nicht exakt horizontal ausgerichtet sind, und die Rechteckform im Wesentlichen horizontal angeordnet ist.
  • In einer besonders bevorzugten Ausführungsform der Erfindung sind die Rechteckformen U-förmig angeordnet. Mit anderen Worten sind zwei der Rechteckformen parallel zueinander, jedoch beabstandet und eine dritte Rechteckform freiendseitig und senkrecht zu diesen angeordnet. Insbesondere werden hierbei rechteckförmige Verkehrszeichen detektiert, und die Anzahl der ersten Strecken beträgt insbesondere drei. Vorzugsweise sind hierbei die Rechteckformen im Wesentlichen horizontal bzw. vertikal ausgerichtet. Beispielsweise überlappen sich die Rechteckformen in deren jeweiligem Endbereich oder besonders bevorzugt sind die Rechteckformen zueinander beabstandet. Auf diese Weise werden etwaige Artefakte in Eckbereichen des Abbilds des Verkehrszeichens nicht beachtet, was Fehler bei der Identifizierung des Abbilds vermeidet. Vorzugsweise sind die parallel angeordneten Rechteckformen vertikal verlaufend, weisen folglich in vertikaler Richtung eine größere Ausdehnung als in horizontaler Richtung auf.
  • Die dritte Rechteckform weist in horizontaler Richtung eine größere Ausdehnung als in vertikaler Richtung auf. Insbesondere werden innerhalb der vertikal verlaufenden Rechteckformen sämtliche im Wesentlichen vertikal verlaufende Strecken bestimmt und als zweite Strecken herangezogen, und innerhalb der horizontal verlaufenden Rechteckform sämtliche horizontal verlaufende Strecken als zweite Strecken herangezogen. Die beiden vertikal verlaufenden Kanten des Verkehrszeichens unterliegen bei der Abbildung keiner perspektivischen Verzerrung, sodass die Fehleranfälligkeit verringert wird. Zweckmäßigerweise ist die horizontal verlaufende Rechteckform oberhalb der vertikal verlaufenden Rechteckformen angeordnet oder befindet sich zumindest im Bereich eines oberen Freiendes der Rechteckformen, wobei unter oberer Bereich derjenige Teil des Bildes verstanden wird, der einen Bereich der Umgebung abbildet, der sich oberhalb des Bereichs des Bildes befindet, der innerhalb der vertikalen Rechteckformen abgebildet ist. Folglich ist es ermöglicht, mittels der vertikal verlaufenden Rechteckform die obere abgebildete Kante des Verkehrszeichens als eine der ersten Strecke zu bestimmen. Sofern ein Gradientenverfahren verwendet wird ist dies vergleichsweise fehlerunanfällig, da diese Kante meist an den abgebildeten Himmel angrenzt, was zu einem vergrößerten Kontrast führt.
  • Zweckmäßigerweise wird jeder der Rechteckformen genau einem der ersten Strecken zugeordnet. Mit anderen Worten entspricht die Anzahl der Rechteckformen der Anzahl der ersten Strecken. Auf diese Weise ist es ermöglicht, die Größe der Rechteckformen vergleichsweise gering zu wählen, also deren Fläche, was die Geschwindigkeit des Verfahrens vergrößert. Auch ist es ermöglichst, die Rechteckformen in denjenigen Teil des Bildes zu positionieren, der am wahrscheinlichsten eine der ersten Strecken enthält. Sofern zwei vertikal verlaufenden Rechteckformen eine horizontal verlaufenden Rechteckform als Bereich herangezogen werden, werden folglich zwei vertikal verlaufende erste Strecken und eine horizontal verlaufende erste Strecke zur Identifizierung des Abbilds des Verkehrszeichens herangezogen.
  • Das Assistenzsystem eines Kraftfahrzeugs dient der Detektion eines rechteckförmigen Verkehrszeichens. Vorzugsweise umfasst das Assistenzsystem eine Kamera, insbesondere eine Mono- oder Stereokamera, und insbesondere eine Recheneinheit. Das Assistenzsystem ist vorgesehen und eingerichtet, mittels einer Kamera ein Bild des Verkehrszeichens zu erfassen sowie innerhalb des erfassten Bildes eine Anzahl von ersten Strecken zu bestimmen, wobei die Anzahl der ersten Strecken geringer als die Anzahl der Kanten des Verkehrszeichens ist. Anhand der ersten Strecken wird ein Abbild des Verkehrszeichens identifiziert.
  • Nachfolgend werden Ausführungsbeispiele der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen:
    • 1 schematisch vereinfacht ein Assistenzsystem,
    • 2 ein Verfahren zum Betrieb des Assistenzsystems, und
    • 3 und 4 jeweils ein Abbild eines Verkehrszeichens.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • In 1 ist schematisch vereinfacht ein Assistenzsystem 2 eines Kraftfahrzeugs zur Detektion eines rechteckigen Verkehrszeichens 4 dargestellt. Das Assistenzsystem 2 weist eine Kamera 8 mit einem CCD-Chip sowie eine Recheneinheit 10 als auch eine Signaleinrichtung 12 auf, die signaltechnisch miteinander gekoppelt sind. Hierbei werden mittels der Recheneinheit 10 die mit Hilfe der Kamera 8 erstellten Bilder analysiert und mittels der Signaleinrichtung 12 dem Führer des Kraftfahrzeugs das Vorhandensein des Verkehrszeichens 4 mitgeteilt. Die Signaleinrichtung 12 ist ein Head-up-Display, mittels dessen diese Informationen auf die Frontscheibe des Kraftfahrzeugs projiziert werden.
  • Das Verkehrszeichen 4 wird mittels der Kamera 8 aufgenommen, wobei das Verkehrszeichen 4 rechteckförmig ist und somit vier Kanten 14 aufweist, die im rechten Winkel zueinander angeordnet sind. Mittels der Kamera 8 wird ein in 3 und 4 gezeigtes Bild 16 erstellt, das ein Abbild 18 des Verkehrszeichens 4 enthält. Zur Identifizierung des Abbilds 18 innerhalb des Bildes 16 wird mittels der Recheneinheit 10 ein in 2 dargestellte Verfahren 20 durchgeführt.
  • Nach einem Startereignis 22, das beispielsweise der Start des Kraftfahrzeugs und die einsetzende Bestromung des Assistenzsystems 2 ist, wird ein erster Arbeitsschritt 24 ausgeführt, wobei mittels der Kamera 8 das Bild 16 erfasst und digitalisiert wird. In einem sich hieran anschließenden zweiten Arbeitsschritt 26 werden innerhalb eines Bereichs 28 des Bilds 16 eine Anzahl von zweiten Strecken 30 mittels eines Gradientenverfahrens bestimmt. Der Bereich 28 setzt sich hierbei aus zwei vertikal verlaufenden Rechteckformen 32 und einer horizontal verlaufenden Rechteckform 34 zusammen, die U-förmig angeordnet sind, wobei sich die jeweils einander zugewandten und innen liegenden Ecken der Rechteckformen 32,34 berühren. Die horizontale Reckteckform 34 ist oberhalb der beiden vertikalen Rechteckformen 32 angeordnet, also in einem Abschnitt des Bildes 16, der einen Bereich abbildet, der sich oberhalb der Bereiche befindet, die mit Hilfe der vertikalen Rechteckform 32 abgebildet ist.
  • Innerhalb der horizontalen Rechteckform 34 werden im Wesentlichen sämtliche horizontal verlaufende Strecken als die zweiten Strecken 30 herangezogen, wohingegen innerhalb der vertikalen Rechteckform 32 sämtliche im Wesentlichen vertikal verlaufende Strecken als zweite Strecken 30 herangezogen werden. Eine Strecke 36, die dieses Kriterium nicht erfüllt, wird nicht als zweite Strecke 30 herangezogen.
  • In einem dritten Arbeitsschritt 38 werden aus den zweiten Strecken 30 drei erste Strecken 40 ausgewählt. Hierbei wird jeder der Rechteckformen 32,34 jeweils einer der ersten Strecken 40 zugeordnet. Mit anderen Worten werden aus sämtlichen sich innerhalb einer der Rechteckformen 34,32 befindenden zweiten Strecken 30 jeweils genau eine als erste Strecke 40 bestimmt. Hierbei wird beispielsweise die Länge der zweiten Strecken 30 und/oder deren Ausprägungsstärke und/oder deren Orientierung und/oder deren Position als Kriterium zur Auswahl als erste Strecke 40 herangezogen.
  • Anhand der auf diese Weise bestimmten ersten Strecken 40 wird in einem vierten Arbeitsschritt 42 das Abbild 18 des Verkehrszeichens 4 identifiziert, wobei jede der ersten Strecken 40 als ein Abbild jeweils einer der Kanten 14 des Verkehrszeichens 4 herangezogen wird. Der Bereich zwischen den ersten Strecken 40 entspricht somit dem Abbild 18 des Verkehrszeichens 4. Hierbei ist auch eine Identifizierung eines in 4 gezeigten Abbilds 18 eines anderweitig geformten Verkehrszeichens 4 möglich, dessen untere Kante 14 nach unten verschoben ist, und das folglich eine vergrößerte Fläche aufweist. In diesem Fall enden die abgebildeten Kanten 14 nicht innerhalb der vertikalen Rechteckformen 32 sondern gehen auf die der horizontal angeordneten Rechteckform 34 gegenüberliegenden Enden über den Bereich 28 hinaus. Dieser Bereich der abgebildeten Kanten 14 des Verkehrszeichens 4 werden hierbei nicht mehr als erste Strecke 40 bestimmt. Im Unterschied zu dem in 3 gezeigten Bild 16 ist zudem bei dem in 4 gezeigten Bild 16 das Verfahren 20 abgewandelt, wobei lediglich die horizontal verlaufende Rechteckform 34 verändert wurde. Diese wurde verkleinert, was das Verfahren 20 beschleunigt.
  • Nach erfolgreicher Identifizierung des Abbilds 18 des Verkehrszeichens 4 wird das Verfahren 20 in einem weiteren Arbeitsschritt 44 beendet. Hieran anschließend wird ein weiteres Verfahren zur Auslesung des Verkehrszeichens 4 ausgeführt, wobei derjenige Abschnitt des Bildes 16 analysiert wird, der sich zwischen den ersten Strecken 40 befindet. Abhängig von dem Sinngehalt und/oder der Umgebung des Kraftfahrzeugs sowie dem Fahrstil des Führers des Kraftfahrzeugs wird die Signaleinrichtung 12 angesteuert und ein das Verkehrszeichen 4 symbolisierendes Piktogramm auf die Frontscheibe des Kraftfahrzeugs projiziert.
  • Die Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt. Vielmehr können auch andere Varianten der Erfindung von dem Fachmann hieraus abgeleitet werden, ohne den Gegenstand der Erfindung zu verlassen. Insbesondere sind ferner alle im Zusammenhang mit den Ausführungsbeispielen beschriebenen Einzelmerkmale auch auf andere Weise miteinander kombinierbar, ohne den Gegenstand der Erfindung zu verlassen.
  • Bezugszeichenliste
  • 2
    Assistenzsystem
    4
    Verkehrszeichen
    8
    Kamera
    10
    Recheneinheit
    12
    Signaleinrichtung
    14
    Kante
    16
    Bild
    18
    Abbild
    20
    Verfahren
    22
    Startereignis
    24
    erster Arbeitsschritt
    26
    zweiter Arbeitsschritt
    28
    Bereich
    30
    zweite Strecke
    32
    vertikale Rechteckform
    34
    horizontale Rechteckform
    36
    Strecke
    38
    dritter Arbeitsschritt
    40
    erste Strecke
    42
    vierter Arbeitsschritt
    44
    Ende

Claims (9)

  1. Verfahren (20) zum Betrieb eines Assistenzsystems (2) eines Kraftfahrzeugs zur Detektion eines rechteckförmigen Verkehrszeichens (4), bei dem - mittels einer Kamera (8) ein Bild (16) des Verkehrszeichens (4) erfasst wird, - innerhalb des erfassten Bildes (16) drei oder weniger erste Strecken (40) bestimmt werden, wobei die ersten Strecken (40) mittels eines Gradientenverfahrens bestimmt werden, und - anhand der ersten Strecken (40) ein Abbild (18) des Verkehrszeichens (4) identifiziert wird.
  2. Verfahren (20) nach Anspruch 1, bei dem innerhalb des Bildes (16) ein Bereich (28) definiert wird, innerhalb dessen eine Anzahl zweiter Strecken (30) bestimmt wird, aus denen die ersten Strecken (40) ausgewählt werden.
  3. Verfahren (20) nach Anspruch 2, bei dem als zweite Strecken (30) sämtliche im Wesentlichen horizontale und vertikale Strecken innerhalb des Bereichs (28) herangezogen werden.
  4. Verfahren (20) nach Anspruch 2 oder 3, bei dem als Bereich (28) eine Anzahl von Rechteckformen (32, 34) gewählt wird.
  5. Verfahren (20) nach Anspruch 4, bei dem die Größe der Rechteckformen (32, 34) verändert wird.
  6. Verfahren (20) nach Anspruch 4 oder 5, bei dem die Rechteckformen (32, 34) u-förmig angeordnet werden.
  7. Verfahren (20) nach Anspruch 6, bei dem als Bereich eine horizontal angeordnete und zwei vertikal angeordnete Rechteckformen (32, 34) herangezogen werden, wobei sich die horizontal angeordnete Rechteckform (34) insbesondere oberhalb der vertikal angeordneten Rechteckformen (32) befindet.
  8. Verfahren (20) nach einem der Ansprüche 4 bis 7, bei dem jeder Rechteckform (32, 34) eine erste Strecke (40) zugeordnet wird.
  9. Assistenzsystem (2) eines Kraftfahrzeugs zur Detektion eines rechteckförmigen Verkehrszeichens (4), das gemäß einem Verfahren (20) nach einem der Ansprüche 1 bis 8 betrieben ist.
DE102014214711.5A 2014-07-25 2014-07-25 Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem Active DE102014214711B4 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102014214711.5A DE102014214711B4 (de) 2014-07-25 2014-07-25 Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
US14/808,257 US9792511B2 (en) 2014-07-25 2015-07-24 Method for the operation of an assistance system of a motor vehicle, as well as assistance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014214711.5A DE102014214711B4 (de) 2014-07-25 2014-07-25 Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem

Publications (2)

Publication Number Publication Date
DE102014214711A1 DE102014214711A1 (de) 2016-01-28
DE102014214711B4 true DE102014214711B4 (de) 2023-01-05

Family

ID=55065520

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014214711.5A Active DE102014214711B4 (de) 2014-07-25 2014-07-25 Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem

Country Status (2)

Country Link
US (1) US9792511B2 (de)
DE (1) DE102014214711B4 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6552979B2 (ja) * 2016-02-16 2019-07-31 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法
US11448513B2 (en) * 2019-09-17 2022-09-20 Here Global B.V. Methods and systems for generating parallel road data of a region utilized when performing navigational routing functions
US12008819B2 (en) 2021-08-04 2024-06-11 Telenav, Inc. Navigation system with mono-camera based traffic sign tracking and positioning mechanism and method of operation thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100067805A1 (en) 2006-12-18 2010-03-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for identifying a traffic sign in an image
US8340420B2 (en) 2009-10-05 2012-12-25 National Taiwan University Method for recognizing objects in images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP2005346467A (ja) * 2004-06-03 2005-12-15 Nintendo Co Ltd 図形認識プログラム
EP2028605A1 (de) * 2007-08-20 2009-02-25 Delphi Technologies, Inc. Detektionsverfahren für symmetrische Muster
JP5924538B2 (ja) 2012-12-27 2016-05-25 マツダ株式会社 車両用標識認識装置
US9442723B2 (en) 2012-12-28 2016-09-13 Intel Corporation Method and apparatus for integral image computation instructions
JP6355908B2 (ja) * 2013-09-30 2018-07-11 国立大学法人広島大学 シンボル認識装置および車両用標識認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100067805A1 (en) 2006-12-18 2010-03-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for identifying a traffic sign in an image
US8340420B2 (en) 2009-10-05 2012-12-25 National Taiwan University Method for recognizing objects in images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CARDARELLI, E. [et al.]: Road signs shapes detection based on Sobel phase analysis. IEEE Intelligent Vehicles Symposium IV, 2009, pp. 376-381.
PARADA-LOIRA, F. [et al.]: Local Contour Patterns for Fast Traffic Sign Detection. IEEE Intelligent Vehicles Symposium IV, 2010, pp. 1-6.
SHOJANIA, H.: Real-time Traffic Sign Detection. Project Report, Fall 2003. Im Internet ab dem 11.12.2006 verfügbar unter der URL //web.archive.org/web/20061211044851/http://hassan.shojania.com/ ;abgerufen am 16.6.2015.

Also Published As

Publication number Publication date
US9792511B2 (en) 2017-10-17
US20160026882A1 (en) 2016-01-28
DE102014214711A1 (de) 2016-01-28

Similar Documents

Publication Publication Date Title
EP2394234B1 (de) Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung
DE102016118502A1 (de) Verfahren, Einrichtung und Vorrichtung zum Ermitteln einer Fahrbahngrenze
EP1557784B1 (de) Verfahren und Vorrichtung zum Assistieren beim Führen eines Kraftfahrzeuges
EP3529561B1 (de) System und verfahren zur erzeugung von digitalen strassenmodellen aus luft- oder satellitenbildern und von fahrzeugen erfassten daten
DE102014117102B4 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
DE102005015837A1 (de) Fahrspurerfassungsvorrichtung
EP2629243A1 (de) Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen
DE102008034304A1 (de) Eingebautes Bildverarbeitungsgerät für Fahrzeuge
EP2788245A1 (de) Verfahren und vorrichtung zur lokalisation einer vordefinierten parkposition
EP2023265A1 (de) Verfahren für eine Erkennung eines Gegenstandes
DE102015205685A1 (de) Fahrbahnmarkierungserkennungseinrichtung
DE102012201724A1 (de) Verkehrszeichenerkennungsvorrichtung
DE102018129388A1 (de) Erkennungsvorrichtung für die äussere umgebung von fahrzeugen
DE102014111012A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Ausparken, Fahrerassistenzsystem und Kraftfahrzeug
DE102014214711B4 (de) Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
EP3046076A1 (de) Verfahren zum Kalibrieren einer Bilderfassungseinrichtung
DE102007025147A1 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE102014201409B4 (de) Parkplatz - trackinggerät und verfahren desselben
DE102005017541A1 (de) Verfahren zur Erkennung von kreisförmigen Objekten
DE102017010495A1 (de) Verfahren und Vorrichtung zum Projizieren zumindest einer Information auf eine Projektionsfläche
DE102020004215A1 (de) Verfahren zur Darstellung einer Verkehrssituation in einem Fahrzeug
DE102009052868A1 (de) Verfahren zum Betrieb eines Fahrassistenzsystems eines Fahrzeugs
EP3520020B1 (de) Verkehrszeichenklassifikation in einem umgebungsbereich eines kraftfahrzeugs
DE102015204529A1 (de) Verfahren und Vorrichtung zur Objekterkennung in einem Fortbewegungsmittel
DE112017007812T5 (de) Fahrzeugperipheriebildanzeigevorrichtung und Fahrzeugperipheriebildanzeigeverfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE

R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06V0030190000

Ipc: G06V0020580000

R018 Grant decision by examination section/examining division
R020 Patent grant now final