DE102014214713A1 - Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem - Google Patents

Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem Download PDF

Info

Publication number
DE102014214713A1
DE102014214713A1 DE102014214713.1A DE102014214713A DE102014214713A1 DE 102014214713 A1 DE102014214713 A1 DE 102014214713A1 DE 102014214713 A DE102014214713 A DE 102014214713A DE 102014214713 A1 DE102014214713 A1 DE 102014214713A1
Authority
DE
Germany
Prior art keywords
traffic sign
motor vehicle
assistance system
image
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014214713.1A
Other languages
English (en)
Inventor
Alexander Behrens
Steen Kristensen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102014214713.1A priority Critical patent/DE102014214713A1/de
Priority to JP2016572790A priority patent/JP6234620B2/ja
Priority to DE112015000837.3T priority patent/DE112015000837A5/de
Priority to PCT/DE2015/200385 priority patent/WO2016012014A1/de
Publication of DE102014214713A1 publication Critical patent/DE102014214713A1/de
Priority to US15/414,975 priority patent/US10339803B2/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (14, 42) zum Betrieb eines Assistenzsystems (2) eines Kraftfahrzeugs (4). Mittels einer Kamera (8) des Assistenzsystems (2) wird ein Bild erfasst und innerhalb des erfassten Bildes ein Verkehrszeichen (6, 7) bestimmt. Eine Ausrichtung (α) des bestimmten Verkehrszeichens (6, 7) bezüglich des Kraftfahrzeugs (4) wird bestimmt, und von der Ausrichtung (α) wird eine Signaleinrichtung (12) des Assistenzsystems (2) angesteuert.

Description

  • Die Erfindung betrifft ein Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie ein Assistenzsystem eines Kraftfahrzeugs.
  • Mittels Verkehrszeichen werden Führer von Kraftfahrzeugen auf Gefahren oder bestehende gesetzliche Regelungen hingewiesen. Beispielsweise werden mit Hilfe von Verkehrszeichen bestehende Geschwindigkeitsbegrenzungen oder Beschaffenheiten von Straßen angegeben. Auch wird eine Verkehrsführung mittels Verkehrszeichen repräsentiert, wie z.B. das Vorhandensein einer Einbahnstraße oder einer Sackgasse sowie ein Verbot einer Einfahrt in eine bestimmte Straße. In jüngster Zeit werden Kraftfahrzeuge mit einer zunehmenden Anzahl von Assistenzsystemen ausgerüstet, um den Führern von Kraftfahrzeugen den Betrieb derselben zu erleichtern. So sind Assistenzsysteme bekannt, mittels derer Verkehrszeichen erfasst werden. Hierfür wird mittels einer Kamera ein Bereich vor dem Kraftfahrzeug aufgenommen und ein hierin abgebildetes Verkehrszeichen bestimmt.
  • Bei bestimmten Verkehrsführungen, wie beispielsweise Kreuzungen oder Gabelungen, ist es möglich, dass ein Verkehrszeichen erfasst wird, das keine Gültigkeit für den von dem Führer des Kraftfahrzeugs eingeschlagenen Weg aufweist. Um derartige fehlerhafte Erkennungen auszuschließen, wird üblicherweise das erfasste Verkehrszeichen mit einer gespeicherten Übersichtskarte abgeglichen. Zudem wird die Fahrzeugbewegung erfasst und hieraus ermittelt, ob das Verkehrszeichen für den von dem Fahrzeugführer gewählten Weg Gültigkeit besitzt. Nachteilig hieran ist, dass zwingend eine Übersichtskarte mit den Verkehrswegen vorhanden sein muss, um einen derartigen Abgleich vornehmen zu können. Sollte die Verkehrsführung geändert sein, beispielsweise aufgrund von Baustellen oder dergleichen, so ist ein fehlerfreier Betrieb des Assistenzsystems nicht mehr gewährleistet. Auch muss stets vergleichsweise aktuelles Kartenmaterial für den Betrieb vorhanden sein.
  • Der Erfindung liegt die Aufgabe zugrunde, ein besonders geeignetes Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs anzugeben, bei dem insbesondere Verkehrszeichen erfasst werden, die für den Kraftfahrzeugführer eine Relevanz aufweisen, wobei zweckmäßigerweise Kartenmaterial der Umgebung nicht erforderlich ist.
  • Hinsichtlich des Verfahrens wird die Aufgabe durch die Merkmale des Anspruchs 1 und hinsichtlich des Assistenzsystems durch die Merkmale des Anspruchs 10 erfindungsgemäß gelöst. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der Unteransprüche.
  • Das Verfahren sieht vor, dass in einem ersten Arbeitsschritt mittels einer Kamera ein Bild erfasst wird. Die Kamera ist hierbei beispielsweise eine Mono- oder Stereo-Kamera, weist also ein oder zwei Objektive auf. Insbesondere weist die Kamera in eine Fahrtrichtung des Kraftfahrzeugs. Vorzugsweise wird das Bild bei Erfassung digitalisiert, so dass das Bild digital vorliegt. Das Bild zeigt insbesondere einen vor dem Kraftfahrzeug liegenden Bereich bzw. repräsentiert diesen. Innerhalb des erfassten Bildes wird ein Verkehrszeichen bestimmt. Dies erfolgt beispielsweise mittels Mustererkennung oder dergleichen. Mit anderen Worten wird das erfasste Bild analysiert, ob ein Verkehrszeichen abgebildet ist. Unter Verkehrszeichen wird hierbei insbesondere ein Verkehrsschild verstanden. Das Verkehrszeichen, das bestimmt wird, weist hierbei insbesondere ein bestimmtes Muster und/oder Zeichen auf, wie Buchstaben oder Zahlen. In einem weiteren Arbeitsschritt wird die Ausrichtung des auf diese Weise bestimmten Verkehrszeichens bezüglich des Kraftfahrzeugs bestimmt. Hierfür wird insbesondere die Position und Ausrichtung der Kamera bezüglich weiterer Bestandteile des Kraftfahrzeugs herangezogen.
  • Zusammenfassend wird anhand des erfassten Bildes das Vorhandensein des Verkehrszeichens sowie dessen Ausrichtung bezüglich des Kraftfahrzeugs bestimmt. Unter Ausrichtung wird insbesondere der Winkel verstanden, der zwischen einer zur Längsrichtung des Kraftfahrzeugs parallelen Geraden und einer zu dem Verkehrszeichen parallelen Ebene gebildet ist.
  • In Abhängigkeit der auf diese Weise bestimmten Ausrichtung des Verkehrszeichens wird eine Signaleinrichtung des Assistenzsystems angesteuert. Die Signaleinrichtung weist beispielsweise eine Anzeigevorrichtung wie ein Multifunktionsdisplay oder ein Head-up-Display auf. Insbesondere wird mittels der Signaleinrichtung ein das Verkehrszeichen repräsentierendes Symbol dargestellt. Alternativ oder in Kombination hierzu umfasst die Signaleinrichtung ein akustisches Wiedergabegerät. Alternativ oder in Kombination hierzu ist die Signaleinrichtung eine Schnittstelle zu einem weiteren Assistenzsystem, beispielsweise zu einem Abstandsassistenten. Mit anderen Worten wird abhängig von der Ausrichtung mittels der Signaleinrichtung das weitere Assistenzsystem angesteuert. Beispielsweise wird die Signaleinrichtung angesteuert, falls das Verkehrszeichen ein Verbot repräsentiert. Geeigneterweise wird die Signaleinrichtung angesteuert, wenn die Ausrichtung des Verkehrszeichens bezüglich des Kraftfahrzeugs innerhalb eines bestimmten Winkelbereichs ist. Zweckmäßigerweise erfolgt keine Ansteuerung, wenn der Winkel zwischen der Längsrichtung des Kraftfahrzeugs und dem Verkehrszeichen selbst kleiner als 45° ist.
  • Aufgrund der Berücksichtigung der Ausrichtung des Verkehrszeichens wird die Signaleinrichtung nicht bei sämtlichen erfassten und bestimmten Verkehrszeichen angesteuert, was zu einem verminderten Informationsfluss und folglich einer geringeren Belastung des Fahrzeugführers führt. Zudem benötigt das Verfahren keine Informationen über eine Straßenführung, was die Komplexität und Fehleranfälligkeit verringert. Auch müssen keine Vorgaben bezüglich einer Schnittstelle zu einem Navigationssystems oder dergleichen erfüllt werden. Zweckmäßigerweise erarbeitet das Verfahren ohne Zuhilfenahme von Straßeninformationen und das Assistenzsystem ist nicht signaltechnisch mit einem Navigationssystem oder dergleichen gekoppelt.
  • In einer bevorzugten Ausführungsform der Erfindung wird die Position des Verkehrszeichens bezüglich des Kraftfahrzeugs bestimmt. Insbesondere erfolgt dies mittels des erfassten Bilds. Mit anderen Worten wird anhand des erfassten Bildes sowohl die Position als auch die Ausrichtung des Verkehrszeichens bezüglich des Kraftfahrzeugs bestimmt. Beispielsweise wird hierfür eine Stereokamera verwendet, und das Bild ist ein dreidimensionales Abbild zumindest eines Bereichs der Umgebung des Kraftfahrzeugs. Alternativ wird die Position mittels eines Wissens um die Größe des realen Verkehrszeichens und anhand der Größe des Abbilds des Verkehrszeichens innerhalb des erfassten Bildes ermittelt. Vorzugsweise erfolgt die Ansteuerung der Signaleinrichtung in Abhängigkeit der Position und der Ausrichtung des Verkehrszeichens. Beispielsweise wird die Signaleinrichtung angesteuert, sofern die Ausrichtung des Verkehrszeichens zur Längsrichtung des Kraftfahrzeugs 90° beträgt, und die Position des Verkehrszeichens von dem Kraftfahrzeug um weniger als einen bestimmten Wert abweicht. Alternativ oder in Kombination hierzu wird die Signaleinrichtung angesteuert, falls die Position des Verkehrszeichens von einer in Längsrichtung des Kraftfahrzeugs und durch dieses verlaufende Gerade um weniger als einen bestimmen Wert abweicht, wie beispielsweise 5 m. Sofern zum Beispiel ein bestimmter Abstand des Kraftfahrzeugs zu dem Verkehrszeichen auch bei einer Änderung einer Geschwindigkeit des Kraftfahrzeugs um einen weiteren bestimmten Wert nicht unterschritten werden kann, insbesondere aufgrund physikalischer Vorgaben, wird die Signaleinrichtung nicht angesteuert.
  • In einer besonders bevorzugten Ausführungsform der Erfindung wird die Ausrichtung des Verkehrszeichens anhand einer perspektivischen Verzerrung innerhalb des erfassten Bildes bestimmt. Mit anderen Worten wird die perspektivische Verzerrung des abgebildeten Verkehrszeichens ermittelt und mit einer hinterlegten Form des Verkehrszeichens verglichen. Da Verkehrszeichen üblicherweise regelmäßig geformt sind, insbesondere als Dreieck, Viereck oder Kreis, ist ohne Zuhilfenahme sonstiger vergleichsweiser komplexer Algorithmen eine Bestimmung der Ausrichtung ermöglicht. Vorzugsweise wird innerhalb des erfassten Bildes eine Gradientenlinie bestimmt, die insbesondere eine Kante des Verkehrszeichens repräsentiert, und beispielweise eine Schildkante. Vorzugsweise ist diese Kante horizontal ausgerichtet, so dass anhand der Gradientenlinien und deren Verkippung zu dem innerhalb des erfassten Bildes vorhandenen Horizont die Ausrichtung vergleichsweise zeitsparend ermittelt werden kann. Insbesondere wird die Gradientenlinie aufgrund eines Vergleichs von Farbwerten innerhalb des erfassten Bildes bestimmt. Hierfür wird das Bild in eine Anzahl von Bereichen unterteilt und jedem Bereich ein bestimmter Wert zugewiesen, abhängig von der Helligkeit oder der Farbe. Die Gradientenlinie verläuft hierbei zwischen zweien von diesen Bereichen, die sich in dem bestimmten Wert um über eine vorgegebene Schwelle unterscheiden. Auf diese Weise ist eine vergleichsweise zeitsparende und sichere Zuordnung der Gradientenlinie ermöglicht.
  • Alternativ hierzu wird zur Bestimmung der Ausrichtung eine Exzentrizität herangezogen, die das Abbild des Verkehrszeichens innerhalb des erfassten Bildes aufweist. Vorzugsweise wird dies bei runden Verkehrszeichen durchgeführt. Mit anderen Worten wird die horizontale und vertikale Ausdehnung des Abbilds des Verkehrszeichens innerhalb des erfassten Bildes bestimmt. Die Exzentrizität ist hierbei ein Maß für die Abweichung der horizontalen Ausdehnung des abgebildeten Verkehrszeichens zu dessen vertikalen Ausdehnung. Insbesondere ist die Exzentrizität proportional zur Wurzel aus der Differenz der Quadrate der beiden Ausdehnungen.
  • Vorzugsweise wird ein weiteres Bild erfasst und auch hierin das Verkehrszeichen bestimmt, wobei sich zweckmäßigerweise die Zeitpunkte der Erfassung der Bilder unterscheiden. Insbesondere unterscheidet sich die Position des Kraftfahrzeugs bezüglich des Verkehrszeichens bei Erfassung der beiden Bilder. Innerhalb des weiteren Bildes wird die Exzentrizität des Abbilds des Verkehrszeichens bestimmt. Die beiden ermittelten Exzentrizitäten werden miteinander verglichen, um die Ausrichtung des Verkehrszeichens bezüglich des Kraftfahrzeugs zu ermitteln.
  • Zweckmäßigerweise erfolgt dieser Vorgang wiederholt. Mit anderen Worten wird eine Anzahl weiterer Bilder erfasst und hierin jeweils das Verkehrszeichen bestimmt und anhand des jeweiligen Abbilds die Exzentrizität verglichen, so dass ein zeitlicher Verlauf der Exzentrizität des Abbilds des Verkehrszeichens vorliegt. Sofern keine Veränderung oder eine Abnahme der Exzentrizität vorliegt, wird die Signaleinrichtung angesteuert und ein Signal ausgegeben. Bei im Wesentlichen gleichbleibender Exzentrizität ändert sich die Ausrichtung des Verkehrszeichens bezüglich des Kraftfahrzeugs nicht. Insbesondere bei einer vergleichsweise geringen Exzentrizität ist hierbei anzunehmen, dass das Verkehrszeichen eine Bedeutung für den Kraftfahrzeugführer aufweist, und folglich es erforderlich ist, dies mittels der Signaleinrichtung zu signalisieren. Bei einer Abnahme der Exzentrizität ändert sich die Ausrichtung des Verkehrszeichens bezüglich des Kraftfahrzeugs, wobei eine verschwindende Exzentrizität im Wesentlichen einem senkrecht zur Längsrichtung des Kraftfahrzeugs ausgerichtetem Verkehrszeichen entspricht. Ein derartiges Verkehrszeichen ist mit überwiegender Wahrscheinlichkeit für den Fahrzeugführer relevant, und wird mittels der Signaleinrichtung dem Fahrzeugführer mitgeteilt wird. Vorzugsweise erfolgt bei einer Zunahme der Exzentrizität keine Ausgabe des Signals.
  • Alternativ oder in Kombination hierzu wird eine zur Ausrichtung des bestimmten Verkehrszeichens parallele Gerade definiert. Sobald das Kraftfahrzeug diese Gerade überquert, wird mittels der Signaleinrichtung ein Signal ausgegeben. Insbesondere wird hierbei die Position des Verkehrszeichens ebenfalls bestimmt, und die Gerade ist mittels der Position des Verkehrszeichens definiert. Mit anderen Worten verläuft die Gerade durch die Position des Verkehrszeichens. Alternativ ist die Gerade bezüglich der Position um einen bestimmten Wert in Richtung des Kraftfahrzeugs oder von diesem weg verschoben, wobei dieser Wert vorzugsweise zwischen 1 m und 10 m ist. Mit anderen Worten wird das Signal ausgegeben, wenn das Kraftfahrzeug einen Bereich hinter dem Verkehrszeichen erreicht oder sich diesem Bereich zumindest auf einen bestimmten Wert genähert hat. Vorzugsweise wird hierbei das Signal lediglich dann ausgegeben, wenn der Abstand zur Position des Verkehrszeichens bei Überquerung der Geraden geringer als ein vorgegebener Wert ist, wobei der Wert insbesondere der Breite einer Fahrbahn entspricht. Geeigneterweise ist der Abstand kleiner als 10 m, 5 m oder 2 m. Auf diese Weise wird auch bei einem Abbiegen des Kraftfahrzeugs auf einer Kreuzung ein sich auf einer gegenüberliegenden Fahrbahnseite befindendes Verkehrszeichen nicht fälschlicherweise zur Ausgabe des Signals herangezogen.
  • Das Assistenzsystem eines Kraftfahrzeugs weist eine Kamera und eine Signaleinrichtung und beispielweise eine Recheneinrichtung auf. Die Kamera ist beispielsweise eine Mono-Kamera oder eine Stereo-Kamera, weist also ein oder zwei zueinander versetzte Objektive auf. Insbesondere umfasst die Kamera einen Bildsensor zur Erfassung von Bildern, beispielsweise einen CCD- oder CMOS-Chip. Die Signaleinrichtung ist beispielsweise ein Head-up- oder Multifunktionsdisplay, oder eine Schnittstelle hierzu. Das Assistenzsystem dient der Bestimmung von Verkehrszeichen. Bei Betrieb wird zunächst mittels der Kamera ein Bild erfasst und innerhalb des erfassten Bildes ein Verkehrszeichen bestimmt. Die Ausrichtung des bestimmten Verkehrszeichens wird bestimmt und abhängig von der Ausrichtung mittels der Signaleinrichtung ein Signal ausgegeben. Das Assistenzsystem ist vorgesehen und eingerichtet, diese Arbeitsschritte durchzuführen. Beispielsweise ist das Assistenzsystem nicht mit einem Navigationssystem signaltechnisch gekoppelt. Vorzugsweise weist das Assistenzsystem keine Straßeninformationen bezüglich einer Umgebung des Kraftfahrzeugs auf, was eine Wartung des Assistenzsystems und dessen Herstellung vereinfacht.
  • Nachfolgend werden Ausführungsbeispiele der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen:
  • 1 Schematisch vereinfacht ein Assistenzsystem,
  • 2a ein erstes Verfahren zum Betrieb des Assistenzsystems,
  • 2b ein weiteres Verfahren, und
  • 3 schematisch vereinfacht ein das Assistenzsystem aufweisendes Kraftfahrzeug.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • In 1 ist schematisch vereinfacht ein Assistenzsystem 2 eines in 3 gezeigten Kraftfahrzeugs 4 zur Erfassung eines Verkehrszeichens 6, 7 schematisch vereinfacht dargestellt. Das Assistenzsystem 2 weist eine Kamera 8 mit zwei zueinander versetzten Objektiven auf, denen jeweils ein Bildsensor zugeordnet ist. Ferner weist das Assistenzsystem 2 eine Recheneinheit 10 sowie eine Signaleinrichtung 12 auf, die signaltechnisch miteinander gekoppelt sind. Hierbei werden mittels der Recheneinheit 10 die mittels der Kamera 8 erstellten Bilder analysiert, wobei jedes mittels der Kamera 8 erfasste Bild die Daten der beiden Bildsensoren enthalten. Die Signaleinrichtung 12 ist ein Head-up-Display, mittels dessen Informationen auf die Frontscheibe des Kraftfahrzeugs projiziert werden.
  • Das Assistenzsystem 2 ist gemäß dem in 2a dargestellten Verfahren 14 betrieben. Nach einem Startereignis 16 wird in einem ersten Arbeitsschritt 18 mittels der Kamera 8 ein Bild der Umgebung des Kraftfahrzeugs 4 erfasst. Das Startereignis 16 ist hierbei das Vorhandensein des Verkehrszeichens 6 im Erfassungsbereich der Kamera 8 oder der Start des Kraftfahrzeugs 4.
  • Das mittels der Kamera 8 erfasste Bild wird an die Recheneinheit 10 übermittelt. In einem zweiten Arbeitsschritt 20 wird das digitalisierte Bild ausgewertet und hierin das Abbild des Verkehrszeichens 6 identifiziert. In einem dritten Arbeitsschritt 22 werden dem Abbild des Verkehrszeichens 6 Gradientenlinien zugewiesen, die den Schildkanten des Verkehrszeichens 6 entsprechen. Mit anderen Worten werden die abgebildeten Schildkanten des rechteckförmigen Verkehrszeichens 6 innerhalb des erfassten Bildes bestimmt, was mittels eines Gradientenvergleichs der einzelnen Pixel des Bildes erfolgt. Hierbei wird eine derjenigen Gradientenlinien, die einer horizontalen Schildkante 24 entspricht, zu einer Geraden 26 verlängert und mit einer weiteren Geraden 28 zum Schnitt gebracht, die parallel zur Längsrichtung des Kraftfahrzeugs 4 ist und durch dieses reicht. Anhand des Schnittes der beiden Geraden 26, 28 wird eine Ausrichtung α des Verkehrszeichens 6 bezüglich des Kraftfahrzeugs 4 bestimmt, wobei die Ausrichtung α dem Schnittwinkel zwischen den beiden Geraden 26, 28 entspricht.
  • In einem vierten Arbeitsschritt 30 wird zudem die Position 32 des Verkehrszeichens 6 bezüglich des Kraftfahrzeugs 4 ermittelt, wobei dies mittels Triangulation anhand des mittels der Stereokamera aufgenommenen Bildes erfolgt.
  • In einem fünften Schritt 34 wird abhängig von der mittels des Kraftfahrzeugs 4 eingeschlagenen Trajektorie mittels der Signaleinrichtung 12 ein Signal ausgegeben. Eine erste Trajektorie 36 entspricht einem Abbiegen des Kraftfahrzeugs 4 nach links an der in 3 gezeigten Kreuzung 38. Hierbei wird die Gerade 26, die mittels der Schildkanten 24 des Verkehrszeichens 6 definiert ist, mittels des Kraftfahrzeugs 4 nicht überquert, so dass das Verkehrszeichen 6 für den Führer des Kraftfahrzeugs 4 keine Gültigkeit aufweist. Bei Einschlagen der ersten Trajektorie 36 wird kein Signal mittels der Signaleinrichtung 12 ausgegeben.
  • Bei Einschlagen einer zweiten Trajektorie 40 hingegen, die einem geraden Überqueren der Kreuzung entspricht, weist das Verkehrszeichen 6 Gültigkeit für den Fahrer auf. Hierbei wird mittels des Kraftfahrzeugs 4 die Gerade 26 überquert, wobei der Abstand zwischen dem Kraftfahrzeug 4 und dem Verkehrszeichen 6 geringer als eine Fahrbahnbreite ist. In diesem Fall wird mittels der Recheneinheit 10 die Signaleinrichtung 12 derart angesteuert, dass eine verkleinerte Abbildung des Verkehrszeichens 6 auf die Frontscheibe des Kraftfahrzeugs 4 projiziert wird, um den Führer des Kraftfahrzeugs zu informieren.
  • In 2b ist ein weiteres Verfahren 42 für den Betrieb des Assistenzsystems 2 dargestellt, das ausgeführt wird, sofern das Verkehrszeichen 7 eine runde Form aufweist. Hierbei entsprechen das Startereignis 16, das Erfassen des Bildes in dem ersten Arbeitsschritt 18 sowie das Bestimmen des Verkehrszeichens 7 innerhalb des Bildes gemäß dem zweiten Arbeitsschritt 20 dem in 2a gezeigten Verfahren 14. Der dritte Arbeitsschritt 22 ist zur Ermittlung der Ausrichtung α des Verkehrszeichens 6 bezüglich des Kraftfahrzeugs 4 abgewandelt. Hierbei wird die Ausrichtung des Verkehrszeichens 7 mittels Bestimmung der Exzentrizität des Abbilds des Verkehrszeichens 7 ermittelt. Hierfür wird die horizontale Ausdehnung des Abbilds des Verkehrszeichens 7 mit dessen vertikaler Ausdehnung verglichen. Bei einer verschwindenden Exzentrizität sind die beiden Längen gleich, was einer Ausrichtung α von 90° entspricht. Mit anderen Worten ist in diesem Fall das Abbild des Verkehrszeichens 7 ein Kreis. Innerhalb des vierten Arbeitsschritts 30 wird wiederum die Position 32 des Verkehrszeichens 6 bezüglich des Kraftfahrzeugs 4 bestimmt.
  • Im Anschluss an die Bestimmung der Position 32 wird erneut ein Bild innerhalb des ersten Arbeitsschritt 18 erfasst sowie der zweite, der dritte und der vierte Arbeitsschritt 20, 22, 30 ausgeführt.
  • Im Anschluss hieran wird in einem sechsten Arbeitsschritt 44 die erneut ermittelte Exzentrizität mit der bereits bekannten Exzentrizität verglichen. Nachfolgend werden erneut der zweite, der dritte, der vierte und der sechste Arbeitsschritt 20, 22, 30, 44 ausgeführt. Diese Vorgänge werden wiederholt, beispielsweise fünf Mal, so dass ein zeitlicher Verlauf der Exzentrizität bekannt ist, wobei hierbei lediglich Exzentrizitäten berücksichtigt werden, bei denen die Position 32 des Verkehrszeichens 7 bezüglich des Kraftfahrzeugs 4 verändert ist. Sofern die Exzentrizität gleichbleibt, entspricht dies einer Ausrichtung α des Verkehrszeichens 7 bezüglich des Kraftfahrzeugs 4 von im Wesentlichen 90°. In diesem Fall wird die Signaleinrichtung 12 betätigt und ein Abbild des Verkehrszeichens 7 auf die Frontscheibe des Kraftfahrzeugs projiziert. Auch bei einer Abnahme der Exzentrizität wird die Signaleinrichtung 12 derart angesteuert, da in diesem Fall davon auszugehen ist, dass das Verkehrszeichen 7 Gültigkeit für den Führer des Kraftfahrzeugs 4 hat. Dies ist beispielsweise bei dem in 3 gezeigten zweiten Verkehrszeichen 7 der Fall, bei dem die Ausrichtung α bei Einschlagen der ersten Trajektorie 36 nach Einbiegen in die Seitenstraße im Wesentlichen 90° entspricht.
  • Sobald beim Abbiegen das Kraftfahrzeug 4 die zu dem Verkehrszeichens 7 parallele und durch die Position 32 des Verkehrszeichens 7 verlaufende Gerade 26 in weniger als 2 m Abstand zu dem Verkehrszeichens 7 passiert, wird die Signaleinrichtung 12 derart angesteuert, dass eine verkleinerte Abbildung des Verkehrszeichens 7 auf die Frontscheibe des Kraftfahrzeugs 4 projiziert wird
  • Die Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt. Vielmehr können auch andere Varianten der Erfindung von dem Fachmann hieraus abgeleitet werden, ohne den Gegenstand der Erfindung zu verlassen. Insbesondere sind ferner alle im Zusammenhang mit den Ausführungsbeispielen beschriebene Einzelmerkmale auch auf andere Weise miteinander kombinierbar, ohne den Gegenstand der Erfindung zu verlassen.
  • Bezugszeichenliste
  • 2
    Assistenzsystem
    4
    Kraftfahrzeug
    6
    Verkehrszeichen
    7
    Verkehrszeichen
    8
    Kamera
    10
    Recheneinheit
    12
    Signaleinrichtung
    14
    Verfahren
    16
    Startereignis
    18
    erster Arbeitsschritt
    20
    zweiter Arbeitsschritt
    22
    dritter Arbeitsschritt
    24
    Schildkante
    26
    Gerade
    28
    Gerade
    30
    vierter Arbeitsschritt
    32
    Position
    34
    fünfter Arbeitsschritt
    36
    erste Trajektorie
    38
    Kreuzung
    40
    zweite Trajektorie
    42
    Verfahren
    44
    sechster Arbeitsschritt
    α
    Ausrichtung

Claims (10)

  1. Verfahren (14, 42) zum Betrieb eines Assistenzsystems (2) eines Kraftfahrzeugs (4), bei dem – mittels einer Kamera (8) des Assistenzsystems (2) ein Bild erfasst wird, – ein Verkehrszeichen (6, 7) innerhalb des erfassten Bildes bestimmt wird, – eine Ausrichtung (α) des bestimmten Verkehrszeichens (6, 7) bezüglich des Kraftfahrzeugs (4) bestimmt wird, und – abhängig von der Ausrichtung (α) eine Signaleinrichtung (12) des Assistenzsystems (2) angesteuert wird.
  2. Verfahren (14, 42) nach Anspruch 1, bei dem die Position (32) des Verkehrszeichens (6, 7) bezüglich des Kraftfahrzeugs (4) bestimmt wird.
  3. Verfahren (14, 42) nach Anspruch 1 oder 2, bei dem die Ausrichtung (α) des bestimmten Verkehrszeichens (6, 7) anhand einer perspektivischen Verzerrung bestimmt wird.
  4. Verfahren (14) nach Anspruch 3, bei dem zur Bestimmung der Ausrichtung (α) des bestimmten Verkehrszeichens (6) eine Gradientenlinie innerhalb des erfassten Bildes herangezogen wird.
  5. Verfahren (42) nach Anspruch 3, bei dem zur Bestimmung der Ausrichtung (α) des bestimmten Verkehrszeichens (7) eine Exzentrizität herangezogen wird.
  6. Verfahren (42) nach Anspruch 5, bei dem ein weiteres Bild erfasst sowie das Verkehrszeichen (7) innerhalb des weitere Bildes bestimmt als auch die Exzentrizität bestimmt wird, und die beiden bestimmten Exzentrizitäten verglichen werden.
  7. Verfahren (42) nach Anspruch 6, bei dem Anzahl derartiger weiterer Bilder erfasst und jeweils die Exzentrizität bestimmt und diese verglichen werden.
  8. Verfahren (42) nach Anspruch 6 oder 7, bei dem bei einer Abnahme oder keiner Veränderung der Exzentrizität ein Signal mittels der Signaleinrichtung (12) ausgegeben wird.
  9. Verfahren (14, 42) nach einem der Ansprüche 1 bis 8, bei dem ein Signal mittels der Signaleinrichtung (12) ausgegeben wird, wenn mittels des Kraftfahrzeugs (4) eine zur Ausrichtung (α) des bestimmten Verkehrszeichens (6, 7) parallele Gerade (26) überquert wird.
  10. Assistenzsystems (2) eines Kraftfahrzeugs (4), mit einer Kamera (8) und mit einer Signaleinrichtung (12), das gemäß einem Verfahren (14, 42) nach einem der Ansprüche 1 bis 9 betrieben ist.
DE102014214713.1A 2014-07-25 2014-07-25 Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem Withdrawn DE102014214713A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE102014214713.1A DE102014214713A1 (de) 2014-07-25 2014-07-25 Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
JP2016572790A JP6234620B2 (ja) 2014-07-25 2015-06-22 車両のアシスタント・システムのオペレーティングのための方法、並びに、アシスタント・システム
DE112015000837.3T DE112015000837A5 (de) 2014-07-25 2015-06-22 Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
PCT/DE2015/200385 WO2016012014A1 (de) 2014-07-25 2015-06-22 Verfahren zum betrieb eines assistenzsystems eines kraftfahrzeugs sowie assistenzsystem
US15/414,975 US10339803B2 (en) 2014-07-25 2017-01-25 Method for operating an assistance system of a motor vehicle and assistance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014214713.1A DE102014214713A1 (de) 2014-07-25 2014-07-25 Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem

Publications (1)

Publication Number Publication Date
DE102014214713A1 true DE102014214713A1 (de) 2016-01-28

Family

ID=53719590

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102014214713.1A Withdrawn DE102014214713A1 (de) 2014-07-25 2014-07-25 Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
DE112015000837.3T Pending DE112015000837A5 (de) 2014-07-25 2015-06-22 Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE112015000837.3T Pending DE112015000837A5 (de) 2014-07-25 2015-06-22 Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem

Country Status (4)

Country Link
US (1) US10339803B2 (de)
JP (1) JP6234620B2 (de)
DE (2) DE102014214713A1 (de)
WO (1) WO2016012014A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132408A1 (en) * 2019-12-26 2021-07-01 Ricoh Company, Ltd. Display apparatus, moving body, display method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214934B3 (de) * 2017-08-25 2019-02-07 Panasonic Automotive & Industrial Systems Europe GmbH Videobildaufnahmeverfahren, Wiedergabeverfahren, Ausrüstung für ein Fahrzeug, eingerichtet zum Ausführen eines Videobildaufnahmeverfahrens und Testsystem zum Ausführen eines Wiedergabeverfahrens

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29902457U1 (de) * 1999-02-12 2000-07-20 Bosch Gmbh Robert Einrichtung zur Umfelderkennung, insbesondere zur Verkehrszeichenerkennung
DE102006059663A1 (de) * 2006-12-18 2008-06-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Identifizieren eines Verkehrszeichens in einem Bild
DE102013204843A1 (de) * 2013-03-19 2014-10-09 Bayerische Motoren Werke Aktiengesellschaft Einparkassistent mit kooperativer Halteverbotserkennung

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP2004272694A (ja) * 2003-03-10 2004-09-30 Toyota Motor Corp 物体認識装置および物体認識方法
JP4321142B2 (ja) * 2003-07-02 2009-08-26 日産自動車株式会社 標識認識装置
JP2005284377A (ja) * 2004-03-26 2005-10-13 Toyota Motor Corp 標識認識装置及び標識認識方法
JP2009020089A (ja) * 2007-06-12 2009-01-29 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP2009014645A (ja) * 2007-07-09 2009-01-22 Honda Motor Co Ltd 車両用距離測定装置
DE102011006564A1 (de) 2011-03-31 2012-10-04 Robert Bosch Gmbh Verfahren zur Auswertung eines von einer Kamera eines Fahrzeugs aufgenommenen Bildes und Bildaufbereitungsvorrichtung
JP5928010B2 (ja) * 2012-03-07 2016-06-01 株式会社豊田中央研究所 道路標示検出装置及びプログラム
DE102012110595A1 (de) * 2012-11-06 2014-05-08 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen für ein Fahrzeug
US8825371B2 (en) * 2012-12-19 2014-09-02 Toyota Motor Engineering & Manufacturing North America, Inc. Navigation of on-road vehicle based on vertical elements
US9651393B2 (en) * 2013-01-28 2017-05-16 Nec Corporation Driving support device, driving support method, and recording medium storing driving support program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29902457U1 (de) * 1999-02-12 2000-07-20 Bosch Gmbh Robert Einrichtung zur Umfelderkennung, insbesondere zur Verkehrszeichenerkennung
DE102006059663A1 (de) * 2006-12-18 2008-06-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Identifizieren eines Verkehrszeichens in einem Bild
DE102013204843A1 (de) * 2013-03-19 2014-10-09 Bayerische Motoren Werke Aktiengesellschaft Einparkassistent mit kooperativer Halteverbotserkennung

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132408A1 (en) * 2019-12-26 2021-07-01 Ricoh Company, Ltd. Display apparatus, moving body, display method, and program

Also Published As

Publication number Publication date
JP6234620B2 (ja) 2017-11-22
DE112015000837A5 (de) 2016-12-01
WO2016012014A1 (de) 2016-01-28
JP2017527876A (ja) 2017-09-21
US20170132925A1 (en) 2017-05-11
US10339803B2 (en) 2019-07-02

Similar Documents

Publication Publication Date Title
EP2394234B1 (de) Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung
DE102012201724B4 (de) Verkehrszeichenerkennungsvorrichtung
EP3529561B1 (de) System und verfahren zur erzeugung von digitalen strassenmodellen aus luft- oder satellitenbildern und von fahrzeugen erfassten daten
DE102016208025B4 (de) Verfahren zur Erfassung von Verkehrszeichen
EP2583263A1 (de) Verfahren zur fusion eines verkehrszeichenerkennungssystems und eines spurerkennungssystems eines kraftfahrzeugs
DE102005054972A1 (de) Verfahren zur Totwinkelüberwachung bei Fahrzeugen
EP3488607B1 (de) Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion
DE102011082379A1 (de) Verfahren zum Erfassen von Navigationsdaten
DE102013010818A1 (de) Verfahren und Fahrerassistenzsystem zur Einblendung von Texturen in eine Abbildung eines sich vor einem Fahrzeug befindlichen Straßenverlaufs und/oder in ein Sichtfeld eines Fahrers eines Fahrzeugs
DE102014111012A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Ausparken, Fahrerassistenzsystem und Kraftfahrzeug
EP3204889B1 (de) Verfahren für ein kraftfahrzeug mit einer kamera, vorrichtung und system
DE102018211368A1 (de) Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE202016001002U1 (de) System zur Erkennung einer Richtungsfahrbahn, Kraftfahrzeug sowie Computerprogrammprodukt
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
WO2020020654A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen
DE102004003502B3 (de) Verfahren und Vorrichtung zum Assistieren beim Führen eines Kraftfahrzeugs
WO2016012014A1 (de) Verfahren zum betrieb eines assistenzsystems eines kraftfahrzeugs sowie assistenzsystem
DE102018202753A1 (de) Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt
DE102009044284A1 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
DE102019100303A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Krümmung einer Fahrbahn
DE102014214711A1 (de) Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
DE102019000435A1 (de) Verfahren zur Visualisierung von Kameradaten
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102018108358A1 (de) Verfahren zum Erfassen einer Baustelle und Fahrerunterstützungssystem zum Ausführen eines derartigen Verfahrens
DE102017120773A1 (de) Verfahren zum Erkennen einer Fahrspurbegrenzung einer Fahrspur für ein Kraftfahrzeug, Spurassistent sowie Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R118 Application deemed withdrawn due to claim for domestic priority