DE102005062151A1 - Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen - Google Patents
Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen Download PDFInfo
- Publication number
- DE102005062151A1 DE102005062151A1 DE102005062151A DE102005062151A DE102005062151A1 DE 102005062151 A1 DE102005062151 A1 DE 102005062151A1 DE 102005062151 A DE102005062151 A DE 102005062151A DE 102005062151 A DE102005062151 A DE 102005062151A DE 102005062151 A1 DE102005062151 A1 DE 102005062151A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- representation
- image data
- future
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
- B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
- B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
Häufig stellt sich dem Führer eines Kraftfahrzeuges die Aufgabe, dieses unfallfrei entlang seines Fahrweges durch Engstellen zu lenken. Derartige Fahrwegverengungen können beispielsweise durch Straßenbaustellen oder durch am Fahrbahnrand geparkte Fahrzeuge in engen Fahrgassen verursacht sein. Zur Unterstützung eines Führers eines Fahrzeuges bei der Passage von Fahrwegverengungen werden mittels wenigstens einer Kamera Bilddaten von dem in Fahrtrichtung vor dem Fahrzeug (2) befindlichen Verkehrsumfeld erfasst und auf das Vorhandensein von in diesem Verkehrsumfeld befindlichen Objekten (3) untersucht, deren Position und Ausmaße sodann bestimmt werden. In Kenntnis der Abmessungen des Fahrzeuges (2) kann sodann festgestellt werden, ob und mit welcher Sicherheit eine im Fahrweg des Fahrzeuges liegende Fahrwegsverengung kollisionsfrei passiert werden kann. Ausgehend von augenblicklichen Fahrzeugparametern werden zukünftige Positionen des Fahrzeuges (2), insbesondere dessen zukünftige Fahrspur, geschätzt und dem Fahrzeugführer den Kamerabilddaten überlagert dargestellt. Dabei wird die Art der Darstellung (10, 20, 21, 30, 31, 32) der zukünftigen Positionen des Fahrzeuges (2) abhängig von dem Maß an Sicherheit, mit der eine Fahrwegsverengung passiert werden kann, variiert. Hierdurch wird dem Führer eines Fahrzeuges einfach und intuitiv das von einer Fahrwegsverengung ausgehende Gefährdungspotential vermittelt.
Description
- Die Erfindung betrifft Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrbahnverengungen nach den Oberbegriffen der Patentansprüche 1 und 12.
- Häufig stellt sich dem Führer eines Kraftfahrzeuges die Aufgabe dieses unfallfrei entlang seines Fahrweges durch Engstellen zu lenken. Derartige Fahrwegverengungen können beispielsweise durch Straßenbaustellen oder durch am Fahrbahnrand geparkte Fahrzeuge in engen Fahrgassen verursacht sein. Häufig ist es dem erfahrenen Fahrzeugführer möglich durch Sicht auf die vor im befindliche Verkehrsszene abzuschätzen ob sein Fahrzeug diesen Bereich gefahrenfrei durchfahren kann. In Situationen in denen die Engstelle die Breite des Fahrzeuges nur gering überragt oder sich das Fahrzeug in Bezug auf die Verkehrssituation schnell bewegt ist eine verlässliche Gefahrenschätzung durch den Fahrzeugführer häufig nicht mehr verlässlich möglich.
- Um einen Fahrzeugführer auch in diesen schwierig abzuschätzenden Verkehrssituationen zu unterstützen wird in der japanischen Offenlegungsschrift JP 11-016097 A ein System beschrieben, welches die vor einem Straßenfahrzeug befind liche Verkehrsszene mittels einer Kameraeinrichtung erfasst und vermisst. Anhand der so ermittelten Information über Position und Abmessung von vor dem Fahrzeug befindlichen Hindernissen wird ermittelt, ob sich im Bereich des zukünftigen Fahrwegs des Fahrzeuges eine zu durchfahrende Verengung befindet. Für den Fall, dass eine derartige Fahrwegverengung ermittelt wird, welche jedoch aufgrund seiner Abmessungen von dem Fahrzeug durchfahren werden kann, wird ausgehend von der aktuellen Position des Fahrzeuges ein idealer Fahrweg zur Durchfahrt durch diese Engstelle berechnet. Parallel dazu wird ausgehend von dem aktuellen Lenkwinkel und der Fahrzeuggeschwindigkeit diejenige Position des Fahrzeuges geschätzt, welche dieses nach Ablauf einer vordefinierten Zeitdauer einnimmt.
- Das den Fahrzeugführer unterstützende System verfügt über eine Anzeigeeinheit, auf welcher die ermittelte vorausliegende Verkehrsszene in Form einer Draufsicht (Vogelperspektive) dargestellt wird. Dieser Darstellung wird bei Auftreten einer Fahrwegsverengung der berechnete ideale Fahrweg und die für einen zukünftigen Zeitpunkt geschätzte Position des Fahrzeuges überlagert. Dabei wird vorgeschlagen bei der Darstellung die erkannten und lokalisierten Hindernisse rot, den idealen Fahrweg blau und die geschätzte zukünftige Position gelb einzuzeichnen. Würde das Fahrzeug bei Beibehaltung des derzeitigen Lenkwinkels nicht unfallfrei die Fahrwegverengung passieren können, würde dies dem Fahrzeugführer aus der Überlagerung eines roten Hindernisobjektes durch die gelb dargestellte als zukünftig prädizierte Fahrzeugposition deutlich.
- Geeignete unfallvermeidende Fahrmanöver durch den Fahrzeugführer würden nun dazuführen dass das die zukünftige Fahrzeugposition anzeigende Symbol auf der Anzeige in den Bereich des idealen Fahrweges verschoben würde. Durch Vergleich der Lage der die zukünftigen Fahrzeugposition beschreibenden gelben Symbols in Bezug auf den blau dargestellten idealen Fahrweg erhält der Fahrzeugführer eine Rückmeldung über den Effekt seiner Eingriffe in die Lenkung.
- Es wird des Weiteren vorgeschlagen, die Positionsabweichung zwischen dem berechneten idealen Fahrweg und dem als zukünftig geschätzten Fahrzeugposition zu bestimmen. Aus der so bestimmten Abweichung können die zur unfallfreien Passage der Fahrwegverengung notwendigen Eingriffe in die Fahrzeugdynamik bestimmt und dem Fahrzeugführer zur Beachtung mitgeteilt werden.
- Ein ähnliches System zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegsverengungen beschreibt auch die japanische Offenlegungsschrift JP 2005-088414. Auch hier wird der Bereich vor dem Kraftfahrzeug mittels eines Kamerasensors erfasst und in den so gewonnenen Bilddaten die Fahrbahn, sowie vorhandene Objekte und Hindernisse erkannt und in Bezug auf Position und Ausdehnung vermessen. Anhand dieser Information wird ein zur Passage einer Fahrwegsverengung optimaler Fahrweg berechnet und zugleich eine sich unter Beibehaltung der aktuellen Fahrzeugparameter, insbesondere Lenkwinkel und Geschwindigkeit, ergebende zukünftige Fahrspur des Fahrzeuges berechnet.
- Mit Hilfe eines Head-up Displays werden auf der Windschutzscheibe die errechneten Verläufe des idealen Fahrweges und der prädizierten Fahrspur der Sicht des Fahrzeugführers perspektivisch korrekt überlagert. Auf Grund dieser Überlagerung kann der Fahrzeugführer direkt durch Vergleich der rea len Verkehrssituation mit der Darstellung des berechneten idealen Fahrweges und der geschätzten Fahrspur abschätzen ob eine unfallfreie Passage der Fahrwegsverengung möglich ist. Der Darstellung ist auch zu entnehmen, ob bei Beibehaltung der derzeitigen Fahrzeugparameter zukünftig mit der Kollision des Fahrzeuges mit einem Objekt zu rechnen ist. Ist eine derartige Situation gegeben kann der Fahrzeugführer unter zur Hilfenahme der Anzeige gezielt auf die Fahrdynamik des Fahrzeuges Einfluss nehmen, indem er die Darstellung der geschätzte Fahrspur möglichst gut in Einklang mit dem berechneten idealen Fahrweg bringt.
- Aufgabe der Erfindung ist es ein Verfahren und eine Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen zu finden, welche gegenüber den aus dem Stand der Technik bekannten Systemen noch einfacher und intuitiv erfassbar sind und so die Verkehrssicherheit noch weiter steigern.
- Die Aufgabe wird durch ein Verfahren und eine Vorrichtung mit den Merkmalen der Patentansprüche 1 und 12 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen beschrieben.
- Zur Unterstützung eines Führers eines Fahrzeuges (
2 ) bei der Passage von Fahrwegverengungen, werden mittels wenigstens einer Kamera Bilddaten von dem in Fahrtrichtung vor dem Fahrzeug befindlichen Verkehrsumfeld erfasst. Die Bilddaten werden auf das Vorhandensein von in diesem Verkehrsumfeld befindlichen Objekten (3 ) untersucht, woraufhin von einigen der so erkannten Objekte (3 ) deren Position und Ausmaße bestimmt wird. Bei derartigen Objekten (3 ) kann es sich beispielsweise um in einem Baustellenbereich befindliche Baken handeln, gleichsam aber auch um Fahrbahnbegrenzungen wie Randsteine oder Leitplanken, oder aber um eine sich von vorliegenden Gegebenheiten verengende Fahrbahn (beispielsweise: Abbruch eines Fahrbahnbereichs nach Unterspülung) als solche. In Kenntnis der Abmessungen des Fahrzeuges (2 ) kann sodann festgestellt werden, ob und mit welcher Sicherheit eine im Fahrweg des Fahrzeuges liegende, durch die Objekte (3 ) (künstliche Begrenzungsobjekte oder aber Fahrbahngeometrie selbst) verursachte Fahrwegsverengung kollisionsfrei passiert werden kann. Ausgehend von augenblicklichen Fahrzeugparametern werden zukünftige Positionen des Fahrzeuges (2 ), insbesondere dessen zukünftige Fahrspur, geschätzt und dem Fahrzeugführer den Kamerabilddaten überlagert dargestellt. - In erfinderischer weise wird dabei die Art der Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Positionen des Fahrzeuges (2 ) abhängig von dem Maß an Sicherheit mit der eine Fahrwegsverengung passiert werden kann variiert. Bei der erfinderischen Ausgestaltung der neuartigen Vorrichtung ist eine Einheit zur Bestimmung des Nickwinkels des Fahrzeuges vorhanden, welche mit der Bildverarbeitungseinheit in Verbindung steht und dieser Überlagerung der Kamerabilddaten zu beachtende Daten zuführt. Mittels dieser Ausgestaltung wird es erst ermöglicht auch für weiter vor dem Fahrzeug (2 ) liegende Bereiche die entsprechenden Kamerabilddaten mit den Darstellung (10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Positionen des Fahrzeuges (2 ) perspektivisch korrekt zu überlagern. Der aktuelle Nickwinkel des Fahrzeuges kann hierbei beispielsweise von einer Spurerkennung oder aber auch aus den Federwegen der Stoßdämpfer abgeleitet werden. - Hierdurch wird dem Führer eines Fahrzeuges einfach und intuitiv das von einer Fahrwegsverengung ausgehende Gefährdungspotential vermittelt. Wirkt ein Fahrzeugführer demzufolge regelnd auf die Fahrzeugparameter, insbesondere die Lenkung, ein und wird hierdurch das Maß an Sicherheit, mit welcher das Fahrzeug unfallfrei die Fahrwegsverengung passiere kann verändert, so kann dies unmittelbar der Darstellung entnommen werden. Dies führt zu einer Entlastung des Fahrzeugführers, da er die Gefahren besser abschätzen kann und die Folgen seines Handelns (Eingriff in die Fahrdynamik) besser und schneller abschätzen kann.
- Nachfolgend wird die Erfindung mit Hilfe von Figuren im Detail erläutert. Hierbei zeigt
-
1 eine typische Baustellensituation, bei welcher der zur Verfügung stehende Fahrweg auf der Fahrbahn (1 ) durch die Positionierung von Baken (3 ) verengt wurde, -
2 Variationsmöglichkeiten der Darstellung (10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Positionen des Fahrzeuges (2 ) bei sich ändernden Durchfahrtsweiten (W2a, W2b), -
3 zeigt die zunehmende Verdichtung graphischer Symbole bei der Darstellung (10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Positionen des Fahrzeuges (2 ) um die Gefahr einer potentiellen Kollision mit einem Objekt (3 ) hervorzuheben. - In der
1 ist schematisch eine typische Baustellensituation aufgezeigt. Hierbei wird eine Fahrbahn (1 ), auf welcher sich ein Fahrzeug (2 ) entlang bewegt durch mehrere Baken (3 ) auf eine bestimmte Durchfahrtsweite W1 eingeengt. - Mittels einer Kamera werden die Bilddaten dieser Verkehrssituation erfasst und auf einer Bildanzeige dargestellt. Ausgehend von aktuellen Fahrparametern des Fahrzeuges (
2 ) werden zukünftige Positionen des Fahrzeuges bestimmt und erfindungsgemäß den Bilddaten überlagert. Dies geschieht in der in der1 aufgezeigten Darstellung im Sinne eines Fläche10 („Teppich"). Ergänzend enthält die in der1 aufgezeigte Darstellung auch noch eine Teilabbildung des Fahrzeuges (2 ); hier dargestellt nur ein kleiner Teil der Motorhaube. - Die Abmessung der Darstellung (
10 ) der zukünftigen Positionen des Fahrzeuges (2 ) kann ausgehend von den Abmessungen des Fahrzeuges gewählt werden. Dabei ist es sowohl denkbar, dass die Breitenausdehnung der Darstellung entsprechend der Breitenausdehnung des Fahrzeuges gewählt wird (eventuell auch unter Beachtung der Ausdehnung dessen Rückspiegel) oder aber, dass zu der Breitenausdehnung des Fahrzeuges (2 ) noch ein zu definierende Sicherheitsdistanz hinzugefügt wird. Bei dem Beispiel von2 wurde beidseitig zu der Breitenausdehnung des Fahrzeuges eine Sicherheitsdistanz hinzugefügt, so dass die Darstellung (10 ) der zukünftigen Positionen des Fahrzeuges (2 ) dessen Abmessungen seitlich überragt. Selbstverständlich wäre es denkbar dass der Sicherheitsdistanz ungleich dem hier gezeigten Beispiel, auf den beiden Seiten des Fahrzeuges unterschiedlich gewählt werden kann. So wäre es gewinnbringend wenn auf derjenigen Fahrzeugseite, auf welcher sich im Verkehrsumfeld Personen befinden größer gewählt wird, als äuf der Seite, auf welcher sich nur statische Objekte (3 ) befinden. - Als Maß der Sicherheit, mit welcher eine Fahrwegsverengung unfallfrei passiert werden kann, dient nun der Abstand (d1, d2) des Fahrzeuges zu erkannten Objekten (
3 ) bei deren Passage oder das Verhältnis der Breite (W1, W2a, W2b) einer zu passierenden Fahrwegsverengung zur Breite des Fahrzeuges (ggf. zuzüglich der Sicherheitsdistanzen). In Abhängigkeit hiervon wird nun die Darstellung (10 ) der zukünftigen Fahrzeugposition variiert. In besonders vorteilhafter Weise wird diese Variation in Form einer farblichen Veränderung der Darstellung erfolgen; bei einer risikolosen Passage könnte die Darstellung (10 ) beispielsweise grün dargestellt werden, während die Farbe hin zu zunehmender Gefährdung in rot umschlagen könnte. Eine derartige Farbwahl wird einen Fahrzeugführer mit zunehmender Gefährdung intuitiv zu einer vorausschauenden Fahrweise anleiten. Gleichsam wäre es auch denkbar ergänzend oder alternativ zu der farblichen Variation der Darstellung (10 ) diese auf Basis einer zu- bzw. abnehmenden Verdichtung graphischer Symbole zu variieren; so beispielsweise eine mit zunehmender Gefährdung zunehmende Verdichtung einer Schraffur beziehungsweise einer zunehmenden Punktdichte. - In der
2 sind weitere Variationsmöglichkeiten der Darstellung (20 ,21 ) zukünftiger Positionen in Abhängigkeit einer Unfallgefährdung dargestellt. Dabei ändert sich mit einem abnehmenden Maß an Sicherheit (durch abnehmende Durchfahrtsweite; W2a > W2b), eine eher schemenhaften Darstellung (20 , nur dünne gestrichelte Begrenzungslinien) hin zu einer deutlich wahrnehmbareren Darstellung (21 , dick durchgezogener Rahmen). Unter der Annahme, dass die zu durchfahrenden Fahrbahnverengung noch geringer wäre, so könnte der Bereich der Darstellung (21 ) auch noch ausgefüllt werden (entsprechend1 ; Darstellung (10 )). - Insbesondere dann, wenn die Fahrwegsverengung durch sich auf einer Fahrzeugseite befindliche Objekte verursacht wird, bietet es sich gewinnbringend auch an die Variation der Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) abhängig von Distanzwerten (d1 bzw. d2) zu gestalten. Wobei auch hier mit zunehmender Gefährdung die Darstellung der zukünftigen Fahrzeugpositionen entsprechend obigen Beispielen intensiviert werden sollte. - In besonders vorteilhafter Weise bietet es sich an, die Intensivierung der Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) nicht homogen zu gestallten. Sondern so auszuprägen, dass sich für den Fahrer klar ergibt, auf welcher Fahrzeugseite sich vor allem eine Gefährdung, insbesondere eine Kollision, potentiell ergeben wird. Ein Beispiel hierfür ist in3 aufgezeigt. Hierbei wurde angenommen, dass das Fahrzeug (2 ), dann wenn die aktuellen Fahrparameter (insb. Lenkwinkel) nicht verändert werden, zukünftig mit einem Objekt (3 ) kollidieren wird. Um diese Gefahr zu verdeutlichen und dem Fahrzeugführer intuitiv Handlungshinweise zu geben, wurde die Darstellung (30 ,31 ,32 ) hin zu der Fahrzeugseite auf der sich die Kollision potentiell ereignen wird durch einen mehrstufige Verdichtung graphischer Muster (Punkte) hervorgehoben. Selbstverständlich ist es auch denkbar hierbei eine stufenlose Verdichtung darzustellen, oder ergänzend bzw. an Stelle der Verdichtung einen Farbverlauf zu wählen. Erfolgt die Darstellung (10 ,31 ,32 ) beispielsweise auf der linken Seite grün und auf der rechten Seite rot eingefärbt, so wird der Fahrzeugführer intuitiv dazu angeleitet das Fahrzeug (2 ) nach links zu steuern. - In besonders gewinnbringender Weise kann ein Fahrzeugführer noch verbessert unterstützt werden, wenn die Ausdeh nung der Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Fahrzeugpositionen in Fahrtrichtung in ihrer Dimension proportional zu der Geschwindigkeit des Fahrzeuges variiert wird. Auf diese Weise kann der Fahrzeugführer der Bildanzeige auch noch zeitliche Zusammenhänge in Bezug auf die Unfallgefährdung durch Fahrwegsverengungen entnehmen. - In den Fällen in denen die verwendete Kameraoptik (Weitwinkeloptik, omniazimutale Kamera) zu Verzeichnungen in den Bilddarstellungen führt bietet es sich zur perspektivisch korrekten Überlagerung an, die Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Fahrzeugpositionen entsprechend zu modifizieren.
Claims (12)
- Verfahren zur Unterstützung eines Führers eines Fahrzeuges (
2 ) bei der Passage von Fahrwegverengungen, bei welchem mittels wenigstens einer Kamera Bilddaten von dem in Fahrtrichtung vor dem Fahrzeug befindlichen Verkehrsumfeld erfasst werden, bei welchem zumindest von einigen in diesem Verkehrsumfeld erkannten Objekten (3 ) deren Position und Ausmaße bestimmt werden, bei welchem in Kenntnis der Abmessungen des Fahrzeuges (2 ) festgestellt wird, ob und mit welcher Sicherheit eine im Fahrweg des Fahrzeuges liegende Fahrwegsverengung kollisionsfrei passiert werden kann, und bei welchem ausgehend von augenblicklichen Fahrzeugparametern zukünftige Positionen des Fahrzeuges (2 ), insbesondere dessen zukünftige Fahrspur, geschätzt und dem Fahrzeugführer den Kamerabilddaten überlagert dargestellt werden, dadurch gekennzeichnet, dass die Art der Darstellung (10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Positionen des Fahrzeuges (2 ) abhängig von dem Maß an Sicherheit mit der eine Fahrwegsverengung passiert werden kann variiert. - Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Maß der Sicherheit der Abstand (d1, d2) des Fahrzeuges zu erkannten Objekten bei deren Passage oder das Verhältnis der Breite (W1, W2a, W2b) einer zu passierenden Fahrwegsverengung zur Breite des Fahrzeuges dient.
- Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als beachtliche Breite des Fahrzeuges, dessen tatsächliche Breite oder dessen tatsächlich Breite zuzüglich einer Sicherheitsdistanz hinzugezogen wird.
- Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im Rahmen der Variation der Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Position des Fahrzeuges (2 ) diese farblich verändert wird. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im Rahmen der Variation der Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Position des Fahrzeuges (2 ) diese sich mit einem abnehmenden Maß an Sicherheit mit der eine Fahrwegsverengung passiert werden kann, von einer eher schemenhaften Darstellung hin zu einer deutlichen Darstellung ändert. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im Rahmen der Variation der Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) deren Anzeigeintensität zeitlich variiert wird. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass dann wenn sich ausgehend von augenblicklichen Fahrzeugparametern eine Kollision mit im Verkehrsumfeld erkannten Objekten (
3 ) ergeben würde, die Darstellung (10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Position des Fahrzeuges (2 ) so gestaltet wird, dass sich für den Fahrer klar ergibt, auf welcher Fahrzeugseite sich die Kollision potentiell ereignen wird. - Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass sich die Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) hin zu der Fahrzeugseite auf der sich die Kollision potentiell ereignen durch einen mehrstufigen oder stufenlosen Farbverlauf oder die Verdichtung graphischer Muster hervorgehoben wird. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) in ihrer Ausdehnung in Bewegungsrichtung des Fahrzeuges (2 ) abhängig von dessen Geschwindigkeit variiert wird. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Überlagerung der Kamerabilddaten mit der Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Positionen des Fahrzeuges (2 ) der Nickwinkel des Fahrzeuges beachtet wird. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Überlagerung der Kamerabilddaten mit der Darstellung (
10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Positionen des Fahrzeuges (2 ) die Verzeichnungsparameter der Optik der Kamera beachtet werden. - Vorrichtung zur Unterstützung eines Führers eines Fahrzeuges (
2 ) bei der Passage von Fahrwegverengungen, umfassend eine Kamera eingerichtet zur Aufnahme von Bilddaten von dem in Fahrtrichtung vor den Fahrzeug (2 ) befindlichen Verkehrsumfelds, umfassend eine Klassifikationseinheit geeignet zur Erkennung von Objekten (3 ) in diesen Bilddaten und zu der Bestimmung von deren Position und Ausmaßen, umfassend einen Speicher beinhaltend Angaben zu den Abmessungen des Fahrzeuges (2 ), umfassend eine Bildverarbeitungseinheit zur Überlagerung der Kamerabilddaten mit der Darstellung (10 ,20 ,21 ,30 ,31 ,32 ) der zukünftigen Positionen des Fahrzeuges (2 ), sowie umfassend eine Anzeigeeinheit zur Anzeige der überlagerten Bilddaten dadurch gekennzeichnet, dass eine Einheit zur Bestimmung des Nickwinkels des Fahrzeuges vorhanden ist, welche mit der Bildverarbeitungseinheit in Verbindung steht und dieser Überlagerung der Kamerabilddaten zu beachtende Daten zuführt.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102005062151A DE102005062151B4 (de) | 2005-12-22 | 2005-12-22 | Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102005062151A DE102005062151B4 (de) | 2005-12-22 | 2005-12-22 | Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102005062151A1 true DE102005062151A1 (de) | 2007-07-05 |
DE102005062151B4 DE102005062151B4 (de) | 2007-09-13 |
Family
ID=38135643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102005062151A Expired - Fee Related DE102005062151B4 (de) | 2005-12-22 | 2005-12-22 | Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102005062151B4 (de) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1892688A1 (de) * | 2006-08-24 | 2008-02-27 | Valeo Vision | Verfahren zur Bestimmung der Durchfahrt eines Fahrzeugs durch eine engen Durchlass |
FR2913798A1 (fr) * | 2007-03-16 | 2008-09-19 | Valeo Vision Sa | Procede de determination de passage d'un vehicule dans un goulet |
EP2063406A1 (de) * | 2007-11-13 | 2009-05-27 | WABCO GmbH | Verfahren und Anordnung zur Warnung vor Hindernissen mit nicht ausreichender Durchfahrtshöhe und/oder nicht ausreichender Durchfahrtsbreite |
DE102008064361A1 (de) * | 2008-12-22 | 2010-06-24 | Volkswagen Ag | Verfahren und Vorrichtung zur Visualisierung der direkten Umgebung eines Fahrzeugs |
DE102009020328A1 (de) | 2009-05-07 | 2010-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung |
DE102009020300A1 (de) | 2009-05-07 | 2010-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung |
CN101996493A (zh) * | 2010-11-25 | 2011-03-30 | 武汉理工大学 | 一种在途车辆通过性检测系统 |
DE102011016217A1 (de) * | 2011-04-06 | 2012-10-11 | Connaught Electronics Ltd. | Verfahren und Kamerasystem zum Warnen eines Fahrers eines Kraftfahrzeugs vor einer Kollisionsgefahr und Kraftfahrzeug mit einem Kamerasystem |
DE102011115739A1 (de) * | 2011-10-11 | 2013-04-11 | Daimler Ag | Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen |
US8538629B2 (en) | 2010-10-28 | 2013-09-17 | Continental Automotive Gmbh | Bottleneck light and method of assisting a driver in steering a vehicle |
WO2013159954A1 (de) * | 2012-04-26 | 2013-10-31 | Robert Bosch Gmbh | Verfahren für ein assistenzsystem eines fahrzeugs |
CN103514756A (zh) * | 2012-06-25 | 2014-01-15 | 宝马股份公司 | 机动车中的狭窄位置辅助系统 |
JPWO2012039004A1 (ja) * | 2010-09-22 | 2014-02-03 | 三菱電機株式会社 | 運転支援装置 |
CN103971541A (zh) * | 2014-05-19 | 2014-08-06 | 上海扬梓投资管理有限公司 | 车辆防碰撞安全警示方法及装置 |
WO2015000839A1 (de) * | 2013-07-03 | 2015-01-08 | Deere & Company | Antikollisionssystem für ein landwirtschaftliches fahrzeug mit selbsttätiger erkennung der abmessungen einer last |
US8994520B2 (en) | 2010-09-15 | 2015-03-31 | Continental Teves Ag & Co. Ohg | Visual driver information and warning system for a driver of a motor vehicle |
EP2910445A2 (de) | 2014-02-25 | 2015-08-26 | Volkswagen Aktiengesellschaft | Verfahren zum Unterstützen eines Fahrers bei der Passage einer Fahrwegverengung und Fahrerassistenzsystem dafür |
WO2015138533A1 (en) * | 2014-03-11 | 2015-09-17 | Continental Automotive Systems, Inc | Method and system for displaying probability of a collision |
CN106364489A (zh) * | 2016-08-31 | 2017-02-01 | 广东好帮手电子科技股份有限公司 | 一种车宽标识方法、装置及行车记录仪 |
US9791289B2 (en) | 2012-06-20 | 2017-10-17 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a head-up display for a vehicle |
DE102017011414A1 (de) * | 2017-12-11 | 2019-06-13 | Daimler Ag | Verfahren zur Darstellung von einer Fahrtrichtungsinformation und System zur Darstellung einer Fahrtrichtungsinformation |
WO2019166222A1 (de) * | 2018-03-02 | 2019-09-06 | Volkswagen Aktiengesellschaft | Verfahren zur berechnung einer ar-einblendung von zusatzinformationen für eine anzeige auf einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm |
CN111886154A (zh) * | 2018-03-12 | 2020-11-03 | 三菱电机株式会社 | 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序 |
US11731509B2 (en) | 2017-11-30 | 2023-08-22 | Volkswagen Aktiengesellschaft | Method for displaying the course of a trajectory in front of a transportation vehicle or an object by a display unit, and device for carrying out the method |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8605947B2 (en) | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
DE102010012662A1 (de) | 2010-03-24 | 2011-01-05 | Daimler Ag | Vorrichtung und Verfahren zur Bestimmung einer Durchfahrtshöhe |
DE102012112395B4 (de) * | 2012-12-17 | 2016-05-12 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Assistenzsystem |
DE102013215980A1 (de) | 2013-08-13 | 2015-02-19 | Volkswagen Aktiengesellschaft | Optische Fahrerunterstützung in einem Engstellenbereich |
DE102013016249A1 (de) | 2013-10-01 | 2014-06-26 | Daimler Ag | Verfahren und Vorrichtung zur Darstellung von Navigationshinweisen |
DE102013016242A1 (de) | 2013-10-01 | 2015-04-02 | Daimler Ag | Verfahren und Vorrichtung zur Unterstützung mindestens eines Fahrassistenzsystems |
DE102014216147A1 (de) * | 2014-08-14 | 2015-10-01 | Conti Temic Microelectronic Gmbh | Fahrassistenzsystem für ein Fahrzeug und Verfahren zur Analyse einer Anzahl von Umgebungsmerkmalen einer Gesamtszene |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1116097A (ja) * | 1997-06-25 | 1999-01-22 | Fuji Heavy Ind Ltd | 車両用運転支援装置 |
EP1065642A2 (de) * | 1999-06-25 | 2001-01-03 | Fujitsu Ten Limited | Fahrassistenzsystem für Fahrzeuge |
EP1231110A2 (de) * | 2001-02-09 | 2002-08-14 | Matsushita Electric Industrial Co., Ltd. | Gerät zur Bildsynthetisierung |
US20020128754A1 (en) * | 1999-10-27 | 2002-09-12 | Fujitsu Ten Limited | Vehicle driving support system, and steering angle detection device |
EP1470958A2 (de) * | 2003-04-11 | 2004-10-27 | DaimlerChrysler AG | Freiraumüberwachung bei Kraftfahrzeugen |
JP2005078414A (ja) * | 2003-09-01 | 2005-03-24 | Denso Corp | 車両走行支援装置 |
-
2005
- 2005-12-22 DE DE102005062151A patent/DE102005062151B4/de not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1116097A (ja) * | 1997-06-25 | 1999-01-22 | Fuji Heavy Ind Ltd | 車両用運転支援装置 |
EP1065642A2 (de) * | 1999-06-25 | 2001-01-03 | Fujitsu Ten Limited | Fahrassistenzsystem für Fahrzeuge |
US20020128754A1 (en) * | 1999-10-27 | 2002-09-12 | Fujitsu Ten Limited | Vehicle driving support system, and steering angle detection device |
EP1231110A2 (de) * | 2001-02-09 | 2002-08-14 | Matsushita Electric Industrial Co., Ltd. | Gerät zur Bildsynthetisierung |
EP1470958A2 (de) * | 2003-04-11 | 2004-10-27 | DaimlerChrysler AG | Freiraumüberwachung bei Kraftfahrzeugen |
JP2005078414A (ja) * | 2003-09-01 | 2005-03-24 | Denso Corp | 車両走行支援装置 |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1892688A1 (de) * | 2006-08-24 | 2008-02-27 | Valeo Vision | Verfahren zur Bestimmung der Durchfahrt eines Fahrzeugs durch eine engen Durchlass |
US8854462B2 (en) | 2006-08-24 | 2014-10-07 | Valeo Vision | Method of determining the passage of a vehicle through a gap |
FR2913798A1 (fr) * | 2007-03-16 | 2008-09-19 | Valeo Vision Sa | Procede de determination de passage d'un vehicule dans un goulet |
US8013722B2 (en) | 2007-11-13 | 2011-09-06 | Wabco Gmbh | Vehicle obstruction warning system and method |
EP2063406A1 (de) * | 2007-11-13 | 2009-05-27 | WABCO GmbH | Verfahren und Anordnung zur Warnung vor Hindernissen mit nicht ausreichender Durchfahrtshöhe und/oder nicht ausreichender Durchfahrtsbreite |
DE102008064361A1 (de) * | 2008-12-22 | 2010-06-24 | Volkswagen Ag | Verfahren und Vorrichtung zur Visualisierung der direkten Umgebung eines Fahrzeugs |
US9760782B2 (en) | 2009-05-07 | 2017-09-12 | Bayerische Motoren Werke Aktiengesellschaft | Method for representing objects surrounding a vehicle on the display of a display device |
DE102009020300A1 (de) | 2009-05-07 | 2010-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung |
WO2010127761A2 (de) | 2009-05-07 | 2010-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur darstellung von unterschiedlich gut sichtbaren objekten aus der umgebung eines fahrzeugs auf der anzeige einer anzeigevorrichtung |
DE102009020328A1 (de) | 2009-05-07 | 2010-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung |
US8994520B2 (en) | 2010-09-15 | 2015-03-31 | Continental Teves Ag & Co. Ohg | Visual driver information and warning system for a driver of a motor vehicle |
JPWO2012039004A1 (ja) * | 2010-09-22 | 2014-02-03 | 三菱電機株式会社 | 運転支援装置 |
US8538629B2 (en) | 2010-10-28 | 2013-09-17 | Continental Automotive Gmbh | Bottleneck light and method of assisting a driver in steering a vehicle |
CN101996493A (zh) * | 2010-11-25 | 2011-03-30 | 武汉理工大学 | 一种在途车辆通过性检测系统 |
DE102011016217A1 (de) * | 2011-04-06 | 2012-10-11 | Connaught Electronics Ltd. | Verfahren und Kamerasystem zum Warnen eines Fahrers eines Kraftfahrzeugs vor einer Kollisionsgefahr und Kraftfahrzeug mit einem Kamerasystem |
DE102011115739A1 (de) * | 2011-10-11 | 2013-04-11 | Daimler Ag | Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen |
WO2013159954A1 (de) * | 2012-04-26 | 2013-10-31 | Robert Bosch Gmbh | Verfahren für ein assistenzsystem eines fahrzeugs |
US9791289B2 (en) | 2012-06-20 | 2017-10-17 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a head-up display for a vehicle |
CN103514756B (zh) * | 2012-06-25 | 2018-01-02 | 宝马股份公司 | 机动车中的狭窄位置辅助系统 |
CN103514756A (zh) * | 2012-06-25 | 2014-01-15 | 宝马股份公司 | 机动车中的狭窄位置辅助系统 |
WO2015000839A1 (de) * | 2013-07-03 | 2015-01-08 | Deere & Company | Antikollisionssystem für ein landwirtschaftliches fahrzeug mit selbsttätiger erkennung der abmessungen einer last |
EP2910445A2 (de) | 2014-02-25 | 2015-08-26 | Volkswagen Aktiengesellschaft | Verfahren zum Unterstützen eines Fahrers bei der Passage einer Fahrwegverengung und Fahrerassistenzsystem dafür |
DE102014203353A1 (de) | 2014-02-25 | 2015-08-27 | Volkswagen Aktiengesellschaft | Verfahren zum Unterstützen eines Fahrers bei der Passage einer Fahrwegverengung und Fahrerassistenzsystem dafür |
WO2015138533A1 (en) * | 2014-03-11 | 2015-09-17 | Continental Automotive Systems, Inc | Method and system for displaying probability of a collision |
US9845092B2 (en) | 2014-03-11 | 2017-12-19 | Continental Automotive Systems, Inc. | Method and system for displaying probability of a collision |
CN103971541B (zh) * | 2014-05-19 | 2016-02-24 | 上海扬梓投资管理有限公司 | 车辆防碰撞安全警示方法及装置 |
CN103971541A (zh) * | 2014-05-19 | 2014-08-06 | 上海扬梓投资管理有限公司 | 车辆防碰撞安全警示方法及装置 |
CN106364489A (zh) * | 2016-08-31 | 2017-02-01 | 广东好帮手电子科技股份有限公司 | 一种车宽标识方法、装置及行车记录仪 |
US11731509B2 (en) | 2017-11-30 | 2023-08-22 | Volkswagen Aktiengesellschaft | Method for displaying the course of a trajectory in front of a transportation vehicle or an object by a display unit, and device for carrying out the method |
DE102017011414A1 (de) * | 2017-12-11 | 2019-06-13 | Daimler Ag | Verfahren zur Darstellung von einer Fahrtrichtungsinformation und System zur Darstellung einer Fahrtrichtungsinformation |
US11904688B2 (en) | 2018-03-02 | 2024-02-20 | Volkswagen Aktiengesellschaft | Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program |
WO2019166222A1 (de) * | 2018-03-02 | 2019-09-06 | Volkswagen Aktiengesellschaft | Verfahren zur berechnung einer ar-einblendung von zusatzinformationen für eine anzeige auf einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm |
CN111937044A (zh) * | 2018-03-02 | 2020-11-13 | 大众汽车股份公司 | 计算对用于在显示单元上显示的附加信息的ar淡入的方法、用于执行该方法的设备以及机动车和计算机程序 |
CN111886154A (zh) * | 2018-03-12 | 2020-11-03 | 三菱电机株式会社 | 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序 |
Also Published As
Publication number | Publication date |
---|---|
DE102005062151B4 (de) | 2007-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102005062151B4 (de) | Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen | |
DE112009005401B4 (de) | Fahrunterstützungsvorrichtung und fahrunterstützungsverfahren | |
DE102017202115B4 (de) | Fahrzeugeigene vorrichtung, verfahren zum steuern einer fahrzeugeigenen vorrichtung und computerlesbares speichermedium | |
DE112011104947B4 (de) | Fahrunterstützungsvorrichtung, Fahrunterstützungsverfahren und Fahrunterstützungsprogramm | |
DE102017005967A1 (de) | Fahrerunterstützungsverfahren und -system | |
DE102017212607A1 (de) | Verfahren und Vorrichtung zur umgebungsbasierten Adaption von Fahrerassistenzsystem-Funktionen | |
DE102009017152A1 (de) | Verfahren und Vorrichtung zur Längs- und Querführung eines Kraftfahrzeugs | |
DE69903246T2 (de) | Verfahren und einrichtungzur detektierung der abweichung eines fahrzeugs relativ zu einer verkehrsspur | |
DE102014012781B4 (de) | Spurwechselassistent, zugehöriges Betriebsverfahren und Kraftfahrzeug | |
EP2982572B1 (de) | Verfahren zum unterstützen eines fahrers eines kraftfahrzeugs beim ausparken, fahrerassistenzsystem und kraftfahrzeug | |
DE102016215115A1 (de) | Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs | |
DE112016003793T5 (de) | Steuervorrichtung zur Fahrspurhaltung | |
DE102018104104A1 (de) | Fahrerunterstützungsverfahren für ein Fahrzeug | |
DE112016002947T5 (de) | Verfahren und System zum Steuern des Fahrens eines Fahrzeugs entlang einer Straße | |
DE102005022663A1 (de) | Verfahren und Vorrichtung zur Fahrerunterstützung | |
DE102018004573A1 (de) | Verfahren zum Informieren eines Fahrers eines Fahrzeugs | |
DE102016214046A1 (de) | Verfahren zum Betreiben eines Fahrerassistenzsystems mit einer Datenbrille sowie ein Anzeigesystem mit einer Datenbrille | |
DE102018215509A1 (de) | Verfahren und Vorrichtung zum Betrieb eines zumindest teilweise automatisiert betriebenen ersten Fahrzeugs | |
EP3720749B1 (de) | Verfahren zum betreiben eines kraftfahrzeugs und kraftfahrzeug mit einem engstellenassistenten | |
EP1944212B1 (de) | Verfahren und Vorrichtung zum Ermitteln potentiell gefährdender Objekte für ein Fahrzeug | |
DE102015212583A1 (de) | Fahrerassistenzvorrichtung für ein Kraftfahrzeug, Kraftfahrzeug mit einer solchen Fahrerassistenzvorrichtung sowie ein Verfahren zur Unterstützung eines Kraftfahrzeugführers beim Führen eines Kraftfahrzeugs mit einer solchen Fahrerassistenzvorrichtung | |
EP4054912A1 (de) | STEUERUNGSSYSTEM UND STEUERUNGSVERFAHREN FÜR EIN ERKENNEN UND EINE REAKTION EINES REIßVERSCHLUSSVERFAHRENS FÜR EIN KRAFTFAHRZEUG | |
EP2287060A1 (de) | Verfahren zur Ermittlung eines Ein- oder Ausschervorgangs eines dem eigenen Kraftfahrzeug vorausfahrenden Fahrzeugs | |
DE102017116627A1 (de) | Anzeigevorrichtung für ein fahrzeug | |
EP3978295B1 (de) | Fahrspurbezogene visuelle assistenzfunktion einer head-up-displayeinrichtung für ein kraftfahrzeug |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8327 | Change in the person/name/address of the patent owner |
Owner name: DAIMLER AG, 70327 STUTTGART, DE |
|
8364 | No opposition during term of opposition | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |