DE102014204980A1 - Verfahren und Vorrichtung zur Einschränkung oder Zwangsaktivierung von Kraftfahrzeugfunktionen - Google Patents
Verfahren und Vorrichtung zur Einschränkung oder Zwangsaktivierung von Kraftfahrzeugfunktionen Download PDFInfo
- Publication number
- DE102014204980A1 DE102014204980A1 DE102014204980.6A DE102014204980A DE102014204980A1 DE 102014204980 A1 DE102014204980 A1 DE 102014204980A1 DE 102014204980 A DE102014204980 A DE 102014204980A DE 102014204980 A1 DE102014204980 A1 DE 102014204980A1
- Authority
- DE
- Germany
- Prior art keywords
- driver
- motor vehicle
- sensors
- personal data
- reference values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/043—Identity of occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/21—Voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
- B60W2720/106—Longitudinal acceleration
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur automatischen Einschränkung oder Zwangsaktivierung von bestimmten Funktionen eines Kraftfahrzeugs (2) in Abhängigkeit von personenbezogenen Daten, die einem persönlichen elektronischen Fahrzeugschlüssel (4), der seinen Inhaber gegenüber der Fahrzeugelektronik als einen zum Führen des Kraftfahrzeugs (2) befugten Fahrer ausweist, eindeutig zugeordnet sind, wobei mittels Sensoren (6) im Kraftfahrzeug (2) Informationen in Bezug auf den Fahrer gewonnen und daraufhin analysiert werden, ob die Verfassung des Fahrers wesentlich von Referenzwerten abweicht, die den personenbezogenen Daten eindeutig zugeordnet sind, und wobei die bestimmten Funktionen des Kraftfahrzeugs (2) eingeschränkt oder zwangsaktiviert werden, wenn die Analyse ergibt, dass die Verfassung des Fahrers wesentlich von den Referenzwerten abweicht. Gemäß der Erfindung sind die Sensoren (6) Standard-Innenraumsensoren des Kraftfahrzeugs (2), zu denen mindestens ein Mikrofon gehört. Die mittels der Sensoren (6) gewonnenen Informationen werden daraufhin analysiert, ob die emotionale Verfassung des Fahrers wesentlich von Referenzwerten abweicht, die den personenbezogenen Daten eindeutig zugeordnet sind. Die bestimmten Funktionen des Kraftfahrzeugs (2) werden in Übereinstimmung mit Regeln, die den personenbezogenen Daten eindeutig zugeordnet und unter Verwendung des elektronischen Fahrzeugschlüssels (4) individuell einstellbar sind, eingeschränkt oder zwangsaktiviert werden. Die Einschränkung oder Zwangsaktivierung der bestimmten Funktionen des Kraftfahrzeugs (2) wird automatisch beendet, wenn die Analyse ergibt, dass die emotionale Verfassung des Fahrers nicht mehr wesentlich von den Referenzwerten abweicht.
Description
- Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur automatischen Einschränkung oder Zwangsaktivierung von bestimmten Funktionen eines Kraftfahrzeugs in Abhängigkeit von personenbezogenen Daten, die einem persönlichen elektronischen Fahrzeugschlüssel, der seinen Inhaber gegenüber der Fahrzeugelektronik als einen zum Führen des Kraftfahrzeugs befugten Fahrer ausweist, eindeutig zugeordnet sind.
- Ein derartiges Verfahren und eine derartige Vorrichtung sind als sog. MyKey®-System bekannt. Dieses System umfasst einen elektronischen Fahrzeugschlüssel, d.h. einen Schlüssel ohne Bart und mit integrierter Digitalelektronik, der individuell programmierbar ist, so dass das Kraftfahrzeug mit diesem Schlüssel nur in einem eingeschränkten Fahrmodus betreibbar ist. So können die Höchstgeschwindigkeit, die Fahrzeugbeschleunigung und/oder die Lautstärke der Audioanlage auf voreingestellte Maximalwerte beschränkt sein, oder bestimmte Fahrzeugsicherheitssysteme oder Fahrerassistenzsysteme sind bzw. werden dauerhaft aktiviert, z.B. Gurtanlegewarnung, Spurhalteassistent oder Abstandsregeltempomat. Dieses System ist für bestimmte Personen gedacht, in erster Linie Fahranfänger, denen der elektronische Fahrzeugschlüssel ausgehändigt wird.
- Die
DE 10 2007 046 037 B3 offenbart ein Verfahren und eine Vorrichtung mit den Merkmalen der Oberbegriffe der unabhängigen Patentansprüche. Die Sensoren sind dedizierte Gesundheitsdaten-Sensoren zur Erfassung von Puls, Atemfrequenz, Druck auf das Lenkrad und Atemalkohol. Anhand dieser Daten wird die gesundheitliche Verfassung des Fahrers nach allgemeinen, nicht benutzerspezifischen Regeln beurteilt, und im Falle einer akuten Gesundheitsgefährdung wird die Fahrt zwangsweise beendet und sichergestellt, dass der Fahrer die Fahrt nicht fortsetzen kann. Ein ganz ähnliches Verfahren ist aus derDE 101 26 224 A1 bekannt. - Die
DE 198 43 395 A1 offenbart ein fahrerindividuell abstimmbares Verfahren zur Geschwindigkeits- oder Abstandsregelung bei Kraftfahrzeugen, wobei der Fahrer aufgrund seines Fahrverhaltens sensorisch erkannt wird. - Aus der
US 7 667 609 B1 ist es bekannt, mittels Stimmanalyse, Atemgeräuschanalyse, Herzfrequenzanalyse, Atemgasanalyse od. dgl. auf den Gesundheitszustand oder den Gemütszustand einer Person zu schließen, die ein Gerät oder eine Maschine bedient, die auch ein Fahrzeug sein kann, um diese Person zu warnen oder günstig zu beeinflussen oder um den Betrieb des Geräts oder der Maschine geeignet einzuschränken. - Die
EP 2 333 768 A2 offenbart ein Sprachdialogsystem mit einer Sprechererkennungseinheit, einer Spracherkennungseinheit und einer Fahrerzustandserfassungseinheit zur Erfassung des Zustands des Fahrers, z.B. Fahrtüchtigkeit oder emotionaler Zustand, anhand des Sprachsignals und zur Ausgabe des Zustands des Fahrers an eine Entscheidereinheit, welche eine für den erfassten Zustand des Fahrers geeignete Sprachdialogführung auswählt. - Die
EP 1 986 889 B1 offenbart eine Spracherkennungseinrichtung insbesondere in einem Kraftfahrzeug, die auch Stimmkenngrößen des Benutzers erfassen kann, z.B. Lautstärke, Tonfall und Tonhöhe, um Emotionen des Benutzers zu detektieren und bei der Bereitstellung von Informationen bzw. Hilfestellungen angemessen zu reagieren. Die Stimmkenngrößen können auch zur Identifizierung des Benutzers verwendet werden, um die Inbetriebnahme des Fahrzeug bzw. bestimmter Funktionen zu ermöglichen und/oder ggf. gespeicherte individuelle Benutzerkonfigurationen einzustellen. - Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zur Einschränkung oder Zwangsaktivierung von Kraftfahrzeugfunktionen bereitzustellen, welches dem Benutzer nicht nur die Möglichkeiten und Vorteile der beiden bekannten Systeme MyKey®-Systems einerseits und Emotionserkennung andererseits bietet, sondern das darüber hinaus mit möglichst geringem Aufwand eine vereinfachte Bedienbarkeit und einen Sicherheitsgewinn bietet, ohne den Fahrer unnötig zu behindern oder zu stören.
- Diese Aufgabe wird durch die in den unabhängigen Patentansprüchen angegebene spezielle Art von Fusionierung der beiden bekannten Systeme gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
- Die Erfindung basiert zum einen darauf, dass bereits das in heutigen Kraftfahrzeugen standardmäßig eingebaute Bordmikrofon eine gute Emotionserkennung durch Sprachanalyse erlaubt, weshalb das erfindungsgemäße Verfahren ohne zusätzlichen Hardwareaufwand durchführbar ist.
- Des Weiteren werden gemäß der Erfindung individuelle Referenzwerte für die Emotionserkennung den personenbezogenen Daten des MyKey®-Systems eindeutig zugeordnet, ebenso wie individuell einstellbare Regeln, nach denen bestimmte Funktionen des Kraftfahrzeugs eingeschränkt oder zwangsaktiviert werden, wenn die Analyse ergibt, dass die emotionale Verfassung des Fahrers wesentlich von den Referenzwerten abweicht. Dadurch wird die Bedienung sehr vereinfacht.
- Des Weiteren wird die Emotionsanalyse auch dann fortgesetzt, wenn Funktionen des Kraftfahrzeugs eingeschränkt oder zwangsaktiviert worden sind, und die Einschränkung oder Zwangsaktivierung der bestimmten Funktionen des Kraftfahrzeugs wird automatisch beendet, wenn die Analyse ergibt, dass die emotionale Verfassung des Fahrers nicht mehr wesentlich von den Referenzwerten abweicht. Das heißt, es wird nur temporär eingegriffen, so dass der Fahrer nicht unnötig behindert oder gestört wird.
- Die Erfindung bietet einen Sicherheitsgewinn, weil es emotionale Verfassungen gibt, die mit dem Gesundheitszustand nichts zu tun haben, wie z.B. Aggressivität, übertriebene Heiterkeit oder Übermut, die aber zu einem leichtfertigen Fahrverhalten führen können, z.B. wenn ein Jugendlicher aus einer Diskothek nach Hause fährt, oder auch Ärger oder geistiger Stress.
- Unter einer wesentlichen Abweichung einer oder mehrerer Größen, welche die emotionale Verfassung des Fahrers repräsentieren, von einem oder mehreren Referenzwerten wird hier eine Abweichung um mehr als ein nach Erfahrungswerten vom Hersteller oder Benutzer voreingestelltes Maß verstanden.
- Je nachdem, wer das erfindungsgemäße Verfahren benutzen will oder benutzen soll, kann vor Inbetriebnahme eingestellt werden, dass die Einschränkung oder Zwangsaktivierung der bestimmten Funktionen des Kraftfahrzeugs vom Fahrer entweder gar nicht außer Kraft gesetzt werden kann oder nur unter bestimmten Voraussetzungen oder nach Wunsch außer Kraft gesetzt werden kann. In jedem Fall wird die Einschränkung oder Zwangsaktivierung automatisch beendet, wenn die Analyse ergibt, dass die emotionale Verfassung des Fahrers nicht mehr wesentlich von den Referenzwerten abweicht.
- In einer bevorzugten Ausführungsform wird der Fahrer vor einer bevorstehenden automatischen Einschränkung oder Zwangsaktivierung der bestimmten Funktionen des Kraftfahrzeugs gewarnt, und die Einschränkung oder Zwangsaktivierung wird nur dann durchgeführt, wenn der Fahrer die Warnung ignoriert und die Fahrt bei unveränderter Abweichung seiner emotionalen Verfassung von den Referenzwerten fortsetzt.
- Die Informationen in Bezug auf den Fahrer können außer den mit dem Mikrofon erfassten Geräuschen für Stimmanalyse und/oder Atemgeräuschanalyse zur Emotionserkennung z.B. Bild- und/oder Reaktionszeit-Informationen sein, und entsprechende zusätzliche Sensoren können z.B. Kameras im Fahrzeuginnenraum sein, die eine Bildanalyse des Fahrers zur noch genaueren Emotionserkennung erlauben. Ebenfalls in vielen Kraftfahrzeugen standardmäßig vorhanden sind bewegungsmeldende Sensoren wie z.B. Lenkwinkel- oder Pedalwegsensoren, die eine Fahrverhaltensanalyse zur noch genaueren Emotionserkennung erlauben.
- Die Referenzwerte können z.B. einmal am Tag ermittelt werden, wenn der Fahrer das Kraftfahrzeug erstmals startet. In diesem Zeitpunkt ist die Wahrscheinlichkeit hoch, gute Referenzwerte für die normale emotionale Verfassung des Fahrers zu erhalten, und die Referenzwerte können durch Mittelwertbildung über einen längeren Zeitraum noch verbessert werden.
- In einer bevorzugten Ausführungsform sind die Regeln, die den personenbezogenen Daten eindeutig zugeordnet sind, nur unter Verwendung des elektronischen Fahrzeugschlüssels individuell einstellbar, eventuell nur durch eine dazu befugte Person, welche der Inhaber des elektronischen Fahrzeugschlüssels oder jemand anderes sein kann, je nachdem, wer das erfindungsgemäße Verfahren benutzen will oder benutzen soll.
- In einer bevorzugten Ausführungsform sind die personenbezogenen Daten, die Referenzwerte und/oder die Regeln, die den personenbezogenen Daten eindeutig zugeordnet sind, in dem elektronischen Fahrzeugschlüssel und/oder in einer dem elektronischen Fahrzeugschlüssel zugeordneten, nur bei dessen Vorhandensein zugänglichen Datenbank im Kraftfahrzeug gespeichert. Auf diese Weise können mehrere Fahrer dasselbe Kraftfahrzeug jeweils mit individuellen Voreinstellungen für automatische Einschränkung oder Zwangsaktivierung von Funktionen nutzen. Außerdem ermöglicht dies einen guten Datenschutz.
- Funktionen des Kraftfahrzeugs, die gemäß der Erfindung eingeschränkt werden können, sind z.B. die Wahl der Fahrgeschwindigkeit oder der Beschleunigung durch den Fahrer, die Wahl der Lautstärke der Audioanlage, Unterstützung von Mobiltelefonie im Kraftfahrzeug od. dgl. mehr. Diese Funktionen werden ggf. auf voreingestellte Maximalwerte beschränkt, insbesondere dann, wenn die Analyse der Informationen in Bezug auf den Fahrer auf einen emotional geladenen, z.B. aggressiven oder aufgeregten Zustand des Fahrers, oder auf irgendwelche anderen emotionalen Beeinträchtigungen schließen lässt.
- Funktionen des Kraftfahrzeugs, die gemäß der Erfindung aktiviert werden können, sind z.B. aktivierbare Fahrzeugsicherheitssysteme oder Fahrerassistenzsysteme wie z.B. eine Gurtanlegewarnung, ein Gurtstraffer, ein Spurhalteassistent, ein auf ausreichenden oder mehr als ausreichenden Sicherheitsabstand eingestellter Abstandsregeltempomat, ein Auffahrverhinderer, der das Kraftfahrzeug bei niedrigen Geschwindigkeiten selbsttätig bis zum Stillstand abbremst, wenn ein Hindernis erkannt wird, u. dgl. mehr.
- Im Falle von Mobiltelefonie kann deren Unterstützung auf voreingestellte Zieltelefonnummern beschränkt werden oder ganz beendet werden, wenn häufige Unaufmerksamkeit des Fahrers festgestellt wird, entweder eher direkt z.B. durch Bildanalyse oder eher indirekt über irgendeine andere Analysemethode.
- Die Erfindung ermöglicht es, ohne Änderungen der Infrastruktur moderner Kraftfahrzeuge mit einem einzigen, auf einfache Weise bedienbaren System viele Kraftfahrzeugführer und die Verkehrsteilnehmer in dessen Umgebung vor einer Vielzahl von Gefahren im Verkehr zu schützen, sowohl vor Gefahren, die z.B. durch geringe Fahrpraxis bedingt sind, wie es eher bei jüngeren Fahrern der Fall ist, als auch vor solchen, die durch kritische Gemütszustände bedingt sind, wie es bei Fahrern jedes Alters vorkommen kann.
- Es folgt eine Beschreibung von Ausführungsbeispielen anhand der Zeichnung. Darin zeigen:
-
1 eine Vorrichtung zur automatischen Einschränkung oder Zwangsaktivierung von Funktionen eines Kraftfahrzeugs in Abhängigkeit von personenbezogenen Daten, die einem persönlichen elektronischen Fahrzeugschlüssel zugeordnet sind; -
2 ein Flussdiagramm einer Routine zur Durchführung eines ersten Teils des in der Vorrichtung von1 durchgeführten Verfahrens; und -
3 ein Flussdiagramm einer Routine zur Durchführung eines zweiten Teils des in der Vorrichtung von1 durchgeführten Verfahrens. - Wie in
1 gezeigt, enthält eine Vorrichtung zur automatischen Einschränkung oder Zwangsaktivierung bestimmter Funktionen eines Kraftfahrzeugs2 einen persönlichen elektronischen Fahrzeugschlüssel4 , der personenbezogene Daten enthält und auch für Änderungen von gespeicherten Einstellungen benötigt wird. - Eine Gruppe
6 von Sensoren im Kraftfahrzeug2 enthält Standard-Sensoren wie z.B. ein Mikrofon im Fahrzeuginnenraum und evtl. eine Kamera für Fahrzeuginnenraumüberwachung. Die Gruppe6 von Sensoren enthält ggf. auch einen Lenkwinkelsensor, Pedalwegsensor u. dgl. Die Ausgangsignale der Gruppe6 von Sensoren werden einem Modul8 zur Erkennung der emotionalen Verfassung des Fahrers des Kraftfahrzeugs2 zugeführt. Das Modul8 vergleicht u.a. das aktuelle Sprechmuster des Fahrers mit einem gespeicherten Referenzmuster, um darin emotional geladene Zustände, wie z.B. Aggressivität, übertriebene Heiterkeit, Übermut, Ärger oder Stress, zu erkennen. - Optional kann die Gruppe
6 von Sensoren außerdem einen im Fahrersitz eingebauten Sensor zur berührungslosen Herzschlagmessung umfassen, dessen Ausgangsignal einem optionalen Modul10 für Erkennung der gesundheitlichen Verfassung des Fahrers anhand des Herzschlags zugeführt wird. Das Modul10 vergleicht u.a. die aktuelle Herzschlagfrequenz des Fahrers mit einem gespeicherten Referenzwert und kann zusätzlich die Signale der anderen Sensoren verwenden, um gesundheitliche Beeinträchtigungen des Fahrers zuverlässiger erkennen zu können. Die Herzschlagfrequenz des Fahrers kann auch von dem Modul8 ausgewertet werden, um einen emotional geladenen Zustand des Fahrers noch zuverlässiger erkennen zu können. - In einer Datenbank
12 , die sich in dem elektronischen Fahrzeugschlüssel4 oder im Kraftfahrzeug2 befinden kann, sind die personenbezogenen Daten sowie verschiedene Einstellungen für Einschränkungen, Referenzwerte und Regeln für Reaktionen auf erkannte emotionale und ggf. auch gesundheitliche Beeinträchtigungen des Fahrers gespeichert. - Daten von dem elektronischen Fahrzeugschlüssel
4 und der Datenbank12 sowie Daten in Bezug auf die aktuelle emotionale und ggf. gesundheitliche Verfassung des Fahrers von den Modulen8 und10 werden in einem Verarbeitungsmodul14 verarbeitet. - Die Verarbeitungsergebnisse des Verarbeitungsmoduls
14 werden in einem Arbitrierungs- und Entscheidungsmodul16 verwendet, um bestimmte Funktionen des Kraftfahrzeugs in Übereinstimmung mit den gespeicherten Regeln einzuschränken oder zwangsweise zu aktivieren, wenn die Analyse in den Modulen8 ,10 und14 ergibt, dass die Verfassung des Fahrers wesentlich von den Referenzwerten abweicht. - Eine Schnittstelle
18 ermöglicht es, Einstellungen und Regeln in den vorgenannten Modulen sowie die einschränkbaren oder aktivierbaren Funktionen des Kraftfahrzeugs einzustellen und auszuwählen. - Die vorstehend beschriebene Vorrichtung ist dafür eingerichtet, sicherzustellen, dass das Kraftfahrzeug
2 bei Verwendung des elektronischen Fahrzeugschlüssels4 nur in einem eingeschränkten Fahrmodus betrieben werden kann, wenn dies gewünscht ist. So können die Höchstgeschwindigkeit, die Fahrzeugbeschleunigung und/oder die Lautstärke der Audioanlage auf voreingestellte Maximalwerte beschränkt sein, oder bestimmte Fahrzeugsicherheitssysteme oder Fahrerassistenzsysteme sind bzw. werden dauerhaft aktiviert, z.B. Gurtanlegewarnung, Spurhalteassistent oder Abstandsregeltempomat. - Darüber hinaus ist die vorstehend beschriebene Vorrichtung dafür eingerichtet, bei der Einschränkung oder Zwangsaktivierung von Funktionen die emotionale Verfassung des Fahrers zu berücksichtigen. Zu diesem Zweck werden in den Modulen
8 ,10 und14 Verarbeitungen durchgeführt, die nun anhand der2 und3 näher erläutert werden. - Die in
2 gezeigte Routine bezieht sich auf die im Modul8 erkannte emotionale Verfassung des Fahrers. In Schritt S1 wird der Inhaber des elektronischen Fahrzeugschlüssels4 als ein zum Führen des Kraftfahrzeugs befugter Fahrer identifiziert. Im Schritt S2 wird eine Liste von Emotionseinstellungen aus dem elektronischen Fahrzeugschlüssel4 oder der Datenbank12 geladen. In Schritt S3 startet eine Überwachung der emotionalen Verfassung des Fahrers, z.B. ob seine Stimme aggressiv, übermütig oder übertrieben heiter klingt. Wird im Schritt S4 keine Aggressivität od. dgl. des Fahrers festgestellt, geht die Überwachung in Schritt S3 weiter. Wird in Schritt S4 Aggressivität od. dgl. des Fahrers festgestellt, werden in Schritt S5 im elektronischen Fahrzeugschlüssel4 oder der Datenbank12 gespeicherte Einschränkungen gelesen, die in Schritt S6 auf das Fahrzeug angewendet werden, wobei widerstreitende Fahrerbefehle z.B. mittels des Fahrpedals ignoriert werden. Außerdem wird dies dem Fahrer auf geeignete Weise mitgeteilt. Wird in Schritt S7 immer noch Aggressivität od. dgl. des Fahrers festgestellt, werden die Einschränkungen im Schritt S6 weiter angewendet. Wird in Schritt S7 festgestellt, dass der Fahrer nicht mehr aggressiv od. dgl. ist, wird das Anwenden der Einschränkungen beendet, und die Routine geht mit dem Schritt S3 weiter. - Die in
3 gezeigte Routine bezieht sich auf die im Modul10 optional erkannte gesundheitliche Verfassung des Fahrers. In Schritt S11 wird der Inhaber des elektronischen Fahrzeugschlüssels4 als ein zum Führen des Kraftfahrzeugs befugter Fahrer identifiziert. Im Schritt S12 wird eine Liste von Gesundheitseinstellungen, z.B. ob der Fahrer Asthma oder eine Allergie hat, aus dem elektronischen Fahrzeugschlüssel4 oder der Datenbank12 geladen. Im Schritt S13 startet eine Überwachung der gesundheitlichen Verfassung des Fahrers, z.B. ob seine Stimme asthmatisch oder allergisch beeinträchtigt klingt und/oder die Herzschlagfrequenz ungewöhnlich ist. Wird in Schritt S14 keine gesundheitliche Beeinträchtigung des Fahrers festgestellt, geht die Überwachung im Schritt S13 weiter. Wird in Schritt S14 eine gesundheitliche Beeinträchtigung des Fahrers festgestellt, werden in Schritt S15 im elektronischen Fahrzeugschlüssel4 oder der Datenbank12 gespeicherte Informationen bezüglich der in diesem Fall zu treffenden Maßnahmen gelesen, z.B. Einschalten von bestimmten Fahrerassistenten und/oder Erhöhen der Frischluftzufuhr im Kraftfahrzeug, die in Schritt S16 auf das Fahrzeug angewendet werden. Außerdem wird dies dem Fahrer auf geeignete Weise mitgeteilt. Wird in Schritt S17 immer noch eine gesundheitliche Beeinträchtigung des Fahrers festgestellt, werden die Einschränkungen in Schritt S16 weiter angewendet. Wird in Schritt S17 festgestellt, dass der Fahrer nicht mehr gesundheitlich beeinträchtigt aggressiv ist, wird das Anwenden der Maßnahmen beendet, und die Routine geht mit dem Schritt S13 weiter. - Die Vorrichtung zur automatischen Einschränkung oder Zwangsaktivierung von Funktionen eines Kraftfahrzeugs kann grundsätzlich so konfiguriert werden, dass sie beide in
2 und3 gezeigten Routinen gleichzeitig durchführt, doch wird sie in jedem Fall so konfiguriert, dass sie die in2 gezeigte Routine durchführt. - Die in den Figuren gezeigten Anordnungen und Verfahren sind nur spezielle Beispiele, die der Fachmann auf vielfältige Weise zu variieren weiß, um die in der Einleitung beschriebenen Konfigurationen und Verfahren zu realisieren.
- ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- DE 102007046037 B3 [0003]
- DE 10126224 A1 [0003]
- DE 19843395 A1 [0004]
- US 7667609 B1 [0005]
- EP 2333768 A2 [0006]
- EP 1986889 B1 [0007]
Claims (8)
- Verfahren zur automatischen Einschränkung oder Zwangsaktivierung von bestimmten Funktionen eines Kraftfahrzeugs (
2 ) in Abhängigkeit von personenbezogenen Daten, die einem persönlichen elektronischen Fahrzeugschlüssel (4 ), der seinen Inhaber gegenüber der Fahrzeugelektronik als einen zum Führen des Kraftfahrzeugs (2 ) befugten Fahrer ausweist, eindeutig zugeordnet sind, wobei mittels Sensoren (6 ) im Kraftfahrzeug (2 ) Informationen in Bezug auf den Fahrer gewonnen und daraufhin analysiert werden, ob die Verfassung des Fahrers wesentlich von Referenzwerten abweicht, die den personenbezogenen Daten eindeutig zugeordnet sind, und wobei die bestimmten Funktionen des Kraftfahrzeugs (2 ) eingeschränkt oder zwangsaktiviert werden, wenn die Analyse ergibt, dass die Verfassung des Fahrers wesentlich von den Referenzwerten abweicht, dadurch gekennzeichnet, dass – die Sensoren (6 ) Standard-Innenraumsensoren des Kraftfahrzeugs (2 ) umfassen, zu denen mindestens ein Mikrofon gehört; – die mittels der Sensoren (6 ) gewonnenen Informationen daraufhin analysiert werden, ob die emotionale Verfassung des Fahrers wesentlich von Referenzwerten abweicht, die den personenbezogenen Daten eindeutig zugeordnet sind; – die bestimmten Funktionen des Kraftfahrzeugs (2 ) in Übereinstimmung mit Regeln, die den personenbezogenen Daten eindeutig zugeordnet und unter Verwendung des elektronischen Fahrzeugschlüssels (4 ) individuell einstellbar sind, eingeschränkt oder zwangsaktiviert werden; und – die Einschränkung oder Zwangsaktivierung der bestimmten Funktionen des Kraftfahrzeugs (2 ) automatisch beendet wird, wenn die Analyse ergibt, dass die emotionale Verfassung des Fahrers nicht mehr wesentlich von den Referenzwerten abweicht. - Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Einschränkung oder Zwangsaktivierung der bestimmten Funktionen des Kraftfahrzeugs (
2 ) vom Fahrer nicht oder nur unter bestimmten Voraussetzungen außer Kraft gesetzt werden kann. - Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Fahrer vor einer bevorstehenden automatischen Einschränkung oder Zwangsaktivierung der bestimmten Funktionen des Kraftfahrzeugs (
2 ) gewarnt wird und die Einschränkung oder Zwangsaktivierung nur durchgeführt wird, wenn der Fahrer die Fahrt bei weiterhin bestehender wesentlicher Abweichung der emotionalen Verfassung des Fahrers von den Referenzwerten fortsetzt. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Informationen in Bezug auf den Fahrer Geräusch-, Bild- und/oder Reaktionszeit-Informationen umfassen und die Sensoren (
6 ) akustische, optische und/oder bewegungsmeldende Sensoren sind. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoren (
6 ) außerdem eine auf den Fahrer gerichtete Kamera, einen Lenkwinkelsensor und/oder einen Pedalwegsensor umfassen, wobei die emotionale Verfassung des Fahrers mittels Stimmanalyse, Atemgeräuschanalyse, Bildanalyse und/oder Fahrverhaltensanalyse beurteilt wird. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Regeln, die den personenbezogenen Daten eindeutig zugeordnet sind, nur unter Verwendung des elektronischen Fahrzeugschlüssels (
4 ) individuell einstellbar sind. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die personenbezogenen Daten, die Referenzwerte und/oder die Regeln, die den personenbezogenen Daten eindeutig zugeordnet sind, in dem elektronischen Fahrzeugschlüssel (
4 ) und/oder in einer dem elektronischen Fahrzeugschlüssel (4 ) zugeordneten, nur bei Vorhandensein des elektronischen Fahrzeugschlüssels (4 ) zugänglichen Datenbank (12 ) im Kraftfahrzeug (2 ) gespeichert sind. - Vorrichtung zur automatischen Einschränkung oder Zwangsaktivierung von bestimmten Funktionen eines Kraftfahrzeugs (
2 ) in Abhängigkeit von personenbezogenen Daten, die einem persönlichen elektronischen Fahrzeugschlüssel (4 ), der seinen Inhaber gegenüber der Fahrzeugelektronik als einen zum Führen des Kraftfahrzeugs (2 ) befugten Fahrer ausweist, eindeutig zugeordnet sind, dadurch gekennzeichnet, dass die Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014204980.6A DE102014204980B4 (de) | 2013-07-05 | 2014-03-18 | Verfahren und Vorrichtung zur Einschränkung oder Zwangsaktivierung von Kraftfahrzeugfunktionen |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013213186.0 | 2013-07-05 | ||
DE102013213186 | 2013-07-05 | ||
DE102014204980.6A DE102014204980B4 (de) | 2013-07-05 | 2014-03-18 | Verfahren und Vorrichtung zur Einschränkung oder Zwangsaktivierung von Kraftfahrzeugfunktionen |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102014204980A1 true DE102014204980A1 (de) | 2015-01-08 |
DE102014204980B4 DE102014204980B4 (de) | 2017-10-05 |
Family
ID=52106472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102014204980.6A Expired - Fee Related DE102014204980B4 (de) | 2013-07-05 | 2014-03-18 | Verfahren und Vorrichtung zur Einschränkung oder Zwangsaktivierung von Kraftfahrzeugfunktionen |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN104276037B (de) |
DE (1) | DE102014204980B4 (de) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105045665A (zh) * | 2015-07-01 | 2015-11-11 | 西北工业大学 | 基于操作员功能状态的驾驶舱动态功能分配方法 |
DE102015200775A1 (de) * | 2015-01-20 | 2016-07-21 | Bayerische Motoren Werke Aktiengesellschaft | Unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung |
DE102015205158A1 (de) * | 2015-03-23 | 2016-09-29 | Robert Bosch Gmbh | Steuereinrichtung für ein Kraftffahrzeug und Fahrerinformationsverfahren |
WO2017001319A1 (en) * | 2015-07-01 | 2017-01-05 | Essilor International (Compagnie Générale d'Optique) | A visual fatigue determining module |
DE102015220237A1 (de) | 2015-10-16 | 2017-04-20 | Zf Friedrichshafen Ag | Fahrzeugsystem und Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren |
DE102016207447A1 (de) * | 2016-04-29 | 2017-11-02 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Insassenassistenz für ein Fahrzeug und Vorrichtung hierfür |
DE102019129627A1 (de) * | 2019-11-04 | 2021-05-06 | Audi Ag | Verfahren zum Betreiben eines Fahrassistenzsystems eines Kraftfahrzeugs |
EP3767621A4 (de) * | 2018-03-14 | 2022-03-30 | Clarion Co., Ltd. | Bordorrichtung, verfahren zur schätzung des fahrzustands, servervorrichtung, informationsverarbeitungsverfahren und system zur schätzung des fahrzustands |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016207975A1 (de) * | 2016-05-10 | 2017-11-16 | Robert Bosch Gmbh | Verfahren zur Steuerung von sprachgesteuerten Bedienschnittstellen in Kraftfahrzeugen und Vorrichtung zur Durchführung des Verfahrens |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19843395A1 (de) | 1998-09-22 | 2000-03-23 | Volkswagen Ag | Verfahren zur Geschwindigkeits- und/oder Abstandsregelung bei Kraftfahrzeugen |
DE10126224A1 (de) | 2001-05-30 | 2002-12-12 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Charakterisierung des Zustandes des Fahrers eines Kraftfahrzeuges |
DE102007046037B3 (de) | 2007-09-26 | 2009-04-16 | Siemens Ag | Vorrichtung zur Erhöhung der Sicherheit im Straßenverkehr |
US7667609B1 (en) | 2005-06-02 | 2010-02-23 | Kevin Roe | Expert system rescue of impaired equipment operators |
EP1986889B1 (de) | 2006-02-11 | 2010-09-15 | Volkswagen Aktiengesellschaft | Vorrichtung und verfahren zur interaktiven informationsausgabe und/oder hilfestellung für den benutzer eines kraftfahrzeugs |
EP2333768A2 (de) | 2009-10-30 | 2011-06-15 | Continental Automotive GmbH | Vorrichtung, System und Verfahren zur Sprachdialogaktivierung und/oder -führung |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19952857C1 (de) * | 1999-11-03 | 2001-08-09 | Bosch Gmbh Robert | Vorrichtung zur fahrerzustandsabhängigen Steuerung |
US7279806B2 (en) * | 2004-07-27 | 2007-10-09 | Elaine E. Futrell | Ignition system with driver identification |
DE102006039682A1 (de) * | 2006-08-24 | 2008-02-28 | Audi Ag | Verfahren zum Gewährleisten eines sicheren Betriebs eines Kraftfahrzeugs |
JP2008155848A (ja) * | 2006-12-26 | 2008-07-10 | Nippon Dempa Kogyo Co Ltd | キーシステム |
DE102007052355B4 (de) * | 2007-11-02 | 2023-05-17 | Volkswagen Ag | Verfahren zum Bedienen von Einrichtungen eines Fahrzeugs |
JP2009214591A (ja) * | 2008-03-07 | 2009-09-24 | Denso Corp | 体調連動制御システム |
CN201484199U (zh) * | 2009-06-30 | 2010-05-26 | 奇瑞汽车股份有限公司 | 一种车用酒精检测控制装置 |
CN201849322U (zh) * | 2010-10-22 | 2011-06-01 | 浙江吉利汽车研究院有限公司 | 一种汽车防疲劳驾驶装置 |
DE102012009833A1 (de) * | 2012-05-18 | 2012-11-29 | Daimler Ag | Assistent zur Fahrerabsicherung bei Schutzreflexreaktionen |
DE102013201168A1 (de) * | 2013-01-24 | 2014-07-24 | Ford Global Technologies, Llc | Bedarfsweise aktivierbares Fernsteuerungssystem für Kraftfahrzeuge |
-
2014
- 2014-03-18 DE DE102014204980.6A patent/DE102014204980B4/de not_active Expired - Fee Related
- 2014-07-01 CN CN201410309059.9A patent/CN104276037B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19843395A1 (de) | 1998-09-22 | 2000-03-23 | Volkswagen Ag | Verfahren zur Geschwindigkeits- und/oder Abstandsregelung bei Kraftfahrzeugen |
DE10126224A1 (de) | 2001-05-30 | 2002-12-12 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Charakterisierung des Zustandes des Fahrers eines Kraftfahrzeuges |
US7667609B1 (en) | 2005-06-02 | 2010-02-23 | Kevin Roe | Expert system rescue of impaired equipment operators |
EP1986889B1 (de) | 2006-02-11 | 2010-09-15 | Volkswagen Aktiengesellschaft | Vorrichtung und verfahren zur interaktiven informationsausgabe und/oder hilfestellung für den benutzer eines kraftfahrzeugs |
DE102007046037B3 (de) | 2007-09-26 | 2009-04-16 | Siemens Ag | Vorrichtung zur Erhöhung der Sicherheit im Straßenverkehr |
EP2333768A2 (de) | 2009-10-30 | 2011-06-15 | Continental Automotive GmbH | Vorrichtung, System und Verfahren zur Sprachdialogaktivierung und/oder -führung |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015200775A1 (de) * | 2015-01-20 | 2016-07-21 | Bayerische Motoren Werke Aktiengesellschaft | Unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung |
DE102015205158A1 (de) * | 2015-03-23 | 2016-09-29 | Robert Bosch Gmbh | Steuereinrichtung für ein Kraftffahrzeug und Fahrerinformationsverfahren |
CN105045665A (zh) * | 2015-07-01 | 2015-11-11 | 西北工业大学 | 基于操作员功能状态的驾驶舱动态功能分配方法 |
WO2017001319A1 (en) * | 2015-07-01 | 2017-01-05 | Essilor International (Compagnie Générale d'Optique) | A visual fatigue determining module |
CN105045665B (zh) * | 2015-07-01 | 2018-04-10 | 西北工业大学 | 基于操作员功能状态的驾驶舱动态功能分配方法 |
DE102015220237A1 (de) | 2015-10-16 | 2017-04-20 | Zf Friedrichshafen Ag | Fahrzeugsystem und Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren |
US10394236B2 (en) | 2015-10-16 | 2019-08-27 | Zf Friedrichshafen Ag | Vehicle system and method for enabling a device for autonomous driving |
DE102016207447A1 (de) * | 2016-04-29 | 2017-11-02 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Insassenassistenz für ein Fahrzeug und Vorrichtung hierfür |
EP3767621A4 (de) * | 2018-03-14 | 2022-03-30 | Clarion Co., Ltd. | Bordorrichtung, verfahren zur schätzung des fahrzustands, servervorrichtung, informationsverarbeitungsverfahren und system zur schätzung des fahrzustands |
US11498576B2 (en) | 2018-03-14 | 2022-11-15 | Clarion Co., Ltd. | Onboard device, traveling state estimation method, server device, information processing method, and traveling state estimation system |
DE102019129627A1 (de) * | 2019-11-04 | 2021-05-06 | Audi Ag | Verfahren zum Betreiben eines Fahrassistenzsystems eines Kraftfahrzeugs |
Also Published As
Publication number | Publication date |
---|---|
CN104276037B (zh) | 2019-06-11 |
DE102014204980B4 (de) | 2017-10-05 |
CN104276037A (zh) | 2015-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102014204980B4 (de) | Verfahren und Vorrichtung zur Einschränkung oder Zwangsaktivierung von Kraftfahrzeugfunktionen | |
EP1353824B1 (de) | Gefahrenabwendungssystem für ein fahrzeug | |
DE102014210494B4 (de) | Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs | |
DE102015200775A1 (de) | Unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung | |
DE102007051261A1 (de) | Verfahren und Vorrichtung zur akustischen Beurteilung eines Kraftfahrzeuges | |
DE102010049081A1 (de) | Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug | |
DE102019100567A1 (de) | Nutzungsbasiertes versicherungsbegleitsystem | |
DE102012105285A1 (de) | Verfahren und ein System zum Assistieren eines Fahrers eines Kraftfahrzeugs | |
DE102014115057A1 (de) | Fahrerassistenzsystem zum Unterstützen eines Fahrers eines Kraftfahrzeugs, Kraftfahrzeug sowie Verfahren | |
DE102013222645A1 (de) | Erkennungssystem in einem Fahrzeug zur Erfassung der Sprachaktivität eines Fahrzeuginsassen | |
EP3430615B1 (de) | Fortbewegungsmittel, system und verfahren zur anpassung einer länge einer erlaubten sprechpause im rahmen einer spracheingabe | |
DE10163967A1 (de) | Fahrerassistenzsystem unter Berücksichtigung des Aufmerksamkeitszustandes eines Kraftfahrzeugführers | |
EP4107716A1 (de) | Verfahren zum unterstützen eines insassen bei einem aussteigen aus einem fahrzeug unter berücksichtigung von folgeobjekten, recheneinrichtung sowie fahrerassistenzsystem | |
DE102011016777A1 (de) | Verfahren und Vorrichtung zum Betrieb einer Sicherheitsvorrichtung für ein Fahrzeug | |
DE102015209902B4 (de) | Verfahren und Vorrichtung zur Steuerung einer Innenraumbeleuchtung eines Kraftfahrzeugs | |
DE102017103391A1 (de) | Verfahren zur Verbesserung der Benutzerfreundlichkeit eines Fahrzeugs | |
DE102016211034A1 (de) | Informationsbereitstellungsvorrichtung für ein Fahrzeug | |
DE102018217634A1 (de) | Verfahren zum Betrieb eines Fahrzeugs sowie Fahrzeug | |
DE102011016080A1 (de) | Verfahren zum fahrerspezifischen Konfigurieren einer Mansch-Maschine-Schnittstelle in einem Kraftfahrzeug sowie Fahrerassistenzsystem | |
DE102021005092A1 (de) | Verfahren und Vorrichtung zur Erkennung von Emotionszuständen von Insassen eines Fahrzeuges | |
DE102008012898A1 (de) | Verfahren und Steuergerät zur Ausgabe von Informationen für das Verlassen eines Automobils | |
DE102017214605A1 (de) | Passagierdetektion mit Notfallbehandlung in einem Kraftfahrzeug | |
EP3608149B1 (de) | Verfahren zum steuern einer vorrichtung zur bereitstellung einer erinnerung in einem fahrzeug sowie vorrichtung zur bereitstellung einer erinnerung in einem fahrzeug | |
DE102017212535A1 (de) | Verfahren und System zum Betreiben eines Kraftfahrzeugs | |
DE102020111427A1 (de) | Personalisierte Müdigkeitswarnung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |