DE102007046123A1 - Motor vehicle, has microphone arranged in interior for detecting acoustic signals, where function in interior of vehicle is monitored using signals detected by microphone and is controllable depending on detected signal - Google Patents
Motor vehicle, has microphone arranged in interior for detecting acoustic signals, where function in interior of vehicle is monitored using signals detected by microphone and is controllable depending on detected signal Download PDFInfo
- Publication number
- DE102007046123A1 DE102007046123A1 DE200710046123 DE102007046123A DE102007046123A1 DE 102007046123 A1 DE102007046123 A1 DE 102007046123A1 DE 200710046123 DE200710046123 DE 200710046123 DE 102007046123 A DE102007046123 A DE 102007046123A DE 102007046123 A1 DE102007046123 A1 DE 102007046123A1
- Authority
- DE
- Germany
- Prior art keywords
- interior
- motor vehicle
- microphone
- detected
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
- B60R16/0373—Voice control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Abstract
Description
Die Erfindung bezieht sich auf ein Kraftfahrzeug mit einem in einem Innenraum angeordneten Mikrofon, das akustische Signale erfasst und mit einem Steuergerät.The The invention relates to a motor vehicle with one in one Interior arranged microphone that captures acoustic signals and with a control unit.
Kraftfahrzeuge mit einer Schnittstelle für ein Mobiltelefon verfügen über ein im Innenraum angeordnetes Mikrofon, um die von einem Nutzer gesprochenen Worte zu erfassen und über eine Freisprecheinrichtung an das Mobiltelefon weiter zu leiten. Üblicherweise wird dabei eine Audioanlage des Kraftfahrzeugs stumm geschaltet. Weiterhin ist es möglich, über eine Spracheingabe Befehle zur Ansteuerung verschiedener Funktionalitäten an ein zentrales Steuergerät des Kraftfahrzeugs zu übermitteln, beispielsweise "Licht aus", wenn der Nutzer ein Abblendlicht ausschalten möchte. Entsprechende Spracherkennungssoftware ist an sich bekannt und kann auch selbstlernend ausgelegt sein, um sich an verschiedene Nutzer des Kraftfahrzeugs anzupassen.motor vehicles have an interface for a mobile phone a microphone arranged in the interior to that of a user to capture spoken words and via a speakerphone to forward to the mobile phone. Usually will while an audio system of the motor vehicle muted. Farther is it possible to use voice commands for controlling various functionalities to a central control unit of the motor vehicle, for example "light off "if the user wants to turn off a low beam. Appropriate speech recognition software is known and can self-learning designed to appeal to different users of the Adapt motor vehicle.
Aus
der
In
der
Schließlich
offenbart die
Die bekannten Kraftfahrzeuge mit einem Mikrofon im Innenraum sind insofern nachteilig, als zwar eine Spracheingabe zur Ansteuerung von Funktionen möglich ist, nach wie vor im Kraftfahrzeug jedoch eine große Anzahl an Erfassungseinrichtungen, wie Türkontaktschalter oder dergleichen, notwendig sind, um alle Funktionen des Kraftfahrzeugs zu überwachen.The known motor vehicles with a microphone in the interior are so far disadvantageous, as though a voice input for controlling functions is possible, but still in the vehicle large number of detection devices, such as door contact switch or the like, are necessary to all functions of the motor vehicle to monitor.
Es ist Aufgabe der Erfindung, ein Kraftfahrzeug der eingangs genannten Art zu schaffen, bei dem eine Anzahl benötigter Komponenten zur Aufrechterhaltung der Fahrsicherheit verringert ist.It is the object of the invention, a motor vehicle of the aforementioned To create a way in which a number of required components is reduced to maintain driving safety.
Erfindungsgemäß wird die Aufgabe dadurch gelöst, dass mit Hilfe der von dem Mikrofon erfassten Geräusche eine Funktion im Innenraum des Kraftfahrzeugs überwachbar ist.According to the invention the problem solved by the fact that with the help of the Microphone detected noise a function in the interior of the motor vehicle is monitored.
Bei einem derart ausgebildeten Kraftfahrzeug können über das, vorzugsweise bereits im Innenraum vorhandene Mikrofon, beispielsweise einer Freisprecheinrichtung eines Mobiltelefons, sämtliche Geräusche bzw. akustischen Signale im Innenraum überwacht und von dem Steuergerät, wie einem zentralen Steuergerät des Kraftfahrzeugs, erfasst und verarbeitet werden. Entsprechende Schalteinrichtungen zur Analyse von Geräuschen sind im Stand der Technik bekannt, wobei insbesondere Hintergrundgeräusche wie das Geräusch abrollender Reifen, Windgeräusche an der Karosserie oder dergleichen, mit Hilfe einer entsprechend ausgelegten Software unterdrückt werden können. Ebenso können mehrere Mikrofone im Innenraum des Kraftfahrzeugs verteilt angeordnet sein, um eine optimale Innenraumüberwachung zu ermöglichen.at Such a trained motor vehicle can over the, preferably already in the interior microphone, for example a handsfree of a mobile phone, all sounds or acoustic signals in the interior and monitored by the control unit, such as a central control unit of the motor vehicle, recorded and processed. Appropriate Switching devices for the analysis of noise are in the Known in the art, in particular background noise like the sound of rolling tires, wind noise on the body or the like, with the help of a corresponding designed software can be suppressed. Likewise, several microphones in the interior of the vehicle be arranged distributed, for optimal interior monitoring to enable.
Beispielsweise kann das Öffnen oder Schließen einer Tür des Kraftfahrzeugs akustisch erfasst werden und mit dem Signal eines ebenfalls bereits im Kraftfahrzeug vorhandenen Türkontaktschalters verglichen werden. Wird das Öffnen und/oder Schließen der Tür registriert, ohne eine Änderung des Signals des Türkontaktschalters zu erfassen, kann unmittelbar darauf geschlossen werden, dass dieser defekt sein muss und ein entsprechendes akustisches und/oder optisches Warnsignal kann ausgegeben werden, um auf die Notwendigkeit der Reparatur des Türkontaktschalters hinzuweisen. Ebenso kann beim Erfassen des Geräuschs des Entriegelns eines Sicherheitsgurtschlosses während der Fahrt eine Warnmitteilung ausgegeben werden, damit der Sicherheitsgurt wieder angelegt wird. Entsprechende Fahrtsignale liegen beispielsweise von einem Radumdrehungssensor ebenfalls im Steuergerät vor.For example can open or close a door of the motor vehicle are detected acoustically and with the signal of a also already existing in the motor vehicle door contact switch be compared. Will opening and / or closing the Door registered without a change of the signal of the Door contact switch can detect immediately after be concluded that this must be defective and a corresponding audible and / or visual warning signal can be output to the need for repair of the door contact switch to point. Likewise, when detecting the sound of the Unlocking a seat belt buckle during the Ride a warning message to be issued so that the seat belt is created again. Corresponding driving signals are, for example from a Radumdrehungssensor also in the control unit in front.
Des Weiteren kann mit dem Mikrofon auch die Funktionalität einer Diebstahlwarnanlage ausgeführt werden, da die entsprechenden Geräusche im Innenraum erfasst werden und beispielsweise das Splittern von Glas vom Steuergerät derart eingestuft wird, dass in das Kraftfahrzeug eingebrochen wird. Ferner kann von einer bloßen Geräuschentwicklung im Innenraum des Kraftfahrzeugs ohne vorherige Entriegelung einer Zentralverriegelung darauf geschlossen werden, dass sich eine unbefugte Person Zugang verschafft hat.Of Furthermore, with the microphone also the functionality an anti-theft alarm system are running, as the corresponding Noises in the interior are detected and, for example splitting glass from the controller is classified as that is broken into the vehicle. Furthermore, from a mere noise development in the interior of the motor vehicle closed without unlocking a central locking system be that an unauthorized person has gained access.
Der Vorteil der Erfindung besteht darin, dass lediglich bereits im Kraftfahrzeug vorhandene Komponenten vom Fachmann in einfacher Weise hard- und/oder softwaremäßig modifiziert werden müssen, um den Innenraum des Kraftfahrzeugs zu überwachen.The advantage of the invention is that only existing in the motor vehicle components by the expert in a simple manner must be hard and / or modified by software to monitor the interior of the motor vehicle.
Nach einer vorteilhaften Ausgestaltung kann anhand eines erfassten Geräuschs bzw. akustischen Signals eine bestimmte Funktionalität des Kraftfahrzeugs angesteuert werden. Wird beispielsweise das Öffnen eines Handschuhfachs, eines Kofferraumdeckels oder eines Türgriffs registriert, dann wird nachfolgend selbsttätig eine Handschuhfachbeleuchtung, eine Kofferraumbeleuchtung oder eine Innenbeleuchtung aktviert und beim akustischen Erfassen des Schließens auch wieder deaktiviert. Somit können die entsprechenden Schalter an einem Handschuhkastendeckel, einer Kofferraumklappe oder der Türkontaktschalter an einer Fahrzeugtür eingespart werden, wodurch der Aufwand zur Herstellung des Kraftfahrzeugs verringert ist. Die entsprechenden akustischen Signaturen können dem Steuergerät, beispielsweise werksseitig, vorgegeben werden. Hierzu wird in Versuchsreihen der Handschuhkastendeckel mehrmals geöffnet und geschlossen und das entsprechende akustische Signal bzw. Geräusch vom Steuergerät erfasst und gespeichert, was eine spätere Zuordnung ermöglicht.To An advantageous embodiment may be based on a detected sound or acoustic signal has a certain functionality be controlled by the motor vehicle. For example, opening a glove box, a trunk lid or a door handle Registered, then automatically below a glove compartment lighting, a Trunk lighting or interior lighting is activated and when Acoustic detection of closing also disabled again. Thus, the corresponding switches on a glove box lid, a trunk lid or the door contact switch on a Vehicle door can be saved, whereby the effort to Production of the motor vehicle is reduced. The corresponding acoustic Signatures can be sent to the controller, for example factory default. For this purpose, the test series of the Glove box lid opened and closed several times and the corresponding acoustic signal or noise from Control unit recorded and saved what a later Allocation allows.
Zweckmäßigerweise ist eine Abfolge von akustischen Signalen erfassbar, um nachfolgend eine entsprechende Aktion auszulösen bzw. Funktionalität anzusteuern. U. a. kann aus der Geräuschabfolge "Tür öffnen – Tür schließen – Schlüssel in ein Zündschloss einschieben" darauf geschlossen werden, dass das Kraftfahrzeug gestartet werden soll. Daraufhin kann beispielsweise ein bestimmter Verkehrssender eingestellt werden, um Verkehrsnachrichten zu empfangen, ein Abblendlicht kann selbsttätig aktiviert oder ein Navigationssystem eingeschaltet werden. In gleicher Weise kann das Verlassen des Kraftfahrzeugs festgestellt werden, um nachfolgend selbsttätig die Zentralverriegelung zu verriegeln.Conveniently, a sequence of acoustic signals is detectable, followed by a trigger corresponding action or functionality head for. U. a. can from the sound sequence "door open - door close - key in an ignition "to be concluded that the motor vehicle started shall be. Then, for example, a specific traffic transmitter be set to receive traffic news, a dipped beam can be activated automatically or a navigation system switched on become. In the same way, leaving the motor vehicle be determined to subsequently automatically the central locking to lock.
Bevorzugt ist das Steuergerät selbsttätig lernfähig ausgelegt, insbesondere personalisierbar, da jeder Nutzer andere Angewohnheiten bzw. Geschwindigkeiten bei der Durchführung der gleichen Aktionen hat. Somit ist eine Anpassung an individuelle Nutzer möglich.Prefers the control unit is self-learning designed, in particular personalized, since each user different Habits or speeds of implementation has the same actions. Thus, an adaptation to individual Users possible.
Es versteht sich, dass die vorstehend genannten und nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar sind. Der Rahmen der Erfindung ist nur durch die Ansprüche definiert.It It is understood that the above and below to be explained features not only in the specified Combination, but also usable in other combinations. The scope of the invention is defined only by the claims.
Die Erfindung wird im Folgenden anhand eines Ausführungsbeispiels mit Bezugnahme auf die Zeichnung näher erläutert. Die einzige Figur der Zeichnung zeigt ein erfindungsgemäßes Kraftfahrzeug in schematischer Darstellung.The Invention will be described below with reference to an embodiment explained in more detail with reference to the drawing. The sole figure of the drawing shows an inventive Motor vehicle in a schematic representation.
Im
Innenraum des Kraftfahrzeugs
Mit
dem Mikrofon
Wird
von dem Steuergerät
Weiterhin können auch Abfolgen von akustischen Signalen erfasst werden, die u. a. darauf hindeuten, dass das Kraftfahrzeug unmittelbar gestartet werden soll, um entsprechende Funktionalitäten anzusteuern, wie das Einstellen eines bestimmten Verkehrssenders.Farther sequences of acoustic signals can also be detected the u. a. indicate that the vehicle will be started immediately should, in order to control appropriate functionalities, such as the setting of a specific traffic transmitter.
- 11
- Kraftfahrzeugmotor vehicle
- 22
- Mikrofonmicrophone
- 33
- Steuergerätcontrol unit
- 44
- Linieline
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- - DE 19949637 A1 [0003] - DE 19949637 A1 [0003]
- - WO 2007/007916 A1 [0004] WO 2007/007916 A1 [0004]
- - DE 19749372 A1 [0005] DE 19749372 A1 [0005]
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200710046123 DE102007046123A1 (en) | 2007-09-27 | 2007-09-27 | Motor vehicle, has microphone arranged in interior for detecting acoustic signals, where function in interior of vehicle is monitored using signals detected by microphone and is controllable depending on detected signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200710046123 DE102007046123A1 (en) | 2007-09-27 | 2007-09-27 | Motor vehicle, has microphone arranged in interior for detecting acoustic signals, where function in interior of vehicle is monitored using signals detected by microphone and is controllable depending on detected signal |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102007046123A1 true DE102007046123A1 (en) | 2009-04-02 |
Family
ID=40384297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE200710046123 Withdrawn DE102007046123A1 (en) | 2007-09-27 | 2007-09-27 | Motor vehicle, has microphone arranged in interior for detecting acoustic signals, where function in interior of vehicle is monitored using signals detected by microphone and is controllable depending on detected signal |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102007046123A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014007797A1 (en) * | 2014-05-24 | 2015-11-26 | Audi Ag | Method for detecting operating noise, in particular brake noise, and motor vehicle |
DE102014217500A1 (en) * | 2014-09-02 | 2016-03-17 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for diagnosing conditions of a vehicle |
DE102014218573B4 (en) * | 2014-09-16 | 2021-01-14 | Volkswagen Aktiengesellschaft | Method for monitoring the functionality of a flap contact of a flap of a vehicle and associated control device |
DE102019216628A1 (en) * | 2019-10-29 | 2021-04-29 | Zf Friedrichshafen Ag | Device and method for recognizing and classifying a closed state of a vehicle door |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19749372A1 (en) | 1997-11-07 | 1999-05-12 | Volkswagen Ag | Electronic recognition system for acoustic signals |
DE19949637A1 (en) | 1999-10-14 | 2001-04-19 | Dietrich Kuehner | Noise detection and separation arrangement, having neural network which forms classification signal giving indication of type of acoustic signal |
WO2007007916A1 (en) | 2005-07-14 | 2007-01-18 | Matsushita Electric Industrial Co., Ltd. | Transmitting apparatus and method capable of generating a warning depending on sound types |
-
2007
- 2007-09-27 DE DE200710046123 patent/DE102007046123A1/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19749372A1 (en) | 1997-11-07 | 1999-05-12 | Volkswagen Ag | Electronic recognition system for acoustic signals |
DE19949637A1 (en) | 1999-10-14 | 2001-04-19 | Dietrich Kuehner | Noise detection and separation arrangement, having neural network which forms classification signal giving indication of type of acoustic signal |
WO2007007916A1 (en) | 2005-07-14 | 2007-01-18 | Matsushita Electric Industrial Co., Ltd. | Transmitting apparatus and method capable of generating a warning depending on sound types |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014007797A1 (en) * | 2014-05-24 | 2015-11-26 | Audi Ag | Method for detecting operating noise, in particular brake noise, and motor vehicle |
DE102014007797B4 (en) | 2014-05-24 | 2022-05-12 | Audi Ag | Method for detecting an operating noise, in particular a brake noise, and motor vehicle |
DE102014217500A1 (en) * | 2014-09-02 | 2016-03-17 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for diagnosing conditions of a vehicle |
DE102014218573B4 (en) * | 2014-09-16 | 2021-01-14 | Volkswagen Aktiengesellschaft | Method for monitoring the functionality of a flap contact of a flap of a vehicle and associated control device |
DE102019216628A1 (en) * | 2019-10-29 | 2021-04-29 | Zf Friedrichshafen Ag | Device and method for recognizing and classifying a closed state of a vehicle door |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102007051261A1 (en) | Motor vehicle's acoustic behavior evaluating method, involves classifying characteristics of preprocessed acoustic signals into classes, and comparing classes of acoustic signals with reference classification | |
EP2333768A2 (en) | Device, system and method for activating and/or managing spoken dialogue | |
DE102014204980B4 (en) | Method and apparatus for restricting or forcibly activating motor vehicle functions | |
EP3661797B1 (en) | Method, device, mobile user apparatus and computer program for controlling an audio system of a vehicle | |
DE102017218542A1 (en) | Method for voice control of vehicle functions of a motor vehicle from outside the motor vehicle, roof antenna element for a motor vehicle and motor vehicle with a roof antenna element | |
DE102014012184A1 (en) | Apparatus and method for automatically detecting and classifying acoustic signals in a surveillance area | |
DE102014217500A1 (en) | Method and device for diagnosing conditions of a vehicle | |
EP3430615A1 (en) | Transportation means, and system and method for adapting the length of a permissible speech pause in the context of a speech input | |
DE102007046123A1 (en) | Motor vehicle, has microphone arranged in interior for detecting acoustic signals, where function in interior of vehicle is monitored using signals detected by microphone and is controllable depending on detected signal | |
DE102019102090A1 (en) | VEHICLE INTERNAL MEDIA TUNING SUPPRESSION | |
DE102020112055A1 (en) | Procedure for acoustic vehicle staging | |
DE102012001939A1 (en) | Method for detecting mobile device e.g. mobile phone left in vehicle, involves determining difference between mean value and most recently determined maximum value of reception field strength of received signal of mobile device cyclically | |
DE102013007141A1 (en) | Speech input system for motor car, has control unit arranged such that change of current speech input on safety belt is exposed to microphone when signal from microphone selected for speech inputs is actually detected at seat | |
WO2017144592A1 (en) | Motor vehicle having a control apparatus for at least one loudspeaker of an exhaust system of the motor vehicle | |
DE102015209902A1 (en) | Method and device for controlling an interior lighting of a motor vehicle | |
DE102016212681A1 (en) | Control device and method for voice-based operation of a motor vehicle | |
DE102015014916A1 (en) | Method for outputting audio signals | |
DE102015217485A1 (en) | Device and method for the automated driving of a motor vehicle | |
DE102015013166A1 (en) | Method for operating a vehicle | |
DE102017206876A1 (en) | Method and device for outputting a status message in a motor vehicle with voice control system | |
DE102022103057B3 (en) | Method for providing a noise canceling function in an automobile and motor vehicle | |
DE102012024614A1 (en) | Device for wireless remote controlling of motor car, has mobile unit generating tactile perceivable output by vibrating unit after receiving signal, where signal is transmitted from mobile unit if presence of state is detected | |
DE102004035988A1 (en) | Emergency call system for a passenger transport system, in particular for a motor vehicle, and method for the automatic transmission of an emergency call | |
DE102010056174A1 (en) | Method for assisting operating person during operating display device of motor car, involves processing speech signals by speech recognition device during existence of speech signals, and controlling functional unit of car based on signals | |
DE102019134442A1 (en) | Motor vehicle with at least one loudspeaker for emitting an acoustic warning signal and the associated operating method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OR8 | Request for search as to paragraph 43 lit. 1 sentence 1 patent law | ||
8128 | New person/name/address of the agent |
Representative=s name: STRAUSS, P., DIPL.-PHYS.UNIV. MA, PAT.-ANW., 65193 |
|
8180 | Miscellaneous part 1 |
Free format text: PFANDRECHT |
|
8180 | Miscellaneous part 1 |
Free format text: PFANDRECHT AUFGEHOBEN |
|
8180 | Miscellaneous part 1 |
Free format text: PFANDRECHT |
|
8127 | New person/name/address of the applicant |
Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC , ( N. D. , US |
|
R081 | Change of applicant/patentee |
Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, INC., DETROIT, US Effective date: 20110323 Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, INC., DETROIT, MICH., US Effective date: 20110323 |
|
R163 | Identified publications notified | ||
R163 | Identified publications notified |
Effective date: 20110801 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20120403 |