DE102009022555A1 - Method for monitoring people in predetermined area, particularly in space, involves assigning each sensor pixel of each sensor chip to visual line, which characterizes receiving area of respective sensor pixels - Google Patents
Method for monitoring people in predetermined area, particularly in space, involves assigning each sensor pixel of each sensor chip to visual line, which characterizes receiving area of respective sensor pixels Download PDFInfo
- Publication number
- DE102009022555A1 DE102009022555A1 DE200910022555 DE102009022555A DE102009022555A1 DE 102009022555 A1 DE102009022555 A1 DE 102009022555A1 DE 200910022555 DE200910022555 DE 200910022555 DE 102009022555 A DE102009022555 A DE 102009022555A DE 102009022555 A1 DE102009022555 A1 DE 102009022555A1
- Authority
- DE
- Germany
- Prior art keywords
- cluster
- sensor
- point
- time
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/0415—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting absence of activity per se
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
Landscapes
- Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- General Health & Medical Sciences (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren zur Überwachung von Personen in einem vorgegebenen Bereich, insbesondere in einem Raum, sowie zur Erkennung von kritischen Situationen, beispielsweise von Stürzen oder von lange andauernder Regungslosigkeit einer Person, gemäß dem Oberbegriff des Anspruchs 1.The The invention relates to a method for monitoring persons in a predetermined area, in particular in a room, as well as Detection of critical situations, such as falls or of a person's long-term immobility, according to the generic term of claim 1.
Ferner betrifft die Erfindung eine Vorrichtung gemäß dem Oberbegriff des Anspruchs 8.Further The invention relates to a device according to the preamble of the claim 8th.
Derartige Vorrichtungen werden auf dem Gebiet der automatischen Personenüberwachung bzw. im Bereich des Ambient-Assisted-Living eingesetzt.such Devices are used in the field of automatic personal surveillance or in the area of ambient assisted living used.
Bei konventionellen Personen-überwachungssystemen, die im Bereich des Ambient-Assisted-Living eingesetzt werden, werden Videokameras verwendet, die in einzelnen Wohnräumen von zu überwachenden Personen, insbesondere gebrechlichen Personen oder Strafgefangenen, angeordnet sind. Dabei wird das aufgenommene Kamerabild an eine zentrale Stelle geführt, die bei Bedarf kritische Situationen erkennt und geeignete Gegenmaßnahmen ergreift.at conventional passenger monitoring systems, which will be used in the field of ambient assisted living Video cameras used in individual living spaces to be monitored Persons, in particular the frail or the inmate, are arranged. The recorded camera image is then transferred to a central office, which recognizes critical situations as needed and appropriate countermeasures grasps.
Bei derartigen Systemen besteht das Problem, dass eine Vielzahl von pflegebedürftigen Personen sich zwangsläufig unbe aufsichtigt in Zimmern befindet. Um die Privatsphäre dieser Personen nicht über Gebühr einzuschränken ist es erforderlich, dass eine Aufzeichnung ihres täglichen Lebens und Verhaltens nicht erfolgt. Versuche einer Video-Aufzeichnung erwiesen sich sowohl als nicht hinreichend zur effizienten Feststellung von kritischen Situationen als auch problematisch in Hinblick auf den potentiellen Missbrauch der aufgezeichneten Daten.at Such systems have the problem that a variety of of care Persons inevitably unattended in rooms. To the privacy of this Persons do not over fee limit It is necessary to keep a record of your daily Life and behavior does not take place. Try a video recording both proved insufficient for efficient detection from critical situations as well as problematic in terms of the potential misuse of the recorded data.
Die Aufgabe der Erfindung besteht darin, ein Verfahren und eine Vorrichtung zu schaffen, die das genannte Problem in einer Form lösen, die nicht auf unnötige Weise die Privatsphäre der betreffenden Person weiter einschränken, als es durch die notwendige Pflege ohnehin bereits der Fall ist.The The object of the invention is a method and a device to solve the mentioned problem in a way that not on unnecessary Way the privacy further restrict the person concerned than by the necessary Care is already the case anyway.
Eine weitere Aufgabe der Erfindung ist die Erstellung eines Verfahrens bzw. einer Einrichtung, die es ermöglichen, drohenden Schaden auf Grund eines kritischen Ereignisses z. B. Sturz und/oder Regungslosigkeit zu erkennen, andererseits aber auch möglichst geringe Einblicke durch Dritte in das geschützte Privat- und Familienleben von pflegebedürftigen Personen gewährt. Insbesondere bei der Aufzeichnung des Todes einer Person mit einer Videokamera ist es von großer Bedeutung, dass aufgezeichnete Bilder oder Sequenzen nicht unbeschränkt verfügbar sind und die Gefahr der Weiterverbreitung solcher Bilder ausgeschlossen wird.A Another object of the invention is the creation of a method or a facility that will allow for imminent damage due to a critical event z. B. fall and / or motionlessness on the other hand, but also the least possible insight through Third in the protected Private and family life granted by persons in need of care. Especially when recording the death of a person with a video camera is it great Meaning that recorded images or sequences are not available without restriction and the risk of retransmission of such images excluded becomes.
Die Erfindung löst das Problem bei einem Verfahren gemäß dem Oberbegriff des Anspruchs 1 mit den Merkmalen des Kennzeichens des Anspruchs 1. Die Erfindung löst das Problem bei einer Vorrichtung gemäß dem Oberbegriff des Anspruchs 8 mit den Merkmalen des Kennzeichens des Anspruchs 8.The Invention solves the problem with a method according to the preamble of the claim 1 with the features of the characterizing part of claim 1. The invention solve that Problem with a device according to the preamble of the claim 8 with the features of the characterizing part of claim 8.
Die Erfindung weist den großen Vorteil auf, dass die Daten, die auf Grundlage der Personenüberwachung aufgezeichnet worden sind, zwar eine Detektion von kritischen Ereignissen ermöglichen, eine nachträgliche bildliche Wiedergabe von Aufnahmen jedoch auf Grund der Verfahrensführung beinahe ausgeschlossen ist. Zudem erlaubt die Erfindung eine effiziente Feststellung von kritischen Ereignissen mit sehr geringer Rechenleistung. Im Gegensatz zur automatischen Überwachung von mit Videokameras aufgezeichneten Bildern ergibt sich der erhebliche Vorteil, dass die vom auswertenden Rechner zu bewältigende Datenrate sehr gering ist. Im Gegensatz zur Überwachung durch eine Betreuungsperson ergibt sich der Vorteil, dass eine weitaus größere Anzahl von Personen parallel überwacht werden kann und zudem ein Eingriff in die Privatsphäre der zu überwachenden Person vermieden bzw. auf den Notfall beschränkt wird.The Invention has the big one Advantage on that the data based on the person monitoring although a detection of critical events allow one subsequent pictorial reproduction of recordings, however, due to the procedure almost is excluded. In addition, the invention allows an efficient Determination of critical events with very low computing power. Unlike automatic monitoring of images recorded with video cameras results in the significant Advantage that to be handled by the evaluating computer Data rate is very low. In contrast to supervision by a caregiver results the advantage that a much larger number of people monitor in parallel can be and also an invasion of the privacy of the monitored Person avoided or limited to an emergency.
Vorteilhafte Ausgestaltungen der Erfindung werden durch die Unteransprüche erzielt.advantageous Embodiments of the invention are achieved by the subclaims.
Ein bevorzugter Aspekt der Erfindung sieht vor, dass für den Cluster der räumliche Schwerpunkt-verlauf über die Zeit mittels einer Ausgleichskurve gebildet wird, und die Ausgleichskurve mit einer Anzahl von Mustern in Form von Musterkurven verglichen wird und bei Erreichen eines vorgegebenen Übereinstimmungswerts einer Ausgleichskurve mit einer Musterkurve das Vorliegen einer kritischen Situation angenommen wird. Hierbei besteht der Vorteil, dass der Detektionsvorgang erheblich schneller durchgeführt werden kann und die Erkennungsgenauigkeit nur unwesentlich verringert wird.One preferred aspect of the invention provides that for the cluster the spatial Focus over the time is formed by means of a compensation curve, and the compensation curve compared with a number of patterns in the form of pattern curves and, upon reaching a predetermined match value, one Compensation curve with a pattern curve the presence of a critical situation Is accepted. Here, there is the advantage that the detection process performed much faster can be and reduces the recognition accuracy only insignificantly becomes.
Ein weiterer bevorzugter Aspekt der Erfindung sieht vor, dass für den Vergleich des Clusters mit den Mustern ausschließlich die Höhenkoordinate (z) und die Zeitkoordinate (t) herangezo gen werden. Damit besteht der Vorteil einer weiteren Beschleunigung des Detektionsvorgangs.One Another preferred aspect of the invention provides that for the comparison of the cluster with the patterns excluding the height coordinate (z) and the time coordinate (t) be used. There is the advantage of another Acceleration of the detection process.
Ein anderer bevorzugter Aspekt der Erfindung sieht vor, dass der Bereich betreffend die beiden auf die Höhenkoordinate normal stehenden Lagekoordinaten (x, y) in eine Anzahl von Abschnitten unterteilt wird, für jeden der Abschnitte voneinander unterschiedliche Muster bzw. Musterkurven vorgegeben werden, für den Cluster der Schwerpunktsverlauf über die Zeit betreffend diese beiden Lagekoordinaten (x, y) gebildet wird, derjenige Abschnitt des Bereichs ermittelt wird, in dem sich der lagemäßige Schwerpunkt des Clusters zu einem vorgegebenen Zeitpunkt befindet, und der Cluster mit den Mustern bzw. Musterkurven verglichen wird, die diesem Abschnitt zugeordnet sind. Dies ermöglicht eine sinnvolle Erkennung kritischer Situationen selbst dann, wenn sich die Person aus dem Zimmer hinausbewegt. Liegt eine Verhaltensweise vor, die an einem Aufenthaltsort als kritisch eingestuft wird, an einem anderen Ort jedoch als normal angesehen wird, so kann darauf Rücksicht genommen werden. Dies ist typischerweise bei Regungslosigkeit der Fall. Während das regungslose Liegen auf dem Boden für lediglich eine Minute bereits eine kritische Situation darstellt, ist ein regungsloses Liegen der Person im Bett durchaus für mehrere Stunden alarmfrei tolerierbar.Another preferred aspect of the invention provides for the region for the two position coordinates (x, y) normal to the height coordinate to be subdivided into a number of sections, for each of which sections different patterns being specified for the cluster the course of the centroid over time is formed with respect to these two position coordinates (x, y), that section of the Be where the cluster's centroid is at a given point in time and the cluster is compared to the patterns associated with that section. This allows for meaningful recognition of critical situations, even when the person is moving out of the room. If there is a behavior that is considered critical at one location but is considered normal at another, consideration may be given. This is typically the case with motionlessness. While motionless lying on the floor represents a critical situation for just one minute, a person lying in bed lying motionless can be tolerated without alarm for several hours.
Ein weiterer bevorzugter Aspekt der Erfindung sieht vor, dass Punkt-Events, deren Aufnahme einen vorgegebenen Zeitraum zurückliegt, aus dem Cluster gelöscht bzw. bei der Bildung des Clusters oder beim Vergleich des Clusters mit einem vorgegebenen Muster nicht berücksichtigt werden. Dies ermöglicht eine vereinfachte Datenhaltung und verringert den vom System benötigten Speicherplatz.One Another preferred aspect of the invention provides that point events, whose recording is a predefined period of time, deleted from the cluster or when forming the cluster or comparing the cluster with a given pattern is not taken into account. This allows a Simplified data storage and reduces the space required by the system.
Ein zusätzlicher bevorzugter Aspekt der Erfindung sieht vor, dass abhängig von Tageszeit und Wochentag unterschiedliche Muster vorgegeben werden. Dies ermöglicht eine Anpassung des Systems an die jeweilige Tageszeit bzw. den Wochentag. Werden z. B. zu bestimmten Tageszeiten oder Wochentagen bestimmte Medikamente verabreicht, die bestimmte Verhaltensweisen, insbesondere regungsloses Liegen, bewirken, unterbleibt ein Alarm wegen Regungslosigkeit für eine bestimmte Zeit.One additional preferred aspect of the invention provides that depending on Daytime and day of the week different patterns can be specified. this makes possible an adaptation of the system to the respective time of day or the day of the week. Become z. B. at certain times of the day or weekdays certain drugs administered, the particular behaviors, especially immobile Lying, cause, omits an alarm due to motionlessness for a particular Time.
Schließlich betrifft ein bevorzugter Aspekt der Erfindung ein Verfahren, bei dem vor Beginn des Detektionsverfahrens ein Aufnahmezeitraum liegt, in dem das Verhalten der Person in Form der von ihr erzeugten Punkt-Events aufgezeichnet wird und aufgezeichnete kritische Situationen in einem Speicher als Muster abgespeichert werden. Dies ermöglicht eine individuelle Anpassung des Systems an eine zu überwachende Person bzw. die zu überwachenden Personen.Finally, concerns a preferred aspect of the invention, a method in which Beginning of the detection process is a recording period in which the behavior of the person in the form of the point events generated by it is recorded and recorded critical situations in one Store memory as a pattern. This allows an individual Adaptation of the system to a person to be monitored or the to be monitored People.
Die Erfindung wird nachstehend anhand von Ausführungsbeispielen näher erläutert.The Invention will be explained below with reference to exemplary embodiments.
Die
Der
Schnittbereich der Aufnahmenbereiche der Sensorchips eines 3D-Sensors
Jeder
der Sensorchips
Jedes
Sensorpixel
Wie
in
Bei
den Sehstrahlen
Um
einen Schnitt zwischen zwei Aufnahmebereichen
Wird
von zwei unterschiedlichen Sensoren
Bei
Vorliegen von zwei Adress-Events
Die
einzelnen Ausgänge
aller Sensorchips
Bei
den Sehstrahlen
Wird
von zwei unterschiedlichen Sensoren
Zur
Durchführung
des eben beschriebenen Vorgehens ist erfindungsgemäß vorgesehen,
dass die beiden Sensorchips
Die
Punktevents
Die
Punktevents
Alternativ kann auch vorgesehen werden, dass einzelne Ortskoordinaten für das Clusteringverfahren unbeachtlich sind und lediglich ein Clusteringverfahren durchgeführt wird, dem nur die Höhenkoordinate bzw. die Zeitkoordinate des jeweiligen Punktevents zugeführt ist.alternative It can also be provided that individual location coordinates for the clustering method are irrelevant and only a clustering process is performed, only the height coordinate or the time coordinate of the respective Punktvents is supplied.
Anschließend wird
der so ermittelte Cluster
Die
Eine
davon abweichende Struktur einer akut auftretenden Erkrankung bewirkt
einen Cluster
Zunächst kommt
es aufgrund des Zusammenbruchs der Person analog der
Ein
weiteres typisches pathologisches Bewegungsmuster, das unbedingt
zur Alarmierung führen
sollte, ist in
Zur
vereinfachten Detektion der oben beschriebenen kritischen Situationen
kann vorgesehen werden, dass anstelle des Clusters
Ferner
umfasst die Detektionseinheit
Gemäß einer
bevorzugten Ausführungsform der
Erfindung kann vorgesehen werden, dass einzelne kritische Muster
Zur
Durchführung
dieses Vorgehens ist vorgesehen, dass der Clusteringeinheit
Eine
weitere bevorzugte Ausführungsform der
erfindungsgemäßen Vorrichtung
weist einen Zeitgeber
Eine
weitere besondere Ausgestaltung der Erfindung liegt darin, dass
vor Beginn des Detektionsverfahrens ein Aufnahmezeitraum liegt,
in dem das Verhalten der Person in Form der von ihm erzeugten Punktevents
Am
Ausgang der Vergleichseinheit
Claims (18)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200910022555 DE102009022555A1 (en) | 2009-05-25 | 2009-05-25 | Method for monitoring people in predetermined area, particularly in space, involves assigning each sensor pixel of each sensor chip to visual line, which characterizes receiving area of respective sensor pixels |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200910022555 DE102009022555A1 (en) | 2009-05-25 | 2009-05-25 | Method for monitoring people in predetermined area, particularly in space, involves assigning each sensor pixel of each sensor chip to visual line, which characterizes receiving area of respective sensor pixels |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102009022555A1 true DE102009022555A1 (en) | 2010-12-02 |
Family
ID=43028316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE200910022555 Withdrawn DE102009022555A1 (en) | 2009-05-25 | 2009-05-25 | Method for monitoring people in predetermined area, particularly in space, involves assigning each sensor pixel of each sensor chip to visual line, which characterizes receiving area of respective sensor pixels |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102009022555A1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202012104642U1 (en) | 2012-03-28 | 2013-01-16 | Insta Elektro Gmbh | Device for monitoring persons in a building and building installation system |
FR2985070A1 (en) * | 2011-12-21 | 2013-06-28 | Orme | System for detecting fall of e.g. person in retirement home, has programmed analysis unit to acquire images taken by sensors in synchronous manner, and to detect fall of person in scene from time sequence of pair of images of scene |
CN103761833A (en) * | 2014-02-17 | 2014-04-30 | 崔健雄 | Robot for tumble monitoring and method for tumble monitoring |
DE102019006326A1 (en) * | 2019-09-09 | 2021-03-11 | Drägerwerk AG & Co. KGaA | System and method for monitoring a security situation |
DE102019125049A1 (en) * | 2019-09-17 | 2021-03-18 | 3Dvisionlabs Gmbh | SENSOR UNIT AND METHOD FOR EVALUATING THE POSITION OF PERSONS |
-
2009
- 2009-05-25 DE DE200910022555 patent/DE102009022555A1/en not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2985070A1 (en) * | 2011-12-21 | 2013-06-28 | Orme | System for detecting fall of e.g. person in retirement home, has programmed analysis unit to acquire images taken by sensors in synchronous manner, and to detect fall of person in scene from time sequence of pair of images of scene |
DE202012104642U1 (en) | 2012-03-28 | 2013-01-16 | Insta Elektro Gmbh | Device for monitoring persons in a building and building installation system |
CN103761833A (en) * | 2014-02-17 | 2014-04-30 | 崔健雄 | Robot for tumble monitoring and method for tumble monitoring |
CN103761833B (en) * | 2014-02-17 | 2015-02-11 | 崔健雄 | Method for tumble monitoring |
DE102019006326A1 (en) * | 2019-09-09 | 2021-03-11 | Drägerwerk AG & Co. KGaA | System and method for monitoring a security situation |
US11172848B2 (en) | 2019-09-09 | 2021-11-16 | Drägerwerk AG & Co. KGaA | System and process for monitoring a position stability |
DE102019125049A1 (en) * | 2019-09-17 | 2021-03-18 | 3Dvisionlabs Gmbh | SENSOR UNIT AND METHOD FOR EVALUATING THE POSITION OF PERSONS |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0939387B1 (en) | Room supervision device | |
DE69122446T2 (en) | Surveillance system | |
DE60209760T2 (en) | FACE IMAGING SYSTEM FOR PICTURE RECORDING AND AUTOMATED CONFIRMATION OF IDENTITY | |
EP0853299B1 (en) | Method and device for actuating a door assembly in response to the presence of persons | |
EP1061851B1 (en) | Method and device for evaluating an kinetic pattern | |
DE102009022555A1 (en) | Method for monitoring people in predetermined area, particularly in space, involves assigning each sensor pixel of each sensor chip to visual line, which characterizes receiving area of respective sensor pixels | |
DE102017006529A1 (en) | A method, apparatus and computer program for capturing optical image data of a patient environment and for detecting a patient examination | |
EP1346330B1 (en) | Video smoke detection system | |
DE102021213137A1 (en) | DRIVER MONITORING DEVICE, VEHICLE AND CONTROL METHOD THEREOF | |
DE102007038392A1 (en) | Apparatus and method for predicting a loss of control of a muscle | |
DE102018118421A1 (en) | SYSTEMS AND METHOD FOR DETECTING ALARMING MOVEMENT TRAINS OF OBJECTS | |
WO2011110268A1 (en) | Checkpoint with a camera system | |
EP2462534B1 (en) | Method to monitor an area | |
WO2013113521A1 (en) | Evaluation apparatus for a monitoring system, and a monitoring system having the evaluation apparatus | |
DE102007032540A1 (en) | Method for controlling the movement of a moving part of an X-ray image recording system and X-ray image recording system coupled to video cameras | |
DE102019114451A1 (en) | Activity areas in video content | |
DE102017222675A1 (en) | Person recognition by means of a camera | |
DE102019006326A1 (en) | System and method for monitoring a security situation | |
WO2017190882A1 (en) | Detection device, method for detection of an event, and computer program | |
DE102009015537B4 (en) | Warning system and method for detecting an emergency situation | |
DE102007001738B4 (en) | Method and computer program product for eye tracking | |
DE102017010649A1 (en) | Method, computer program and device for classifying activities of a patient | |
WO2023186649A1 (en) | Method for determining complementary camera proposals for a monitoring device, computer program, storage medium, and monitoring device | |
Fagot et al. | Grouping and segmentation of visual objects in baboons (Papio papio) and humans (Homo sapiens) | |
AT503008B1 (en) | INTERACTIVE OPTICAL SYSTEM AND METHOD FOR EXTRACTING AND ASSESSING INTERACTIONS IN AN OPTICAL SYSTEM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed |
Effective date: 20130131 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |