EP2681722B1 - Verfahren und system zur sturzerkennung und weitergabe eines alarms - Google Patents

Verfahren und system zur sturzerkennung und weitergabe eines alarms Download PDF

Info

Publication number
EP2681722B1
EP2681722B1 EP12712975.7A EP12712975A EP2681722B1 EP 2681722 B1 EP2681722 B1 EP 2681722B1 EP 12712975 A EP12712975 A EP 12712975A EP 2681722 B1 EP2681722 B1 EP 2681722B1
Authority
EP
European Patent Office
Prior art keywords
alarm
fall
person
receiver
room
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP12712975.7A
Other languages
English (en)
French (fr)
Other versions
EP2681722A1 (de
Inventor
Jörg Hofmann
Jens LÜDERS
Uwe BÖHNKE
Jens Wagner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Telekom AG
Original Assignee
Deutsche Telekom AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Telekom AG filed Critical Deutsche Telekom AG
Priority to EP12712975.7A priority Critical patent/EP2681722B1/de
Publication of EP2681722A1 publication Critical patent/EP2681722A1/de
Application granted granted Critical
Publication of EP2681722B1 publication Critical patent/EP2681722B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates

Definitions

  • the claimed invention relates to a method and system for fall detection, detection of particular emergencies and transmission of an alarm in the home environment. More particularly, the invention relates to a method and system for fall detection by means of a passive optical sensor and passing a multi-level alarm in the form of alienated image data.
  • Fall detection is also possible via sensors introduced into a floor or mats equipped with sensors, however, an implementation of such a system is very complicated and expensive.
  • Another class of methods for fall detection and detection of special emergencies are optically based methods.
  • a permanent optical monitoring of the person is performed as well as an optical fall detection / emergency detection, the classification using common classification algorithms such as Bayes classifiers, neural networks or principal component analysis of a recorded Event and triggers an alarm upon detection of a fall / distress and sends it to a higher-level instance.
  • US20060145874A1 relates to an optically based method, wherein the image processing algorithms in particular determine the percentage of a person lying on the ground, the position of the person, as well as the size of the person. In addition, the speed and acceleration of a falling person is determined.
  • US20030058341A1 relates to an optically based method, wherein an object is released from a scene, this is detected and analyzed. In doing so, certain properties of the object are analyzed on the basis of comparison values with specific events.
  • event classification by means of geometric primitives is possible, as in Chia-Wen Lin, Zhi-Hong Ling, Yeng-Cheng Chang and Chung J. Kuo "Compressed-Domain Case Incident Detection for Intelligent Homecare", submitted to Journal of VLSI Signal Processing System for Signal, Image and Video Technology , described.
  • US 20050146605 A1 relates to an optical monitoring method with geometric primitives and subsequent event analysis using event discriminators. In this case, depending on the detected event, an alarm can be triggered. Procedures that involve permanent video surveillance of a person, however, interfere with the personal rights of the person and can therefore lead to acceptance problems.
  • the document WO 2007 139658 A2 is probably the closest prior art to the subject invention, and discloses a method of fall detection with alienation of image data for the purpose of privacy protection.
  • a passive optical sensor such as a video or. Infrared camera monitors. Furthermore, an evaluation of the recorded images with respect to the detection of a fall or a special emergency situation, but the image data are initially transmitted only alienated to an authorized receiver triggering an alarm upon detection of a fall. In this way, the right to one's own image of the monitored person is preserved, since not permanently images of this person, but only alienated images are transmitted upon detection of a fall.
  • a return channel is first activated, which serves to verify the detected situation.
  • the supervised person is enabled to classify a triggered alarm as a false alarm.
  • the alienation of the image data is preferably carried out by means of geometric primitives.
  • geometric primitives For example, those present in a captured image Each replaced by one or more geometric primitives.
  • each person present in the captured image is treated and displayed as at least one geometric primitive.
  • the fall detection is determined on the basis of the geometric primitive or for each person.
  • the authorized recipient may initiate further rescue measures, such as request rescue services or instruct medical personnel to take care of the fallen person.
  • the essence of the invention lies in a method and system for detecting a particular emergency especially a fall detection, wherein initially alienated and possibly encrypted image data of this person and / or the room to an authorized during the permanent optical monitoring of a person only in emergency or fall detection Instance are triggered by triggering an alarm. Only after a return channel has been formed and if the monitored person fails to classify the alarm as a false alarm will an unaltered image of the situation or of the person be transmitted to an authorized entity.
  • This method and system has the advantage that it does not restrict the physical freedom of action of a person to be monitored, for which the person is comfortable and the person's right to his own image as an outflow of the general personality rights and also inexpensive and easy to handle for medical personnel and / or relatives is.
  • FIG. 1 shows an embodiment of the system.
  • images of a person 118 to be monitored are permanently recorded by means of a number of optical sensors 11 which have individual camera sensors 11.1 to 11.n.
  • the camera sensors 11.1 to 11.n can be arranged in a space to be monitored such that the person to be monitored is detected by at least one camera sensor at all times.
  • the optical sensors 11 are connected to a server 13 via an interface 19.
  • a logic 12 in which the algorithms for decomposing the images recorded by means of the sensors 11 into geometric primitives as well as algorithms for fall detection or for detecting a special emergency situation are implemented.
  • an alienated image which by means of a device and method for encryption and authentication, which may include a firewall 15, via a TCP / IP interface 17 and the Internet 113 to an authorized circle of people 117 if necessary ., transmitted via a universal standard gateway 114, wherein the transmission can be wireless 115 or wired 116 bidirectional.
  • an alarm is triggered which the monitored person 118 can invalidate (classify as a false alarm).
  • a return channel is established via a data or telephone connection between the monitored room and the authorized receiver. If, after a certain period of time, an alarm is not classified as a false alarm, then an unaltered transmission of the picture or a sequence of pictures to the authorized group of people takes place.
  • the wired 116 or wireless 115 transmission is also encrypted. Another possibility for forming a return channel is additional given by an acoustic device 14 and a sound card integrated into the system 18.
  • the server 13 which is executed in this embodiment as a PC with additional logic, more sensors 112 or user menus 111 may be connected via the interface 19.
  • the logic 12 in the embodiment of FIG. 1 includes the software for performing video image analysis, crash or emergency detection analysis and encryption, and data communication.
  • FIG. 2 shows a further embodiment.
  • the server 13 is of FIG. 1 executed as a so-called Healthbox 26, ie a device for monitoring the health of a person.
  • the image processing and the data processing of all health sensors and the data encryption takes place in a Logic HealthBox 25, which is embedded in the Healthbox 26.
  • the authentication and routing of the information takes place in an external HealthPlatform 27, which can be a system for monitoring a large number of persons.
  • HealthBox 26 and HealthPlatform 27 are interconnected via the Internet 113.
  • the forwarding of the alarm or the alienated and unrecognized in a further stage images is encrypted either wirelessly 115, for example.
  • the logic HealthBox 25 in the embodiment of FIG. 2 instructs the software to perform the video image analysis, the fall detection analysis, the Data processing of all sensors, especially health sensors and encryption as well as data communication.
  • FIG. 3 shows a third embodiment of the system.
  • the optical sensors are in the form of a master 30 and a plurality of slaves 41, 42.
  • the optical sensor operating as master 30 has a camera part 31, an internal interface 32, a smart camera logic 33 and an interface 34.
  • the software and the associated evaluation unit which implements the algorithms for video analysis and emergency detection, are integrated in the SmartKamera logic 33 of the master optical sensor.
  • the smart camera logic 33 is internally connected to the camera part 31 via the interface 32.
  • the SmartKamera logic 33 is further connected via the interface 34 with the other operating as a slave optical sensors 41, 42 of the system and the interface 19 with the Healthbox 26.
  • FIG. 1 and FIG. 2 Referenced As for the remaining elements and functionality of this embodiment, it will become apparent FIG. 1 and FIG. 2 Referenced.
  • the smart camera logic 33 in the embodiment of FIG. 3 instructs the software to perform video image analysis and fall detection analysis.
  • Logic HealthBox 35 has the remaining functions described in logic HealthBox 25 of the embodiment of FIG. 2 are included. This includes the software for the data processing of all sensors, in particular health sensors and the encryption as well as the data communication.
  • the optical sensors are preferably to be placed in the room in such a way that optimum coverage of the space to be monitored, even in winding rooms, is achieved.
  • a space area is to be covered by more than one optical sensor.
  • an active energy management is implemented in this case, so that only optical sensors are in active mode that are currently required.
  • optical sensors are designed such that they are robust to variable light conditions such as reflections and backlight.
  • the fall detection algorithms are implemented in such a way that they can detect any types of crashes, such as collapse, heavy fall, and sustained fall. These types of crashes are well defined in advance and part of a library of activated fall detection algorithms ("patterns"). Emergencies are identified primarily by algorithms which evaluate the static state of a person relative to the surroundings of the home and, in particular, detect an abnormal static state.
  • the recognition algorithms are implemented in such a way that they are robust with respect to other persons or animals in the room as well as with respect to the positions of the optical sensors and obscuring the person to be monitored by furniture and / or other persons or animals. Likewise, they are able to classify rapid movements of objects not as collapses.
  • the recognition algorithms include methods of extracting a person from the background and vectorizing and decomposing the image of a person into geometric primitives and determining the location of them in space either in the server or in the optical sensor.
  • Fall detection uses the dynamics of a fall. It analyzes how fast the position of these geometric primitives changes within a sequence of images.
  • the image processing can be done centrally in a dedicated Healthbox and be connected to a computer cloud to minimize maintenance and to easily expand the evaluation patterns.
  • the system is designed so that within a certain period all persons of an authorized group of persons are informed. This authorized group of persons only has access to personal data and status information about the person to be monitored.
  • the system is designed in such a way that the authorized group of persons can be supplemented by additional persons or reduced by certain persons.
  • the system will provide the authorized circle of people with the time of the fall, the place of the fall, a still image and possibly a video.
  • the system displays at various places when video or video material leaves the room to be monitored.
  • the recording of image or video data of the person to be monitored preferably takes place only for a period which is absolutely necessary for the functionality of the fall detection system.
  • the security level of the telecommunication is preferably scalable, so that between different security levels of the system from weakly protected (low end security level) to strongly protected (high end security level) can be selected.
  • the system may additionally contain suitable administration, billing, routing and customer administration functionalities on the platform.
  • the system is preferably designed so that it can be easily maintained from the outside by a device for the automatic upgrade of firmware and drivers as well as the algorithms.
  • the system is preferably designed to be scalable so that additional optical and non-optical sensors can be added or removed to the system to complement the performance and performance of the system.
  • the overall system is designed in such a way that it visually and by design avoids any impression of surveillance and inconspicuously blends into the living ambience.

Description

    Technisches Gebiet
  • Die beanspruchte Erfindung bezieht sich auf ein Verfahren und System zur Sturzerkennung, Erkennung besonderer Notlagen und Weitergabe eines Alarms im häuslichen Umfeld. Die Erfindung bezieht sich im Besonderen auf ein Verfahren und System zur Sturzerkennung mittels eines passiven optischen Sensors und Weitergabe eines mehrstufigen Alarms in Form von verfremdeten Bilddaten.
    • Stand der Technik
  • Stürze stellen gerade für ältere Personen ein erhebliches Unfallrisiko dar. Diese Personen verletzen sich oftmals derart, dass diese nicht mehr in der Lage sind, ohne fremde Hilfe aufzustehen oder diese anzufordern, was zu einer lebensbedrohlichen Situation führen kann. Präventivmaßnahmen zur Vermeidung von Stürzen können ergriffen werden, jedoch werden sich Stürze gerade älterer, allein stehender Personen nie gänzlich ausschließen lassen, so dass eine Sturzerkennung mit angeschlossener Hilfeleistung die Lebensqualität des betroffenen Personenkreises dadurch erhöhen kann, dass dieser in der gewohnten Umgebung weiter leben und dennoch eine Überwachung des Personenkreises durch medizinisches Personal und/oder Angehörige erfolgen kann.
  • In US 7 248 172 B2 ist ein Verfahren und System zur Sturzerkennung vorgeschlagen worden, welches beinhaltet, dass die zu überwachende Person ein Gerät zur Sturzerkennung oder zur Auslösung eines Alarms am Körper trägt. Dieser Alarm kann in Form einer Funkübertragung an eine Rettungsstelle übermittelt werden.
  • Allerdings kann es bei obigen Systemen zu Akzeptanzproblemen seitens des betroffenen Personenkreises kommen, da das permanente Tragen der Geräte für diese Personen umständlich und unbequem ist. Außerdem besteht gerade bei älteren Menschen das Problem, dass diese möglicherweise schlichtweg vergessen, die entsprechenden Geräte, bspw. nach einem Bad, wieder anzulegen.
  • Sturzerkennung ist zudem über in einen Fußboden eingebrachte Sensoren bzw. mit Sensoren ausgestattete Matten möglich, allerdings ist eine Realisierung eines derartigen Systems sehr aufwändig und teuer.
  • Eine weitere Klasse von Verfahren zur Sturzerkennung und Erkennung besonderer Notlagen stellen optisch basierte Verfahren dar. Hierbei wird eine permanente optische Überwachung der Person durchgeführt sowie eine optische Sturzerkennung/Notfallerkennung, die eine Klassifikation mittels gängiger Klassifikationsalgorithmen wie Bayes-Klassifikatoren, neuronaler Netze oder Hauptkomponentenanalyse eines aufgezeichneten Ereignisses beinhaltet und bei Erkennung eines Sturzes/einer Notlage einen Alarm auslöst und diesen an eine übergeordnete Instanz übermittelt.
  • US20060145874A1 betrifft ein optisch basiertes Verfahren, wobei die Bildverarbeitungsalgorithmen insbesondere den prozentualen Anteil einer am Boden liegenden Person, die Lage der Person, sowie die Größe der Person bestimmen. Zudem wird die Geschwindigkeit und Beschleunigung einer fallenden Person bestimmt.
  • US20030058341A1 betrifft ein optisch basiertes Verfahren, wobei ein Objekt aus einer Szene gelöst, dieses detektiert und analysiert wird. Hierbei werden bestimmte Eigenschaften des Objekts anhand von Vergleichswerten mit bestimmten Ereignissen analysiert.
  • Insbesondere ist eine Ereignisklassifikation mittels geometrischer Primitive möglich, wie in Chia-Wen Lin, Zhi-Hong Ling, Yeng-Cheng Chang und Chung J.Kuo "Compressed-Domain Fall Incident Detection for Intelligent Homecare", submitted to Journal of VLSI Signal Processing-System for Signal, Image and Video Technology, beschrieben.
  • US 20050146605 A1 betrifft ein optisches Überwachungsverfahren mit geometrischen Primitiven und anschließender Ereignisanalyse anhand von Ereignisdiskriminatoren. Hierbei kann in Abhängigkeit des detektierten Ereignisses ein Alarm ausgelöst werden. Verfahren, die eine permanente Videoüberwachung einer Person beinhalten stellen jedoch einen Eingriff in das Persönlichkeitsrecht der Person dar und können daher zu Akzeptanzproblemen führen. Das Dokument WO 2007 139658 A2 stellt wohl den nächstliegender Stand der Technik zum Gegenstand der Erfindung dar, und offenbart ein Verfahren zur Sturzerkennung mit Verfremden von Bilddaten zwecks des Schutzes der Privatsphäre.
    • Offenbarung der Erfindung
  • Es ist daher Aufgabe der Erfindung ein Verfahren und System zur Sturzerkennung bereitzustellen, dass zuverlässig ist und sicher arbeitet.
  • Diese Aufgabe wird durch ein Verfahren und System gemäß den unabhängigen Ansprüchen 1 und 9 gelöst. Die abhängigen Ansprüche 2 bis 8 betreffen besondere Ausführungsformen.
  • Hierbei wird ein Raum mittels eines passiven optischen Sensors, wie einer Video-bzw. Infrarotkamera überwacht. Im Weiteren erfolgt eine Auswertung der aufgezeichneten Bilder in Hinblick auf die Detektierung eines Sturzes oder einer besonderen Notlage, wobei jedoch die Bilddaten zunächst lediglich verfremdet an einen autorisierten Empfänger unter Auslösung eines Alarms bei Detektierung eines Sturzes übermittelt werden. Auf diese Weise wird das Recht am eigenen Bild der überwachten Person gewahrt, da nicht permanent Bilder dieser Person, sondern lediglich verfremdete Bilder bei Erkennung eines Sturzes übermittelt werden.
  • Ist ein Sturz oder eine besondere Notlage erkannt, wird zunächst ein Rückkanal aktiviert, der der Verifikation der detektierten Situation dient. Die überwachte Person wird in die Lage versetzt, einen ausgelösten Alarm als Fehlalarm zu klassifizieren.
  • Erst wenn nach einer bestimmten Zeit ein Alarm nicht als Fehlalarm durch die überwachte Person klassifiziert wird, erfolgt eine Entschlüsselung des übertragenen optischen Signals, so dass die überwachte Person bildlich dargestellt wird. Diese bildliche Darstellung der Situation und Person würde sich in dem Moment auch einem eintreffenden Rettungsdienst offenbaren.
  • Die Verfremdung der Bilddaten erfolgt hierbei vorzugsweise mittels geometrischen Primitiven. Beispielsweise werden die in einem aufgenommenen Bild vorhandenen Objekte jeweils durch einen oder mehrere geometrische Primitive ersetzt. Vorzugsweise wird jede in dem aufgenommenen Bild vorhandene Person als mindestens ein geometrisches Primitiv behandelt und dargestellt. Bevorzugt wird die Sturzerkennung anhand des oder der geometrischen Primitive für jede Person ermittelt.
  • Wird in dem unverfremdeten Bild ein Sturz bzw. eine Hilflosigkeit einer gestürzten Person erkannt, so kann der autorisierte Empfänger weitere Rettungsmaßnahmen einleiten, wie Rettungsdienste anfordern oder medizinisches Personal anweisen, sich der gestürzten Person anzunehmen.
  • Das Wesen der Erfindung liegt in einem Verfahren und System zur Erkennung einer besonderen Notlage speziell einer Sturzerkennung, wobei während der permanenten optischen Überwachung einer Person lediglich bei Notfall- bzw. Sturzdetektierung zunächst verfremdete und gegebenenfalls verschlüsselte Bilddaten dieser Person und/oder des Raumes an eine autorisierte Instanz unter Auslösung eines Alarms übermittelt werden. Erst nach Ausbilden eines Rückkanals und bei Ausbleiben einer Klassifikation des Alarms als Fehlalarm durch die überwachte Person wird ein unverfremdetes Bild der Situation bzw. der Person an eine autorisierte Instanz übertragen.
  • Dieses Verfahren und System hat den Vorteil, dass es die physische Handlungsfreiheit einer zu überwachenden Person nicht einschränkt, für die Person bequem ist und das Recht der Person am eigenen Bild als Ausfluss des allgemeinen Persönlichkeitsrechts wahrt und zudem kostengünstig und leicht handhabbar für medizinisches Personal und/oder Angehörige ist.
    • Kurzbeschreibung der Figuren
  • Das Verfahren und das zugeordnete System der Erfindung werden detaillierter im Folgenden anhand von Ausführungsbeispielen und den Zeichnungen beschrieben.
  • Es zeigen:
    • Figur 1 ein System zur Erkennung einer besonderen Notlage oder Sturzerkennung mit einem Server und einem Universal Standard Gateway und einem Array von optischen Sensoren,
    • Figur 2 ein System zur Erkennung einer besonderen Notlage oder Sturzerkennung mit einer Health-Box und einer Health-Platform und einem Array von optischen Sensoren, und
    • Figur 3 ein System zur Erkennung einer besonderen Notlage oder Sturzerkennung mit einer LogicHealth-Box und einer Health-Platform, wobei die Algorithmen zur Videoanalyse und Sturzerkennung in einem optischen Sensor implementiert ist.
    Detaillierte Beschreibung der Ausführungsformen
  • Figur 1 zeigt eine Ausführungsform des Systems. Hierbei werden permanent Bilder einer zu überwachenden Person 118 mittels einer Anzahl von optischen Sensoren 11 aufgenommen, die einzelne Kamerasensoren 11.1 bis 11.n aufweisen. Die Kamerasensoren 11.1 bis 11.n können derart in einem zu überwachenden Raum angeordnet sein, dass die zu überwachende Person jederzeit von mindestens einem Kamerasensor erfasst wird. Die optischen Sensoren 11 sind mit einem Server 13 über eine Schnittstelle 19 verbunden. In dem Server 13 befindet sich eine Logik 12, in der die Algorithmen zur Zerlegung der mittels der Sensoren 11 aufgezeichneten Bilder in geometrische Primitive sowie Algorithmen zur Sturzerkennung bzw. zur Erkennung einer besonderen Notlage implementiert sind. Wird hierbei ein Sturz oder eine Notlage detektiert, so wird ein verfremdetes Bild, welches mittels einer Einrichtung und Verfahren zur Verschlüsselung und Authentifizierung, das eine Firewall 15 beinhalten kann, über eine TCP/IP Schnittstelle 17 und das Internet 113 an einen autorisieren Personenkreis 117 ggfs. über ein Universal Standard Gateway 114 übertragen, wobei die Übertragung drahtlos 115 oder drahtgebunden 116 bidirektional erfolgen kann.
  • Wird eine besondere Notlage oder ein Sturz detektiert, so wird ein Alarm ausgelöst, den die überwachte Person 118 invalidieren (als Fehlalarm klassifizieren) kann. Hierzu wird ein Rückkanal über eine Daten- oder Telefonverbindung hergestellt zwischen dem überwachten Raum und dem autorisierten Empfänger. Wird nach einer bestimmten Zeitspanne ein Alarm nicht als Fehlalarm klassifiziert, so erfolgt eine unverfremdete Übertragung des Bildes oder einer Abfolge von Bildern an den autorisierten Personenkreis. Die drahtgebundene 116 oder drahtlose 115 Übertragung erfolgt hierbei ebenfalls verschlüsselt. Eine weitere Möglichkeit zur Ausbildung eines Rückkanals ist zusätzlich durch eine akustische Einrichtung 14 und eine ins System integrierte Soundkarte 18 gegeben. Hierbei wird eine akustische Verbindung zwischen dem autorisierten Personenkreis 117 über das Internet 113 und den Server 13 über die Soundkarte 18 und die akustische Einrichtung 14, wie ein Lautsprecher und ein Mikrofon, hergestellt, die bidirektional sein kann. An den Server 13, der in dieser Ausführung als PC mit einer zusätzlichen Logik ausgeführt ist, können weitere Sensoren 112 oder Benutzermenüs 111 über die Schnittstelle 19 angeschlossen sein.
  • Die Logik 12 in der Ausführungsform von Figur 1 weist die Software auf für die Durchführung der Videobildanalyse, die Sturz- bzw. Notfallerkennungsanalyse und die Verschlüsselung sowie die Datenkommunikation.
  • Figur 2 zeigt eine weitere Ausführungsform. In dieser Ausführungsform ist der Server 13 von Figur 1 als sogenannte Healthbox 26 ausgeführt, d.h. eine Vorrichtung zur Überwachung des Gesundheitszustandes einer Person. Die Bildverarbeitung sowie die Datenverarbeitung aller Gesundheitssensoren und die Datenverschlüsselung erfolgt in einer Logic HealthBox 25, welche in die Healthbox 26 eingebettet ist. Die Authentifizierung und das Routing der Information erfolgt in einer externen HealthPlatform 27, die ein System zur Überwachung einer Vielzahl von Personen sein kann. HealthBox 26 und HealthPlatform 27 sind über das Internet 113 miteinander verbunden. Die Weiterleitung des Alarms bzw. der verfremdeten und in einer weiteren Stufe unverfremdeten Bilder erfolgt verschlüsselt entweder drahtlos 115, bspw. an Smartphones oder drahtgebunden 116 beispielsweise an ein Telefon oder externen Computer an einen autorisierten Personenkreis 117. Die optischen Sensoren 11.1 bis 11.n sind über eine Schnittstelle 19 mit der Healthbox 26 verbunden. Mit den Kamerasensoren erfolgt lediglich die Aufzeichnung der Bilder. Der Server der ersten Ausführungsform von Figur 1 mit den weiteren Einrichtungen ist in dieser zweiten Ausführungsform in Form der Healthbox 26 implementiert. Die Healthplatform 27 dieser zweiten Ausführungsform weist außerdem die Funktionalität des Universal Standard Gateway 114 der ersten Ausführungsform auf. Was die weiteren Elemente dieser Ausführungsform angeht, wird Bezug auf Figur 1 genommen.
  • Die Logik HealthBox 25 in der Ausführungsform von Figur 2 weist die Software auf für die Durchführung der Videobildanalyse, die Sturz- bzw. Nofallerkennungsanalyse, die Datenverarbeitung von allen Sensoren, insbesondere von Gesundheitssensoren und die Verschlüsselung sowie die Datenkommunikation.
  • Figur 3 zeigt eine dritte Ausführungsform des Systems. Die optischen Sensoren sind in Form eines Masters 30 und mehreren Slaves 41, 42 ausgebildet. Der als Master 30 arbeitende optische Sensor weist ein Kamerateil 31, eine interne Schnittstelle 32, eine SmartKamera-Logik 33 und eine Schnittstelle 34 auf. In dieser Ausführungsform ist im Unterschied zu der ersten und zweiten Ausführungsform die Software und die zugehörige Auswerteeinheit, welche die Algorithmen zur Videoanalyse und Sturz- bzw. Notfallerkennung implementiert, in der SmartKamera-Logik 33 des als Master arbeitenden optischen Sensors integriert. Die SmartKamera-Logik 33 ist intern über die Schnittstelle 32 mit dem Kamerateil 31 verbunden. Die SmartKamera-Logik 33 ist weiterhin über die Schnittstelle 34 mit den anderen als Slave arbeitenden optischen Sensoren 41, 42 des Systems und über die Schnittstelle 19 mit der Healthbox 26 verbunden. Was die restlichen Elemente und Funktionalität dieser Ausführungsform angeht, wird auf Figur 1 und Figur 2 Bezug genommen.
  • Die SmartKamera-Logik 33 in der Ausführungsform von Figur 3 weist die Software auf für die Durchführung der Videobildanalyse und die Sturzerkennungsanalyse. Die Logik HealthBox 35 weist die übrigen Funktionen auf, die in der Logik HealthBox 25 der Ausführungsform von Figur 2 enthalten sind. Dazu gehört die Software für die Datenverarbeitung von allen Sensoren, insbesondere von Gesundheitssensoren und die Verschlüsselung sowie die Datenkommunikation.
  • Die Erfindung wird im Folgenden anhand von Funktionen und Eigenschaften näher erläutert.
  • Die optischen Sensoren sind vorzugsweise so im Raum zu platzieren, dass eine optimale Abdeckung des zu überwachenden Raums, auch bei verwinkelten Räumen, erreicht wird. Gegebenenfalls ist ein Raumbereich durch mehr als einen optischen Sensor abzudecken. Vorzugsweise ist hierbei ein aktives Energiemanagement implementiert, so dass nur optische Sensoren im Aktivmodus sind, die aktuell benötigt werden.
  • Die optischen Sensoren sind derart ausgebildet, dass diese robust gegenüber variablen Lichtverhältnissen wie Spiegelungen und Gegenlicht sind. Zudem können diese in Form von Infrarot-Sensoren ausgebildet sein, um Stürze und Notlagen auch in der Dunkelheit erkennen zu können.
  • Die Sturzerkennungsalgorithmen sind auf eine Weise implementiert, dass diese jegliche Arten von Stürzen, wie Zusammensacken, heftiger Sturz und abgestützter Sturz erkennen können. Diese Arten von Stürzen sind im Vorfeld klar definiert und Teil einer Bibliothek von aktivierten Sturzerkennungsalgorithmen ("Patterns"). Die Erkennung von Notlagen erfolgt primär durch Algorithmen, welche den statischen Zustand einer Person relativ zur Umgebung der Wohnung auswerten und insbesondere einen abnormalen statischen Zustand erkennen.
  • Die Erkennungsalgorithmen sind so implementiert, dass diese robust gegenüber anderen sich im Raum befindlichen Personen oder Tieren sowie gegenüber den Positionen der optischen Sensoren sowie einer Verdeckung der zu überwachenden Person durch Möbelstücke und/oder andere Personen oder Tiere sind. Ebenso sind sie in der Lage, rasche Bewegungen von Gegenständen nicht als Personenstürze zu klassifizieren.
  • Die Erkennungsalgorithmen beinhalten Verfahren zum Herauslösen einer Person von dem Hintergrund und Vektorisieren und Zerlegen des Bildes einer Person in geometrische Primitive und Ermitteln der Lage dieser im Raum entweder in dem Server oder in dem optischen Sensor. Die Sturzerkennung nutzt hierbei die Dynamik eines Sturzes aus. Es wird analysiert wie schnell sich die Lage dieser geometrischen Primitive innerhalb einer Bildsequenz ändert. Die Bildverarbeitung kann hierbei zentral in einer dezidierten Healthbox erfolgen und mit einer Rechnercloud zur Minimierung von Wartungsaufwand und zur einfachen Erweiterung der Auswerte-Patterns verbunden sein.
  • Das System ist so ausgelegt, dass innerhalb eines bestimmten Zeitraumes alle Personen eines autorisierten Personenkreises informiert werden. Dieser autorisierte Personenkreis hat ausschließlich Zugang zu persönlichen Daten und Statusinformationen über die zu überwachende Person. Das System ist so ausgeführt, dass der autorisierte Personenkreis um weitere Personen ergänzt bzw. auch um bestimmte Personen verringert werden kann.
  • Das System stellt bei einem validierten Alarm dem autorisierten Personenkreis unter anderem den Sturzzeitpunkt, den Sturzort, ein Standbild und gegebenenfalls ein Video bereit.
  • Zur Wahrung der Privatsphäre bringt das System an verschiedenen Stellen zur Anzeige, wann Bild- bzw. Videomaterial den zu überwachenden Raum verlässt. Die Aufzeichnung von Bild- oder Videodaten der zu überwachenden Person erfolgt vorzugsweise lediglich für einen Zeitraum, der für die Funktionalität des Sturzerkennungssystems unbedingt erforderlich ist. Das Sicherheitslevel der Telekommunikation ist vorzugsweise skalierbar, so dass zwischen verschiedenen Sicherheitsstufen des Systems von schwach geschützt (low end security level) bis stark geschützt (high end security level) gewählt werden kann. Das System kann auf der Plattform zusätzlich geeignete Funktionalitäten zur Administration, Billing, Routing und Kundenverwaltung enthalten. Insbesondere ist das System vorzugsweise so ausgeführt, dass es durch eine Einrichtung zum automatischen Upgrade von Firmware und Treibern sowie der Algorithmen leicht von außen wartbar ist. Das System ist vorzugsweise skalierbar ausgeführt, so dass zusätzliche optische und nicht optische Sensoren zum System hinzugefügt oder entfernt werden können, die die Funktionseigenschaften und Performanz des Systems ergänzen.
  • Das Gesamtsystem ist derart gestaltet, dass es optisch und vom Design jeden Eindruck von Überwachung vermeidet und sich unauffällig in das Wohnambiente einfügt.
  • Die Erfindung wurde anhand von Beispielen und der Figuren näher erläutert, wobei diese Darstellung die Erfindung nicht einschränken soll. Es versteht sich, dass Fachleute Änderungen und Abwandlungen machen können, ohne den Umfang der folgenden Ansprüche zu verlassen.

Claims (9)

  1. Verfahren zur Erkennung von Notsituationen und Sturzerkennung und Weitergabe eines Alarms mit folgenden Schritten:
    a) Überwachen eines Raumes mittels mindestens eines optischen Sensors, wie eine Video- bzw. Infrarotkamera,
    b) Detektieren einer Notsituation bzw. eines Sturzes einer Person im überwachten Raum mittels Auswerten der mit dem optischen Sensor aufgezeichneten Bilder,
    c) Verfremden der Bilddaten, und
    d) Auslösen eines Alarms und Senden der verfremdeten Bilddaten, wenn ein Notfall/Sturz einer Person im überwachten Raum detektiert wird, an mindestens einen autorisierten Empfänger
    e) Aktivieren eines Rückkanals über den eine Daten-/Telefonverbindung zwischen dem überwachten Raum und dem Empfänger eingerichtet wird, wobei über den Rückkanal gegebenenfalls der ausgelöste Alarm als Fehlalarm gekennzeichnet werden kann
    f) unverfremdetes Übertragen mindestens eines Standbildes und/oder einer Videosequenz, das bzw. die von dem optischen Sensor in dem zu überwachenden Raum aufgenommen wird, an den mindestens einen Empfänger, nach Ablauf einer vorbestimmten Zeit nach Auslösen des Alarms für den Fall, dass der Alarm nach Ausbilden des Rückkanals nicht als Fehlalarm gekennzeichnet wird.
  2. Verfahren nach Anspruch 1, wobei die Bilddaten verfremdet werden, indem mindestens die in dem überwachten Raum aufgenommenen Personen in geometrische Primitive transformiert werden und diese geometrischen Primitive in der ersten Stufe des Alarms an den mindestens einen Empfänger übertragen werden.
  3. Verfahren nach einem der Ansprüche 1 oder 2 wobei gleichzeitig mit den verfremdeten Bilddaten weitere Daten in verschlüsselter Form an mindestens einen Empfänger übertragen werden, wobei diese weiteren Daten mindestens ein Standbild und/oder Videosequenz von einem überwachten Raum umfassen und wobei vorzugsweise die verschlüsselten Daten erst nach Bestätigen des Alarms vom Empfänger entschlüsselt werden und angezeigt werden können.
  4. Verfahren nach einem der Ansprüche 1 bis 3, mit den weiteren Schritten:
    Speichern der Bilder und/oder einer Videosequenz von einem bestimmten Zeitraum vor und nach der Detektion eines Sturzes in einem Speicher des optischen Sensors und Übertragung der gespeicherten Bilder und/oder der Videosequenz als verfremdete Bilddaten und/oder als verschlüsselte Daten an mindestens einen der Empfänger.
  5. Verfahren nach einem der Ansprüche 1 bis 4, mit den weiteren Schritten:
    Übermitteln des Alarms und vorhandener Zusatzinformationen an mindestens einen autorisierten Empfänger, der abhängig von festgelegten Kriterien ausgewählt wird aus fallweise zuständigen und autorisierten Personenkreisen wie Privatpersonen, Pflegedienste und Notarzt mittels einer eigens etablierten Verwaltungs- und Übermittlungsplattform.
  6. Verfahren nach einem der Ansprüche 1 bis 5 mit den weiteren Schritten:
    Detektieren einer Notfallsituation oder eines Sturzes einer Person im überwachten Raum mittels nicht-optischer Sensoren, vorzugsweise Beschleunigungssensoren, die die Person am Körper trägt und/oder mittels Sensoren am oder im Fußboden des überwachten Raums und/oder einer Alarmrufeinrichtung, die von einer Person aktivierbar ist und/oder einer akustischen Einrichtung..
  7. Verfahren nach einem der Ansprüche 1-6, wobei eine statische Notsituation unter
    Anwendung eines Hausnotrufs oder der Auswertung akustischer Signale detektiert wird.
  8. Verfahren nach einem der Ansprüche 1 bis 7, mit den weiteren Schritten:
    Anzeigen, ob verfremdete Bilddaten und/oder verschlüsselte Daten gesendet worden sind und/oder Speichern von Ereignissen und vorzugsweise Schützen der gesamten Einrichtung gegen missbräuchlichen Daten- und Informationszugriff.
  9. System zur Erkennung einer besonderen Notlage oder Sturzerkennung Weitergabe eines Alarms, das aufweist:
    a. mindestens einen optischen Sensor, wie eine Video- bzw. Infrarotkamera, zum Überwachen eines Raums,
    b. Detektionsmittel zum Detektieren einer besonderen Notlage oder eines Sturzes einer Person im überwachten Raum und Auswertemittel zum Auswerten der mit dem optischen Sensor aufgezeichneten Bilder,
    c. Verfremdungsmittel zum Verfremden der Bilddaten und
    d. Mittel zum Auslösen eines Alarms und Senden der verfremdeten Bilddaten, wenn ein Sturz einer Person im überwachten Raum detektiert wird, an mindestens einen autorisierten Empfänger
    e. Aktivierungsmittel zum Aktivieren eines Rückkanals über den eine Daten-/Telefonverbindung zwischen dem überwachten Raum und dem Empfänger eingerichtet wird, wobei über den Rückkanal gegebenenfalls der ausgelöste Alarm als Fehlalarm gekennzeichnet werden kann
    f) Übertragungsmittel zum unverfremdeten Übertragen mindestens eines Standbildes und/oder einer Videosequenz, das bzw. die von dem optischen Sensor in dem zu überwachenden Raum aufgenommen wird, an den mindestens einen Empfänger, nach Ablauf einer vorbestimmten Zeit nach Auslösen des Alarms für den Fall, dass der Alarm nach Aktivierung des Rückkanals nicht als Fehlalarm gekennzeichnet wird.
EP12712975.7A 2011-03-04 2012-02-29 Verfahren und system zur sturzerkennung und weitergabe eines alarms Active EP2681722B1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP12712975.7A EP2681722B1 (de) 2011-03-04 2012-02-29 Verfahren und system zur sturzerkennung und weitergabe eines alarms

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161449131P 2011-03-04 2011-03-04
EP11156968 2011-03-04
EP12712975.7A EP2681722B1 (de) 2011-03-04 2012-02-29 Verfahren und system zur sturzerkennung und weitergabe eines alarms
PCT/EP2012/053443 WO2012119903A1 (de) 2011-03-04 2012-02-29 Verfahren und system zur sturzerkennung und weitergabe eines alarms

Publications (2)

Publication Number Publication Date
EP2681722A1 EP2681722A1 (de) 2014-01-08
EP2681722B1 true EP2681722B1 (de) 2017-12-20

Family

ID=44455253

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12712975.7A Active EP2681722B1 (de) 2011-03-04 2012-02-29 Verfahren und system zur sturzerkennung und weitergabe eines alarms

Country Status (3)

Country Link
EP (1) EP2681722B1 (de)
DK (1) DK2681722T3 (de)
WO (1) WO2012119903A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3025316A2 (de) * 2012-10-29 2016-06-01 Markus Schori Sicherheitsystem mit integrierter notruf-funktion
BE1021528B1 (nl) 2013-02-01 2015-12-08 Familyeye Bvba Valdetectiesysteem en werkwijze voor het detecteren van een val van een bewaakte persoon
CN107749143B (zh) * 2017-10-30 2023-09-19 安徽工业大学 一种基于WiFi信号的穿墙室内人员跌倒探测系统及方法
CN111753587B (zh) * 2019-03-28 2023-09-29 杭州海康威视数字技术股份有限公司 一种倒地检测方法及装置
CN114067436B (zh) * 2021-11-17 2024-03-05 山东大学 一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统
FR3136094A1 (fr) * 2022-05-25 2023-12-01 Inetum Procédé de détection de chute par analyse d’images
CN117116004A (zh) * 2023-10-25 2023-11-24 深圳市微克科技有限公司 一种智能穿戴设备的摔倒警报方法、系统及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE517900C2 (sv) * 1999-12-23 2002-07-30 Wespot Ab Sätt,övervakningssystem och övervakningsenhet för övervakning av en övervakningsplats
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US7110569B2 (en) 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
SE0203483D0 (sv) 2002-11-21 2002-11-21 Wespot Ab Method and device for fall detection
US7145462B2 (en) * 2003-01-10 2006-12-05 Honeywell International Inc. System and method for automatically generating an alert message with supplemental information
JP4789511B2 (ja) * 2004-06-04 2011-10-12 キヤノン株式会社 状況モニタリング装置及び状況モニタリングシステム
US7248172B2 (en) 2005-03-22 2007-07-24 Freescale Semiconductor, Inc. System and method for human body fall detection
US7613324B2 (en) * 2005-06-24 2009-11-03 ObjectVideo, Inc Detection of change in posture in video
WO2007081823A2 (en) * 2006-01-07 2007-07-19 Arthur Koblasz Using rfid to prevent or detect falls, wandering, and bed egress and medication errors
WO2007139658A2 (en) * 2006-05-24 2007-12-06 Objectvideo, Inc. Intelligent imagery-based sensor
GB0620620D0 (en) * 2006-10-17 2006-11-29 Imp Innovations Ltd Pervasive sensing
GB2444107A (en) * 2006-11-22 2008-05-28 Karen Gail Lambert Resident monitoring system with remote communications and video processing.
US9277878B2 (en) * 2009-02-26 2016-03-08 Tko Enterprises, Inc. Image processing sensor systems

Also Published As

Publication number Publication date
DK2681722T3 (en) 2018-03-05
WO2012119903A1 (de) 2012-09-13
EP2681722A1 (de) 2014-01-08

Similar Documents

Publication Publication Date Title
EP2681722B1 (de) Verfahren und system zur sturzerkennung und weitergabe eines alarms
EP2220627B1 (de) Überwachungssystem mit zustandserfassungsmodul, verfahren zur selbstüberwachung eines beobachters sowie computerprogramm
DE112017007252T5 (de) Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren
DE102014223258A1 (de) Tragbarer Computer in einem autonomen Fahrzeug
DE102013209055A1 (de) Datenquellenidentifizierung, Datensammlung und Datenspeicherung für Verkehrsereignisse
EP2494533B1 (de) Mobiles gerät, sicherheitsanlage mit einem mobilen gerät und verwendung eines mobilen gerätes in einer sicherheitsanlage
EP2691330B1 (de) Zugangsüberwachungsvorrichtung mit mindestens einer videoeinheit
EP1680769B1 (de) Verfahren und einrichtung für durchgangskontrolle und/oder personenvereinzelung
DE102014003783B4 (de) Sicherheitseinrichtung für ein Kraftfahrzeug und zugehöriges Betriebsverfahren
DE4238275A1 (de) Verfahren und Vorrichtung zur Prävention von Straftaten oder dergleichen
DE102008062915B4 (de) Erkennung von Personen, insbesondere von Fußgängern
EP3312811A1 (de) Abwehren einer gefährdung
DE102015010727A1 (de) Vorrichtung zur Notfallüberwachung eines Insassen eines Fahrzeugs
EP2429182A2 (de) Verfahren zur Unkenntlichmachung personenbezogener Daten einer Kamera
EP3616858A2 (de) Verfahren und vorrichtung zur dokumentation eines status eines autonomen roboters
DE102019126208A1 (de) Notfallsystem für ein Fahrzeug
DE102017211555A1 (de) Verfahren zur Überwachung mindestens eines Insassen eines Kraftfahrzeugs, wobei das Verfahren insbesondere zur Überwachung und Erkennung möglicher Gefahrensituationen für mindestens einen Insassen dient
DE102017219292A1 (de) Verfahren und vorrichtung zum erfassen von ereignisbezogenen daten bezüglich eines fahrzeugs
DE102018222683A1 (de) Verfahren zum Erstellen einer Umgebungsrepräsentationskarte zur Überwachung eines Fahrzeugs und/oder eines Fahrzeuganhängers unter Verwendung eines Kamerasystems
DE102018219671A1 (de) System und Verfahren zur Bereitstellung von Rettungsmitteln eines Fahrzeugs
DE102020128517A1 (de) Fahrzeug-Fahrzeug-Sicherheit
DE102020103851B4 (de) Verfahren, computerlesbares Medium, System und Fahrzeug umfassend das System zum Bereitstellen von Unfallparameter an eine Person außerhalb eines Fahrzeugs nach einem Unfall des Fahrzeugs
EP4179456A1 (de) System zur überwachung des betriebs eines schiffs
DE102020005704A1 (de) Verfahren zum Erzeugen einer Zutrittsberechtigung zu einem Kraftfahrzeug mittels eines Zutrittsberechtigungssystems, sowie Zutrittsberechtigungssystem
EP3611711A1 (de) Verfahren zum klassifizieren von daten betreffend eine parklücke für ein kraftfahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130926

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160129

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20170714

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 957026

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180115

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502012011860

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20180228

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180320

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180321

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180320

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180420

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502012011860

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20180921

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20180228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180228

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180228

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20120229

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20171220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171220

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20230220

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20230215

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230228

Year of fee payment: 12

Ref country code: DE

Payment date: 20230216

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231212

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FI

Payment date: 20231212

Year of fee payment: 13

Ref country code: DK

Payment date: 20231212

Year of fee payment: 13

Ref country code: SE

Payment date: 20231219

Year of fee payment: 13

Ref country code: FR

Payment date: 20231213

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20240220

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20231213

Year of fee payment: 13