FI121641B

FI121641B - Procedure, systems and computer programs to monitor a person

Info

Publication number: FI121641B
Application number: FI20105025A
Authority: FI
Inventors: Reijo Kortesalmi
Original assignee: Reijo Kortesalmi
Priority date: 2010-01-14
Filing date: 2010-01-14
Publication date: 2011-02-15
Also published as: FI20105025A0; FI20105025A

Description

Menetelmä, järjestelmä ja tietokoneohjelmisto henkilön tarkkailemista vartenMethod, system and computer software for monitoring a person

AlaArea

Keksinnön kohteena on menetelmä ja järjestelmä, joita käytetään 5 henkilön tarkkailuun, ja näin ollen se soveltuu esimerkiksi kotihoidossa olevan potilaan tai muun yksityishenkilön kotona tapahtuvaan valvontaan.The invention relates to a method and system for monitoring 5 persons, and is therefore suitable, for example, for home care of a patient or other individual in home care.

TaustaBackground

On ennustettu, että keski-ikä nousee voimakkaasti tulevina vuosina ja että yli 65-vuotiaiden osuus väestöstä lisääntyy. Tämä asettaa merkittäviä 10 haasteita valtiolle, kunnille sekä yksityisille tahoille vanhustenhoidon suhteen. Tavoitteena olisi, että mahdollisimman moni ikääntynyt voisi elää itsenäisesti omassa kodissaan ja tutussa asuinympäristössä mahdollisimman pitkään. Tämä olisi sekä kustannustehokasta että mielekästä itse vanhukselle.It is predicted that the average age will rise sharply in the coming years and that the proportion of the population over 65 will increase. This poses significant 10 challenges for the state, municipalities and private bodies in relation to elderly care. The goal would be for as many older people as possible to live independently in their own home and familiar environment for as long as possible. This would be both cost effective and meaningful for the elderly themselves.

Tunnettu tekniikka tarjoaa monia eri menetelmiä, joilla potilaan liik-15 keitä ja toimintoja voidaan tarkkailla ja jotka mahdollistavat vanhuksen tai sairaan henkilön kotihoidon. Kaupallisessa käytössä on mm. potilaan kehoon (esim. ranteeseen) kiinnitettäviä laitteita, jotka tarkkailevat potilaan elintoimintoja, liikkumista, aktiivisuutta jne. ja jotka suorittavat hälytyksen havaittuaan poikkeamia potilaan toiminnoissa. Näissä potilaan kehoon kiinnitettävissä lait-20 teissä ongelmana on se, että ne hankaloittavat potilaan normaalia elämää (mm. peseytymistä), ja potilas saattaa irrottaa tällaisen laitteen. Tämä heikentää myös potilastarkkailun luotettavuutta. Nämä laitteet perustuvat yleensä potilaan itse tekemään hälytykseen, mikä on epäluotettavaa, koska potilas itse ei välttämättä ole oikea henkilö päättämään hälytyksen tarpeellisuudesta eikä ? 25 potilas välttämättä osaa tai halua tehdä hälytystä, vaikka se olisikin välttämä- ^ töntä.Prior art provides a variety of methods for monitoring patient movements and functions that allow the home or elderly person to be treated at home. Commercial use includes e.g. Devices attached to the patient's body (e.g., wrist) that monitor the patient's vital signs, movement, activity, etc., and alert when the patient's abnormalities are detected. The problem with these patient-attached devices is that they interfere with the patient's normal life (including washing), and the patient may disconnect such device. This also undermines the reliability of patient monitoring. These devices are usually based on the patient's own alerting, which is unreliable because the patient himself may not be the right person to decide whether or not to have an alert? 25 patients may or may not be able to make an alarm, even if it is necessary.

$7 On myös esitetty potilaan kotiin tms. tilaan sijoitettavia liikeantureita ” tai videokameroita, jotka tarkkailevat potilaan liikkumista tarkkailtavassa tilas- g sa. Liikeantureiden ongelmana on se, että niiden avulla pystytään vain kerto-$ 7 Motion sensors to be placed in a patient's home or similar space are also shown, or camcorders that monitor the patient's movement in the monitored space. The problem with motion sensors is that they can only tell

CLCL

30 maan, missä tarkkailtavan tilan osassa potilas on liikkunut, eivätkä ne anna m g luotettavaa kuvaa potilaan asennoista tai liikkeistä. Niillä ei pysty mm. kerto-The 30 countries where the patient is in the observation area are moving and do not give m g a reliable picture of the patient's postures or movements. They can not, among other things. reports

LOLO

o maan, onko potilas kaatunut. Videokameroilla tällainen informaatio pystytään ° havaitsemaan, kun videokuvaa käsitellään sopivalla videonkäsittelylaitteistolla, mutta ihmisen tunnistaminen videokuvasta on vaikeaa, koska ihmisen keho 2 saattaa sekoittua taustaan. Lisäksi videokuva on hyvin herkkä valaistukselle, eikä henkilön liikkeiden tarkkaileminen esimerkiksi yöaikaan ole mahdollista.o Whether the patient has fallen. Camcorders can detect such information when processing a video image with suitable video processing equipment, but it is difficult to identify a person from a video image because the human body 2 may be confused with the background. In addition, the video image is very sensitive to light and it is not possible to observe a person's movements at night, for example.

Lyhyt selostusShort description

Keksinnön tavoitteena on toteuttaa menetelmä ja menetelmän to-5 teuttava järjestelmä siten, että potilaan tarkkailu voidaan toteuttaa luotettavasti.It is an object of the invention to provide a method and a system implementing method-5 such that patient monitoring can be performed reliably.

Keksintö kohdistuu patenttivaatimuksen 1 mukaiseen menetelmään.The invention relates to a process according to claim 1.

Keksintö kohdistuu lisäksi patenttivaatimuksen 5 mukaiseen järjestelmään, joka on sovitettu suorittamaan patenttivaatimuksen 1 mukainen menetelmä.The invention further relates to a system according to claim 5, adapted to carry out the method according to claim 1.

10 Keksinnön kohteena on myös patenttivaatimuksen 9 mukainen oh jelmistotuote, joka on sovitettu suoritettavaksi patenttivaatimuksen 5 mukaisessa järjestelmässä.The invention also relates to a software product according to claim 9 which is adapted to be executed in the system according to claim 5.

Keksinnön edullisia suoritusmuotoja kuvataan epäitsenäisissä patenttivaatimuksissa.Preferred embodiments of the invention are described in the dependent claims.

15 Keksinnön mukaisella menetelmällä ja järjestelmällä saavutetaan useita etuja. Keksintö hyödyntää lämpökameroita potilaan tarkkailussa. Läm-pökameran antaman kuvan laatu on täysin riippumaton valaistuksesta, ja henkilö voidaan havaita helposti kuvasta lämpökamerakuvan hyvän lämpötila-resoluution ja passiiviseen kuvantamiseen perustuvan tekniikan ansiosta. Täl- 20 löin henkilö myös erottuu selvästi taustasta, jolloin liikkeiden ja asentojen tunnistaminen helpottuu ja kuvan prosessointitehon tarve pienenee. Potilaan ei myöskään tarvitse kantaa mitään erityistä laitetta, mikä parantaa järjestelmän luotettavuutta. Järjestelmä kykenee tekemään hälytyksen itsenäisesti havaitun tapahtuman perusteella, ja hälytyksiä voidaan kategorisoida havaittujen tapah- 25 tumien perusteella. Lämpökamerakuvaan perustuvaan tarkkailuun voidaan o £ myös yhdistää esimerkiksi palo- ja murtohälytys, liesivahti yms. vahteja, jotka ^ parantavat kodinturvaa. Järjestelmä on lisäksi helposti ja edullisesti siirrettävis-Several advantages are achieved by the method and system of the invention. The invention utilizes thermal cameras for patient monitoring. The image quality of the thermal imaging camera is completely independent of the illumination and can be easily detected by the image due to the good temperature resolution of the thermal imaging image and the passive imaging technology. In this way, the person also stands out clearly from the background, thus facilitating the recognition of movements and postures and reducing the need for image processing power. Also, the patient does not need to carry any special device, which improves the reliability of the system. The system is capable of independently triggering an alarm based on a detected event, and alarms can be categorized based on the observed events. Thermal imaging surveillance can also be combined with, for example, fire and burglar alarms, cooker alarms and the like, which will improve home security. Furthermore, the system is easily and inexpensively portable.

(M(M

V sä ja konfiguroitavissa mihin tahansa kohteeseen (huoneistoon tai laitokseen).Can be configured for any location (apartment or facility).

” Keksintö mahdollistaa myös potilaan aktiivisuuden ja elämäntapojen tilastolli- | 30 sen seuraamisen, mikä edesauttaa potilaan hoitoa.“The invention also enables statistics on the patient's activity and lifestyle. | 30 monitoring of the patient, which facilitates patient care.

cu Kuvioluettelo ocu Pattern list o

LOLO

o Keksintöä selostetaan nyt lähemmin edullisten suoritusmuotojen yh- ° teydessä, viitaten oheisiin piirroksiin, joissa kuvio 1 esittää keksinnön erään suoritusmuodon mukaista järjestel- 35 mää asennettuna huoneistoon, 3 kuvio 2 esittää lohkokaaviota keksinnön erään suoritusmuodon mukaisesta järjestelmästä, kuviot 3A - 3C esittävät keksinnön erään suoritusmuodon mukaisesti analysoitavaan lämpökamerakuvaan liittyvää tapahtumaa, 5 kuvio 4 esittää keksinnön erään suoritusmuodon mukaisesti suoda tettua analysoitavaa lämpökamerakuvaa, kuvio 5 esittää keksinnön erään suoritusmuodon mukaisesti analysoitavaan lämpökamerakuvaan liittyvää tapahtumaa, kuviot 6A ja 6B esittävät keksinnön erään suoritusmuodon mukai-10 sesti analysoitavaan lämpökamerakuvaan liittyvää tapahtumaa, kuvio 7 on vuokaavio, joka esittää keksinnön erään suoritusmuodon mukaista prosessia potilaan tarkkailun suorittamiseksi, ja kuvio 8 on vuokaavio, joka esittää keksinnön erään suoritusmuodon mukaista prosessia tarkkailtavan potilaan kaatumisen havaitsemiseksi.The invention will now be described in more detail with reference to the preferred embodiments, with reference to the accompanying drawings, in which Figure 1 illustrates a system according to an embodiment of the invention installed in a dwelling unit; Figure 2 shows a block diagram of a system according to an embodiment of the invention Figure 5 shows an analysis of a thermal camera image filtered in accordance with one embodiment of the invention, Figure 5 shows an event of a thermal camera image analyzed in accordance with one embodiment of the invention, Figures 6A and 6B show a view of a thermal camera according to is a flowchart showing a process for performing patient monitoring in accordance with an embodiment of the invention, and FIG. 8 is a flowchart showing a process according to an embodiment of the invention for detecting a patient falling over.

15 Suoritusmuotojen kuvaus15 Description of Embodiments

Esillä olevan keksinnön mukainen potilaan tarkkailuun tarkoitettu järjestelmä sisältää yhden tai useampia lämpökameroita, joiden tallentamasta kuvasta voidaan havaita ihminen valaistusolosuhteista riippumatta hyvin tarkasti. Kuten edellä mainittiin, tavalliset videokamerat eivät toimi tässä tarkoi-20 tuksessa pimeällä. Infrapunavalonlähteeseen perustuvilla pimeänäkökameroil-la on samanlainen ongelma, vaikka ne toimivatkin pimeällä. Infrapunavalonlähteeseen perustuvan pimeänäkökameran ongelma on se, että ihmiskehon lisäksi myös ympäristö heijastaa valonlähteen tuottamaa säteilyä, ja näin ihmisen erotteleminen pimeänäkölaitteen tallentamasta kuvasta voi olla hyvin vai-25 keaa, mikä heikentää tällaisen järjestelmän luotettavuutta.The patient monitoring system of the present invention includes one or more thermal cameras, the image of which can be used to accurately detect a person, regardless of lighting conditions. As mentioned above, conventional camcorders do not work for this purpose in the dark. Night vision cameras based on infrared light have the same problem, even if they operate in the dark. The problem with an infrared light source based night vision camera is that not only the human body but also the environment reflects the radiation produced by the light source, and thus distinguishing a person from the image recorded by the night vision device can be very difficult, which undermines the reliability of such a system.

Oo

^ Lämpökamera sen sijaan on passiivinen ja perustuu kohteen itsen- ^ sä säteilemän lämpösäteilyn tallentamiseen, ja näin ollen sen erottelukyky on v huomattavasti parempi kuin infrapunavalonlähteeseen perustuvalla laitteella,The thermal camera, on the other hand, is passive and relies on the recording of thermal radiation emitted by the subject, and therefore has a v resolution much better than that of an infrared light source,

COC/O

koska erottelukykyä ei heikennä ympäristön heijastama infrapunavalo. Tyypilli-| 30 sessä sisätilassa ympäristö heijastaa lämpösäteilyä, joka vastaa huoneilman lämpötilaa, ja näin 37-asteinen (celsius) ihmiskeho on helposti erotettavissa o ympäristöstään selvästi lämpimänä kohteena. Kotieläimet ja erinäiset sähköin laitteet säteilevät myös huoneilmaa lämpimämpää säteilyä, mutta ihmiskeho o ^ on erotettavissa näistä ihmiskehon muotoon perustuvan signaalinkäsittelyn 35 avulla. Ihmiskehon erottaminen kuvasta konenäköön perustuvan signaalinkäsittelyn avulla on sinänsä tunnettua alalla. Myös kuvasta havaitun ihmisen 4 asentojen tunnistaminen sinänsä on tunnettua konenäköön liittyvällä tekniikan alalla. Tyypillisesti lämpökamerakuvaa käsitellään signaalinkäsittelylaitteistolla etsimällä tallennetusta lämpökamerakuvasta ihmishahmo ja vertaamalla kuvasta löydetyn ihmishahmon asentoja kuvaavia parametreja tallennettuihin 5 vastaavien asentojen referenssiparametreihin. Ihmishahmolla viitataan lämpö-kamerakuvassa havaittuun ihmiseen. Lämpökamerakuvasta siis tunnistetaan ihmishahmo, mutta ihmishahmon henkilöllisyyttä ei edes yritetä tunnistaa yksi-tyisyyssuojan säilyttämiseksi. Lämpökameran tuottama lämpökamerakuva voi olla toteutusmuodosta riippuen still-kuva, sarja still-kuvia tai videokuvaa. To-10 teutustapa riippuu siitä, kuinka tarkasti kohteen liikkeitä halutaan seurata, mikä on järjestelmän signaalinkäsittelylaitteiston kapasiteetti jne.since the resolution is not impaired by the infrared light reflected by the environment. typically | In an indoor environment, the environment reflects thermal radiation corresponding to room air temperature, and thus the human body at 37 degrees Celsius can be easily distinguished from its surroundings as a clearly warm object. Domestic animals and various electrical appliances also emit radiation warmer than room air, but the human body can be distinguished therefrom by signal processing 35 based on the shape of the human body. The separation of the human body from the image by machine vision based signal processing is known per se in the art. Also, the recognition of the positions of the human 4 observed in the image is known per se in the field of technology related to machine vision. Typically, a thermal imaging image is processed by a signal processing apparatus by searching for a human image in the stored thermal imaging image and comparing the parameters describing the positions of the human image found in the image with the stored reference parameters of corresponding positions. The human figure refers to the person detected in the thermal camera image. Thus, a thermal camera image identifies a human figure, but no attempt is made to identify the human identity in order to maintain privacy. Depending on the embodiment, the thermal camera image produced by the thermal camera may be a still image, a series of still images, or a video image. The way To-10 is done depends on how closely you want to track the subject's movements, the capacity of the system's signal processing equipment, etc.

Kuvio 1 esittää keksinnön erään suoritusmuodon mukaista järjestelmää asennettuna huoneistoon potilaan tarkkailua varten. Huoneisto voi olla esimerkiksi potilaan koti, jolloin järjestelmä mahdollistaa potilaan kotihoidon, 15 mikä on edullisempaa kuin laitoshoito ja potilaan kannalta mielekästä. Potilas voi olla esimerkiksi vanhus tai dementiasta tai muusta psyykkisestä sairaudesta tai fyysisestä haitasta kärsivä henkilö, joka tarvitsee säännöllistä hoitoa. Keksintöä voidaan myös soveltaa yksityiskäyttöön esimerkiksi kodinturvan parantamiseksi.Figure 1 illustrates a system according to an embodiment of the invention installed in an apartment for patient monitoring. For example, an apartment can be a patient's home, where the system enables the patient's home care, 15 which is cheaper than institutional care and meaningful to the patient. The patient may be, for example, an elderly person or a person suffering from dementia or other mental illness or physical disability who needs regular treatment. The invention can also be applied to private use, for example to improve home security.

20 Tässä järjestelmässä huoneistoon on asennettu useita lämpökame- roita 100-108 niin, että niillä pystytään tarkkailemaan suurinta osaa huoneiston pinta-alasta sekä erityisesti haluttuja huoneita tai kohteita. Esimerkiksi lämpökamera 106 on suunnattu tuottamaan lämpökamerakuvaa keittiöstä ja erityisesti liedestä 110. Näin sillä pystytään havaitsemaan päälle unohtunut 25 lieden levy ja suorittamaan tarvittaessa hälytys, kuten myöhemmin kuvataan. Lämpökameroiden ei tarvitse välttämättä kattaa koko huoneistoa. Esimerkiksi 5 kylpyhuoneeseen ei ehkä haluta sijoittaa lämpökameraa intimiteettisuojan säi-20 In this system, a plurality of thermal cameras 100-108 are installed in the apartment so that they can observe most of the area of the apartment and especially the desired rooms or objects. For example, the thermal camera 106 is directed to produce a thermal camera image of the kitchen, and in particular of the stove 110. This is capable of detecting a forgotten 25 plate of the stove and, if necessary, triggering an alarm, as described below. Thermal cameras do not necessarily have to cover the entire apartment. For example, in 5 bathrooms, you may not want to place a thermal camera in an intimacy shield.

C\JC \ J

^ lyttämisen vuoksi, vaikka lämpökamerakuvasta ei missään vaiheessa pyritä- t kään tunnistamaan ihmisten henkilöllisyyttä. Lisäksi huoneistoon on sovitettu 30 signaalinkäsittelylaitteisto, joka analysoi lämpökameroiden tuottamaa kuvaa | etsimällä lämpökamerakuvasta ihmishahmon ja analysoimalla kuvasta löyde- tyn ihmishahmon asentoja ja/tai liikkumista huoneistossa. Signaalinkäsittelylait-^ for the sake of convenience, even though the thermal imaging never attempts to identify people's identity. In addition, the apartment is equipped with 30 signal processing equipment, which analyzes the image produced by thermal cameras | searching for a human in the thermal imaging image and analyzing the postures and / or movement of the human in the apartment. the signal processing

(N(OF

g teisto voi olla sijoitettu samaan huoneeseen, huoneistoon tai rakennukseen, ° missä potilasta on tarkoitus tarkkailla. Vaihtoehtoisesti lämpökamerakuvaa ^ 35 voidaan lähettää tietoliikenneverkon yli etäpisteeseen, jossa suoritetaan läm- pökamerakuvan analysointi. Etäpiste voi sijaita esimerkiksi eri rakennuksessa 5 kuin tarkkailtava tila. Keksinnön tämän suoritusmuodon mukainen järjestelmä sisältää myös tietoliikennevälineet mahdollisen hälytyksen tekemistä varten, jos kuva-analyysissä havaitaan tapahtuma, joka vaatii hoitajan hälyttämistä paikalle huolehtimaan potilaasta (tai muuntyyppistä hälytystä).g the facility may be located in the same room, apartment or building where the patient is to be observed. Alternatively, the thermal imaging image 35 may be transmitted over the communication network to a remote point where the thermal imaging image analysis is performed. For example, the remote point may be located in a different building 5 than the observable space. The system of this embodiment of the invention also includes communication means for making a possible alert if an event is detected in the image analysis that requires a nurse to be alerted to attend to a patient (or other type of alert).

5 Kuvio 2 esittää lohkokaaviota lämpökameroita käyttävästä potilaan- tarkkailujärjestelmästä, joka voi olla järjestetty huoneistoon kuvion 1 esittämällä tavalla. Kuten edellä mainittiin, järjestelmä käsittää yhden tai useampia lämpökameroita 100-110, signaalinkäsittelylaitteiston 202 sekä tietoliikennevälineet 200. Tietoliikennevälineet voivat sisältää tarvittavan laitteiston ja ohjelmisto ton tietoliikenneyhteyden luomiseksi potilaan hoidosta ja tarkkailusta vastaavaan palveluntarjoajaan. Tietoliikenneyhteys voidaan muodostaa lähiverkkoyhteydellä (LAN) rakennuksen lähiverkkoon, xDSL-yhteydellä (Digital Subscriber Line) tai langattomasti hyödyntäen esimerkiksi matkapuhelinverkkoa (GSM, UMTS, WiMAX). Signaalinkäsittelylaitteisto 202 ja lämpökamerat 100 - 110 15 voivat kommunikoida keskenään LAN-yhteydellä (esim. Ethernet).Figure 2 shows a block diagram of a patient monitoring system using thermal cameras, which may be arranged in the apartment as shown in Figure 1. As mentioned above, the system comprises one or more thermal cameras 100-110, signal processing equipment 202, and communication means 200. The communication means may include the necessary hardware and software to establish a communication connection with a patient care and monitoring provider. The communication connection can be established through a LAN connection to the LAN of the building, an xDSL connection (Digital Subscriber Line) or wirelessly utilizing, for example, a cellular network (GSM, UMTS, WiMAX). Signal processing equipment 202 and thermal cameras 100 to 110 15 can communicate with each other over a LAN connection (e.g., Ethernet).

Signaalinkäsittelylaitteisto 202 sisältyy järjestelmän ohjausyksikköön 204 ja on konfiguroitu vastaanottamaan lämpökameroilta 100 - 110 lämpöka-merakuvaa tarkkailtavasta tilasta ja analysoimaan lämpökamerakuvaa etsimällä tallennetusta lämpökamerakuvasta ihmishahmo ja vertaamalla lämpökame-20 rakuvasta löydetyn ihmishahmon asentoja kuvaavia parametreja, referens-siasentoja ja/tai -liikkeitä vastaaviin tallennettuihin parametreihin ihmishahmon liikkeiden ja asentojen tulkitsemista varten. Referenssiasentoja vastaavat parametrit voi olla tallennettu muistiyksikköön 206, joka voi sisältää parametrit seisomiselle, istumiselle, kaatumiselle, erilaisille merkinannoille (esim. käden 25 heiluttamiselle) jne. Jos signaalinkäsittely-yksikkö 202 havaitsee vastaavuuden lämpökameran tallentamassa kuvassa havaitun henkilön asennossa ja jossa-o kin referenssiasennossa, signaalinkäsittelylaitteisto 202 antaa ohjausyksikölleThe signal processing apparatus 202 is included in the system control unit 204 and is configured to receive from the thermal cameras 100 to 110 a snapshot of the observed state and analyze the snapshot to search for a human and compare the parameters of the for interpreting movements and postures. Parameters corresponding to the reference positions may be stored in a memory unit 206 which may include parameters for standing, sitting, falling, various signaling (e.g., waving the hand 25), etc. If the signal processing unit 202 detects a match in the position of the person detected in the image signal processing apparatus 202 provides to the control unit

CMCM

^ 204 viestin kyseisen asennon havaitsemisesta. Ohjausyksikkö 204 suorittaa T tällöin analyysissä havaitun tapahtuman seurauksena kyseiseen tapahtumaan 30 liittyvän ennalta määrätyn toimenpiteen, joka voi olla hälytys ja/tai tapahtuman | tallentaminen muistiyksikköön. Ohjausyksikkö 204 voi olla konfiguroitu suorit- ^ tamaan erilainen toimenpide riippuen havaitusta tapahtumasta. Esimerkiksi jos^ 204 message to detect that position. The control unit 204 then T performs a predetermined action related to that event 30 as a result of an event detected in the analysis, which may be an alarm and / or event | saving to memory unit. The control unit 204 may be configured to perform a different operation depending on the detected event. For example, if

CMCM

g havaitaan, että potilas on kaatunut mutta nousee ylös, ohjausyksikkö voi tallen- ^ taa kaatumisen havaitsemisen sekä tapahtuma-ajan (päivämäärä ja kellonai- ^ 35 ka) muistiyksikköön. Tässä tapauksessa ohjausyksikkö voi olla konfiguroitu ilmoittamaan kaatumisesta tietoliikennevälineiden kautta järjestelmään yhtey- 6 dessä olevaan valvontakeskukseen, joten hoitaja voi seuraavalla rutiinikäynnil-lään tarkastaa, onko potilas loukannut itseään. Toisin sanoen ohjausyksikkö 204 voi suorittaa alhaisen prioriteetin hälytyksen, joka ei vaadi välittömiä toimenpiteitä. Toisaalta jos havaitaan, että potilas makaa lattialla eikä liiku (esi-5 merkiksi kaatumisesta johtuva tajuttomuus), ohjausyksikkö 204 voi olla konfi-guroitu suorittamaan korkean prioriteetin hälytyksen, joka vaatii hoitajan tai vastaavan välitöntä toimenpidettä potilaan tilanteen tarkastamiseksi. Ohjausyksikön 204 suorittama toimenpide kullekin analyysin perusteella havaitulle tapahtumalle voidaan parametrisoida halutulla tavalla. Ohjausyksikkö 204 voi 10 sisällyttää jokaiseen hälytykseen viestin, joka osoittaa havaitun tapahtuman teksti- tai kuvamuodossa. Ohjausyksikkö 204 voi olla konfiguroitu tallentamaan kaikki havaitut tapahtumat muistiyksikköön 206 yhdessä tapahtuma-ajan kanssa, mikä mahdollistaa potilaan toiminnan tilastollisen seuraamisen tarkasti myös pitkällä aikavälillä. Signaalinkäsittelylaitteista 202 voi esimerkiksi olla jär-15 jestetty ilmoittamaan havaitusta tapahtumasta, jos potilas havaitaan kävelemässä keskellä yötä (tai määrättynä muuna kellonaikana). Näin voidaan tarkkailla potilaan unen saantia.g it is detected that the patient has fallen but rises, the control unit can store the fall detection and event time (date and time) in the memory unit. In this case, the control unit may be configured to report a crash via communication means to a monitoring center connected to the system, so that the next routine visit by the caregiver may check to see if the patient has been injured. In other words, the control unit 204 may perform a low priority alarm that does not require immediate action. On the other hand, if the patient is found to be lying on the floor and not moving (pre-5, for example, due to falling unconsciousness), the control unit 204 may be configured to perform a high priority alarm requiring a caregiver or similar immediate action. The operation performed by the control unit 204 for each event detected by the analysis can be parameterized as desired. The control unit 204 may include in each alarm a message indicating a detected event in text or image format. The control unit 204 may be configured to store all detected events in the memory unit 206 along with the event time, which enables statistical monitoring of patient activity to be accurately performed over a long period of time. For example, signal processing devices 202 may be provided to report an detected event if a patient is detected walking in the middle of the night (or at a specified time of day). In this way, the patient's sleep intake can be monitored.

Kuvion 2 mukainen järjestelmä voidaan myös toteuttaa yhdellä tai useammalla nk. älykameralla. Älykameraksi kutsutaan laitteistoa, joka sisältää 20 kameran (tässä tapauksessa lämpökameran) sekä prosessointiyksikön, joka on ohjelmistolla konfiguroitavissa prosessoimaan kameran tuottamaa kuvaa. Viitaten kuvioon 2 keksinnön erään suoritusmuodon mukainen järjestelmä voidaan toteuttaa yhdellä tai useammalla älykameralla, joista kukin älykamera sisältää lämpökameran, signaalinkäsittelylaitteiston 202, ohjausyksikön 204, 25 muistiyksikön 206 ja tietoliikennevälineet 200 yhdessä kokonaisuudessa (esim. yhdessä kotelossa). Muistiyksikkö 206 voi esimerkiksi muisti kortti, joka on irro-5 taitavasti kytkettynä älykameraan ja sovitettuna tallentamaan prosessointiyksi-The system of Figure 2 can also be implemented with one or more so-called smart cameras. A smart camera is called hardware that includes 20 cameras (in this case, a thermal camera) and a processing unit that can be configured by software to process the image produced by the camera. Referring to Figure 2, a system according to an embodiment of the invention may be implemented with one or more smart cameras, each smart camera comprising a thermal camera, signal processing equipment 202, control unit 204, 25 memory unit 206 and communication means 200 in one assembly (e.g., one housing). For example, the memory unit 206 may have a memory card removably connected to the smart camera and adapted to store the processing unit-

(M(M

^ kön konfiguroivan ohjelmiston sekä parametrit.^ configuring software and parameters.

v Kuviot 3A - 3C esittävät keksinnön erään suoritusmuodon mukai- 00 30 sesti analysoitavaa lämpökamerakuvaa, joka esittää potilaan kaatumiseen liit-| tyvää tapahtumaa. Kuva sisältää potilasta vastaavan ihmishahmon 302 sekä m taustaan kuuluvan valaisimen 304. Valaisimesta 304 näkyy kuvassa vain läm-Figures 3A-3C illustrate a thermal camera image analyzed in accordance with an embodiment of the invention showing a patient falling over | happy event. The picture includes a human figure 302 corresponding to the patient and a m illuminator 304 in the background.

(M(M

g pöä säteilevä osa. Signaalinkäsittelylaitteista 202 etsii kuviosta ihmishahmon 2 tallennettujen ihmishahmoon liittyvien esimerkiksi muoto- ja/tai lämpötilapara- ^ 35 metrien perusteella. Yksi tyypillinen konenäköalgoritmi perustuu ihmisen pään tunnistamiseen lämpökamerakuvasta. Ihmishahmon havaitsemisen jälkeen 7 signaalinkäsittelylaitteisto alkaa analysoida ihmishahmon liikkeitä ja/tai asentoja vertaamalla havaittuja asentoja referenssiasentoihin tai referenssiliikevekto-reihin. Mikäli signaalinkäsittelylaitteisto 202 havaitsee, että ihmishahmon asennot ja/tai liikevektorit korreloivat riittävästi (samankaltaisuus/korrelaatio 5 ylittää määrätyn kynnystason) kaatumista vastaavien referenssiasentojen ja/tai liikevektorien kanssa, signaalinkäsittelylaitteisto 202 päättää, että potilas on kaatunut, ja ilmoittaa ohjausyksikölle 204 potilaan kaatumiseen yhdistetystä tapahtumasta. Tällöin ohjausyksikkö 204 aloittaa potilaan kaatumistapahtu-maan yhdistetyn prosessin.g radiating part of the table. The signal processing device 202 searches the figure for a human figure 2 based on, for example, shape and / or temperature parameters associated with the human figure. One typical machine vision algorithm is based on the recognition of the human head from a thermal imaging image. After the human figure is detected, the 7 signal processing equipment begins to analyze the human figure's movements and / or positions by comparing the observed positions with reference positions or reference motion vectors. If the signal processing apparatus 202 detects that human positions and / or motion vectors correlate sufficiently (similarity / correlation 5 above a predetermined threshold level) with corresponding reference reference positions and / or motion vectors, the signal processing apparatus 202 determines that the patient has crashed and informs the patient. The control unit 204 then initiates the process associated with the patient tipping event.

10 Kuten edellä mainittiin, signaalinkäsittelylaitteisto 202 pystyy erotte lemaan lämpökamerakuvasta ihmishahmon muodon ja/tai lämpötilainformaati-on perusteella. Signaalinkäsittelylaitteisto 202 analysoi lämpökamerakuvan pikseleitä, joista kullakin on lämpötilaa kuvaava arvo. Koska ihmiskehon lämpötila on ympäröivää huoneilmaa ja huoneistossa olevia passiivisia esineitä 15 (huonekaluja, kasveja yms.) huomattavasti lämpimämpi (n. 37°C), signaalinkäsittelylaitteisto 202 voi olla sovitettu suodattamaan lämpökameroilta vastaanotetusta lämpökamerakuvasta pois ihmisen ruumiinlämpöä vastaavasta valitusta lämpötila-alueesta poikkeavat lämpötilat ihmishahmon erottelemiseksi taustasta. Signaalinkäsittelylaitteisto 202 voi suodattaa kuvasta pois esimer-20 kiksi lämpötila-aluetta 35-40°C pienemmät lämpötilat analysoitaessa ihmiskehon liikkeitä ja asentoa. Signaalinkäsittelylaitteisto 202 voi suodattaa kuvasta pois myös lämpötila-aluetta 35-40°C suuremmat lämpötilat, jotta esimerkiksi liesi, televisio tms. lämpöä säteilevät elektroniset laitteet eivät häiritsisi analyysiä. Tällaisen suodatuksen jälkeen kuvasta saadaan poistettua muut kohteet 25 kuin itse ihmiskeho sekä muut kyseisellä lämpötila-alueella lämpöä säteilevät kohteet, kuten kuviossa 4 esitetään suhteessa kuvioihin 3A - 3C. Tämä pie-5 nentää prosessoitavan kuvan sisältämää informaatiomäärää, joka pienentääAs mentioned above, the signal processing apparatus 202 is capable of distinguishing from a thermal camera image on the basis of the shape and / or temperature information of the human figure. The signal processing apparatus 202 analyzes the pixels of the thermal camera image, each having a temperature value. Because the human body temperature is significantly warmer (approx. 37 ° C) than ambient room air and passive objects 15 (furniture, plants, etc.), the signal processing apparatus 202 may be adapted to filter out the human body background. Signal processing equipment 202 can filter out from the image, for example, temperatures below 35-40 ° C when analyzing human body movements and postures. Signal processing equipment 202 may also filter out temperatures higher than 35-40 ° C to avoid interfering with the analysis, for example, by a stove, television or the like. After such filtering, objects other than the human body itself as well as other objects emitting heat in the temperature range can be removed from the image, as shown in Fig. 4 relative to Figs. 3A-3C. This pie-5 reduces the amount of information contained in the image to be processed, which reduces

(M(M

^ signaalinkäsittelylaitteistolta vaadittavaa prosessointikapasiteettia ja joka so- t veltuu myös hyvin suoritusmuotoon, jossa prosessoitava kuva lähetetään tieto- ^ 30 liikenneyhteyden yli etäpisteelle (pienentää tarvittavaa tiedonsiirtokapasiteet- | tia). Signaalinkäsittelylaitteisto 202 voi tämän jälkeen erotella ihmiskehon esi- lo merkiksi eläimestä muotoanalyysin perusteella.The processing capacity required from the signal processing equipment, which is also well suited to an embodiment in which an image to be processed is transmitted over a communication link to a remote point (reduces the required data transmission capacity). The signal processing apparatus 202 may then discriminate the human body prodrug from the animal based on shape analysis.

(M(M

g Signaalinkäsittelylaitteiston 202 suorittamassa ympäristöä tarkkaile- ^ vassa prosessissa, jota voidaan suorittaa rinnakkain ihmishahmon liikeanalyy- ^ 35 sin kanssa, signaalinkäsittelylaitteisto 202 analysoi suodattamatonta kuvaa tarkkaillakseen huoneiston olosuhteita, tai jopa suodattaa ihmiskehon pois ku- 8 vasta suodattamalla pois ihmiskehon lämpötilaa vastaavat pikselit. Signaalinkäsittelylaitteista 202 voi esimerkiksi tarkkailla huoneiston keskilämpötilaa, ja jos lämpötilan havaitaan olevan alle sallitun alarajan (merkkinä huonosta lämmityksestä) tai yli sallitun ylärajan (esim. tulipalo), signaalinkäsittelylaitteisto 5 202 antaa ohjausyksikölle 204 signaalin vastaavasta tapahtumasta. Vastaan otettuaan tulipalotapahtuman signaalin ohjausyksikkö 204 voi olla järjestetty suorittamaan korkean prioriteetin hälytyksen, ja vastaanotettuaan liian alhaisen lämpötilan ohjausyksikkö 204 voi olla järjestetty suorittamaan matalan prioriteetin hälytyksen sekä ilmoittamaan informaation kyseisestä tapahtumasta, 10 minkä perusteella hoitaja tietää seuraavalla rutiinikäynnillään tarkastaa huoneiston lämmitysjärjestelmän.In an environmental monitoring process performed by signal processing equipment 202, which may be performed in parallel with human character motion analysis, signal processing equipment 202 analyzes an unfiltered image to monitor the conditions of the apartment, or even filters out a human body image by filtering out pixels corresponding to human body temperature. For example, signal processing equipment 202 may monitor the average room temperature, and if the temperature is found to be below the permissible lower limit (indicative of poor heating) or above the permissible upper limit (e.g., fire), the signal processing apparatus 5 202 will signal to the control unit 204. Upon receiving a fire event signal, the control unit 204 may be configured to perform a high priority alarm, and upon receiving a low temperature control unit 204 may be configured to perform a low priority alarm and report information about the event, 10 so that the attendant knows during the next routine visit.

Signaalinkäsittelylaitteisto 202 voi lisäksi olla konfiguroitu tunnistamaan potilaan merkinantoja liike- ja asentoanalyysin perusteella. Signaalinkäsittelylaitteisto voi olla konfiguroitu havaitsemaan potilaan avunpyynnön verrat-15 taessa lämpökamerakuvasta löydetyn ihmishahmon liikettä tallennettuun, avunpyyntöön yhdistettyyn referenssiliikkeeseen. Tällöin signaalin käsittelylaitteista 202 voi ilmoittaa ohjausyksikölle 204 avunpyyntötapahtumasta, jolloin ohjausyksikkö 204 suorittaa avunpyyntöön yhdistetyn prosessin, joka voi sisältää avunpyyntöön yhdistetyn ennalta määrätyn hälytyksen suorittamisen. Oh-20 jausyksikkö voi lisäksi ilmoittaa potilaalle äänimerkinannolla tai jollain muulla merkinannolla hälytyksen tekemisestä. Hälytys on edullisesti korkean prioriteetin hälytys, joka vaatii välitöntä toimenpidettä hoitajan taholta. Avunpyyntö voi olla etukäteen määritetty tehtäväksi heiluttamalla kättä vasemmalta oikealle kolme kertaa. Niinpä kyseistä liikerataa vastaavat referenssiparametrit voi olla 25 tallennettu etukäteen muistiyksikköön 206. Avunpyynnön merkiksi voi tietenkin olla määrätty jokin muu liike, mutta edullisesti avunpyynnöksi valitaan sellainen 5 toistuva liikerata, jota ihminen ei tee vahingossa. Näin minimoidaan väärienAdditionally, the signal processing apparatus 202 may be configured to recognize patient signals based on motion and position analysis. The signal processing apparatus may be configured to detect a patient's request for assistance when comparing the motion of a human subject found in the thermal imaging image to a stored reference request associated with the request for assistance. The signal processing means 202 may then notify the control unit 204 of a request for assistance, wherein the control unit 204 will perform a process associated with the request for assistance, which may include performing a predetermined alarm associated with the request for assistance. In addition, the Oh-20 touch unit may notify the patient by means of an acoustic signal or some other signal that an alarm has been given. Preferably, the alarm is a high-priority alarm that requires immediate intervention by a nurse. A request for help can be predefined by waving your hand from left to right three times. Thus, the reference parameters corresponding to that path may be stored in advance in the memory unit 206. Of course, the request for assistance may be determined by some other motion, but preferably, the request for assistance is selected from a repetitive motion which is not accidentally executed by a person. Doing so will minimize the false

CMCM

^ hälytysten lukumäärä. Väärän hälytyksen varalta signaalinkäsittelylaitteisto voi ^ myös olla konfiguroitu tunnistamaan hälytyksen peruutukseen yhdistetty liike.^ number of alarms. In the event of a false alarm, the signal processing apparatus may also be configured to detect movement associated with the canceling of the alarm.

30 Jos potilas havaitsee tehneensä väärän hälytykseen ohjausyksikön antaman £ merkinannon perusteella, hän voi peruuttaa hälytyksen ennalta määrätyllä merkinannolla.30 If the patient discovers that they have made a false alarm based on a £ signal from the control unit, they can cancel the alarm with a predetermined signal.

CMCM

g Kuvioissa 6A ja 6B esitetään keksinnön erääseen suoritusmuotoon ^ liittyvää lämpökamerakuvaa, johon signaalinkäsittelylaitteisto 202 on sovitettu ^ 35 määrittämään yhden tai useampia erityisalueita 600, johon on yhdistetty yksi tai useampia erityistoimintamalleja. Erityisalue voi olla lämpökamerakuvasta 9 rajattu osa-alue. Toimintamallit on tallennettu etukäteen muistiyksikköön 206, josta signaalinkäsittelylaitteisto 202 voi lukea toimintamallit havaitessaan erityisalueella ennalta määrätyn tapahtuman, joka laukaisee toimintamallien käyttöönoton. Ennalta määrätty tapahtuma voi olla esimerkiksi havaittu ihmishah-5 mon 302 siirtyminen erityisalueelle 600 tai lämpötilan nousu erityisalueella (esim. liesi). Toimintamallit voivat määrittää sallitut tapahtumat erityisalueella, jolloin hälytystä ei tarvitse suorittaa. Jos signaalinkäsittelylaitteisto 202 havaitsee ihmishahmon liikkumista, joka ei vastaa sallittuihin tapahtumiin yhdistettyjä referenssiparametreja, signaalinkäsittelylaitteisto 202 antaa ohjausyksikölle 10 204 merkin sallituista tapahtumista poikkeavasta tapahtumasta erityisalueella.Figures 6A and 6B illustrate a thermal camera image associated with an embodiment of the invention, in which the signal processing apparatus 202 is adapted to determine one or more specific areas 600 to which one or more specific operating models are combined. The special area may be a portion delimited by the thermal camera image 9. The operating patterns are pre-stored in the memory unit 206, from which the signal processing apparatus 202 can read the operating models when it detects a predetermined event in a specific area that triggers the implementation of operating models. The predetermined event may be, for example, an observed shift of the human-mono-302 to a specific area 600 or a rise in temperature within a specific area (e.g., stove). Operational models can define allowed events in a specific area, which eliminates the need for an alarm. If the signal processing equipment 202 detects human character movement that does not match the reference parameters associated with the allowed events, the signal processing equipment 202 will provide the control unit 10 204 with an indication of non-permitted events in the special area.

Ohjausyksikkö 204 suorittaa tällöin toimenpiteen, kuten esimerkiksi hälytyksen tietoliikennevälineiden 200 kautta ja/tai tapahtuman tallennuksen muistiyksikköön 206.The control unit 204 then performs an operation such as, for example, an alarm via the communication means 200 and / or storing the event in the memory unit 206.

Kuviot 6A ja 6B esittävät esimerkin tästä suoritusmuodosta. Tässä 15 esimerkissä keksinnön mukainen valvontajärjestelmä on sijoitettu esimerkiksi hoitokotiin tai sairaalaan, ja erityisalue 600 on potilaiden oleskelutila. Oletetaan, että potilaiden ei haluta poistuvan oleskelutilasta yksinään ilman hoitajan opastusta. Tällöin sallittujen toimintamallien käyttöönoton voi laukaista signaa-linkäsittelyvälineiden havaitsema ihmishahmon 302 siirtyminen erityisalueelle 20 600 tai jääminen erityisalueelle 600 ennalta määrättyä pidemmäksi aikaa (jos potilas saatetaan alueelle). Signaalinkäsittelylaitteisto voi laskea ennalta määrätyn ajan kulumista käynnistämällä ajastimen havaitun ihmishahmon siirtyessä alueelle 600 ja ottaa toimintamallit käyttöön, jos ihmishahmon ei havaita poistuvan sieltä, ennen kuin ajastin on kulunut umpeen.Figures 6A and 6B show an example of this embodiment. In this example, the surveillance system of the invention is located, for example, in a nursing home or hospital, and special area 600 is the patient's living area. Assume that patients do not want to leave the living room alone without the guidance of a nurse. In this case, the implementation of the allowed operating patterns may be triggered by the signal processing means detecting the transition of the human character 302 to the special area 20,600 or to the special area 600 for a predetermined time (if the patient is brought into the area). The signal processing equipment can calculate a predetermined amount of time elapsed by triggering a timer as the detected human figure moves into area 600 and adopting action patterns if the human figure is not detected to leave before the timer has expired.

25 Kun signaalinkäsittelylaitteisto 202 havaitsee sallittujen toimintamal- lien käyttöönoton ihmishahmon siirtyessä erityisalueelle 600, se lukee muis-5 tiyksiköstä 206 sallittuja toimintamalleja vastaavat parametrit. Muistiyksikköön 206 tallennettu sallittu toimintamalli voi sisältää esimerkiksi liikeparametrit sille, ^ että erityisalueelle 600 siirtyy toinen ihmishahmo 602 (kuvio 6B), joka hakee 30 potilaan 302 pois erityisalueelta 600. Hakemiseksi voidaan tulkita esimerkiksi £ se, että ihmishahmot ovat kosketuksessa toisiinsa poistuessaan alueelta 600.When the signal processing apparatus 202 detects the implementation of the allowed operating models when the human character enters the special area 600, it reads from the memory unit 206 the parameters corresponding to the allowed operating models. For example, the allowed operating mode stored in the memory unit 206 may include motion parameters for moving into the special area 600 another human character 602 (Fig. 6B), which fetches 30 patients 302 out of the special area 600. For example,

to Kosketus näkyy lämpökamerakuvassa selvästi niin, että ihmishahmoja vastaasi vat pikselit ovat yhteydessä toisiinsa ilman, että kahden ihmishahmon välissäto The touch is clearly visible on the thermal imaging so that the pixels corresponding to the human characters are connected without any interference between the two human characters

Oo

ς on taustaan kuuluvia ’kylmiä’ pikseleitä. Jotta kuva-analyysin luotettavuutta w 35 tässä tapauksessa voitaisiin parantaa, useampia lämpökameroita voi olla jär jestetty tarkkailemaan erityisaluetta. Tällöin pystytään erottelemaan, taluttaako 10 yksi ihminen toisen pois erityisalueelta, vai kulkevatko he vain peräkkäin. Tietystä kuvakulmasta kuvaava yksi lämpökamerakuva ei välttämättä kerro tätä tietoa. Niinpä signaalinkäsittelylaitteisto 202 voi analysoida useampaa lämpö-kamerakuvaa samasta erityisalueesta havaitakseen jokaisen lämpökameraku-5 van perusteella, hakeeko potilaan pois toinen ihmishahmo yllä kuvatulla tavalla. Jos signaalinkäsittelylaitteisto 202 havaitsee ensimmäisen ihmishahmon 302 poistumisen erityisalueelta kosketuksessa alueelle 602 siirtyneeseen toiseen ihmishahmoon 602 (jokaisessa lämpökamerakuvassa), tämä katsotaan sallituksi toimintamalliksi, eikä hälytystä suoriteta. Jos taas signaalinkäsittely-10 laitteisto 202 havaitsee ensimmäisen ihmishahmon 302 poistumisen erityisalueelta yksin, tämä katsotaan sallitusta referenssistä poikkeavaksi kielletyksi toimintamalliksi, ja signaalinkäsittelylaitteisto 202 antaa ohjausyksikölle 204 signaalin kielletystä tapahtumasta erityisalueella (voidaan antaa myös erityisalueen tunnisteinformaatio), jolloin ohjausyksikkö 204 voi suorittaa hälytyksen. 15 Sallittuun toimintamalliin voidaan sisällyttää myös muita parametreja sen estämiseksi, että potilaat eivät poistu erityisalueelta pareittain, ellei pareittain poistuminen ole sallittua.ς are the 'cold' pixels in the background. In order to improve the image analysis reliability w 35 in this case, more thermal cameras may be arranged to observe the specific area. This makes it possible to distinguish whether one person walks one out of the special area, or whether they walk in succession. A single thermal camera image from a particular angle may not provide this information. Thus, the signal processing apparatus 202 may analyze multiple thermal camera images from the same specific area to determine, on the basis of each thermal camera image, whether a patient is being retrieved by another human character as described above. If the signal processing apparatus 202 detects the departure of the first human figure 302 from the special area upon contact with the second human image 602 transferred to the area 602 (in each thermal camera image), this is considered a permissible mode of operation and the alarm is not performed. On the other hand, if the signal processing apparatus 202 detects the departure of the first human character 302 from the special area alone, this is considered a prohibited operating pattern deviating from the allowed reference, and the signal processing apparatus 202 gives the control unit 204 a signal 15 Other parameters may be included in the Permitted Policy to prevent patients from leaving the special area in pairs unless pairing is allowed.

Jos oletetaan, että potilaan sallitaan poistua yksin oleskelualueelta, jos hän on tietoisessa tilassa, järjestelmä voi sallia potilaan poistumisen alueel-20 ta ilman hälytystä, jos potilas osoittaa sovitulla merkillä (esim. käden heilutuk-sella tai muulla liikkeellä) olevansa tietoisessa tilassa. Tällöin jos signaalinkäsittelyjärjestelmä havaitsee ennalta määrätyn merkin ennen kuin ihmishahmo poistuu erityisalueelta, poistuminen katsotaan sallituksi tapahtumaksi, eikä hälytystä suoriteta.Assuming that the patient is allowed to leave the area alone if he / she is in a conscious state, the system may allow the patient to leave the area without alert if the patient shows that he / she is in a conscious state by an agreed sign (e.g. In this case, if a predetermined character is detected by the signal processing system before the human character exits the special area, the exit is considered a permitted event and no alarm is performed.

25 Vastaaviksi erityisalueiksi potilaan kotiasuntoon sijoitetussa järjes- telmässä voidaan asettaa esimerkiksi sohva ja liesi. Oletetaan, että potilaan ei o olisi hyvä katsoa sohvalla televisiota enemmän kuin määrätty tuntimäärä. KunFor example, a sofa and a stove can be set up as corresponding special areas in a patient's home system. Assume that it is not good for the patient to watch television on the couch for more than a certain number of hours. When

CMCM

^ signaalinkäsittelylaitteisto 202 havaitsee ihmishahmon siirtymisen sohvan si- τ sältävälle erityisalueelle (ihmishahmo tunnistetaan erityisalueen sisällä), käyn- 30 nistetään ajastin. Kun signaalinkäsittelylaitteisto 202 havaitsee, että potilas | poistuu erityisalueelta (ihmishahmoa ei enää havaita erityisalueella), ajastin m pysäytetään ja ajastimen mittaama aika tallennetaan muistiyksikköön. Ohjaus-The signal processing apparatus 202 detects the movement of the human figure into a special area containing the sofa (τ), a timer is started. When the signal processing apparatus 202 detects that the patient | exits the special area (the human figure is no longer detected in the special area), the timer m is stopped and the time measured by the timer is stored in the memory unit. Control-

OMOM

g yksikkö 204 voi tarkkailla ajastintallennuksia vuorokauden mittaisissa kokonai- ^ suuksissa. Jos ohjausyksikkö 204 havaitsee, että ajastintallennuksien osoitta- ^ 35 ma mitattu aika ylittää määrätyn rajan, ohjausyksikkö 204 tallentaa muistiyk- 11 sikköön 206 informaation sallitun rajan ylittäneestä television katselusta määrättynä päivänä.The g unit 204 can monitor timer recordings for 24-hour entities. If the control unit 204 detects that the time measured by the timer recordings exceeds a certain limit, the control unit 204 stores information in the memory unit 206 for watching the television that has exceeded the allowed limit on a given day.

Signaalinkäsittelylaitteisto voi myös olla järjestetty tarkkailemaan ihmishahmon aktiivisuutta erityisalueella. Aktiivisuus voidaan määrittää ana-5 lysoimalla ihmishahmon asento (istuu, makaa, seisoo) ja/tai ihmishahmon liikkeen määrä. Aktiivisuutta voidaan tarkkailla erityisalueella ympäri vuorokauden (tarkkailua suoritetaan vain silloin, kun ihmishahmo on havaittu erityisalueella) tai määrättyinä kellonaikoina. Potilaalle voi olla määrätty esimerkiksi tietty nukkumaanmenoaika, jolloin potilaan on siirryttävä sänkyynsä. Tällöin signaalin-10 käsittelylaitteisto 202 voi olla järjestetty tarkkailemaan potilasta erityisalueella (sohva tässä tapauksessa) nukkumaanmenoaikaan liittyvästä kellonajasta eteenpäin. Jos signaalinkäsittelylaitteisto 202 havaitsee ihmishahmon erityisalueella, signaalinkäsittelylaitteisto voi antaa ohjausyksikölle 204 signaalin tapahtumasta, ja ohjausyksikkö 204 voi lähettää tietoliikennevälineiden kautta 15 valvojalle viestin tapahtumasta (matalan prioriteetin hälytys). Tällöin valvoja tietää esimerkiksi soittaa potilaalle ja kehottaa tätä siirtymään nukkumaan. Signaalinkäsittelylaitteisto 202 voi lisäksi olla järjestetty tarkkailemaan ihmishahmon asentoa ja/tai aktiivisuutta erityisalueella. Jos havaitaan, että ihmishahmo on makuuasennossa ja liikkuu harvakseen, signaalinkäsittelylaitteisto 20 202 voi päättää, että potilas on nukahtanut sohvalle, ja antaa näin ohjausyksi kölle signaalin tästä tapahtumasta. Tällöin ohjausyksikkö 204 voi lähettää tieto-liikennevälineiden kautta valvojalle viestin tapahtumasta (matalan prioriteetin hälytys). Yleisesti ottaen ihmishahmon aktiivisuutta voidaan luonnollisesti tarkkailla valvottavan alueen muissa osissa kuin erityisalueilla joko ympäri vuoro-25 kauden tai määrättyinä kellonaikoina.The signal processing apparatus may also be arranged to monitor the activity of the human figure in a specific area. Activity can be determined by ana-5 lysing the human posture (sitting, lying, standing) and / or the amount of human movement. Activity can be monitored in a special area around the clock (only when a human figure is detected in the special area) or at specific times of the day. For example, the patient may be assigned a specific time to bed at which time the patient must go to bed. In this case, the signal processing apparatus 202 may be arranged to monitor the patient in a special area (a sofa in this case) beyond the time of bedtime. If the signal processing apparatus 202 detects a human figure in a specific area, the signal processing apparatus may provide the control unit 204 with a signal of the event, and the control unit 204 may transmit via the communication means 15 a message of the event (low priority alarm). In this case, the supervisor knows, for example, to call the patient and instruct the patient to go to bed. The signal processing apparatus 202 may further be arranged to monitor the position and / or activity of the human figure in a specific area. If the human figure is found to be lying down and moving infrequently, the signal processing apparatus 20 202 may determine that the patient has fallen asleep on the couch, thereby providing a control signal for this event. In this case, the control unit 204 may send a message about the event (low priority alert) via the communication means. In general, the activity of a human character can, of course, be observed in non-specific areas of the controlled area either round the clock or at specific times of the day.

Liesi voidaan asettaa erityisalueeksi, jotta järjestelmä voi tarkkailla o lieden päälle unohtumista ja varoittaa ajoissa ennen tulipalon syttymistä. TässäThe stove can be set as a special area so that the system can monitor the forgetting of the stove and warn in time before the fire starts. Here

CMCM

^ tapauksessa sallittujen toimintamallien käyttöönoton voi laukaista signaalinkä- ^ sittelyvälineiden 202 havaitsema lämpötilan nousu ennalta määrätyn kynnyk- 30 sen yläpuolelle erityisalueella, jossa liesi on. Kynnys voi olla esimerkiksi 100°C £ tai jopa korkeampi lämpötila, joka osoittaa lieden olevan päällä. Lämpötila on m edullisesti sellainen, joka voidaan erottaa lämpökamerakuvasta, kun liedenIn the case, the introduction of the allowed operating patterns may be triggered by a rise in temperature detected by the signal processing means 202 above a predetermined threshold in the specific region where the stove is. For example, the threshold may be 100 ° C £ or even higher, indicating that the cooker is on. Preferably, the temperature m is one that can be distinguished from the thermal camera image by the stove

CMCM

g levyn päällä ei ole kattilaa tms. Näin pitkäkestoinen ruoanlaitto ei aiheuta häly- ? tystä. Kun signaalinkäsittelylaitteisto 202 havaitsee kynnyksen ylittävän lämpö- ™ 35 tilan, se käynnistää ajastimen. Jos lämpötila ei laske ennen kuin ajastimen mit taama määräaika umpeutuu, signaalinkäsittelylaitteisto ilmoittaa ohjausyksiköl- 12 le 204 lieden päälle unohtumiseen liittyvästä tapahtumasta. Ohjausyksikkö 204 voi tällöin olla konfiguroitu ilmoittamaan huoneistossa tietyllä äänimerkillä lieden päälle jäämisestä ja käynnistämään ajastimen. Signaalinkäsittelylaitteisto 202 voi jatkaa lieden tarkkailua ja ilmoittaa ohjausyksikölle 204, jos havaitaan 5 lämpötilan lasku kynnyksen alapuolelle. Jos ohjausyksikkö 204 ei ajastimen mittaaman määrätyn ajan kuluessa vastaanota signaalinkäsittelylaitteistolta ilmoitusta lieden pois päältä laittamisesta, ohjausyksikkö 204 suorittaa korkean prioriteetin hälytyksen tietoliikennevälineiden 200 kautta.g there are no pots on top of the plate etc. Cooking for such a long time does not cause an alarm? Tysta. When the signal processing apparatus 202 detects a thermal state 35 exceeding the threshold, it initiates a timer. If the temperature does not fall before the timer expires, the signal processing equipment notifies the control unit 204 of a forgetting event on the hob. The control unit 204 may then be configured to alert the apartment in a specific beep when the stove is on and to trigger a timer. Signal processing equipment 202 may continue to monitor the cooker and notify the control unit 204 if a temperature drop 5 below the threshold is detected. If the control unit 204 does not receive a signal from the signal processing equipment within a set time measured by the timer, the control unit 204 will perform a high priority alarm via the communication means 200.

Kuviot 7 ja 8 esittävät prosesseja keksinnön mukaisen menetelmän 10 toteuttamiseksi. Prosessit voidaan toteuttaa tietokoneohjelmistolla, jolla voidaan ohjata yhden tai useamman prosessointiyksikön toimintaa. Ohjelmisto voi näin ollen olla hajautettu fyysisesti useampaan kokonaisuuteen. Kuvion 2 sig-naalinkäsittelyvälineet 202 ja ohjausyksikkö 204 voidaan toteuttaa yhdellä tai useammalla prosessorilla, jota/joita ohjataan tietokoneohjelmistolla. Tietoko-15 neohjelmisto voi olla tallennettu tietokoneella luettavissa olevalle tallennusvälineelle, kuten muistipiirille, kovalevylle, optiselle tallennusvälineelle jne.Figures 7 and 8 illustrate processes for implementing the method 10 of the invention. The processes may be implemented by computer software that controls the operation of one or more processing units. Thus, the software may be physically distributed to several entities. The signal processing means 202 and control unit 204 of Figure 2 may be implemented by one or more processors controlled by computer software. The computer-15 software may be stored on a computer-readable medium such as a memory chip, hard disk, optical storage medium, etc.

Kuvio 7 kuvaa yleisellä tasolla prosessin potilaan tarkkailemiseksi, ja kuvio 8 esittää prosessia potilaan kaatumisen havaitsemiseksi tarvittavien toimenpiteiden suorittamiseksi järjestelmän toimesta. Viitaten kuvioon 7, pro-20 sessi aloitetaan kohdassa 700. Prosessin voi aloittaa lämpökamerakuvan (video) vastaanotto signaalinkäsittelyvälineissä 202 tai ohjausyksikön 204 komento aloittaa prosessi. Kohdassa 702 etsitään vastaanotetusta lämpökame-rakuvasta ihmishahmoa. Etsintä voidaan suorittaa etsimällä kuvasta ihmiskehon lämpötilaa vastaavia pikseleitä. Lisäksi voidaan analysoida ihmiskehon 25 lämpötilaa vastaavien pikselien muodostaman kohteen muotoa vertaamalla muotoa tallennettuun ihmisen referenssimuotoon (yhteen tai useampaan). Et-5 simistä voidaan helpottaa suorittamalla kohta 704 eli suodattamalla lämpöka-Figure 7 illustrates in general terms the process for monitoring a patient, and Figure 8 illustrates a process for performing system actions to detect a patient rollover. Referring to FIG. 7, the pro-20 process begins at step 700. The process may be initiated by the reception of a thermal video image (video) by the signal processing means 202 or by a command from the control unit 204 to initiate the process. In step 702, a received human face is searched for in a thermal cam. The search can be performed by searching the image for pixels corresponding to the human body temperature. In addition, the shape of an object formed by pixels corresponding to the human body temperature can be analyzed by comparing the shape to a stored human reference form (s). Et-5 can be facilitated by performing step 704, i.e., filtering

(M(M

^ merakuvasta pois yksi tai useampia lämpötila-alueita, jotka eivät vastaa ihmis- τ kehon lämpötilaa. Kohta 704 on valinnainen, eli se voidaan myös jättää pois^ out of the sea image one or more temperature ranges not corresponding to the human τ body temperature. Item 704 is optional, i.e. it can also be omitted

COC/O

^ 30 prosessista.^ 30 processes.

| Kun signaalinkäsittelylaitteisto 202 on löytänyt lämpökamerakuvasta to ihmishahmon, se vertaa löydetyn ihmishahmon asentoja tallennettuihin refe-| When the signal processing apparatus 202 has detected a human to image in the thermal camera image, it compares the positions of the detected human to the stored refe-

CMCM

g renssiparametreihin hahmon liikkeiden ja asentojen määrittämiseksi, kuten yllä ? on kuvattu. Kohdassa 708 määritetään, onko ihmishahmon liikkeissä tai asen- ^ 35 noissa havaittu hälytyksen aiheuttava tapahtuma. Tämä kohta voidaan suorit taa tapahtuman havaitsemisen osalta signaalinkäsittelylaitteissa 202 analyysin 13 perusteella ja hälytyksen tarpeellisuuden päätöksen osalta ohjausyksikössä 204. Jos kohdassa 708 päätetään, että joko ei ole havaittu mitään tapahtumaa tai että havaittu tapahtuma ei vaadi hälytyksen suorittamista, prosessi palaa kohtaan 706. Mikäli tapahtuma on kuitenkin havaittu, ohjausyksikkö voi tallen-5 taa tiedon tapahtumasta siirryttäessä kohdasta 708 kohtaan 706. Jos kohdassa 708 päätetään, että on havaittu tapahtuma, jonka johdosta on suoritettava hälytys, prosessi siirtyy kohtaan 710, jossa hälytys suoritetaan. Hälytyksen suorittaminen voi sisältää tapahtumaan yhdistetyn hälytystavan määrittämisen ennen varsinaisen hälytyksen tekemistä. Tämä mahdollistaa eri hälytystyyppi-10 en tekemisen havaitun tapahtuman perusteella. Esimerkiksi havaittu potilaan kaatuminen ei välttämättä aiheuta korkean prioriteetin hälytystä, kuten seuraa-vassa esimerkissä kuvataan. Prosessi palaa kohdasta 710 kohtaan 706, jossa potilaan liikkeiden tarkkailua jatketaan.g to the rance parameters to determine the character's movements and positions as above? has been described. Item 708 determines whether an alarm-triggering event has been detected in human body movements or positions. This step can be performed for the event detection in signal processing equipment 202 based on analysis 13 and for the decision on the need for an alarm in the control unit 204. If it is determined in step 708 that either no event is detected or the detected event does not require alarming, the process returns to step 706. however, the control unit may store information about the event as it moves from step 708 to step 706. If it is determined at step 708 that an event requiring an alarm has been detected, the process moves to step 710 where the alarm is performed. Performing an alarm may include determining the type of alarm associated with the event before making the actual alarm. This allows different alarm types to be made based on the detected event. For example, a detected patient fall may not result in a high priority alert, as described in the following example. The process returns from step 710 to step 706, where the patient's movement monitoring is continued.

Kuvio 8 esittää prosessin, joka liittyy potilaan kaatumisen havaitse-15 miseen. Kohtaan 800 siirrytään kohdasta 704 (tai 702) sen jälkeen, kun kuvassa on havaittu ihmishahmo. Kohdassa 800 signaalinkäsittelylaitteisto konfiguroidaan vertaamaan ihmishahmon asentoja kaatumiseen yhdistettyyn yhteen tai useampaan referenssiparametriin. Kohdassa 802 päätetään kohdan 800 perusteella, korreloivatko havaitun ihmishahmon liike ja kaatumiseen yhdistetyt 20 referenssiparametrit riittävästi keskenään, eli onko havaittu kaatuminen. Jos kaatumista ei havaita, prosessi palaa kohtaan 800. Jos havaitaan ihmishahmon kaatuminen, prosessi siirtyy kohtaan 804, jossa käynnistetään ajastin. Kohdassa 806 aloitetaan ihmishahmon liikkeen tarkkailu signaalinkäsittelylait-teistossa 202. Kohdassa 808 päätetään, liikkuuko ihmishahmo riittävästi. Jos 25 päätetään, että ihmishahmo liikkuu riittävästi, prosessi palaa kohtaan 800. Muussa tapauksessa prosessi siirtyy kohtaan 710. Liike voidaan havaita ih-5 miskehon lämpötilaa kuvaavien pikselien vaihtumisella, ja riittävän liikkeen ha-Figure 8 illustrates the process of detecting a patient falling over. Step 800 moves to step 704 (or 702) after the human figure is detected in the image. At 800, the signal processing apparatus is configured to compare the positions of the human figure with one or more reference parameters associated with the crash. Step 802 determines, based on step 800, whether the movement of the detected human figure and the reference parameters associated with the fall are sufficiently correlated, i.e., whether the fall is detected. If no crash is detected, the process returns to step 800. If a human crash is detected, the process moves to step 804 where the timer is started. Step 806 begins monitoring the movement of the human character in the signal processing apparatus 202. In step 808, it is determined whether the human character is moving sufficiently. If it is determined that the human figure is moving sufficiently, the process returns to step 800. Otherwise, the process moves to step 710. Motion can be detected by changing pixels representing the body temperature of the human being, and sufficient movement is detected.

(M(M

^ vaitsemista varten voidaan esimerkiksi asettaa raja tälle vaihtumiselle.For example, a limit may be set for this exchange.

^ Edellä mainitut signaalinkäsittelylaitteiston 202 ja ohjausyksikön 204 30 toimintaa kuvattuja suoritusmuotoja voidaan luonnollisesti yhdistellä uusien | suoritusmuotojen toteuttamiseksi. Esimerkiksi kuvion 8 prosessia kuvaava suo- m ritusmuoto voidaan yhdistää kuvion 5 avunpyyntöön liittyvän suoritusmuodon C\l g kanssa. Oletetaan tilanne, että potilas kaatuu ja loukkaa jalkansa. Tällöin hän 5 pystyy liikkumaan, joten kuvion 8 prosessi ei välttämättä suorita hälytystä. Täl- ^ 35 löin potilas voi antaa avunpyynnöksi sovitun merkin, jolloin rinnakkaisesti suori tettava prosessi avunpyyntömerkin havaitsemiseksi esimerkiksi kuvion 5 yh- 14 teydessä kuvatun toiminnallisuuden kautta havaitsee avunpyynnön ja suorittaa korkean prioriteetin hälytyksen.The above-described embodiments of the signal processing apparatus 202 and the control unit 204 30 may, of course, be combined with new | embodiments. For example, the embodiment illustrating the process of FIG. 8 may be combined with the embodiment C1g associated with the aid request of FIG. 5. Suppose a patient falls and injures his leg. In this case, he / she 5 is able to move, so the process of Figure 8 does not necessarily trigger an alarm. In this case, the patient may provide a custom request for assistance request, whereby a parallel process for detecting a request for assistance request, for example through the functionality described in connection with Figure 5, detects a request for assistance and performs a high priority alert.

Vaihtoehtoisesti (tai lisäksi) kuvion 8 prosessia voidaan parantaa, jotta voidaan havaita potilaan loukkaantuminen esimerkiksi kaatumisen seura-5 uksena. Tässä suoritusmuodossa kohdassa 806 tarkkaillaan, nouseeko ihmishahmo makuuasennosta ylös seisomaan tai istumaan ajastimen mittaaman ajan sisällä. Tässä ajastimen mittaama aika voidaan asettaa niin suureksi, että se ylittää kaatumisen aiheuttamaan hetkelliseen tajuttomuuteen kuluvan ajan. Edellä esitetyn kuvauksen perusteella signaalinkäsittelylaitteisto 202 pystyy 10 erottelemaan analyysin ja referenssiparametrien perusteella, onko havaittu ihmishahmo makuu-, istuma- tai seisoma-asennossa. Kohdassa 808 päätetään, onko havaittu ihmishahmon siirtyminen seisoma- tai istuma-asentoon. Jos näin havaitaan, prosessi palaa kohtaan 800. Muussa tapauksessa prosessi siirtyy kohtaan 710.Alternatively (or additionally), the process of Figure 8 may be improved to detect patient injury, for example as a result of a fall. In this embodiment, at step 806, it is monitored whether the human figure rises from a supine position to stand or sit within the time measured by the timer. Here, the time measured by the timer can be set so high that it exceeds the time taken for the momentary unconsciousness caused by the crash. Based on the above description, the signal processing apparatus 202 is able to distinguish, by analysis and reference parameters, whether the detected human figure is in a lying, sitting or standing position. In step 808, it is determined whether the human figure is observed to move to a standing or sitting position. If so, the process returns to step 800. Otherwise, the process moves to step 710.

15 Toisena esimerkkinä suoritusmuotojen yhdistelystä kuvataan, kuin ka ympäristöä tarkkaileva suoritusmuoto voidaan yhdistää erityisalueita käyttävän suoritusmuodon kanssa. Tällä suoritusmuodolla voidaan havaita esimerkiksi murtovaras. Signaalinkäsittelylaitteisto 202 voi olla sovitettu asettamaan lämpökamerakuvaan tai -kuviin erityisalueiksi murtautujan ennakoituja sisään-20 tuloreittejä kuten ulko-ovea ja/tai ikkunoita vastaavat kohdat. Signaalinkäsittelylaitteisto 202 voi olla konfiguroitu suorittamaan näiden erityisalueiden tarkkailua tiettyinä kellonaikoina (esimerkiksi yöllä). Kun signaalinkäsittelylaitteisto 202 havaitsee ihmishahmon liikettä näillä erityisalueilla, se antaa ohjausyksikölle 204 viestin murtotapahtumasta, jolloin ohjausyksikkö 204 suorittaa häly-25 tyksen. Toisena suoritusmuotona murtovarkaan havaitsemiseksi signaalin-käsittelylaitteisto 202 voi olla konfiguroitu tarkkailemaan ihmishahmojen luku- 5 määrää tarkkailtavassa tilassa määrättynä aikana (esimerkiksi yöllä) ja ver eni ^ taamaan havaittujen ihmishahmojen lukumäärää ennalta määrättyyn sallittuun t lukumäärään. Jos havaittujen ihmishahmojen lukumäärä ylittää sallitun luku- ^ 30 määrän, signaalinkäsittelylaitteisto 202 ilmoittaa ohjausyksikölle vastaavasta | tapahtumasta, ja ohjausyksikkö 204 suorittaa vastaavan hälytyksen. Signaalin- m käsittelylaitteisto voi myös tallentaa havaittujen ihmishahmojen lukumääränAs another example of combining embodiments, it is described how an environmentally monitoring embodiment can be combined with an embodiment using specific domains. For example, a burglar may be detected with this embodiment. Signal processing equipment 202 may be adapted to set specific areas of the thermal camera image or images into predicted entry paths of an intruder such as an exterior door and / or windows. Signal processing equipment 202 may be configured to monitor these specific areas at certain times of the day (e.g., at night). When the signal processing apparatus 202 detects the movement of a human character in these specific areas, it communicates to the control unit 204 a break-in event, whereupon the control unit 204 performs an alarm. In another embodiment, for detection of a burglar, signal processing equipment 202 may be configured to monitor the number of human characters in a monitored state for a predetermined time (for example, at night) and to compare the number of human characters detected to a predetermined allowed number. If the number of detected human figures exceeds the allowed number ^ 30, the signal processing apparatus 202 informs the control unit of the corresponding | event, and the control unit 204 alerts accordingly. The signal processing equipment may also store the number of human characters detected

(M(M

g muistiyksikköön, jotta voidaan pitää kirjaa tarkkailtavassa tilassa liikkuneiden £ ihmisten lukumäärästä. Tässä suoritusmuodossa käytetään ihmishahmon ^ 35 muotoon perustuvaa tunnistusta, jotta elektronisia laitteita tai kotieläimiä ei tul kittaisi ihmisiksi.g to the memory unit to keep track of the number of £ people who have moved in the monitored state. In this embodiment, the shape-based identification of the human figure is used to prevent electronic devices or domestic animals from being interpreted as human.

15 Lämpökamerakuvan lämpöresoluutio voi olla jopa niin hyvä, että siitä voidaan mitata ihmisen lämpötila. Signaalinkäsittelyjärjestelmä voikin olla konfiguroitu mittaamaan lämpökamerakuvassa havaitun ihmishahmon lämpötila tarkastelemalla ihmishahmoon yhdistettyjen pikselien arvoa. Lämpötilamitta-5 us voidaan kohdistaa esimerkiksi havaitun ihmishahmon sellaiseen kohtaan, jonka tiedetään olevan paljaana, esimerkiksi päähän. Tällöin vaatteet eivät häiritse mittaustulosta. Jos mitattu lämpötila ylittää kynnystason, signaalinkäsittelyjärjestelmä voi antaa ohjausyksikölle signaalin tapahtumasta, jolloin ohjausyksikkö voi suorittaa potilaan korkeaan lämpötilaan yhdistetyn hälytyksen. Vas-10 taavasti jos mitattu lämpötila alittaa alarajaksi asetetun toisen kynnystason, signaalinkäsittelyjärjestelmä voi antaa ohjausyksikölle signaalin tapahtumasta, jolloin ohjausyksikkö voi suorittaa potilaan liian matalaan lämpötilaan yhdistetyn hälytyksen.15 The thermal resolution of a thermal imaging image can even be so good that it can measure human temperature. Thus, the signal processing system may be configured to measure the temperature of the human image detected in the thermal camera image by looking at the value of the pixels associated with the human image. The temperature measure-5 can be applied, for example, to a point of a detected human figure known to be exposed, for example to the head. In this case, the clothing will not interfere with the measurement result. If the measured temperature exceeds a threshold level, the signal processing system may provide the control unit with a signal of an event, whereby the control unit may trigger an alarm connected to the patient's high temperature. Similarly, if the measured temperature falls below a second threshold level set at the lower limit, the signal processing system may provide the control unit with a signal of an event, whereby the control unit may issue an alarm connected to the patient's too low temperature.

Kuten alussa mainittiin, lämpökameroita ei välttämättä sijoiteta kat-15 tamaan koko huoneiston aluetta kustannus- tai muiden syiden takia. Esimerkiksi pesuhuone saatetaan jättää kattamatta. Tällöin signaalinkäsittelylaitteisto 202 voi olla konfiguroitu käynnistämään ajastin, kun ihmishahmon havaitaan poistuvan eritysalueeksi määritetystä pesuhuoneen ovesta sisälle pesuhuoneeseen. Signaalinkäsittelylaitteisto voi havaita tämän havaitsemalla, että ih-20 mishahmoon yhdistetyt ’lämpimät’ pikselit häviävät lämpökamerakuvasta pesuhuoneen oveen yhdistetyn erityisalueen sisällä, eivätkä ne siirry erityisalueen ulkopuolelle erityisalueen reunasta. Jos yhdessäkään lämpökamerakuvassa ihmishahmon ei havaita poistuvan pesuhuoneesta (ilmestyvän pesuhuoneen erityisalueelle muualta kuin erityisalueen reunojen kautta) ajastimen 25 laskeman määräajan kuluessa, signaalinkäsittelylaitteisto 202 antaa ohjausyksikölle 204 signaalin kyseisestä tapahtumasta, jolloin ohjausyksikkö 204 voi 5 antaa valvojalle hälytyksen.As mentioned at the outset, thermal cameras may not be located over the entire apartment area for cost or other reasons. For example, the washroom may be left uncovered. In this case, the signal processing apparatus 202 may be configured to start a timer when a human figure is detected exiting a designated washroom door inside the washroom. The signal processing equipment can detect this by detecting that the "warm" pixels associated with the ih-20 character disappear from the thermal camera image within the special area connected to the washroom door, and do not move outside the special area at the edge of the special area. If none of the thermal camera images detect a human being leaving the washroom (appearing in the washroom specialty outside of the specialty area edges) within the time counted by the timer 25,

C\1 ^ Edellä mainittuun suoritusmuotoon liittyen signaalinkäsittelylaitteisto T 202 voi olla konfiguroitu asettamaan huoneiston ulko-ovea vastaavan kohdanIn connection with the above embodiment, the signal processing apparatus T 202 may be configured to position a position corresponding to the exterior door of the apartment.

COC/O

30 erityisalueeksi tarkkailtavassa kuvassa. Lisäksi signaalinkäsittelylaitteisto 202 | voi laskea huoneistossa olevien ihmisten lukumäärää. Jos signaalinkäsittely- lo laitteisto 202 havaitsee, että kaikki huoneistossa lasketut ihmiset ovat poistu en g neet ulko-oven kautta, signaalinkäsittelylaitteisto 202 tulkitsee tämän sallituksi 2 tapahtumaksi, joten hälytystä ei tässä tapauksessa suoriteta. Jos taas potilaan ^ 35 poistuminen ulko-ovesta on määritetty kielletyksi toimintamalliksi (esim. öiseen aikaan), signaalinkäsittelylaitteisto 202 antaa ohjausyksikölle 204 kielletyn 16 poistumisen tapahtumasta ilmoittavan signaalin havaittuaan, että huoneiston ainoa ihmishahmo poistuu ulko-ovesta. Tällöin ohjausyksikkö 204 voi suorittaa hälytyksen.30 special areas in the monitored image. In addition, the signal processing apparatus 202 | can count the number of people in the apartment. If the signal processing equipment 202 detects that all the people charged in the apartment have exited through the front door, the signal processing equipment 202 will interpret this as a permitted 2 events, so that an alarm will not be triggered in this case. If, on the other hand, the exit of a patient from the front door is determined to be a forbidden mode of operation (e.g., at night), signal processing equipment 202 will provide control unit 204 with a forbidden 16 exit event after sensing that the only human figure in the apartment is leaving the front door. The control unit 204 can then trigger an alarm.

Voi tapahtua tilanne, että järjestelmän uudelleenkäynnistyksen tai 5 vastaavan tilanteen seurauksena yhdessäkään tarkkailtavista lämpökamera-kuvista ei havaita ihmishahmoa, eikä järjestelmä ole havainnut ihmishahmon poistumista tilasta. Tällöin järjestelmä voi käynnistää ajastimen. Jos yhdessäkään lämpökamerakuvassa ei havaita ihmishahmoa ajastimen laskeman määräajan kuluessa, signaalinkäsittelylaitteisto 202 antaa ohjausyksikölle 204 βίοι o naalin kyseisestä tapahtumasta, jolloin ohjausyksikkö 204 voi antaa valvojalle hälytyksen.It may happen that, as a result of a system reboot or similar situation, no human image is detected in any of the monitored thermal imaging images, and the system has not detected the human being removed. The system can then start the timer. If no thermal image is detected in any of the thermal imaging images within the time counted by the timer, the signal processing apparatus 202 will provide the control unit 204 with a signal of the event, and the control unit 204 may alert the supervisor.

Järjestelmä voi sisältää lämpökameroiden lisäksi muita antureita, joilla kohdetta voidaan tarkkailla. Esimerkiksi pesuhuoneeseen voidaan asentaa liikeanturi, joka antaa ohjausyksikölle 204 signaalin havaittuaan liikettä lii-15 keanturin kattamalla alueella. Ohjausyksikkö 204 voi näin yhdistää liikeanturin antaman informaation signaalinkäsittelylaitteiston 202 antaman informaation kanssa. Esimerkiksi jos signaalinkäsittelylaitteisto 202 ilmoittaa tapahtumasta, että ihmishahmon on havaittu poistuvan erityisalueella olevasta pesuhuoneen ovesta sisälle pesuhuoneeseen, eikä potilaan ole havaittu poistuvan pesuhuo-20 neesta pesuhuoneen oven kautta määrätyn ajan kuluessa, ohjausyksikkö 204 voi tarkastaa, ilmoittaako pesuhuoneen liikeanturi liikkeestä pesuhuoneessa. Jos liikeanturin antama signaali osoittaa, että pesuhuoneessa on liikettä, ohjausyksikkö 204 päättää, että potilas on pesuhuoneessa ja liikkuu siellä, eikä hälytystä suoriteta. Jos taas liikeanturikaan ei ole ilmoittanut liikkeestä määrä-25 tyn ajan kuluessa, ohjausyksikkö 204 voi suorittaa hälytyksen.The system may include sensors other than thermal cameras to monitor the subject. For example, a motion sensor may be installed in the washroom to provide control unit 204 with a signal upon sensing movement in the area covered by the motion sensor 15. Thus, the control unit 204 may combine the information provided by the motion sensor with the information provided by the signal processing apparatus 202. For example, if signal processing equipment 202 reports an event that a human figure has been detected exiting a washroom door in a special area and into the washroom, and no patient has been detected exiting the washroom through the washroom door, control unit 204 can check if the motion room sensor is moving. If the motion sensor signal indicates that there is movement in the washroom, control unit 204 determines that the patient is in the washroom and moves there, and no alarm is performed. If, on the other hand, the motion sensor has not communicated the movement within the time-limit, the control unit 204 may issue an alarm.

Vaikka keksintöä on edellä selostettu viitaten oheisten piirustusten 5 mukaiseen esimerkkiin, on selvää, ettei keksintö ole rajoittunut siihen, vaanAlthough the invention has been described above with reference to the example of the accompanying drawings 5, it is clear that the invention is not limited thereto but

(M(M

^ sitä voidaan muunnella monin tavoin oheisten patenttivaatimusten puitteissa.it can be modified in many ways within the scope of the appended claims.

ii

COC/O

XX

enI do not

CLCL

mm

(M(M

o m o δo m o δ

(M(M

Claims

A method for observing a person, the method comprising: providing one or more thermal cameras positioned in a monitored space to record a thermal camera image of the monitored space; 5 analyzing (702, 706, 708) the thermal camera image produced by one or more thermal cameras by signal processing equipment, searching (702) a stored human image and comparing (706, 708) the human for reference parameters, determining a special area (600) for the thermal camera image by the signal processing apparatus (702); performing (710) a predetermined alarm associated with said event as a result of an event detected in the analysis, using communication means operably coupled to the signal-processing apparatus, characterized in that the method further comprises: performing an alarm if a specific region and associated parameters are analyzed which is defined in the Special Area parameters as the alarm triggering event.

A method according to claim 1, characterized by detecting a request for assistance from a human by comparing parameters representing the position and / or movement of the human being found in the thermal camera image with those of reference reference positions and / or reference movements associated with the request for assistance; and 0 a predetermined alarm associated with the request for assistance is performed as a result of the detection of the request for assistance. c \ j

3. A method according to claim 1 or 2, characterized by configuring a control unit 30 operably coupled to the signal processing apparatus to interpret the exit of the human character from the area without connection to another human character or without predetermined specific signaling to cause the alarm.

Method according to one of the preceding claims 1 to 3, characterized in that the introduction of the operating patterns is triggered by the movement of the human character into the special area or the stay in the special area for a predetermined time, detected by the signal processing means.

A method according to any one of the preceding claims 1 to 4, characterized by determining an alarm to be executed on the basis of the detected event from the alarm options comprising different types of alarms. 5

A system for monitoring a person, the system comprising: one or more thermal cameras (100, 102) disposed in the monitored space and arranged to produce a thermal camera image of the monitored space; a signal processing apparatus (202) operatively coupled to one or more of the thermal cameras (100, 102) and arranged to determine a specific area of the thermal camera thermal image, analyzing the thermal image produced by one or more thermal cameras, searching for or reference-15 movements to corresponding stored reference parameters, and a control unit (204) operatively coupled to the signal processing apparatus (202) and configured to perform a predetermined alarm associated with that event as a result of an event detected in the analysis using its control unit (204). 200), characterized in that the control unit (204) is configured to perform an alarm if the signal processing apparatus (202) when analyzing the area and its associated parameters, the human character detects a departure from the special area in a manner defined in the special area parameters as an alarm ai-25.

System according to claim 6, characterized in that the signal processing apparatus (202) is configured to detect a human assistance request by comparing parameters representing the position and / or movement of the human character found in the thermal camera image with reference reference positions and / or associated with the assistance request. reference motion parameters, when the comparison indicates a sufficient correlation between the human motion and the reference motion, and that the control unit (204) is configured to perform a predetermined alarm associated with the request (M g) as a result of the detection of the request for assistance.

A system according to claim 6 or 7, characterized in that the control unit is configured to interpret the exit of the human figure from the area without connection to another human character or without a predetermined specific signaling as an event causing an alarm.

A system according to any one of the preceding claims 6 to 8, characterized in that the signal processing apparatus is configured to enable special area operation patterns when detecting a human character entering or leaving the special area for a predetermined time.

A system according to any one of the preceding claims 6 to 9, characterized in that the control unit is configured to determine (710) an alarm to be executed on the basis of a detected event, comprising different types of alarms.

A computer software product readable by a computer and configured by the computer to configure the computer to execute a computer process comprising: receiving one or more thermal camera images; Analyzing the thermal camera image by searching the thermal camera image for a human figure and comparing the parameters and / or motion parameters of the human figure found in the thermal camera image with the corresponding reference parameters read from the corresponding memory positions and / or reference movements; performing a predetermined alarm associated with that event as a result of an event detected in the analysis, using communication means operably connected to the computer, characterized in that the computer process further comprises: providing one or more reference movements and / or reference positions associated with a specific domain; the transition of the human figure to a special area; CM ^ is triggered an alarm if, when analyzing a special area and its associated parameters, it is detected that the human character is leaving the special area in a manner defined in the special area parameters as causing an alarm to occur. tumaksi. LO CM o LO o δ CM