CZ2004770A3 - Zpusob detekce únavy operátora ze svalové cinnosti a zarízení k provádení tohoto zpusobu - Google Patents

Zpusob detekce únavy operátora ze svalové cinnosti a zarízení k provádení tohoto zpusobu Download PDF

Info

Publication number
CZ2004770A3
CZ2004770A3 CZ20040770A CZ2004770A CZ2004770A3 CZ 2004770 A3 CZ2004770 A3 CZ 2004770A3 CZ 20040770 A CZ20040770 A CZ 20040770A CZ 2004770 A CZ2004770 A CZ 2004770A CZ 2004770 A3 CZ2004770 A3 CZ 2004770A3
Authority
CZ
Czechia
Prior art keywords
fatigue
operator
variables
signal
model
Prior art date
Application number
CZ20040770A
Other languages
English (en)
Inventor
Pavelka@Miloslav
Keshi@Tamer
Original Assignee
Pavelka@Miloslav
Keshi@Tamer
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pavelka@Miloslav, Keshi@Tamer filed Critical Pavelka@Miloslav
Priority to CZ20040770A priority Critical patent/CZ2004770A3/cs
Priority to PCT/CZ2005/000051 priority patent/WO2006000166A1/en
Publication of CZ2004770A3 publication Critical patent/CZ2004770A3/cs

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/726Details of waveform analysis characterised by using transforms using Wavelet transforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

Zpusob detekce únavy operátora z jeho svalové cinnosti se provádí tak, ze se snímá alespon jeden parametr ovlivnený svalovou cinností operátora, který se vyhodnocuje pravidly pro vyhodnocení únavy, získanými za pouzití metody dolování dat z odpovídajícího parametru alespon jednoho operátora se známou úrovní únavy. Zarízení k provádení zpusobu detekce únavy obsahuje programovatelnou jednotku s naprogramovaným modelem detekce únavy, tedy s pravidly pro vyhodnocování únavy, získanými merením signálu alespon jednoho z parametru, generovaných svalovou cinností operátora, pro alespon jednoho unaveného a jednoho cilého operátora, dále obsahuje cidlo nebo cidla pro merení signálu parametru nebo parametru, pouzívaných modelem, napojené na vstup programovatelné jednotky k vyhodnocení únavy operátora, zatímco výstup programovatelné jednotky je zapojen na zarízení pro signalizaci únavy.

Description

• · · · * · - 1
Způsob detekce únavy operátora ze svalové činnosti a zařízení k provádění tohoto způsobu
Oblast techniky
Vynález pojednává o způsobu detekce únavy jako nezpůsobilosti osoby k činnosti, u které je vyžadována její pozornost, a/nebo důslednost a/nebo vytrvalé vyhodnocováni a řešení objevujících se situací. Příkladem takové osoby je např. řidič dopravního prostředku, operátor zařízení a podobně. Je samozřejmě možné použít zařízení i k detekci způsobilosti jiných osob, jako je např. strážní služba, dispečeři atd. Vynález dále pojednává i o zařízení k detekci způsobilosti či nezpůsobilosti osoby, které využívá uváděný způsob. Předmět vynálezu je zvláště výhodný pro použití v automobilovém průmyslu, kde může zabránit nehodám vznikajících pod vlivem mikrospánku nebo v důsledku zpomalených reakcí operátora, např. únavou, vlivem alkoholu, léků, drog a pod.
Dosavadní stav techniky V současné době se často řeší problém únavy operátorů, vykonávajících činnost, při které je zapotřebí jejich bezprostřední schopnost správně reagovat. Jednou z nejvíce řešených oblastí je únava řidičů. V důsledku únavy dochází denně k velkému množství závažných dopravních nehod po celém světě, mnohdy i s nejtěžšími následky - smrtí ať už řidiče nebo jiné osoby. Údaje počtu autonehod zapříčiněných únavou se pohybují u různých autorů mezi 5 -20%. Například Knipling a kolektiv ve svých pracích (Knipling, R.R. and W.W. Wierwille, (eds.) Vehicle - based drowsy driver detection: Current status and future prospects. publikované v r. 1994 v Proceeding of IVHS America Fourth Annual meeting: Atlanta, Georgia, a dále pak: Knipling, R.R. and J.S. Wang. v práci: „Revised estimates of the U.S. drowsy driver crash problém size based on generál estimates systém čase reviews“. na 39té výroční konferenci "Association for the andvancement of automotive medicíně" v roce. 1995. v Chicagu uvádějí podrobný rozbor nehod způsobených únavou. Podle zmíněných autorů způsobuje únava 1,2-1,6% nehod v USA a 3,2% tragických nehod.
Podle podrobné analýzy nehod kterou vypracoval Home a Rezner v práci: Home, J. and L. Reyner, Vehicle accidents related to sleep: A review., publikované v Occupational and environmental medicíně, v r. 1999. svazek 56 číslo 5: str. 289-298. tato čísla vzrostou na 10-25%. Lynne z NHTSA uvádí (Lynne, L., Wake-up call aimed at drowsy drivers: Message is 'drive alert, arrive alive'. publikováno v časopise JAMA. svazek 276 č. 15: str. 1209.) že je 20% nehod osobních automobilů a 14% nehod nákladních automobilů způsobeno usnutím za volantem.
Kromě únavy řidičů je často řešen i problém detekce únavy u dalších osob, které můžeme nazývat společným termínem operátoři. Tento termín bude v dalším popisu chápán tak, že zahrnuje operátory různých zařízení, řidiče, piloty a všechny podobné osoby, u nichž je požadována bdělost, důslednost, vytrvalost a pozornost k výkonu jejich činnosti. Únava značně ovlivňuje schopnost operátora reagovat okamžitě a správně na nastalou změnu a různé vznikající situace. Způsobilost operátora ovlivňuje řada faktorů. Jedním z nich je zkušenost operátora. Jinak bude na danou situaci reagovat operátor s velkou zkušeností, jinak bude reagovat na stejnou situaci operátor nezkušený. Schopnost včasné a správné reakce ve všech případech negativně ovlivňuje operátorova únava. Problematika únavy je již po několik desetiletí intenzivně studovanou oblastí. Přesto dodnes neexistuje hromadně vyráběné zařízení, které by bylo vhodné k detekci únavy operátora.
Akademický a aplikovaný výzkum únavy zahrnuje následující okmhy: a) detekce fyziologických parametrů únavy za pomoci různých zařízení. Sledují se např. parametry činnosti mozku pomocí EEG, srdeční činnost za pomoci EKG, pomocí EOG se sledují oční pohyby, dále se sleduje reakční doba, měří se odpor kůže, analyzuje se pohyb očí, výraz tváře a další. EEG patří mezi nej studovanější fyziologické indikátory únavy. Použití EEG pro detekci únavy např. popisuje Lal, S.K.L. and A.Craig : Electroencephalography Activity Associated with Driver Fatigue- Implications for a Fatigue Countermeasure Device, Journal of Psychophysiolhy 2001, Lal, S.K.L. et al. Development of an algorithm for an EEG-based driver fatigue countermeasure- Journal of Safetry Research, 2003. Detekcí únavy s využitím EEG se dále zabývají patenty US 6,625,485 a US 6,575,902. Další možností je měření EKG, které poskytuje jednoduchý a transparentně měřitelný signál používaný v řadě studií. K praktickým aplikacím však signál EKG není vhodný. Snad nejvíce studovaným a perspektivním se ·· Μ · · · · ··· • · · · · · · ··· • · · · ···· · ··· ♦ ···»· · ♦ · · · ····· • ········ _ 2 ···· ·· ·· ·· ·· · v současné době jeví sledování očí. Studuje se problematika velikosti oční pupily, charakteristika mrkání a očních pohybů. Jedním z indikátorů únavy je PERCLOS, popsaný například v publikaci Dinges, D.F., et al. „Evaluation of techniques for ocular measurement as an index of fatigue as the basis for alertness measuremenť1 vydané v roce 1998 vydavatel: NHTSA. str. 1-113., dále pak Knipling, R.R. and P. Rau, PERCLOS: „A valid psychophysiological measure of alertness as assessed by psychomotor vigilance“, vydáno v roce 1998, vydavatel: FHWA, str. 1-4.. PERCLOS je definován jako poměr času, kdy je oko zavřeno z 80%. Technika detekce únavy pomocí tohoto indikátoru je popsána například v Tijerina, L., et al., A preliminary assesment of algorithms for drowsy and inattentive driver detection on the road. 1999, US DOT NE1TSA. str. 42., dále pak v Hamlin, R.P., Three-in-one vehicle operátor senzor. 1995, Northrop Grumman Corp. str.. 13. Všechny tyto způsoby detekce však vyžadují připevnění sond na operátora nebo v jeho blízkosti, a to může operátora při jeho činnosti obtěžovat. Navíc je většinou zapotřebí sondy přesně umístit a chybným umístěním může být přesnost detekce ohrožena. Z těchto důvodů tato zařízení nejsou vhodná pro masovou detekci únavy osob. Existují sice pokusy, zejména se sledováním očí operátora, popsané např. v Eriksson, M. and N.P. Papanikolopoulos „Eye-Tracking for Detection of Driver Fatigue“, publikováno v Proč. of the IEEE Conference on Intelligent Transportation Systems.v roce 1997, dále pak Eriksson, M. and N.P. Papanikolopoulos „Driver fatigue: a vision-based approach to automatic diagnosis“, publikováno v Transportation Research Part C: Emerging Technologies, v roce 2001. svazek 9 č. 6: str. 399-413. Tyto studie se snaží eliminovat omezení řidiče tím, že používají bezkontaktní zařízení. Nejčastěji se používá miniaturní videokamera. Přesto však vyžaduje např. posazení řidiče v určité výšce, konkrétní polohu hlavy, případně pak velmi komplikované proces analýzy obrazu, aby bylo možno pohyb oka sledovat v trojrozměrném prostoru.
Tato zařízení jsou tedy velmi nákladná a jejich spolehlivost, v důsledku proměnlivých enviromentálních faktorů, jako například změna intenzity potřebného denního a večerního světla, nemusí být vždy postačující, b) Sledování environmentálních faktorů, jako je teplota prostředí, hluk, vibrace, prostředí v kabině dopravního prostředku. Tyto indikátory však neposkytují spolehlivé informace o únavě, které by bylo možné hromadně používat například v dopravě. c) Sledování pracovní zátěže, související se směnným provozem, pracovní dobou, přesčasy, a podobně. Existuje řada studií zabývajících se spánkovou deprivací pracovníků zejména ve směnném provozu, např. Rhyanes, L.; Márquez, M., Díaz, C., Monarez, D. 1999: „Sleep and the effect of shifň workers“, New Mexico High School, 7str., dále Ahsberg, E.: 1998: „Perceived fatigue related to work“., Department of Psychology, University of Stockholm, 32 str. , a dále např. Philip, P. a kolektiv: 2002, „Work and rest sleep schedules of 227 European truck drivers“, Sleep Medicine, V3, č. 6, str. 507-511. Tato oblast výzkumu však není vhodná např. pro detekci únavy operátora dopravního prostředku. Jedná se většinou o statistický výzkum vlivu únavy nebo o výzkum únavy pro stanovení organizační politiky, rozpisu služeb, a podobně. d) Detekce charakteristik pohybu operátora nebo vozidla, např. pohyby volantu, poloha vozidla vzhledem k vozovce atd. Do této oblasti patří i detekce únavy z dynamických vlastností operátora. Projevy únavy se promítají do schopností člověka ovládat nebo regulovat dané zařízení. Je všeobecně známým faktem, že unavený operátor reaguje jiným způsobem na podněty než operátor čilý. Odlišnost reakcí čilého a unaveného operátora se projevuje na různých úrovních: 1) Vlastní dynamika pohybu. Je způsobena nižší inervací nervosvalových plotének. Dokumentováno u očních svalů. 2) Snížená reakční doba. Jedná se o všeobecně známý fakt související s přenosem signálu, jeho zpracováním v CNS a odpovědí na něj. To znamená že mezi podnětem a kompenzací podnětu dojde k v systému oko - ruka nebo oko -noha k dopravnímu zpoždění. Toto dopravní zpoždění závisí mimo jiné i na délce vedení nervového vzruchu, tzn. že systém oko-ruka má menší dopravní zpoždění než systém oko-noha. Nejmenší dopravní zpoždění má pohyb samotného oka, např. při sledování cíle nebo při reakci na podněty. 3) Pomalejší vyhodnocování situací, chyby při rozhodování, chyby v nalézání správného řešení. Tato oblast je všeobecně známa z různých studií, vliv únavy je studován pomocí k tomu určených testů, např. Letter Cancelation Test) 4) Mikrospánek a procesy počátečních stadií spánku. Operátor se snaží zjednodušit si práci, a minimálně namáhat mozek. Výsledkem je vyšší tolerance k chybám regulace. Pokud se jedná o regulaci dopravního prostředku, jde zejména o problém udržení auta na vozovce. Důsledkem únavy řidiče je jízda po krajnici, v krajním případě opuštění vozovky nebo vjetí do protisměru. Na pohybu volantu se tato situace projevuje absencí typických regulačních pohybů o nízké amplitudě, a výskytem krátkých kompenzačních pohybů o vysoké rychlosti, tzn. že řidič se "probudí" a vyrovná polohu vozidla. Svalový tonus se podobá situaci ve spánku. 5) Aktivní udržování se v bdělosti. Operátor vykonává neúčelné pohyby, např. vrtí se, aby zabránil usnutí. Při přítomnosti únavy se těchto pět mechanismů v různé míře projevuje na způsobu regulace - řízení. Kromě výše uvedeného bodu 3, který má co do činění s kognitivní složkou řízení, mají ostatní body odezvu v dynamice pohybu vozidla. Přístup, kdy je člověk brán jako regulátor má proto při studiu únavy své opodstatnění a výzkum regulačních vlastností člověka - operátoru má dlouholetou tradici, jednou z prvních publikací, zabývajících se vlivem únavy na pohyby operátora je publikace „Psychological aspects of stick and rudder Controls in aircraft “ autora J. Orlansky, uveřejněná v Aeronautical Engineering Review, v roce 1949. V běžných situacích se řidič chová jako regulátor tím, že kompenzuje nerovnosti povrchu vozovky, udržuje rychlost a trajektorii pohybu vozidla v předepsaných mezích, reaguje na dopravní situace. Regulace pohybu vozidla se děje prostřednictvím pohybu horních a dolních končetin řidiče. Projevy centrální únavy, se proto prostřednictvím vědomých a nevědomých pohybů řidiče přenášejí na vozidlo. Projev únavy v přenosu na regulované zařízení je obecnou vlastností člověka - operátora, a platí pro jakoukoliv činnost, kde jde o sledování nebo o kompenzaci. Regulaci složitějšího mechanizmu, jako je automobil, můžeme rozdělit na tři hierarchické úrovně, viz Rasmussen, J.: „Skills,rules and knowledge, signals, signs and symbols and other distinctions in human performance models“, IEEE trans. SMC sv. 13, č. 2, str 257-266, 1983,: 1. Exekutivní úroveň, při které se převážně využívá naučených stereotypů, které operátor provádí více méně mechanicky. To je v případě řízení dopravního prostředku vlastně uvažovaná základní činnost řidiče, který se snaží udržovat vozidlo v ose svého pruhu silnice. Jde o klasické zpětnovazební řízení. 2. Koordinační úroveň - řízení pomocí pravidel. Vyšší hierarchická úroveň, která modifikuje žádané hodnoty pro zpětnovazební smyčky na nejnižší exekutivní úrovni. Ve funkci pravidel si můžeme představit dopravní předpisy. Tato pravidla musí pokrývat celou problémovou oblast. Pravidla umožňují v každé situaci jednoznačné rozhodnutí o další řídicí strategii. - 6 • · • · - 6 • · • · ·· · · ···· · φ·· • ··· φ· ·φ #φ· · φφφφ # φφφφφφφ. φφφφφφ φφ φφ φφ « 3. Organizační úroveň, která odpovídá řízení na základě znalostí. Předpokládá se, že se operátor pohybuje v problémové oblasti, kde má neúplnou informaci, že nastávají situace, kdy se pravidla dostávají do konfliktu apod. zde jde o výběr vhodné strategie na základě multikriteriálního rozhodování v podmínkách neurčitosti, kde je nutná znalost širšího kontextu.
Lze tedy předpokládat že projevy únavy budou patrné na dynamice řidiče při řízení a na změnách kvality všech regulačních pochodů. Klasické metody neposkytují prakticky využitelné zařízení, pomocí kterého by bylo možné s potřebnou spolehlivostí určit, zda na řidiči není znát již únava.
Podstata vynálezu Únava je komplexní fyziologický proces, projevující se letargií, sníženou pozorností, změnami autonomních a endokrinních funkcí organismu. Zde je důležité podotknout, že únavou je podle tohoto vynálezu rozuměn i jakýkoliv jiný důvod, který se týká samotného operátora a znemožňuje mu se plně soustředit na jím vykonávanou činnost a ovlivňuje tak jeho schopnost tuto činnost vykonávat. V tomto vynálezu termín „únava“ zahrnuje tedy například přepracování, spánkovou deprivaci, požití alkoholu, požití léků, drog či jiných látek, ovlivňujících schopnost operátora se plně věnovat vykonávané činnosti, fyzické či psychické problémy operátora a další. Únava má řadu fyziologických a psychologických důsledků a projevů. Jedním z důsledků únavy je mimo jiné i snížení frekvence impulsů stimulujících motorické jednotky a menší počet aktivních motorických jednotek, což se projevuje v dynamice veškeré svalové činnosti. Dalším důsledkem únavy je prodloužení reakční doby. Prodloužení reakční doby spolu s výše uvedenými komplexními změnami dynamiky pohybů operátora se přenáší na pohyby regulovaných částí systému. Můžeme tedy říci, že důsledkem únavy jsou specifické změny které jsou vyvolané činností operátora a které se přenáší na regulovaný mechanismus. Informaci o únavě operátora je tedy možné snímat všude tam, kde dochází k regulaci prostřednictvím svalové činnosti operátora. Důsledky únavy se tak např. u řidiče motorového vozidla projeví na: # ♦ ♦ · ··· · · « • · · · · ··♦ · » · · • ··· ·· · ι ♦ · · · «··· • ··♦···♦· - 7 - ···· ·· ·· ·» «» · 1) pohybech volantu 2) podélném a příčném zrychlení vozidla 3) způsobu ovládání převodovky 4) brždění vozidla 5) způsobu ovládání plynového pedálu
Je samozřejmé, že se důsledky únavy mohou projevit i na dalších operátorem vykonávaných činnostech. Detailní popis činností, které mohou být ovlivněny chováním operátora není předmětem vynálezu a bude navržen každým odborníkem pro danou oblast operátorem vykonávané činnosti.
Charakter výše uvedených změn v důsledku únavy nebo modifikací normálního regulačního chování je velmi komplexní. Rozdíly v chování mechanismu řízeného operátorem o různé míře únavy jsou velmi těžko rozlišitelné v důsledku šumu, disturbancí, vlastních poruch regulovaného mechanismu a podobně. To, aby byly tak komplexní projevy únavy detekovatelné po několikeré transformaci v průběhu přenosu, a v tak zašumělých datech je možné díky tomuto vynálezu, který poskytuje dostatečně mocný nástroj. Tímto nástrojem podle vynálezu je některá z metod dolování dat anebo i kombinace několika těchto metod, aplikovaných na segmentovaný a transformovaný signál odvozený z fyzické činnosti operátora, která je vykonávána prostřednictvím jeho svalů. Dolováním dat se zde přednostně myslí metody matematického nebo prediktivního modelování. Metodami matematického nebo prediktivního modelování se pro účely tohoto vynálezu přednostně myslí mechanismy pro vytvoření vyhodnocovacích nebo rozhodovacích pravidel z dat.
Termín „pravidla" v tomto vynálezu je chápán v nejširším pojetí a zahrnuje např. i mechanismy vyhodnocování dat naučenými neuronovými sítěmi. Pod pojem dolování dat jsou zde také zahrnuté techniky, nástroje a postupy umožňující převedení získaných dat a informací do podoby umožňující přímé nasazení metod matematického a prediktivního modelování. Předmět tohoto vynálezu zahrnuje aplikaci metod dolování dat a prediktivního modelování pro stanovení míry únavy operátora při provádění jeho rutinní činnosti.
Vynález využívá komplexní informaci alespoň z jednoho parametru,výhodně však zvíce nebo dokonce ze všech užitečných parametrů sledované činnosti, a to ve spojení s technikou dolování dat pro vytvoření modelu detekce únavy, nazývaného 8 • · · · • · · • · · · • « · · • « ·
• · • · • · • · · • · • ♦ • · · • ···« • ♦ dále již jen model. Tento model zachycuje souvislost mezi charakteristikami, vykazovanými operátorem během jeho činnosti, a mírou jeho únavy. Parametrem se myslí některá z vykonávaných činností . aktivit operátora. U řidiče motorového vozidla může být parametrem pohyb volantu, pohyb plynového pedálu, pohyb brzdového pedálu, pohyb řadící páky, příčné a podélné zrychlení vozidla a další. Vytvořený model je s výhodou zaměřen na generalizaci za účelem vyhodnocování únavy libovolného operátora jenž nemusí být členem modelové skupiny operátorů. Modelová skupina operátorů je skupina operátorů, která se použije pro vytvoření modelu, při nastavování modelu a při jeho učení rozlišovat mezi výstupy, charakteristikami, operátorů o různých úrovních únavy. Generalizovaný model pak může sloužit jak k detekci únavy operátora, patřícího do modelové skupiny, tak k detekci únavy operátora jenž do modelové skupiny operátorů nepatří. Model je vlastně souborem rozhodovacích pravidel určených pro vyhodnocování únavy operátora a pro případné rozhodování, zda je operátor způsobilý provádět danou činnost či nikoliv. Model se použije pro vyhodnocení únavy libovolného operátora v reálném čase přímo při provádění jeho rutinní činnosti bez jakéhokoliv zásahu do operátorových aktivit.
Způsob detekce únavy podle vynálezu v zásadě využívá následující kroky -procesy, které však mohou být vzájemně kombinovány, a to včetně jejich slučování, pozměňovány nebo vhodné upravování. Jsou to: 1) Proces zpracování signálů modelové skupiny operátorů 2) Proces předzpracování dat a tvorbu proměnných 3) Proces vytváření modelu, jeho učení a adaptace 4) Proces implementace modelu a on-line vyhodnocování únavy Výše uvedené procesy se podle výhodného provedení způsobu detekce únavy sestávají z podprocesů, které mohou být na sebe navázány i jiným způsobem než je zde uvedeno.
Prvním krokem je zpracování signálu-parametru modelové skupiny operátorů. Vstupní signál je generován zejména činností operátora, ovládajícího dané zařízení. Vstupní signál mohou také výhodně tvořit i údaje o vnějších faktorech, v jejichž důsledku se operátor může chovat jinak než při jejich absenci, aniž by byl unaven. Příkladem vstupního signálu, generovaného činností operátora daného zařízení je např. snímání polohy, rychlosti, zrychlení tohoto zařízení nebo jeho částí, snímání - 9 • « · · • · · • «Μ • · «··· · · • · ♦ • · ♦♦· • · · « ♦ · ·· • · · • ♦ ♦ » • · ····· • · · pohybové aktivity samotného operátora atd. Vnější faktory se potom liší podle vykonávané činnosti operátora. U řízení motorového vozidla to mohou například být atmosférické změny, stav vozovky a prostředí, ve kterém se motorové vozidlo pohybuje, atd.
Vlastní technické provedení snímání a zaznamenávání vstupního signálu není předmětem vynálezu. Podle jednoho výhodného provedení vynálezu jsou požadavky na snímání/záznam signálu takové, aby bylo možné měřit odpovídající frekvenční rozsah, většinou postačuje rozsah do 50Hz„ přičemž nej důležitější informace se často nacházejí ve frekvenčním rozsahu do 5 Hz. Např. informace o únavě obsahuje i nízkofrekvenční složka o rozsahu 0,01-0,5Hz.
Pokud je jedním ze vstupů měření polohy, pak u zařízení přímo spojených s operátorem, jako jsou např. volant, řídící páka, pedál, může horní mez přesnosti ležet v řádu 10'4 až 10'3m.
Způsob zpracování signálů dle vynálezu nemá zvláštní požadavky na pořizování nebo ukládání vstupního signálu ani na linearitu rozsahu měřícího zařízení. Nicméně pro funkčnost výsledného zařízení je výhodné aby se vstupní signál při tvorbě modelu získával co nej podobnějším způsobem jako signál v realizovaném výsledném zařízení. Případně je výhodné aby vstupné proměnné použité při tvorbě modelu byly totožné, nebo pokud možno co nejpodobnější vstupním proměnným vstupujících do vytvořeného modelu ve výsledném implementovaném zařízení. To znamená, je výhodné , aby signál, odvozený z činnosti operátora zařízení, jdoucí do výsledného implementovaného rozhodovacího mechanismu podle vynálezu, měl obdobné charakteristiky měření a zpracování, případně obdobné charakteristiky, nelinearity a poruchy, jako měl signál použitý pro tvorbu modelu.
Pro vlastní technické řešení lze využít různých principů. Např. snímače signálů - čidla nebo sondy různých typů - lze implementovat s ohledem na regulované zařízení. Výhodně lze např. využít fotoelektrické nebo indukční snímače pro měření polohy. Úhly natočení, např. volantu, lze měřit potenciometricky, nebo například Hallovou sondou, což bylo učiněno v příkladu využití vynálezu níže. K realizaci měření rychlosti lze využít otáčkoměrů, k realizaci měření zrychlení lze využít akcelerometrů atd. V současné době existuje celá řada čidel i komerčně dostupných zařízení pro měření elektrických i neelektrických veličin, při čemž technický vývoj v 10 10 ·♦ · Μ 9« • · · • · • · · ·
♦ ♦ · · ♦·♦· • · · ♦ • · · 9 • ·· * · · ♦ * * · • ··* · tomto směru je velice rychlý. Konstruktér má proto pro implementaci mechanismu záznamu vstupních signálů odvozených z činnosti operátora značnou volnost.
Jak již bylo uvedeno, výhodně se zaznamenávají i vnější parametry, které ovlivňují chování operátora. Příkladem těchto parametrů je pro názornost např. zatížení ovládaného motorového vozidla, atmosférické vlivy jako náledí, mokrá vozovka atd.. Tyto parametry se mohou lišit podle vykonávané činnosti operátora. Pro dosažení uspokojivého konečného řešení jednotlivých úloh jsou tedy výhodně zahrnuty veškeré užitečné informace ze všech aspektů vykonávané činnosti. Při vyhodnocování únavy operátora totiž nemusí být zdaleka postačující měřit jen jeden parametr. Například při vyhodnocování únavy řidiče motorového vozidla nemusí být postačující zjišťovat jen pohyb volantu. Pro zajištění spolehlivosti detekce je tedy zvláště výhodné zaznamenávat alespoň některé z dalších parametrů, vytvářených činností nebo ovlivňujících činnost operátora. U řidiče motorového vozidla se jedná například o pohyb volantu, rychlost vozu, příčné a/nebo podélné zrychlení vozu, faktory, které postihují i ovlivňování chování řidiče jako například terénem na kterém se vůz pohybuje, klimatické podmínky, jako např. déšť, sníh, náledí, zatížení vozu a další případné údaje, které nějak ovlivňují chování řidiče v dané situaci. Uvedené příklady jednotlivých parametrů jsou míněny pouze jako exemplární příklady a nijak neomezují rozsah možných údajů, které se pro vyhodnocování únavy při provádění způsobu podle vynálezu mohou měřit. Je výhodné postihnout chování operátora v různých situacích, které mohou v průběhu jeho činnosti nastat, u řidiče motorového vozidla se může jednat například o různých rychlostech jízdy, jízdy ve městě, na dálnici na polní cestě a podobně. Výhodné je i zjišťovat uvedené údaje u různých typů operátorů, tedy např.pro zkušeného i nezkušeného řidiče, pro různé věkové kategorie řidičů atd. Je tedy zvláště výhodné zjištěné údaje zpracovávat a vyhodnocovat komplexně ve vzájemné spojitosti. To je umožněno díky vynálezecké myšlence, kterou je využití technik dolování dat, zejména prediktivního modelování nebo některé z jiných technik dolování dat, případně i kombinaci několik technik současně. V této první fázi se shromažďují data vytvářená operátory modelové skupiny operátorů, u nichž je předem známá únava. Modelovou skupinou operátorů rozumíme skupinu operátorů s předem známým stupněm únavy, z jejichž parametrů budou získána data pro vytvoření modelu detekce únavy. To bude popsáno dále. U jednotlivých operátorů je každý časový úsek dané činnosti spojen s předem specifikovanou mírou únavy, která se výhodně určuje individuálně. Míra únavy se může například určit počtem hodin, které uplynuly od posledního spánku operátora, počtem hodin nepřetržité práce operátora, odhadem na základě analýzy fyziologických projevů, nebo odhadem na základě analýzy výrazu tváře, tzv. expertním odhadem, funkcí, jejímiž parametry je spánková historie operátora, a podobně. Při konečném určení únavy je někdy výhodné dále přihlédnout ke zkušenosti jednotlivého operátora a stanovit konečnou hodnotu únavy při spolupráci s expertem a/nebo samotným operátorem. Dále je při provádění způsobu podle vynálezu výhodné pracovat s údaji, u kterých se odstraní možnost úmyslného ovlivnění výsledku operátorem. Při měření údajů unaveného operátora může tento operátor po jistou dobu „zmobilizovat své síly“ a chovat se jako neunavený. Po určité době však tato schopnost pomine a únava začne ovlivňovat jeho chování. Zvláště výhodně se údaje měření dělí na určité zvolené časové intervaly, např. na 1, 3 nebo 5 minutové úseky vykonávání činnosti, viz níže. Celková doba, po kterou se údaje měří i délka jednotlivých úseků, do kterých je tato doba rozdělena, se může lišit podle vykonávané činnosti a tedy nijak nelimituje tento vynález. Naměřený signál se filtruje, transformuje a přizpůsobuje pro vytvoření výchozí datové základny. Účelem filtrace signálu je především odstranit nežádoucí frekvence, šum a neužitečné složky signálu. Může být použito některého z běžně používaných filtrů, jako např. Butterworthův, Čerbyšeův nebo eliptický filtr, signál se může filtrovat některým z vážených klouzavých průměrů, může se také použit i vhodný nekauzální flitr, např. nekauzální mediánový filtr. Obecně lze tedy použít jakýkoliv vhodný filtr. Výběr filtru se řídí měřícím zařízením, typem měření, tedy zda jde o měření rychlosti, natočení volantu, atd., vzorkovací frekvencí, typem vozidla nebo zařízení, které operátor řídí nebo reguluje. Signál se dále podvzorkovává nebo převzorkovává, přičemž účelem je potlačit rušivé frekvence, dále pak potlačit vysokofrekvenční složku měřeného signálu.
Nyní bude popsáno rozdělení signálu na časové úseky. Po filtraci nebo i před ní, podle typu filtru, se výhodně získaný signál rozdělí na časové úseky. Jak bylo již uvedeno, mohou to být např. minutové úseky, ale i kratší nebo delší časové úseky. Délka těchto časových úseků se může volit podle konkrétní úlohy nebo situace. Proměnné vztažené nebo odvozené ze signálu z daného časového úseku představují řádek tabulky, do kterého je výhodné přičlenit stupeň únavy operátora v daném časovém úseku viz níže. Příkladem rozdělení signálu na časové úseky jsou minuty jízdy řidiče, tzv. řidičominuty, viz příklad provedení vynálezu. ·♦ I - 12 ·· • · « · * ♦ · • Ml • · • · · · * ·
·· ·· • I · • ♦ · « · •••I • · · · Μ M
♦ I I • · · · • « I ···· I I I Μ I
Jako další krok je výhodné provést transformaci signálu. Účelem transformace signálu je získání dalších informací tak, aby bylo umožněno vytvoření základní množiny proměnných. Transformaci signálu je ale možno podle jiného výhodného provedení nahradit filtrací. Nejčastějšími transformacemi jsou Fourierova a kosinová transformace, které lze použít pro rozložení signálu několik frekvenčních pásem, např. pro signál z volantu to mohou být pásma o frekvenci 0-0,1Hz, 0,l-0,4Hz, 0,4-0,8Hz, 0,8-l,5Hz, l,5-2Hz. Toto rozdělení může však být provedeno i jiným způsobem. Další možné transformace jsou Walsh-Hadamardova transformace, Haarova transformace, Hartleyova transformace, Waveletová neboli vínková transformace. Transformace se mohou i různě kombinovat. Podstata výše uvedených transformací spočívá v tom, že signál převádíme na známé průběhy. U Fourierovy analýzy jsou to sinusovky s různou frekvencí, u vínkové analýzy jsou to tzv. wavelety, které se navíc různě deformují. Provádění transformace signálu je výhodné po jeho rozdělení na časové úseky.
Dalším krokem může být zpětná transformace, například zpětná kosinová transformace, při čemž se dle výše uvedeného příkladu získá pět odvozených signálů o výše uvedených frekvencích
Pro transformaci signálu se výhodně použijí "odborné znalosti" neboli znalosti experta z dané oblasti. Je totiž velmi vhodné mít znalosti o projevech a důsledcích únavy na svalovou činnost, stejně tak jako je potřeba mít představu o možných vlivech únavy na sledovaný signál.
Proces transformace signálu a generování proměnných může být velmi rozmanitý. Místo kosinové transformace je možno použít např. Fourierovu transformaci. Místo uvedených pěti energetických pásem je samozřejmě možné použít jiný počet pásem. Dalším typem transformace je filtrace. Původní signál se může nechat projít vhodnými filtry, takže se jiným způsobem získají odvozené signály, lišící se svým spektrem. Dále se signál může zpracovávat jak bylo uvedeno již výše.
Obecně se transformace provádí se zřetelem ke způsobu získání signálu, tak, aby byl umožněn další krok - vygenerování základní množiny proměnných. 13 ···# ·* ·· 13 ···# ·* ·· • ···· *·· « ·
Generování proměnných Cílem vygenerování základní množiny proměnných je poskytnout vstupní data pro tvorbu prediktivního nebo matematického modelu. Proměnné jsoumohou být vytvořeny jak z původního signálu, tak ze signálu po různých transformacích a rozděleného na úseky. Ze signálu se získávají proměnné, o kterých se může předpokládat, že mají větší informační hodnotu vzhledem k cílové proměnné než původní signál. K vygenerování základní množiny proměnných výhodně pomohou "odborné znalosti" neboli znalosti experta. Tzn., že je vhodné mít znalosti o projevech a důsledcích únavy na svalovou činnost, stejně tak jako je potřeba mít představu o možných vlivech únavy. Čím lépe jsou proměnné vygenerovány, a čím lepší expert tuto činnost provádí, tím lepší může být výsledný model. Avšak jak již bylo uvedeno nebo bude uvedeno i dále, experta je možno nahradit vysokým množstvím různých dat, nějak souvisejících s danou problematikou činnosti operátora, a následně vybrat nejlepší z odvozených proměnných na základě jejich souvislosti se sledovanou únavou pomocí technik dolování dat. Ze všech dat se výhodně vyberou pouze ty, které se vyhodnotí jako související s řešeným problémem. Tento způsob bude popsán dále. Příklady proměnných j sou : a) Proměnné založené na energii signálu - Energie signálu jednotlivých frekvenčních pásem
Vzájemný poměr energií signálů jednotlivých frekvenčních pásem Vzájemný poměr energií signálů jednotlivých frekvenčních pásem vztažený k celkové energii signálu - Jiné b) Proměnné založené na střední vzájemné informaci: .. - Střední vzájemná informace signálů o různých frekvenčních pásmech - Střední vzájemná informace signálů získaných z různých snímačů (podélné a příčné zrychlení vozidla - po filtraci) - Jiné 14 • · · * · # · · • · · · • ·
• · ··· • · · · • · · · ♦ · ·« • · · • ♦ · · • · ♦··· • · · ·· 9 c) Proměnné založené na obecných statistických vlastnostech signálu: - Průměrná výchylka
Směrodatná odchylka v daném časovém úseku - šikmost - Počet průchodů nulou - Jiné
Další proměnné mohou být odvozeny ze spektra, z vínkové transformace signálu, z odvozených signálů, a podobně. V případě, kdy se např. provádí sledování objektu na monitoru myší operátorem, je možné použít následující příklady proměnných:
Průměrná vzdálenost kurzoru a myši za posledních 0,1, 0,3, 0,5, 1 a 2 sekundy - Průměrná absolutní hodnota rychlosti pohybu myši za posledních 0,1, 0,3, 0,5, 1 a 2 sekundy
Hlavní frekvence spektra získaného z posledních 20 sekund pohybu - Frekvenční charakteristika zaznamenaná ve formě odezvy na předem dané frekvence 0,01, 0,05, 0,1, 0,2, 0,5, 1, 1,5 Hz, a to její amplituda a fázový posun. - Zrychlení kurzoru a myši za posledních 0,1, 0,3, 0,5, 1 a 2 sekundy a absolutní hodnota zrychlení
Vygenerovaných proměnných může být libovolně velké množství, některé z nich mohou být na první pohled nesmyslné. Obecně se dá říct, že cílem tohoto kroku je vytvořit takové kombinace proměnných, které zachycují souvislosti mezi chováním operátora a cílovou hodnotou. Tyto souvislosti přitom mohou být zcela neznámé a kauzálně nevysvětlitelné, a to často ani dodatečně.
Konečným výstupem předchozího kroku jsou obecně data, které charakterizují činnost jednotlivých operátorů v jednotlivých časových úsecích. Tyto naměřené časové úseky tedy odpovídají různé, předem známé, míře únavy jednotlivých operátorů. Konkrétním výstupem může být například tabulka prediktivního modelování, jejíž příklad ukazuje obr.l. Jedná se o tabulku obsahující sloupce 15 • · • · ·* « ·· • · · • · ·♦♦ • ♦ ♦ • · · ♦ ·· ·♦ • · · • · • · · • ···« • · · ·· · vstupních proměnných a výstupní proměnnou. Hodnoty vstupních proměnných byly odvozeny ze signálů jednotlivých operátorů (řidičů) v jednotlivých časových úsecích, proto se do nich promítá aktivita operátora v průběhu jeho činnosti. Výstupní cílová proměnná popisuje odpovídající míru únavy operátora v každém z časových úseků, na obrázku je označena jako ÚNAVA. Řádek tabulky pak tvoří konkrétní hodnoty "vstupních" proměnných, charakterizujících činnost, a odpovídající hodnota "cílové" proměnné charakterizující únavu v konkrétním časovém úseku činnosti jednoho z operátorů. Zde je zvláště výhodné podotknout, že vstupních proměnných je možno vygenerovat velké množství pro každý řádek tabulky, tedy pro každý časový interval, jemuž je přiřazen stupeň únavy - hodnota cílové proměnné. Příklad možných generovaných vstupních proměnných bude popsán dále.
Dalším krokem je předzpracování proměnných. V tomto procesu je typické nasazení některé ze specifických technik dolování dat jakým jsou například mechanismy nahrazováni chybějících hodnot, mechanismy eliminace extrémních hodnot, lineární a nelineární transformace, mechanismy vytváření pomocných proměnných, a podobně. Konkrétním příkladem může být vyřazování extrémních hodnot a chyb měření s využitím regresních algoritmů, využití tzv. „fuzy“ logiky, využití principu hlavních komponent, vytváření pomocných proměnných při práci s nominální nebo kategorickou proměnnou, logaritmická nebo logistická transformace a podobně. Příkladem nahrazení chybějících hodnot dané proměnné je jejich nahrazení průměrnou hodnotou samotné proměnné nebo typickou hodnotou v souvislosti s hodnotami jiných proměnných v daném řádku tabulky neboli časovém úseku. Toto se často provádí za použití rozhodovacích a klasifikačních stromů. Je výhodné aby připravovaná tabulka byla konzistentní. Příkladem transformace proměnných je: - logaritmování proměnné - vydělení proměnné její směrodatnou odchylkou - zúžení rozsahu proměnné na interval (-1,1) - jiné Účelem této transformace je dosáhnout toho, aby proměnné měly vhodné statistické rozložení a další vlastnosti vhodné pro následné zpracování. Při transformaci proměnných je velmi výhodné mít znalosti o metodice prediktivního modelování. Je velmi výhodné mít znalosti o požadavcích na vstupní data pro různé druhy prediktivních modelů. Je velmi výhodné mít znalosti statistických metod a postupů. 16
• ι • · · • ♦
Proměnné, nebo kombinace proměnných jejichž hodnoty nesouvisí, užitečným způsoben, se sledovanou únavou se výhodně vyřadí. Užitečné proměnné, nebo kombinace proměnných, dostatečně vypovídajících o únavě mohou být dále doplňovány, kombinovány nebo transformovány. Proces předzpracování a transformace proměnných může zlepšovat účinnost učení prediktivního modelu a jeho výslednou přesnost odhadování únavy, je proto výhodný, avšak nikoliv nutný. Tímto procesem se také mohou získávat další proměnné. Výstup této fáze může být například klasická tabulka prediktivního modelování, která je již přizpůsobena bezprostřednímu nasazení jedné konkrétní techniky, dolování dat, matematického modelování neb prediktivního modelování -viz následující mechanismus.
Dalším krokem je vytváření, učení a adaptace modelu. V této fázi se vytváří modely zachycující souvislost mezi charakteristikami vykazovanými operátorem a mírou únavy operátora. Tyto modely jsou zaměřené na generalizaci za účelem vyhodnocování únavy obecného operátora, který výhodně nemusí být členem modelové skupiny. Hodnoty jednotlivých proměnných jsou dávány do spojitosti s předem známou mírou únavy daného operátora v daném časovém úseku. U jednotlivých technik dolování dat se provádí příslušné konfigurační a adaptační procesy za účelem dosažení nejlepšího možného odhadu sledované míry únavy na základě vstupných proměnných. Velmi výhodné pro tuto fázi je využití různých pokročilých technik dolování dat, jakými mohou být například nejnovější metody shlukové analýzy, regresních algoritmů, expertních systémů, klasifikačních nebo rozhodovacích stromů, umělých neuronových sítí, genetických algoritmů, fuzzy logiky a podobně. Konkrétním příkladem je např. využití jednoduché logistické regrese v případe, že je únava prezentovaná binární cílovou proměnnou jejíž hodnoty odpovídají pouze dvěma stavům "Unavený" / "Neunavený". Regresní parametry se zde nastavují tak, aby adaptovaný model co nejlépe rozlišoval hodnoty vstupných proměnných typických pro stav "Unavený" od hodnot vstupných proměnných typických pro stav "Neunavený". Jednotlivé techniky, metody a nástroje jsou výhodně testovány, porovnávány a kombinovány za účelem dosažení větší efektivity. Konečným výstupem této fáze je model s nejlepšími generalizačními vlastnostmi, který výhodně nejlépe odhaduje sledovanou míru únavy. Uvedený odhad je, v souladu s předchozím popisem, založen na charakteristikách, vykázaných rutinní činností - 17 ·· ·»· • · ·· ·· » · ι • · ··· » · · « ► I · · ·· Μ ·* ·· • • I • · I • ·Μ· • · operátorů modelové skupiny prostřednictvím hodnot vstupných proměnných. Tento krok je možné např. provést tím, že se původní množina dat rozdělí na tzv. trénovací, validační a testovací podmnožiny. Je výhodné, když se toto dělá částečně i na úrovní jednotlivých operátorů (řidičů) a nikoliv na úrovni časových úseků. To znamená, že část operátorů se může nacházet jen ve validačních datech, část jen v testovacích a část jen v trénovacích datech. Z celkového množství dat může být například 40% trénovací, 30 % validační a 30% testovací. Nicméně rozdělení může být samozřejmě i jiné. Mohou se např. vypustit testovací data a původní množinu lze rozdělit jen na 2 části: trénovací a validační, atd. Jednotlivé modely se pak mohou výhodně konstruovat s použitím tabulky prediktivního modelování, rozdělené na trénovací, validační a testovací data. Daný model se může výhodně učit odhadovat spojitost mezi vstupními proměnnými charakterizujícími aktivitu operátora a výstupní cílovou proměnnou charakterizující únavu na základě tréno vacích dat. Generalizace modelu se může výhodně nastavovat pomocí kontinuálního vyhodnocování výstupu vytvářeného modelu na validační data. Výběr nejlepšího modelu se může výhodně realizovat na základě porovnání přesnosti odhadu všech modelů na testovací data. Čtvrtým krokem je implementace, simulace a on-line vyhodnocování, tedy vyhodnocování v reálném čase. Popsaný výstupní model z předchozí fáze, za předpokladu zvládnutí předchozích kroků, je schopen generalizace. Typické charakteristiky vztažené k určité úrovni únavy, na základě vyhodnocování modelové skupiny operátorů, lze spojovat se stejnou úrovní únavy neznámého operátora vykazujícího za podobných podmínek podobné charakteristiky. Tímto nám zmíněný model poskytuje relevantní odhad únavy libovolného neznámého a předem nijak necharakterizovaného operátora na základě pouhého vyhodnocení jeho rutinní činnosti a bez jakéhokoliv zásahu do operátorových aktivit. Rutinní činnost je zde prezentovaná vstupními proměnnými. Předmět vynálezu tak výhodně využívá generalizační model, zachycující spojitost mezi mírou únavy a odpovídajících charakteristikách vykazovaných činností operátora, jako jednu z hlavních komponent. Další komponenty představují moduly, které snímají signál operátora, zpracovávají tento signál a transformují jej do podoby vstupných dat generalizačního modelu. Veškeré snímání signálu, jeho zpracování a transformace může, s využitím on line databázového inženýrství, probíhat v reálném čase, tedy souběžně s činnosti operátora a bez jakéhokoliv zásahu jenž by tuto činnost ovlivňoval. Konečný výstup těchto 18 • 9 ···· ·· ·· 99 99 9 aktivit, zpracovávajících signál do podobě odpovídající vstupním proměnným modelu, je tak zhotoven v nejkratší možné době. Vstupní data, proměnné, jsou pak okamžitě zpracována modelem pro vytvoření nej aktuálnějšího možného odhadu únavy operátora přímo při jeho činnosti. Tímto je odhadování únavy operátora prováděno souběžně s jeho aktivitou. Výstupní komponenta se potom výhodně využívá pro vytváření bezprostředně poslední odhad únavy. Výstupní komponenta může určovat s jistou pravděpodobností p zda je či není operátor, řidič, unavený, případně jak moc je unavený. Toto určení se může vztahovat na daný časový interval, například na poslední minutu jízdy. Jelikož platí, že řidič v průběhu poměrně krátkého intervalu jízdy, například 30 minut, má únavu podobnou ve všech po sobě jdoucích intervalech, pak při 100% přesnosti vyhodnocení únavy by byla v každém z měřených intervalů naměřena tatáž nebo podobná hodnota. Jelikož ale prediktivní / rozhodovací mechanismus je schopen únavu odhadovat jen s jistou pravděpodobností, je vhodné odhady určitého počtu posledních po sobě jdoucích měřených intervalů nějakým způsobem sumovat, průměrovat nebo filtrovat, aby se výhodně provedl odhad s potřebnou jistotou. Takto vytvořený odhad, který může být již poměrně stabilní a ustálený, lze interpretovat jako odhadovaná únava řidiče v daném okamžiku jízdy.
Zvýšení jistoty, tedy zpřesnění a stabilizace předchozího odhadu, může být provedeno několika způsoby, například: a) Kumulativním součtem: Binární nebo spojitý výstup za posledních n měření se prostě sečte, výsledná hodnota se porovná s prahovou hodnotou a při překročení prahové hodnoty se spustí alarm.
Vzorec pro provedení tohoto výpočtu je kde y je výstup, «je počet hodnot přes které se kumulativní součet provádí, pt je hodnota výstupu prediktivního modelu v i-tém časovém intervalu, případně pravděpodobnost únavy v i-tém časovém intervalu a b je práh, který má zápornou hodnotu. Pokud daný součet, výhodně, kladných hodnot pi převýší absolutní hodnotu, výhodně, záporného b iniciuje výsledná kladná hodnota y například alarm. b) provede se prostý průměr n posledních hodnot. Výsledná hodnota se buď zobrazí na displeji nebo při překročení předem nastavené prahové hodnoty se spustí alarm. - 19
·· • · · * · ···· I •· « «· • · • *·· • · » • · · ·♦ * • ♦ · • ♦ · · • · · ···· • · · ·« ♦ c) provede se exponenciální vážení. V tomto případě mají poslední hodnoty nej vyšší váhu. Váha každé z hodnot na výsledném hodnocení exponenciálně klesá s jejím stářím. d) provede se jedno ze statistických hodnocení, testů nebo testování hypotéz na základě naměřených hodnotách pt . Tzn. testování hypotézy, že řidič je unavený oproti hypotéze, že je řidič čilý. e) jiné Příklad kumulace odhadu únavy je na obr.2. Jedná se o příklad kumulace odhadu únavy při prediktivním modelu odhadujícím s pravděpodobností p=0,55 (čerchovaná křivka a p=0,6 (plná křivka). Na ose x jsou minuty jízdy, na ose y je index únavy, při čemž kladné hodnoty znamenají přítomnost únavy, záporné hodnoty pak její nepřítomnost. V obou případech zde při kumulaci rozhodnutí dochází k tomu se pravděpodobnost správného rozhodnutí s časem zvyšuje - zvětšuje se vzdálenost kumulativního indexu únavy od osy. Tento kumulativní mechanismus pracuje samozřejmě mnohem lépe při větší pravděpodobnosti správného rozhodnutí prediktivního modelu. T. j., pokud by model rozhodoval s pravděpodobností p=0,7 a víc, stoupal by v tomto případě kumulativní index únavy strměji.
Je výhodné podotknout, že výstup z modelu / rozhodovacích pravidel může být binární nebo spojitá hodnota, a výstup z posledního kroku může být rovněž spojitá hodnota, nebo může být zaokrouhlen na kategorickou nebo binární hodnotu. Některá z forem kumulací posledních odhadů pro vytvoření konečného hodnocení únavy operátora v daném okamžiku může i doprovázet informace uvádějící, zdaje operátor, vzhledem k vyhodnocené míře únavy, způsobilý v činnosti pokračovat nebo zda jeho činnost indikuje vysoký stupeň nepozornosti či jiné indispozice. Každý výstupní údaj nebo hodnocení může být doprovázen konfidenčním intervalem nebo pravděpodobností, popisující relevantnost daného údaje nebo hodnocení. Zjištěné údaje je podle jednoho výhodného provedení možno zaznamenávat, např. v záznamníku pro kontrolu operátora, a tyto výsledky potom případně použít pro vyhodnocování a klasifikace příčiny možné nehody. - 20
Jak již bylo uvedeno, proces řízení a regulace obecně představuje složitý zpětnovazební mechanismus, při kterém dochází k regulaci systému, např. polohy vozidla na silnici, jeho rychlosti a směru, prostřednictvím svalové činnosti - řízením, při zpětné kontrole zrakem. Zpětnovazební smyčku představují zrakové vjemy, v tomto příkladu poloha vozidla na silnici, proces přenosu těchto vjemů do mozku, vyhodnocování těchto vjemů, a odpověď operátora - zde řidiče, pomocí jeho svalů, tedy dochází k přenosu nervových impulsů do svalů, výsledky regulace jsou zpětně kontrolovány zrakem. V případě únavy jsou do systému vnášeny poruchy únavou způsobené, které se v krajním případě mohou projevit fatálně, v příkladu řidiče to je např. sjetí auta ze silnice, střet s protijedoucím vozidlem apod.
Jestliže systém umožňuje přenos užitečné informace pro řízení, pak stejně tak umožňuje přenos poruchy. To znamená, že poruchy systému, způsobené únavou operátora, jsou spolu s užitečným signálem systémem transformovány v průběhu přenosu, a můžeme je kdekoliv v okruhu systému měřit. Charakter těchto poruch byl ve popsán v pěti bodech v části, popisující dosavadní stav techniky.
Nyní bude popsán průběh provádění separace užitné informace. V předchozích odstavcích byl vysvětlen mechanismus vlivu únavy na proces regulace tj. například řízení. Hlavní technické problémy odseparování faktoru únavy jsou dvojího druhu. 1) Nejsou známy přesné kvantitativní, a často ani kvalitativní projevy únavy, na způsob regulace (řízení) operátora 2) Vzniká problém, jak oddělit tyto vlivy, od jiných vlivů (kvalita vozovky, hustota provozu, počasí) V souvislosti s bodem č. 1 nemusí být zapotřebí další rozbor. Pro vytvoření modelu, který rozliší mezi dvěma diskrétními kategoriemi únavy, nemusí být zapotřebí znát parametry modelu, stejně tak nemusí být potřeba znát kauzální souvislosti mezi projevy únavy a parametry modelu. Je dobré si uvědomit, že projevy únavy jsou v signálu nejen překryty šumem, ale jsou též po několikeré transformaci v důsledku přenosu v systému. V souvislosti s bodem č. 2 se řeší již zmíněný proces transformace signálu. Cílem transformace signálu je taková úprava signálu, aby se projevy únavy co nejvíce demaskovaly. Hlavní myšlenkou formulovanou v té největší možné generalizaci a v prvním přiblížení, je: "Provede se transformace signálu pro získání co největších rozdílů mezi výstupy unavených a čilých řidičů. To znamená, že se "určitá vlastnost", odvozená ze získaného signálu, bude u unavených a čilých operátorů co nejvíce lišit. Tato odlišnost se může zjišťovat statisticky, přičemž se zde výhodně využívá již uvedené rozdělení naměřených dat na trénovací, validační a testovací. To pak může zaručovat, že odlišnost není výsledkem pouhé náhody nebo shody okolností.
Pojmy „trénovací množina41 nebo „trénovací data44 mají v tomto dokumentu následující význam: 1) Skupina dat použitá pro vytvoření modelu, která je označena jako trénovací data. U těchto dat je předem známý odpovídající stupeň únavy 2) Podmnožiny předchozí množiny. V procesu tvorby modelu jsou data, u nichž známe stupeň únavy rozdělena na trénovací, validační a testovací množiny. Jsou to tedy vlastní trénovací data, která jsou použita zejména pro, učení, adaptaci a nalezení parametrů modelu
Pojem testovací data má podobně dva významy: 1) Testovací data v rámci trénovací množiny dat, která jsou použita k testování modelu, to znamená že tato data se při vývoji modelu, výhodně, využívají. 2) Testovací data, která při tvorbě modelu nevyužíváme, alespoň ne do fáze implementace modelu. Mohou to být například data získaná v situaci kdy je model hotov a testován před jeho implementací v praxi nebo při testování modelu "v provozu" K tomu, aby bylo možno signál vhodně zaznamenávat a zpracovávat je výhodné vytvořit databázovou tabulku. Tvorba databázové tabulky znamená, že se signál v jistém bodě transformace rozdělí na časové úseky, například po minutách. V tomto případě dostaneme z hodinového signálu 60 řádků tabulky, které je možno dále využívat.
Proces separace užitečné informace má na počátku výhodně dvě fáze:
Transformace signálu metodami signálové analýzy Transformace proměnných databázové tabulky Transformace signálu metodami signálové analýzy se rozumí filtrace, tvorba odvozených signálů, kosinová, Fourierova a vínková transformace (nebo jiná transformace), výpočet energie signálu, práce s odvozenými signály a kombinacemi signálu.
Transformace databázové tabulky představují kombinace primárních proměnných vzniklých v předchozím kroku, tvorba sekundárních proměnných, transformace sekundárních proměnných, atd. K oddělení různých vlivů se výhodně použije segmentace. To znamená, že se například vytvoří segmenty, odpovídající jízdě při suché nebo mokré vozovce, jízdě po dálnici, ve městě, po okresních silnicích, jízdě s minimálně nebo naopak plně zatíženým vozidlem atd. K tvorbě segmentů lze přistupovat s použitím doprovodných informací, získaných při pořízení základního souboru dat, nebo se může k segmentaci přistoupit na základě dat samotných. Použitím segmentace se získá množina databázových tabulek, přičemž pro každou se může výhodně vytvoří skupina odpovídajících modelů. Výsledný model pak má podle jednoho možného provedení složitou strukturu, kdy na počátku je systém rozhodovacích pravidel přiřazující danou situaci do patřičného segmentu.
Proces generování proměnných je z hlediska vytvoření funkčního modelu velmi důležitý. Část tohoto procesu se podle jednoho provedení může řešit "hrubou silou", tzn. vygenerují se například desítky tisíc proměnných a sleduje se, které proměnné mají vztah k užitečné informaci, a ty se pak dále zlepšují. Ještě výhodnější je, pokud se do procesu tvorby proměnných v co největší míře zahrnou existující znalosti o řešené problematice. . Tvorba proměnných je velmi široká a každého odborníka zajisté okamžitě napadne celá řada takových proměnných, které mohou záviset na rozdílnosti ovládání unaveného či naopak čerstvého operátora.
Podle jistého předpokladu bude mít proces přechodu z klidu do pohybu, tj. nohy, ruky atd., u unaveného řidiče jinou dynamiku než u řidiče čilého. To, že se jedná pouze o předpoklad nicméně nebrání vyextrahovat ze signálu situace, kdy dochází k přechodu z klidu do pohybu, tento přechod nějak popsat, např. aproximací funkcí druhého řádu, a vytvořit odpovídající skupinu proměnných, například parametry funkce, kterou se tento přechod aproximoval. Pro detekci únavy podle vynálezu se velmi výhodně použijí ty proměnné, které vykáží nejvyšší souvislost mezi vygenerovanými proměnnými a cílovou proměnnou, kriteriem únavy. Výše uvedených pracovních hypotéz je možno vygenerovat mnoho, stejně tak je možné vygenerovat množství proměnných, z kterých se použijí skutečně pouze ty nejvýhodnější, což může být třeba 1%. Výsledná situace je následující: - Při znalosti problematiky únavy se vygeneruje výhodně několik set proměnných, přičemž podle předpokladu jsou mezi nimi proměnné, které mají určitou vypovídací hodnotu. - Pokud znalosti z problematiky únavy nejsou známy, vygeneruje se výhodně např. 10000 proměnných, ze kterých mechanismus předzpracování dat vybere několik desítek až stovku relevantních proměnných. Je samozřejmé, že mechanismus předzpracování dat se podle výhodného provedení způsobu může použít i v případě znalosti problematiky únavy, neboť umožní vybrat ty skutečně nejrelevantnější proměnné. Není však v takovém případě nutné provádět tolik výpočtů, aby se všechny proměnné konfrontovaly s cílovou proměnnou, jako tomu bylo v případě, kdy znalosti nejsou známy nebo z nějakého důvodu nejsou použity. Vztah mezi vytvořenými proměnnými a cílovou proměnnou se výhodně určuje například na základě střední vzájemné informace, porovnání korelačních koeficientů, χ testem, a dalšími statistickými metodami.
Podle dalšího aspektu vynálezu je předložen jiný možný způsob detekce fyzické způsobilosti operátora k provádění činnosti, zejména k řízení dopravního prostředku, jehož podstatou je, že se snímá signál alespoň jednoho z parametrů, generovaných svalovou činností operátora, které např. při detekci únavy řidiče motorového vozidla jsou výhodně pohyb volantu, pohyb plynového, brzdového, spojkového pedálu, informace o pohybu dopravního prostředku a jeho změnách v důsledku činnosti operátora, tyto údaje se porovnávají s příslušnými typickými údaji pro čilého a/nebo unaveného operátora a vyhodnocuje se, zdaje operátor čilý nebo unavený. Výhodně se způsob detekce únavy provádí tak, že se: a) se snímá alespoň jeden parametr pro nejméně jednoho čilého operátora a nejméně jednoho unaveného operátora, b) alespoň vybrané naměřené hodnoty se transformují pro zvětšení rozdílů mezi hodnotami naměřenými pro čilého a pro unaveného operátora, čímž se získá řada proměnných, c) transformací proměnných se získá množina dat, která se uloží ve vhodné formě, d) měří se alespoň jeden stejný parametr u konkrétního operátora, e) naměřené hodnoty se transformují stejným způsobem jako u trénovacích dat pro získání proměnných, f) proměnné, tj. transformovaná data získaná měřením stejného parametru nebo parametrů pro konkrétního operátora, se porovnávají s množinou uložených dat pro zjištění, zdaje konkrétní operátor čilý nebo unavený. Výhodné je, když po kroku c) následuje vytvoření specifického modelu detekce únavy, se kterým se proměnné v bodě f) porovnávají pro zjištění únavy operátora.
Nej výhodnější však může být, když po kroku c) následuje vytvoření modelu detekce únavy, do kterého vstupují proměnné v bodě f) výstup modelu pak poskytuje vyhodnocení únavy operátora.
Způsob podle vynálezu je výhodně použit v zařízení pro detekci únavy podle vynálezu. Podle jednoho výhodného provedení toto zařízení obsahuje programovatelnou jednotku s naprogramovaným modelem detekce únavy, tedy s pravidly pro vyhodnocování únavy, získaných měřením signálu alespoň jednoho z parametrů, generovaných svalovou činností operátora, pro alespoň jednoho unaveného a jednoho čilého operátora, může se jednat o téhož operátora v období únavy a čilosti, dále obsahuje čidlo nebo čidla pro měření signálu parametru nebo parametrů, používaných modelem, napojené na vstup programovatelné jednotky k vyhodnocení únavy operátora, zatímco výstup programovatelné jednotky je zapojen na zařízení pro signalizaci únavy. Programovatelnou jednotkou se pro 25
• · ··· · » • · • · ·· • · • · · · ♦ ♦ · · ···· • · ♦ · účely tohoto vynálezu rozumí jakékoliv zařízení, které je schopno být naprogramováno vytvořeným modelem detekce únavy a to jak před zahájením detekce, například přímo ve výrobě, tak i po zahájení detekce, tj. například po nastartování motorového vozidla. Příkladem programovatelné jednotky je počítač, kapesní počítač, notebook, procesor atd. Programovatelná jednotka může obsahovat vytvořený model detekce únavy nebo výhodně odpovídající pravidla. Zařízení pro signalizaci únavy zahrnuje všechny typy možných signalizačních zařízení, včetně vizuálního - např. kontrolky, displeje atd., akustického - např. sirény, bzučáku, zvonku, reproduktoru atd., až po složitá zařízení, umožňující např. bezpečné odstavení operátorem ovládaného zařízení, zastavení automobilu, vlaku atd. nebo i zavolání pomoci, např. nadřízeného operátora, záložního operátora atd. Zařízení pro signalizaci únavy není předmětem tohoto vynálezu a může být navrženo každým odborníkem pro danou oblast sledované činnosti.
Podle jiného výhodného provedení je zařízení tvořeno počítačovou pamětí, obsahující data pro vytvoření modelu detekce únavy, programovatelnou jednotku upravenou pro naprogramování takto vytvořeným modelem a čidlo nebo čidla pro měření signálu parametru nebo parametrů, používaných modelem, napojené na vstup programovatelné jednotky k vyhodnocení únavy operátora, zatímco výstup procesoru je zapojen na zařízení pro signalizaci únavy. Data pro vytvoření modelu detekce únavy mohou být jak skutečná data, na jejichž základě se vytvoří pravidla pro vyhodnocování únavy, tak i přímo tato pravidla.
Zařízení podle vynálezu výhodně obsahuje čidla pro měření signálu více parametrů, souvisejících s pohybem operátora nebo vozidla. Podle dalšího výhodného provedení obsahuje zařízení čidla pro měření všech těchto parametrů.
Podle ještě dalšího aspektu vynálezu je předloženo zařízení pro vytváření modelu detekce únavy, které sestává z počítačové jednotky, opatřené programem nebo softwarem pro vytváření matematických nebo prediktivních modelů a dále počítačovou pamětí buď s parametry nejméně jednoho operátora s předem známou mírou únavy nebo s proměnnými, získanými z těchto parametrů. Výhodně jsou v počítačové paměti uloženy proměnné pro modelovou skupinu operátorů. Počítačovou jednotkou se potom rozumí i server s případnou počítačovou sítí. - 26 • · • · ·· ·· ·· ·· ·· • · · · • · · · · · ··· I · · « • · · · ·· ·· Μ ·· · • · · • · · · • ····· • · · ·· ·
Vynález umožňuje vyhodnocování míry samotné únavy, spánkové deprivace, nebo jakékoliv jiné indispozice operátora. Zejména díky použité technice dolování dat je velmi spolehlivý a přináší rychlé vyhodnocení, které se ve výhodném provedení kumulativního vyhodnocování stává tím spolehlivější, čím delší je doba kontrolování činnosti operátora. Je samozřejmě možné nastavit jednak práh hodnot únavy a jednak čas, od kterého po zahájení činnosti operátora se spustí případný alarm upozorňující na únavu. Jak již bylo řečeno v souvislosti se zařízením pro signalizaci únavy, výstupy z vyhodnocování únavy mohou být různé. Mohou přímo na skutečnost nastalé únavy upozorňovat přímo operátora nebo mohou v případě hrozícího nebezpečí až zastavit činnost operátora, např. vypnutím zapalování motorového vozidla po několika předchozích upozorněních, pokud by bylo v jízdě i přes tato upozornění pokračováno, nebo může být výstup vyveden na místo nadřízené operátorovi nebo samozřejmě jakékoliv jiné místo, které může zajistit včasnou nápravu. Výhodou vynálezu dále je, že umožňuje vyloučit ovlivnění okamžitým nestandardním chováním operátora, které může být způsobeno jinými vlivy než únavou. Vynález je využitelný i pro kombinace jednoho čí více z výše uvedených mechanismů a postupů. Spánková deprivace operátora přirozeně souvisí s jeho únavou. Je však zřejmé, že chování operátora může být mimo únavy spojeno i s jinými důvody, např. požitím alkoholu, léků ovlivňujících pozornost řidiče, nervového rozrušení, které neumožňuje řidiči koncentrovat se na jízdu a mnoho dalších faktorů, jejichž výsledkem je neschopnost se plně věnovat vykonávané činnosti. Jejich vyhodnocování, ať už samostatně nebo společně s dalšími faktory, je možné právě díky využití způsobu i zařízení podle vynálezu. Je zřejmé, že vyhodnocování únavy, spánkové deprivace nebo jakékoliv jiné příčiny neschopnosti vykonávat spolehlivě příslušnou operátorovu činnost pomocí tohoto způsobu detekce nebo zařízení podle vynálezu, dále definované patentovými nároky, spadá do rozsahu použití tohoto vynálezu.
Další výhodou tohoto vynálezu je, že umožňuje nahrazení modelové skupiny operátorů jedním operátorem nebo vhodně přizpůsobenou skupinou operátorů pro vyhodnocování konkrétního operátora. Tímto je myšleno přizpůsobení modelové skupiny operátorů nebo ostatních mechanismů vynálezu tak, aby bylo dosaženo nelepší možné vyhodnocování jednoho konkrétního operátora, nebo skupiny operátorů. - 27 - 27 • · · • · · · • · · · ···· • · · · ·· ·
Další výhodou tohoto vynálezu je jeho použití při implementaci a vyhodnocení testů schopnosti vykonávat nějakou činnost, tzv. „Fittness for duty tests“, tedy způsobilost operátora před, při nebo i po provádění dané činnosti na základě charakteristik vykazovaných například na simulátoru či jiného testovacího zařízení podle vynálezu, tedy za pomoci technik dolování dat. Jedná se o realizaci patentu na pomocném zařízení, které může být jiné než to které operátor při své rutinní činnosti používá. Vyhodnocování únavy či způsobilosti operátora, uvedenými postupy, na tomto zařízení i například před, v průběhu nebo i po zahájení rutinní činnosti operátora je rovněž přirozenou součástí vynálezu a jeho využití, a rovněž spadá do rozsahu ochrany vynálezu. V případě řízení motorového vozidla mohou být dříve zmíněné signály modelové skupiny, které jsou důležité pro další postup, odvozené například z činnosti modelové skupiny operátorů na simulátorech, trenažérů a podobných zařízení simulujících činnost řidiče motorového vozidla. Model vetvořený na základě odpovídajících dat může být rovněž užitečný pro vyhodnocování únavy řidiče skutečného vozidla. Tento postup samozřejmě rovněž spadá do rozsahu ochrany vynálezu. Přehled obrázků na výkresech OBR 1 Tabulka prediktivního modelování OBR 2 Kumulace odhadu únavy OBR 3 Princip detekce únavy ze sledování pohybujícího se kurzoru na obrazovce pomocí počítačové myši OBR 4 Schéma rozhodovacího stromu OBR 5 Schéma části rozhodovacího stromu OBR 6 Segmentace podle namodelované pravděpodobnosti únavy OBR 7 Namodelované hodnoty únavy neznámého operátora 1. OBR 8 Namodelované hodnoty únavy neznámého operátora 2. OBR 9 Postup zpracování signálu při detekci únavy z pohybu volantu OBR 10 Proces prediktivního modelování při detekci únavy z pohybu volantu OBR. 11 Schéma neuronových sítí použitých pro detekci únavy z volantu OBR 12 Schéma zařízení na detekci únavy z pohybu volantu a rychlosti vozidla - 28 ·· ♦· • · · · • · 9 • ··· • · •999 99 99 99 • 9 9 • 9 999 • 9 9 9 • · · · 99 99 • * · • · · · • 9 9999 •99 Příklady provedení vynálezu
Vynález bude nyní popsán pro snadnější pochopení na dvou odlišných příkladech možného využití vynálezu. Je samozřejmé, že tyto dva příklady nejsou míněny jako jakýmkoliv způsobem omezující příklady využití vynálezu, který může zahrnovat všechny kategorie vykonávané lidské činnosti, při které dochází k reakci svalů operátora na nějaký stav, související s jím vykonávanou činností.
Prvním případem je jednoduchá demonstrace detekce únavy z pohybu počítačové myši po obrazovce při sledování náhodně se pohybujícího objektu. Druhým případem je detekce únavy z pohybů volantu, rychlosti vozidla a charakteru terénu při řízení motorového vozidla.
Jednoduchým příkladem praktického provedení patentu je detektor únavy operátora na základě tzv. "sledovací úlohy" , v angličtině nazývané „pursuit tracking task“. Úloha spočívá ve sledování objektu, v tomto případě kurzoru, pohybujícího se s proměnlivou rychlostí po obrazovce, pomocí myši. Úkolem operátora je sledovat myší pohybující se kurzor a dosáhnout jeho překrytí.
Princip: V důsledku únavy dochází k narušení zpětnovazebného mechanismu oko - ruka a tím dochází k prodlužování reakční doby, ke snížení pozornosti a zhoršení přesnosti odezvy. Toto se projeví na přesnosti sledování pohybujícího se kurzoru. Zároveň se objeví další specifika v pohybu kurzoru charakterizující činnost unaveného operátora.
Na obrázku 3 je schéma principu zmíněné sledovací úlohy. Na obrazovce se pohybuje kurzor jako objekt sledování. Pohyb objektu je náhodný a změna rychlosti jeho pohybu je také náhodná, přičemž frekvence vyšší než 2,25 Hz jsou filtrovány, vzorkování je po 0.020s. Operátoři s různými mírami únavy se snaží sledovat myší pohybující se kurzor a dosáhnout jeho překrytí. Počítač, kromě realizace popsaných funkcí, zaznamenává detailní průběh všech aktivit. - 29 ·· ·· » · • · · • · « I I • ···· • · • · · • · ··· • · · · • · · ♦ ·· ·»
Realizace postupu vyhodnocování vedoucího k detekci únavy je provedena v následujících krocích:
Zpracování dat modelové skupiny operátorů pro vytvoření modelu. V této fázi jsou zaznamenávány aktivity skupiny operátorů o různé, předem definované, míře únavy. Kritériem předurčení únavy je v tomto případě stupeň spánkové deprivace, neboli nevyspáni, hodnocený jako doba, která uplynula od posledního probuzení. Také je možné tento indikátor zvolit jako funkci, jejímiž parametry jsou délka posledního spánku, doba probuzení a doba uplynuvší od posledního probuzení. Jinou možností je arbitrárně stanovit práh únavy odpovídající jistému stupni spánkové deprivace a stupeň únavy ohodnotit binárně (1: spánkově deprivovaný, 0 čilý) Jinou možností je vyřadit ta data, kde je stupeň únavy blízký zvolenému arbitrámímu prahu. Tímto se zlepší rozlišovací schopnost modelu a usnadní se jeho trénování.. Následuje filtrace výstupního signálu mediánovým filtrem a generování proměnných které jsou odvozeny z průběhu vstupního a výstupního signálu. Těmito proměnnými jsou: aktuální rychlost a zrychlení objektu, vzdálenost obrazu myši a kurzoru, průměrná hodnota vzdálenosti za posledních 0.1, 0.2, 0.5, sekundy, rychlosti a průměrné rychlosti obrazu myši a kurzoru, absolutní hodnoty rychlostí a zrychlení, a další údaje, celkem 55 proměnných. Proměnné představují sloupce klasické tabulky prediktivního modelování. Každý řádek tabulky představuje hodnoty těchto proměnných u jednoho z operátorů v daném časovém intervalu. Ke každému řádku je přiřazena předem určená míra únavy daného operátora v daném časovém intervalu. Tyto předem známé hodnoty tak tvoří poslední sloupec tabulky. Dále bude následovat krok výběru proměnných a tvorby modelu, což odpovídá krokům předzpracování dat a vytváření , učení a adaptace modelu. V této fázi je vytvořeno několik prediktivních modelů, např. lineární regrese o různých nastavení, několik typů rozhodovacích stromů, několik konfigurací neuronové sítě. Vstupem pro tyto modely jsou vybrané podmnožiny vygenerovaných proměnných. Je vybrán model s nej lepším odhadem únavy operátora, která díky tomu, že je vlastně předem známá, umožňuje provést výměr modelu s nej lepším vyhodnocením, tedy s nejlepšími generalizačními schopnostmi modelu. - 30 ·· ·· • ♦ · • · ··· • · · · * · · · • · · • · · · • · · · · · • · ·
Vyhodnocení se provádí na základě proměnných popisujících aktivitu operátora. V tomto konkrétním příkladě byl oním vybraným modelem rozhodovací strom pracující na principu redukce entropie a jeho schematické znázornění ukazuje obr. 4. Rozhodovací pravidla odpovídají vodorovným čarám, podmnožiny odpovídají čtverečkům. Na jednotlivých úrovních dochází směrem odshora dolů ke stále lepšímu rozdělování původní množiny na podmnožiny v kterých převládají unavení nebo čilí operátoři.
Obr. 5 ukazuje detail rozhodovacího stromu spolu s pravidly a procentuálním zastoupením unavených a čilých operátorů v jednotlivých nodech. Číslo před lomítkem představuje % vzorků kde byli operátoři čilí, číslo za lomítkem představuje % vzorků, kde byli operátoři unavení. Vzorek představující časový úsek byl v tomto případě zvolen dvacetisekundový. Proměnná, podle které se rozhoduje, je napsána pod nodem, příslušná rozhodovací pravidla jsou znázorněna nad nodem. V dané části stromu jsou využity proměnné, které jsou vysvětleny v následující tabulce:
Označení proměnné Význam proměnné AVY400 Průměr absolutních hodnot pohybu myši za posledních 400 vzorků AVX400 Průměr absolutních hodnot pohybu kurzoru (sledovaného objektu) za posledních 400 vzorků DX20 Průměrná vzdálenost mezi myší a kurzorem za posledních 20 vzorku AAX40 Průměr absolutních hodnot zrychlení kurzoru za posledních 40 vzorků AVY200 Průměr absolutních hodnot rychlosti pohybu myši za posledních 200 vzorků AVY40 Průměr absolutních hodnot pohybu myši za posledních 40 vzorků Poznámka: signál je digitalizován, vzorkovací frekvence je 50 Hz, to znamená že vzorek odpovídá 20ms. Kurzorem se myslí souřadnice sledovaného objektu, myší se myslí souřadnice pohybující se myši.
Obr. 6 znázorňuje zachycení rozhodovacím stromem (čárkovaná křivka) je porovnáno s ideálním zachycením (tečkovaná křivka) a s náhodným výběrem - 31 - 31 • · • · ♦ • ♦··♦ • · • · · · · · · · • · · · ♦ ·♦· · • ··· · · · · · « · • ······ ·*·· ·· ·· ·· (plná přímka). Na x-ové souřadnici jsou řádky tabulky (operátor-časový úsek 20 s) seřazeny podle míry věrohodnosti vyhodnocování.
Jelikož v trénovací množině pocházelo 23% vzorků od unavených operátorů, je linka náhodného výběru v této úrovni. Tečkovaná linka ukazuje, jak by vypadala situace kdyby byly všechny vzorky bezezbytku bezchybně klasifikovány. Čárkovaná linka ukazuje zachycení nej lepšího námi vybraného modelu. Následuje krok testování modelu na operátorech, kteří nebyli v trénovací množině. Výše uvedený model má schopnost generalizace. Tzn. zobecnění vztahu mezi charakteristikami vykazovanými operátorem a jeho únavou, získaného na základě pozorování modelové skupiny operátorů, na nového operátora. Při testování na dvou operátorech kteří nebyli zahrnuti do původního vzorku modelové skupiny jsme dostali výsledky, které znázorňují obr. 7 a 8. Čárkovaná křivka pokračující černou tečkovanou křivkou představuje únavu operátora v průběhu dne. Po překročení meze 0.35 je průběh únavy zobrazen černou tečkovanou křivkou Namodelovaná únava je v tomto případě bezrozměrná. Hodnota 0.35 odpovídá 20 hodinové spánkové deprivaci' V některých případech je vhodné tento indikátor zvolit jako funkci jejímiž parametry je délka posledního spánku, doba probuzení a doba uplynuvši od posledního probuzení.
Nakonec se provede implementace modelu. Jelikož model má schopnost generalizace, může být v následujícím kroku implementován kód modelu do komponenty pro sledovací úlohu. Další komponenty možné implementace budou moduly, které snímají signál operátora, zpracovávají tento signál a transformují jej do podoby vstupních dat modelu klíčové komponenty. Veškeré snímání signálu, jeho zpracování a transformace se může, s využitím pokročilého databázového inženýrství, provádět souběžně s činnosti operátora a bez jakéhokoliv zásahu, který by tuto činnost ovlivňoval. Konečný výstup těchto aktivit, zpracovávajících signál do podobě odpovídající vstupním proměnným modelu, je zhotoven v nej kratší možné době. Tyto vstupní proměnné se pak okamžitě zpracovávají modelem pro vytvoření nej aktuálnějšího možného odhadu únavy operátora přímo při jeho činnosti. Takto je možné on-line, v podstatě s konstantním časovým zpožděním, odpovídajícím nej delšímu časovému úseku potřebnému pro vytvoření 32
··· · · • · ♦ · • ♦ ·· ·· » t · • · ··· • · · • ·
proměnných, což bylo v tomto případě 20 sekund, vyhodnocovat míru únavy operátora a jeho způsobilost pro pracovní nasazení.
Tento postup vyhodnocování únavy není možné jednoduše ošidit. Postup nevyžaduje pozornost jen v daném okamžiku, ale děje se kontinuálně Unavený člověk svou pozornost po dlouhou dobu neudrží. Výše uvedený příklad je jednoduchou a snadno proveditelnou demonstrací vynálezu. Vstupním signálem je pohyb kurzoru a pohyb myší na obrazovce. Filtrací se odstraní chyby způsobené vzorkováním (a interním časovačem Windows). Proměnné jsou odvozeny jak bylo výše uvedeno z rychlosti, zrychlení a vzájemné vzdálenosti myši a kurzoru. Vyhodnocování únavy prediktivním modelem lze snadno implementovat a zobrazit na téže obrazovce při nebo po provedení testu.
Druhým příkladem provedení vynálezu je vyhodnocování únavy řidiče motorového vozidla. To se provádí na základě snímání pohybu volantu, rychlosti vozidla a charakteru terénu. Jak již bylo uvedeno, projevy únavy lze zachytit z pohybu volantu, rychlosti vozidla a charakteru terénu. Mechanismus je stejný jako v předchozím příkladu nebo v části popisující podstatu vynálezu.
Obr. 9. znázorňuje postup zpracovávání signálu odvozeného například z výchylky volantu pro tvorbu prediktivního modelu. Nejprve se provede tvorba vstupních proměnných. Cílem této fáze je z každého předem zvoleného časového okamžiku činnosti člena modelové skupiny operátorů, v tomto případě 60 s záznamu, vygenerovat dostatečný počet proměnných, které charakterizují průběh signálu, a o kterých na základě expertních znalostí je známo, že indikují stav únavy. V této fázi se získá soubor 264 proměnných vygenerovaný z každé minuty jízdy, ke kterému je přiřazen příznak 1 nebo 0 podle toho zda řidič byl či nebyl spánkově deprivován. Postup provedení byl následující, viz zmíněný obr. 9: 1) Signál se převede na stupně, a provede se převzorkování - sníží se vzorkovací frekvence na 50Hz (Tento krok, stejně jako všechny následující kroky může být s výhodou provedený i jiným způsobem, nebo může být vypuštěn nebo zaměněn. Uváděné postupy a hodnoty jsou jen jednou z možností.) 2) Signál natočení volantu a jeho derivace, tj .rychlost pohybu volantu, se rozdělí na minuty, stejně tak na minuty je rozdělen signál rychlosti vozidla. - 33 - 33 #· • · * · • • ♦ • ··* • • *· ·+ ·* ·» % • « • • » • • · ··· • · • · • · • · • · · ··«· • · • * • · • ·· ·· • 3) Provede se kosinová transformace. Následně se transformovaný signál rozdělí na frekvence s frekvenčními pásmy 0 - 0.055 Hz; 0.055 - 0.15 Hz;0.15 - 0.25 Hz; 0.25 - 0.45 Hz; 0.45 - 0.65 Hz; 0.65 - 0.85 Hz; 0.85 - 15 Hz; 15 - 1.55 Hz; nad 1.55 Hz. Následně se provede zpětná kosinová transformace. 4) První skupinu proměnných tvoří energie signálu, energie jednotlivých frekvenčních pásem, energie jednotlivých frekvenčních pásem vztažená k celkové energii a vzájemný poměr energií v jednotlivých frekvenčních pásmech, vždy je energie pásma o nižší frekvenci dělená energií pásma o vyšší frekvenci 5) Další skupinu proměnných tvoří entropie signálu, entropie jednotlivých frekvenčních pásem, střední vzájemná informace jednotlivých frekvenčních pásem, každé s každým. Pro entropii a informaci byl použit histogram pro rozdělení hodnot který má 39 skupin. 6) Další skupinu proměnných tvoří statistické charakteristiky signálu, minimum, maximum, průměr, směrodatná odchylka, šikmost, špičatost. Tam, kde byl signál nulový byla posledním dvěma hodnotám přiřazena nula. 7) Ostatní proměnné se odvodily z průběhu signálu vdané minutě, tj. počet úseků, kdy je signál v rozmezí mezi nulou a danou hodnotou, nejdelší úsek kdy je signál v daném rozmezí, a pod.
Další skupinu proměnných tvoří statistické charakteristiky zrychlení volantu. Příklady proměnných odvozených z pohybu volantu jsou uvedeny v následující tabulce. Je samozřejmě možné vytvořit i velké množství dalších proměnných, které by mohly být použity při detekci únavy podle vynálezu.
TABULKA NĚKTERÝCH PROMĚNNÝCH
Energie signálu frekvenčního pásma 0-0,1 Hz (1. frekvenční pásmo) Energie signálu frekvenčního pásma 0,1 - 0,25 Hz (2. frekvenční pásmo) Energie signálu frekvenčního pásma 0,25 - 0,5 Hz (3. frekvenční pásmo) Energie signálu frekvenčního pásma 0,5 - 0,75 Hz (4. frekvenční pásmo) Energie signálu frekvenčního pásma 0,75 -1 Hz (5. frekvenční pásmo) Energie signálu frekvenčního pásma 1-1,25 Hz (6. frekvenční pásmo) Energie signálu frekvenčního pásma 1,25 - 1,5 Hz (7. frekvenční pásmo) Energie signálu frekvenčního pásma 1,5 -1,75 Hz (8. frekvenční pásmo) Energie signálu frekvenčního pásma >1,75 Hz (9. frekvenční pásmo) 34 • · • · ··· · · • · · · ♦ ♦ * • · · • · · · • · ···· • · · · ·· ·
Celková energie signálu
Energie signálu 1. frekvenčního pásma (0-0,1 Hz) vztažená k celkové energii signálu Energie signálu 2. frekvenčního pásma (0,1 - 0,25 Hz) vztažená k celkové energii signálu Energie signálu 3. frekvenčního pásma (0,25 - 0,5 Hz) vztažená k celkové energii signálu Energie signálu 4, frekvenčního pásma (0,5 - 0,75 Hz) vztažená k celkové energii signálu Energie signálu 5. frekvenčního pásma (0,75 - 1) Hz vztažená k celkové energii signálu Energie signálu 6. frekvenčního pásma (1 -1,25 Hz) vztažená k celkové energii signálu Energie signálu 7. frekvenčního pásma (1,25 - 1,5) Hz vztažená k celkové energií signálu Energie signálu 8. frekvenčního pásma (1,5-1,75 Hz) vztažená k celkové energii signálu Energie signálu 9. frekvenčního pásma (>1,75 Hz) vztažená k celkové energii signálu Poměr energií 1. a 2. frekvenčního pásma.
Poměr energií 1. a 3. frekvenčního pásma.
Poměr energií 1, a 4. frekvenčního pásma Poměr energií 1. a 5. frekvenčního pásma Poměr energií 1. a 6. frekvenčního pásma Poměr energií 1. a 7 frekvenčního pásma Poměr energií 1. a 8. frekvenčního pásma Poměr energií 1. a 9. frekvenčního pásma Poměr energií 2. a 3. frekvenčního pásma Poměr energií 2. a 4. frekvenčního pásma Poměr energií 2. a 5. frekvenčního pásma Poměr energií 2. a 6. frekvenčního pásma Poměr energií 2. a 7. frekvenčního pásma Poměr energií 2. a 8. frekvenčního pásma Poměr energií 2. a 9. frekvenčního pásma Poměr energií 3. a 4. frekvenčního pásma Poměr energií 3. a 5. frekvenčního pásma Poměr energií 3. a 6. frekvenčního pásma Poměr energií 3. a 7. frekvenčního pásma Poměr energií 3. a 8. frekvenčního pásma Poměr energií 3. a 9. frekvenčního pásma Poměr energií 4. a 5. frekvenčního pásma Poměr energií 4. a 6. frekvenčního pásma Poměr energií 4. a 7. frekvenčního pásma Poměr energií 4.a 8. frekvenčního pásma Poměr energií 4. a 9. frekvenčního pásma Poměr energií 5. a 6. frekvenčního pásma Poměr energií 5. a 7. frekvenčního pásma Poměr energií 5. a 8. frekvenčního pásma Poměr energií 5. a 9. frekvenčního pásma - 35
Poměr energií 6. a 7. frekvenčního Poměr energií 6. a 8. frekvenčního Poměr energií 6. a 9. frekvenčního Poměr energií 7. a 8. frekvenčního Poměr energií 7. a 9. frekvenčního Poměr energií 8. a 9. frekvenčního Entropie signálu
Entropie 1. frekvenčního pásma Entropie 2. frekvenčního pásma Entropie 3. frekvenčního pásma Entropie 4. frekvenčního pásma Entropie 5. frekvenčního pásma Entropie 6. frekvenčního pásma Entropie 7. frekvenčního pásma Entropie 8. frekvenčního pásma Entropie 9. frekvenčního pásma Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez Střední vzájemná informace mez pásma pásma pásma pásma pásma pásma signály 1. a 2. frekvenčního pásma signály 1. a 3. frekvenčního pásma signály 1. a 4. frekvenčního pásma signály 1. a 5. frekvenčního pásma signály 1. a 6. frekvenčního pásma signály 1. a 7. frekvenčního pásma signály 1. a 8. frekvenčního pásma signály 1. a 9. frekvenčního pásma signály 2. a 3. frekvenčního pásma signály 2. a 4. frekvenčního pásma signály 2. a 5. frekvenčního pásma signály 2. a 6. frekvenčního pásma signály 2. a 7. frekvenčního pásma signály 2. a 8. frekvenčního pásma signály 2. a 9. frekvenčního pásma signály 3. a 4. frekvenčního pásma signály 3. a 5. frekvenčního pásma signály 3. a 6. frekvenčního pásma signály 3. a 7. frekvenčního pásma signály 3. a 8. frekvenčního pásma signály 3. a 9. frekvenčního pásma signály 4. a 5. frekvenčního pásma signály 4. a 6. frekvenčního pásma signály 4. a 7. frekvenčního pásma 36
• I · · · · · • · · · · »» · · • · · • · · · • ·I·· · • · · • · · · ·
Střední vzájemná informace mezi signály 4. a 8. frekvenčního pásma Střední vzájemná informace mezi signály 4. a 9. frekvenčního pásma Střední vzájemná informace mezi signály 5. a 6. frekvenčního pásma Střední vzájemná informace mezi signály 5. a 7. frekvenčního pásma Střední vzájemná informace mezi signály 5. a 8. frekvenčního pásma Střední vzájemná informace mezi signály 5. a 9. frekvenčního pásma Střední vzájemná informace mezi signály 6. a 7. frekvenčního pásma Střední vzájemná informace mezi signály 6. a 8. frekvenčního pásma Střední vzájemná informace mezi signály 6. a 9. frekvenčního pásma Střední vzájemná informace mezi signály 7. a 8. frekvenčního pásma Střední vzájemná informace mezi signály 7. a 9. frekvenčního pásma Střední vzájemná informace mezi signály 8. a 9. frekvenčního pásma Minimum signálu v daném časové úseku Maximum signálu v daném časovém úseku Průměrná hodnota signálu v daném časovém úseku Medián signálu v daném časovém úseku Směrodatná odchylka signálu v daném časovém úseku Variance signálu v daném časovém úseku Šikmost v daném časovém úseku, pokud je signál konstantní, pak 0 Špičatost v daném časovém úseku, pokud je signál konstantní, pak 0
Nejdelší úsek, kdy se hodnota signálu pohybuje v rozmezí (0,25-0.75) maximální hodnoty daného časového úseku.(To znamená, že 0 je minimální, 1 je maximální hodnota signálu v daném časovém úseku, jedná se tedy o nejdelší úsek kdy je hodnota signálu mezi 25-75% maximální hodnoty. Stejně tak i v následujících řádcích tabulky)
Poměrná doba, kdy se hodnota signálu pohybuje v rozmezí (0,25-0.75) maximální hodnoty daného časového úseku.
Počet úseků, kdy se hodnota signálu pohybuje v rozmezí (0,25-0.75) maximální hodnoty daného časového úseku.
Nejdelší úsek, kdy se hodnota signálu pohybuje v rozmezí (0,4-0.6) maximální hodnoty daného časového úseku.
Poměrná doba, kdy se hodnota signálu pohybuje v rozmezí (0,4-0.6) maximální hodnoty daného časového úseku.
Počet úseků, kdy se hodnota signálu pohybuje v rozmezí (0,4-0.6) maximální hodnoty daného časového úseku.
Nejdelší úsek, kdy se hodnota signálu pohybuje v rozmezí (0,45-0.55) maximální hodnoty daného časového úseku.
Poměrná doba, kdy se hodnota signálu pohybuje v rozmezí (0,45-0.55) maximální hodnoty daného časového úseku.
Počet úseků, kdy je se hodnota signálu pohybuje v rozmezí (0,45-0.55) maximální hodnoty daného časového úseku. - 37 - 37 • · ♦ ♦ ···· • · · ♦ ♦ • · · · · · ··· • · · « · · ····· • · · · · · · ·· ·· ·· ·
Nejdelší úsek, kdy se hodnota signálu pohybuje v rozmezí (0,475-0.525) maximální hodnoty daného časového úseku.
Nejdelší úsek, kdy se hodnota signálu pohybuje v rozmezí (0,475-0.525) maximální hodnoty daného časového úseku.
Nejdelší úsek, kdy se hodnota signálu pohybuje v rozmezí (0,475-0.525) maximální hodnoty daného časového úseku.
Nejdelší úsek, kdy se hodnota signálu pohybuje v rozmezí (0,49-0.51) maximální hodnoty daného časového úseku.
Nejdelší úsek, kdy se hodnota signálu pohybuje v rozmezí (0,49-0.51) maximální hodnoty daného časového úseku.
Nejdelší úsek, kdy se hodnota signálu pohybuje v rozmezí (0,49-0.51) maximální hodnoty daného časového úseku.
Nejdelší úsek, kdy se hodnota signálu pohybuje v rozmezí (0,495-0.505) maximální hodnoty daného časového úseku.
Poměrná doba, kdy se hodnota signálu pohybuje v rozmezí (0,495-0.505) maximální hodnoty daného časového úseku.
Počet úseků, kdy se hodnota signálu pohybuje v rozmezí (0,495-0.505) maximální hodnoty daného časového úseku.
Jedinečný identifikátor
Poznámka: jedinečný identifikátor pro každý vzorek, neboli řádek tabulky prediktivního modelování, se používá pro zpracování dat v procesu prediktivního modelování.
Nyní následuje vlastní prediktivní modelování. Dalším krokem je totiž selekce relevantních proměnných a tvorba prediktivních modelů na základě získaných dat.
Jako prediktivní modely se mohou použít například regresní algoritmy, rozhodovací stromy a neuronové sítě.
Principem fungování rozhodovacích stromů je postupné rozdělování vstupní množiny dat na podmnožiny, které se mezi sebou liší zastoupením unavených a čilých operátorů. Podrobnější informace o používaných algoritmech jsou publikovány např. v publikaci Breiman, L., et al., Classification and Regression Trees. 1984: Pacific Grove: Wadsworth.. Na obr. 10 zobrazen postup prediktivního modelování při detekci únavy z pohybu volantu.
Popis obr. 10 V databázové tabulce jsou proměnné v jednotlivých sloupcích. Každý řádek tabulky odpovídá časovému úseku jedné minuty jízdy. Data jsou rozdělena na trénovací, validační a testovací podmnožiny, v poměru 40-30-30%. Prvním modelem 38 • Φ • Μ · t Φ # Φ • · Φ Φ Φ Φ Φ Φ Φ Φ Φ je rozhodovací strom. Model provádí jednak selekci proměnných, a jednak rozdělení vzorků podle těchto proměnných, viz níže. Proměnné, které byly tímto modelem vybrány jsou použity jako vstupní proměnné pro další modely. Poznámka - použity jsou jen proměnné, nikoliv rozhodovací pravidla. Dalšími modely jsou neuronové sítě a to síť jednovrstvá s 19 neurony, dále síť s 5 a 3 neurony ve skryté vrstvě a síť se 7 a 5 neurony ve skryté vrstvě. Tyto modely jsou pojmenovány N19, N5_3 a N7_5. (Je výhodné každý z modelů nějak pojmenovat, abychom věděli o jakém modelu mluvíme.) Následně jsou jednotlivé modely porovnány. Pro praktickou implementaci je vybrán nejúspěšnější model, nebo kombinace modelů
Porovnání výkonnosti jednotlivých modelů:
Model Pravděpodobnost chybné klasifikace na trénovacích datech Pravděpodobnost chybné klasifikace na validačních datech N19 0,265129683 0,302936599 N5_3 0,2910662824 0,3069164265 N7_5 0,2939481269 0,3097982709 Strom 0,2968299712 0,3587896254 Z uvedené tabulky vyplývá, že použitý rozhodovací strom není nejlepším modelem Nicméně tímto modelem byly vybrány proměnné, které posloužily jako vstupní proměnné pro neuronové sítě. Seznam proměnných, které byly vybrány pro použité neuronové sítě je v následující tabulce.
Popis proměnné
Energie signálu rychlosti vozidla ve frekvenčním pásmu l-l,25Hz
Poměr doby kdy je signál výchylky volantu v rozmezí (0.45-0,55) maximální hodnoty ku délce časového úseku
Průměrná rychlost vozidla v daném časovém úseku
Nejdelší úsek, kdy je signál polohy volantu v rozmezí (0,475-0,525) maximální hodnoty v daném časovém úseku
Střední vzájemná informace 2. a 9. frekvenčního pásma
Energie signálu frekvenčního pásma lHz-l,25Hz vztažená k celkové energii signálu Medián výchylky volantu
Počet úseků, kdy je výchylka signálu polohy volantu v rozmezí 0,25-0,75 mezi minimální a maximální hodnotou - 39 - 39 Směrodatná odchylka výchylky volantu ···· ··· ··· ♦ · ♦ · · ··♦ · · · · • ♦·♦ t · · · · · ♦ · ««· • ······♦♦ ·#··«· ·· ·· ·· ·
Obr 11 ukazuje schematicky použité architektury neuronových sítí. Pro následnou implementaci je vybrán model s nelepšími generalizačními vlastnostmi a nej lepším odhadem únavy.
Atypické vzájemné propojení vrstev neuronové sítě dávalo na stávajících datech nej lepší výsledky.
Nastavení neuronových sítí je následující: 1) Vstupní proměnné, jsou po odečtení aritmetického průměru normovány směrodatnou odchylkou. Takto upravené proměnné tvoří vstupy neuronové sítě. 2) Jako přenosová funkce skryté vrstvy je použit hyperbolický tangens. Váhy a bias , neboli práh, jsou získány modifikací učícího algoritmu zpětného šíření. 3) Výstupní vrstva, označená na diagramu jako SPÁNEK, je tvořena lineární kombinací výstupu skryté vrstvy. Získaná hodnota je reálné číslo, které se v případě sítě s 19 neurony pohybuje v intervalu -13,01 až +5,73, přičemž hodnotám menší než 0 odpovídá predikce čilého řidiče a hodnotám větším než 0 odpovídá predikce unaveného řidiče. Vzdálenost od nuly je přibližnou mírou věrohodnosti namodelovaného stavu operátora.
Vytvořený model lze využít pro klíčovou komponentu zařízení detekujícího únavu libovolného řidiče motorového vozidla, uvedeného v části popisující podstatu vynálezu. Detekce, viz předchozí příklad, lze provádět v reálném čase tedy Online, přímo při řízení a bez jakéhokoliv zásahu do řidičových aktivit.
Schéma jedné z možných realizací celého zařízení je na obr. 12. Zařízení v této realizaci sestává z následujících částí.částí, Snímače signálů, kde je mimo jiné čidlo pro detekci natočení volantu, detekci rychlosti vozidla a akcelerometry pro měření podélného a příčného zrychlení. Signály jsou následně předzpracovány například DSP procesorem. Vlastní vyhodnocování únavy je realizovatelné například vhodným procesorem s dostatečnou výpočetní kapacitou, mikropočítačem nebo palmtopem nebo jinou programovatelnou jednotkou. Zde je prováděno ukládání signálů do krátkodobé paměťi, transformace signálů, generování proměnných a vyhodnocování podle rozhodovacích pravidel. Po - 40 - 40 ♦ · ♦ • ···< sumačním zpracování výsledku mýže být analogový nebo digitální výstup převeden na výstupní zařízení, kde je informován řidič o své únavě. Výše uvedený popis je pouze jednou z možných realizací implementace detekce únavy. Přednosti způsobu podle vynálezu a zejména zařízení podle vynálezu jsou zejména: - věrohodnost detekce v důsledku využití veškeré užitečné informace z více vstupů dané činnosti, kterými mohou být např. volant, rychlost a terén. - detekce a vyhodnocování v reálném čase přímo při řízení vozidla - věrohodnost detekce díky použití nástrojů dolování dat. - kontinuální spojité vyhodnocování aktivit řidiče při řízení, které prakticky nelze ošidit nebo obejít. - velice jednoduchá implementace, která nijak nezasahuje do aktivit řidiče nebo do designu vnitřního prostoru automobilu.
Zařízení pro vyhodnocení únavy může být programovatelná jednotka, ukrytá v případě zjišťování únavy řidiče např. pod palubní deskou, hodnotící únavu na základě signálu např. ze snímače polohy volantu, rychloměru, čidel indikujících příčné a podélné zrychlení, atd. Zjišťované signály ani způsob jejich zjišťování není předmětem vynálezu a nemá žádný vliv na jeho rozsah. Zařízení je podle výhodného provedení opatřeno úpravou pro zvýšení přesnosti odhadu únavy. To může být provedeno např. tím, že programovatelná jednotka je naprogramována rovněž pro kumulaci výsledků několika bezprostředně předcházejících výstupů z modelu,
Operátor může být seznamován s naměřenou mírou jeho únavy jakýmkoliv vhodným způsobem. Například, míra únavy může být zobrazena barvou signalizačního displeje, digitálními číslicemi, jejichž barva se změní na červenou při překročení kritické úrovni, akusticky a podobně. Způsoby signalizace únavy operátora také nejsou předmětem vynálezu a nemají žádný vliv na jeho rozsah. Zařízení může být rozšířeno o záznamník pro kontrolu operátora, případně 41
• «·· • · · • · · • · • · · • · · · • · • · · ····· • · · · vyhodnocování a klasifikace příčiny možné nehody nebo o další doplňková zařízení, jejichž přítomnost je vhodná z důvodu konkrétní prováděné činnosti operátora a důsledků jeho neschopnosti tuto činnost dále spolehlivě vykonávat. Příklady průmyslového využití
Vynález je využitelný všude tam, kde je zapotřebí zjistit nebo upozornit na nezpůsobilost operátora k provádění jím vykonávané činnosti v důsledku únavy. Únavou se zde rozumí jakýkoliv fyzický či psychický stav operátora, který způsobuje, že se operátor nevěnuje jím vykonávané činnosti tak, jak je zapotřebí a ohrožuje tím tuto činnost. Příklady činností, vykonávaných operátorem, zahrnují řidiče motorových vozidel, piloty, kormidelníky plavidel a různé další operátory například v továrnách, jaderných elektrárnách a podobně. Dále je možné zařadit provádění testu únavy např. před zahájením vlastní činnosti operátora, např. operátor v jaderné elektrárně, který v podstatě nevykonává žádnou svalovou činnost, může před zahájením své činnosti být nucen vykonat test na zařízení, využívající způsob podle vynálezu, a rovněž např. po určité době vykonávání své činnosti může být opět proveden takový test, čímž se zjistí jeho okamžitá schopnost vykonávat danou činnost.

Claims (11)

  1. ^Dlcos-• · · « ' · • · ♦ * · · · • · · · · · · • ····· · · Λ ^ · · · · · ~ *ÍZ - ···· ·· ·· * PATENTOVÉ NÁROKY 1. Způsob detekce únavy operátora z jeho svalové činnosti, vyznačující se t í m, že se snímá alespoň jeden parametr ovlivněný svalovou činností operátora, který se vyhodnocuje pravidly pro vyhodnocení únavy, získanými za použití metody dolování dat z odpovídajícího parametru alespoň jednoho operátora se známou úrovní únavy.
  2. 2. Způsob detekce podle nároku 1, vyznačující se tím, že se z parametru vygenerují proměnné postihující rozdíl chování mezi unaveným a bdělým operátorem, které se metodou dolování dat porovnávají.
  3. 3. Způsob detekce únavy podle nároku 2, vyznačující se tím, že z proměnných se metodou dolování dat vytvoří model detekce únavy, který zachycuje souvislost mezi charakteristikami vykazovanými operátorem během jeho činnosti a mírou jeho únavy.
  4. 4. Způsob detekce únavy podle nároku 3, vyznačující se tím, že model detekce únavy se vytvoří z proměnných více než 5 operátorů se známým stupněm únavy jako soubor rozhodovacích pravidel určených pro vyhodnocování únavy operátora a pro případné rozhodování, zda je operátor způsobilý provádět danou činnost či nikoliv
  5. 5. Způsob detekce únavy podle kteréhokoliv z nároků laž4, vyznačující se t í m, že proměnné se generují z pohybu volantu motorového vozidla.
  6. 6. Způsob detekce podle nároku 5, vyznačující se t í m, že se proměnné generují dále z alespoň jednoho z těchto parametrů: regulace rychlosti spojená s pohybem plynového pedálu, regulace rychlosti spojená s pohybem brzdového pedálu, příčné zrychlení vozidla, podélné zrychlení vozidla, sepnutí stěračů jako indikátor deště, zatížení vozidla, měřič venkovní teploty. 43 43 • · • · 1« ·· • · ·
    ·· ♦ · ·· « • « · • · ♦ ·
    • · < ♦ ···· ··
  7. 7. Způsob detekce podle kteréhokoliv z nároků 1 až 4, vyznačující se tím, že proměnné se generují z parametru podélného a/nebo příčného zrychlení vozidla.
  8. 8. Způsob detekce únavy operátora z jeho svalové Činnosti, vyznačující se t í m, že a) se snímá alespoň jeden tento parametr pro nejméně jednoho čilého operátora a nejméně jednoho unaveného operátora, b) alespoň vybrané naměřené hodnoty se transformují pro zvětšení rozdílů mezi hodnotami naměřenými pro čilého a pro unaveného operátora, c) transformací se získá množina dat, která se uloží ve vhodné formě, d) měří se alespoň jeden stejný parametr u konkrétního operátora, e) naměřené hodnoty se transformují, f) transformovaná data získaná měřením stejného parametru nebo parametrů pro konkrétního operátora se porovnávají s množinou uložených dat pro zjištění, zdaje konkrétní operátor čilý nebo unavený.
  9. 9. Způsob podle kteréhokoliv z nároků 1 až 8, vyznačující se t í m, že metodou dolování dat je některá z metod prediktivního modelování nebo matematického modelování.
  10. 10. Zařízení k provádění způsobu detekce únavy, vyznačující se tím, že obsahuje programovatelnou jednotku s naprogramovaným modelem detekce únavy, tedy s pravidly pro vyhodnocování únavy, získanými měřením signálu alespoň jednoho z parametrů, generovaných svalovou činností operátora, pro alespoň jednoho unaveného a jednoho čilého operátora, dále obsahuje čidlo nebo čidla pro měření signálu parametru nebo parametrů, používaných modelem, napojené na vstup programovatelné jednotky k vyhodnocení únavy operátora, zatímco výstup programovatelné jednotky je zapojen na zařízení pro signalizaci únavy.
  11. 11. Zařízení podle nároku 10, vyznačující programovatelné jednotky je napojen záznamník. s e tím, že na výstup
CZ20040770A 2004-06-29 2004-06-29 Zpusob detekce únavy operátora ze svalové cinnosti a zarízení k provádení tohoto zpusobu CZ2004770A3 (cs)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CZ20040770A CZ2004770A3 (cs) 2004-06-29 2004-06-29 Zpusob detekce únavy operátora ze svalové cinnosti a zarízení k provádení tohoto zpusobu
PCT/CZ2005/000051 WO2006000166A1 (en) 2004-06-29 2005-06-29 Method and device for detecting operator fatigue or quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CZ20040770A CZ2004770A3 (cs) 2004-06-29 2004-06-29 Zpusob detekce únavy operátora ze svalové cinnosti a zarízení k provádení tohoto zpusobu

Publications (1)

Publication Number Publication Date
CZ2004770A3 true CZ2004770A3 (cs) 2006-02-15

Family

ID=35058858

Family Applications (1)

Application Number Title Priority Date Filing Date
CZ20040770A CZ2004770A3 (cs) 2004-06-29 2004-06-29 Zpusob detekce únavy operátora ze svalové cinnosti a zarízení k provádení tohoto zpusobu

Country Status (2)

Country Link
CZ (1) CZ2004770A3 (cs)
WO (1) WO2006000166A1 (cs)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10370012B2 (en) 2017-03-09 2019-08-06 Ge Global Sourcing Llc Adaptive vehicle control system
GB0619753D0 (en) 2006-10-06 2006-11-15 Chroma Therapeutics Ltd Enzyme inhibitors
WO2009064473A1 (en) 2007-11-13 2009-05-22 Wavesynch Technologies, Inc. A method for monitoring attentiveness and productivity in a subject
AT506667B1 (de) * 2008-04-03 2013-06-15 Gesunde Arbeitsplatzsysteme Gmbh Verfahren zum prüfen des ermüdungsgrades einer ein gerät bedienenden person
WO2011000373A1 (en) * 2009-06-30 2011-01-06 Asp Technology Aps Pause adviser system and use thereof
US10154382B2 (en) 2013-03-12 2018-12-11 Zendrive, Inc. System and method for determining a driver in a telematic application
NZ630770A (en) 2013-10-09 2016-03-31 Resmed Sensor Technologies Ltd Fatigue monitoring and management system
US20150223743A1 (en) * 2014-02-12 2015-08-13 Wipro Limited Method for monitoring a health condition of a subject
US10504068B2 (en) * 2015-07-14 2019-12-10 Omnitracs, Llc Driver log analytics system
CN108139456B (zh) 2015-08-20 2022-03-04 泽安驾驶公司 加速度计辅助导航的方法
CN105261152B (zh) * 2015-09-30 2018-01-30 中国民用航空总局第二研究所 基于聚类分析的空中交通管制员疲劳检测方法、装置和系统
WO2018049416A1 (en) 2016-09-12 2018-03-15 Zendrive, Inc. Method for mobile device-based cooperative data capture
US10012993B1 (en) 2016-12-09 2018-07-03 Zendrive, Inc. Method and system for risk modeling in autonomous vehicles
JP2018102617A (ja) * 2016-12-27 2018-07-05 オムロン株式会社 感情推定装置、方法およびプログラム
US10328946B2 (en) 2017-01-03 2019-06-25 Ge Global Sourcing Llc Alerter augmentation system
US11065958B2 (en) 2017-01-03 2021-07-20 Transportation Ip Holdings, Llc Control system and method
JP2018142258A (ja) * 2017-02-28 2018-09-13 オムロン株式会社 生産管理装置、方法およびプログラム
JP2018142259A (ja) * 2017-02-28 2018-09-13 オムロン株式会社 作業管理装置、方法およびプログラム
WO2018158704A1 (en) * 2017-02-28 2018-09-07 Omron Corporation Work management apparatus, method, and program
WO2018158702A1 (en) * 2017-02-28 2018-09-07 Omron Corporation Production management apparatus, method, and program
US10304329B2 (en) * 2017-06-28 2019-05-28 Zendrive, Inc. Method and system for determining traffic-related characteristics
JP7070253B2 (ja) * 2018-08-31 2022-05-18 オムロン株式会社 パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム
CN110796207B (zh) * 2019-11-08 2023-05-30 中南大学 一种疲劳驾驶检测方法及系统
US11775010B2 (en) 2019-12-02 2023-10-03 Zendrive, Inc. System and method for assessing device usage
US11938947B2 (en) 2022-01-05 2024-03-26 Honeywell International S.R.O. Systems and methods for sensor-based operator fatigue management
CN117271271B (zh) * 2023-11-21 2024-03-22 深圳市利新联电子有限公司 基于鼠标使用监测的手部疲劳识别方法、系统及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2742706B1 (fr) * 1995-12-22 1998-02-13 Peugeot Procede de detection de l'evolution du comportement de conduite d'un conducteur de vehicule automobile et dispositif pour la mise en oeuvre d'un tel procede
US5798695A (en) * 1997-04-02 1998-08-25 Northrop Grumman Corporation Impaired operator detection and warning system employing analysis of operator control actions
GB2366062A (en) * 2000-02-18 2002-02-27 Philip John Pearce Detecting fatigue in machine operator or vehicle driver

Also Published As

Publication number Publication date
WO2006000166B1 (en) 2006-05-11
WO2006000166A1 (en) 2006-01-05

Similar Documents

Publication Publication Date Title
CZ2004770A3 (cs) Zpusob detekce únavy operátora ze svalové cinnosti a zarízení k provádení tohoto zpusobu
Yin et al. Automatic dangerous driving intensity analysis for advanced driver assistance systems from multimodal driving signals
Fan et al. EEG-based affect and workload recognition in a virtual driving environment for ASD intervention
CN109528219A (zh) 用于监测操作者的系统
Yang et al. Detection of driver fatigue caused by sleep deprivation
US6346887B1 (en) Eye activity monitor
Sandberg et al. Detecting driver sleepiness using optimized nonlinear combinations of sleepiness indicators
CN110422174A (zh) 生物特征传感器融合以对车辆乘客状态进行分类
Golz et al. Evaluation of fatigue monitoring technologies
Mackie Vigilance research—Are we ready for countermeasures?
Mizoguchi et al. Identifying driver’s cognitive load using inductive logic programming
Harrivel et al. Psychophysiological sensing and state classification for attention management in commercial aviation
He et al. Evaluation of driver fatigue with multi‐indicators based on artificial neural network
Damousis et al. Fuzzy fusion of eyelid activity indicators for hypovigilance-related accident prediction
Gonzalez et al. Detection of driver health condition by monitoring driving behavior through machine learning from observation
Yang et al. Multimodal sensing and computational intelligence for situation awareness classification in autonomous driving
Damousis et al. A fuzzy expert system for the early warning of accidents due to driver hypo-vigilance
KR102528032B1 (ko) 비행 전 조종사의 피로도 체크 방법 및 피로도 체크 시스템
Zhang et al. Assessment of pilots mental fatigue status with the eye movement features
Uvarov et al. Maintaining Vehicle Driver’s State Using Personalized Interventions
Alvarez et al. The SKYNIVI experience: evoking startle and frustration in dyads and single drivers
Marois et al. Psychophysiological models of hypovigilance detection: A scoping review
Saito et al. Bringing a vehicle to a controlled stop: Effectiveness of a dual-control scheme for identifying driver drowsiness and preventing lane departures under partial driving automation requiring hands-on-wheel
Kumar et al. A Comparative Study on Different Measures to Identify Driver States
Culp et al. Driver alertness monitoring techniques: a literature review