CN112784662A - 基于视频的跌倒风险评价系统 - Google Patents
基于视频的跌倒风险评价系统 Download PDFInfo
- Publication number
- CN112784662A CN112784662A CN202010384748.1A CN202010384748A CN112784662A CN 112784662 A CN112784662 A CN 112784662A CN 202010384748 A CN202010384748 A CN 202010384748A CN 112784662 A CN112784662 A CN 112784662A
- Authority
- CN
- China
- Prior art keywords
- behavior
- fall
- fall detection
- video
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title description 10
- 230000006399 behavior Effects 0.000 claims abstract description 294
- 238000012502 risk assessment Methods 0.000 claims abstract description 70
- 230000005021 gait Effects 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims description 123
- 230000015654 memory Effects 0.000 claims description 30
- 238000007619 statistical method Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 9
- 238000001514 detection method Methods 0.000 description 456
- 238000012360 testing method Methods 0.000 description 75
- 230000000007 visual effect Effects 0.000 description 69
- 230000008569 process Effects 0.000 description 68
- 239000013598 vector Substances 0.000 description 52
- 230000004438 eyesight Effects 0.000 description 44
- 230000000875 corresponding effect Effects 0.000 description 36
- 230000011218 segmentation Effects 0.000 description 31
- 238000012545 processing Methods 0.000 description 27
- 238000013527 convolutional neural network Methods 0.000 description 26
- 238000013528 artificial neural network Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 22
- 238000004458 analytical method Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 17
- 238000012544 monitoring process Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 210000002683 foot Anatomy 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 11
- 238000005192 partition Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 230000037230 mobility Effects 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 231100001261 hazardous Toxicity 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 210000003141 lower extremity Anatomy 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005452 bending Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 238000007667 floating Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 239000000376 reactant Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 235000004507 Abies alba Nutrition 0.000 description 1
- 244000101408 Abies amabilis Species 0.000 description 1
- 235000014081 Abies amabilis Nutrition 0.000 description 1
- 235000017894 Abies grandis Nutrition 0.000 description 1
- 101100206389 Caenorhabditis elegans tag-124 gene Proteins 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 241000510009 Varanus griseus Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000037147 athletic performance Effects 0.000 description 1
- 230000035582 behavioral recognition Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000013872 defecation Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001255 hallux Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000027939 micturition Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000004884 risky behavior Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
- G08B29/186—Fuzzy logic; neural networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
- G08B5/222—Personal calling arrangements or devices, i.e. paging systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/08—Elderly
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Emergency Management (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Dentistry (AREA)
- Computational Linguistics (AREA)
- Psychology (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Engineering & Computer Science (AREA)
Abstract
本申请公开了基于视频的跌倒风险评价系统的多个实施例。在运行过程中,该跌倒风险评价系统接收用于跌倒风险评价的一序列视频帧,该序列视频帧包括正在被监测的个人。接下来,该系统为该序列视频帧生成连续的行为标签;生成方式为,对于该序列视频帧内的每个视频帧:估计该视频帧内的个人的姿态;并将估计的姿态划分为一组预定义行为中的给定行为。接下来,该系统在该连续的行为标签内识别行为标签子集。该系统接下来提取该序列视频帧内对应于该行为标签子集的视频帧子集中的个人的一组步态特征。接下来,该系统分析该组已提取步态特征的视频帧子集以生成该个人的跌倒风险评价。在一些实施例中,在预定义时间阶段期间捕捉该序列视频帧,例如一个小时,一天或者一周。
Description
优先权要求及相关专利申请
本申请根据35U.S.C.119(e),要求美国临时专利申请62/786,541的优先权,标题为“隐私保护跌倒检测方法和系统”,发明人为吴谦伟、王星、郑健楠、区峻康、陈智琮、林冠寰、张栋、埃里克·汉斯、陈鈞杰、欧继雷、马凯伦、吴建兵和卢晔,申请日为2018年12月30日(代理档案号为AVS010.PRV01)。上述申请以其整体并入本文并作为本文的一部分。
本申请还涉及在审美国专利申请,该申请名称为“隐私保护跌倒检测方法和系统”,发明人为吴谦伟等人,专利申请号为16/672,432,申请日为2019年11月2日(代理档案号为AVS010.US01)。
技术领域
本申请一般涉及医疗和健康监测领域,具体地,涉及一种用于对人体进行高可靠性并且隐私保护的跌倒检测的系统、设备和技术。
背景技术
随着全球范围的寿命持续延长,快速老龄化已经成为很多国家面临的严重社会问题。老年人群一般由65岁以上的人群构成。随着老年群体数量的快速增长,对高质量的医疗护理服务的日益增长的需求为医疗护理供应者及社会带来了严峻的挑战。在众多与老年群体相关的医疗和健康问题当中,跌倒是老年人面临的最为常见,同时也极为严重的问题之一。老年人具有非常高的跌倒风险,并且随着年龄的增长,这种风险也随之提高;而且,跌倒通常会导致严重并且不可挽回的医疗后果。然而,跌倒一旦发生,能够在跌倒后的第一时间立即发出警戒/报警信号,从而可以立即提供医疗救助是极其重要的。如今,可以通过多种跌倒检测设备生成这种跌倒报警,这些跌倒报警可以监测和检测具有高跌倒风险的人群是否跌倒。
如今已经开发出多种类型的跌倒检测设备。例如,这些跌倒检测设备包括可穿戴跌倒检测设备,可穿戴跌倒检测设备通常依赖加速度传感器和陀螺仪进行跌倒检测。然而,可穿戴跌倒检测设备需要在大部分时间由被监测的人佩带,并且需要经常充电,使用繁琐不便。此外,很多人容易忘记佩带,甚至有一些人拒绝佩带。一些现有的可穿戴跌倒检测设备基于声音/震动传感器。然而,这些跌倒检测设备具有较低的精确度,并且通常只能用来检测重度撞击。
另一种类型的跌倒检测设备采用各种基于视觉的跌倒检测技术,例如基于高风险个人的视频。例如,一现有技术采用深度摄像头检测跌倒。然而,该深度摄像头的精确度通常不足以监测大面积区域。在另一现有技术中,该捕捉视频的视场被划分为上区域和下区域,并且基于运动的幅度和区域检测对应于人体下区域的运动事件。在又一现有技术中,通过捕捉视频中检测到的人的高度和纵横比进行跌倒检测。然而,在上述技术中,识别跌倒的决策规则较为简单,并且这些系统的性能表现无法满足理想的精度要求。
在另一基于视频的跌倒检测系统中,从视频图像中计算基于梯度的特征向量,并将该特征向量用于表征人体对象。这些特征向量之后被发送至一个简单的三层埃尔曼循环神经网络(RNN),用于跌倒检测。然而,这些简单的RNN架构的普遍低复杂度也限制了相关跌倒检测输出的性能。
最近,基于卷积神经网络(CNN)的技术已经应用到跌倒检测。这些基于CNN的技术通常更加精确并且比上述技术更具鲁棒性,该基于CNN的技术采用简单的规则或参数来作出跌倒预测。例如,其中一个技术采用基于CNN架构识别图像中捕捉到的人体活动。然而,现有的基于CNN的跌倒检测技术需要非常大量的计算资源,因而不能适用于嵌入式系统实现。
除了需要生成跌倒事件即时警报从而在跌倒的第一时间实现医疗协助,在作出跌倒预测之前,有效的跌倒风险评价可以防止潜在的跌倒事件发生。当前,在大多数医院和老年人护理机构采用调查问卷作为主要的跌倒风险评价工具。更具体地,为了评估被评估对象的潜在跌倒风险,由被评估对象或者其家庭成员,有时需要在医生的监护下完成调查问卷。在这些调查问卷中,会提出的问题包括被评估对象的年龄、性别、以往跌倒事件历史、排便以及排尿情况、当前用药及病史,病人护理装置(例如胸管等)、移动能力以及认知能力等。每个问题都具有一个或多个选项,并且每个选项都分配有一定的分数。在完成问卷调查后,将所有分数相加并作为该被评估对象的跌倒风险得分。基于该跌倒风险得分,将为该被评估对象指定对应的跌倒风险水平(例如高风险、中风险、低风险等),并且向该被评估对象提供对应的跌倒风险介入措施。虽然调查问卷提供了一种评价被评估对象跌倒风险的简单方法,但是相关结果通常不够精确,并且通常受限于被评估对象及基家庭成员的医疗知识。
近来,有多种在受控环境下的多种临床跌倒风险测试,从而提供一种更为精确和客观的跌倒风险评价。例如,采用30秒的坐下-站起测试以评估被评估对象的下肢力量及移动能力。通过该测试,可以根据该被评估对象成功完成的坐下-站起动作的次数确定该潜在的跌倒风险。一般来讲,坐下-站起动作的完成次数越多,则该被评估对象的跌倒风险就越低。此外,可以采用平衡性测试,用来测试被评估对象的平衡能力,这也可以作为跌倒风险的有效指标。在测试期间,要求被评估对象完成一系列的平衡动作,包括单腿站立。无法完成一个或多个动作则被视为具高跌倒风险。还可以采用“站起行走三米”测试用以测试被评估对象的移动能力。在测试开始时,被评估对象坐在椅子上。测试开始之后,被评估对象需要站起,向前行走三米,然后转身并坐回到椅子上。完成这一测试的时长可作为跌倒风险的指标,被评估对象完成这一测试耗时越长,则预测跌倒风险越高。虽然上述临床测试可以提供更加客观和可靠的跌倒风险评价,这些测试通常需要在受控的环境下实现,并且由医生或者经过训练的工作人员来评估。因此,这些测试执行起来较为困难,从而难以在日常情况下用于监测和评估被评估对象的跌倒风险。
最近,研究人员发现对于很多被评估对象而言,跌倒风险是一种渐变性的问题。因此,在日常生活环境下持续性地监测被评估对象的跌倒风险对于有效并准确评估跌倒风险以及提供后续的介入程序是非常关键的。不幸的是,现有的家用步态分析技术严重依赖可穿戴传感器,被评估对象需要大部分时间佩戴可穿戴传感器并且为该传感器频繁充电,繁琐并且不便使用。
发明内容
本申请公开了隐私保护嵌入式跌倒检测视觉系统(在本申请中也称之为“嵌入式跌倒检测系统”,或者简称为“嵌入式视觉系统”)的多个实施例,该系统包括用于实现各种基于视觉并且具有隐私保护的跌倒检测功能的多个软件和/或硬件模块。具体地,这些嵌入式跌倒检测系统为独立系统,该系统可以包括硬件模块和一个或多个处理器,该硬件模块例如为一个或多个用于捕捉一个或多个被监测的个人的视频图像,以服务于潜在的跌倒风险的摄像头;该处理器用于对捕捉到的视频图像进行处理。此外,该嵌入式跌倒检测系统可以包括多个用于处理该被捕捉到的视频图像,并在随后生成跌倒检测输出的软件模块,该跌倒检测输出包括基于捕捉到的视频图像的跌倒报警/通知。本申请公开的嵌入式跌倒检测系统可以作为单体嵌入式跌倒检测视觉传感器。该单体嵌入式跌倒检测视觉传感器在多个跌倒检测应用中可以安装在单个固定位置,用于监测具有高度跌倒风险的个人,例如老年人、残疾人或者具有某种疾病的人。
本申请还公开了分布式隐私保护跌倒检测系统的多个实施例,该系统包括:一个或多个基于本申请公开的嵌入式跌倒检测系统实现的独立嵌入式跌倒检测视觉传感器,服务器以及相关的移动应用程序(或者“移动APP”),所有这些通过网络结合在一起。在一些实施例中,该分布式跌倒检测系统可以作为多视觉传感器跌倒检测系统实现,该系统由多个独立嵌入式跌倒检测视觉传感器构成。该多个独立嵌入式跌倒检测视觉传感器可以安装在互不相同的多个固定位置,其中该多个嵌入式跌倒检测视觉传感器中的每一个可以包括至少一个用于捕捉视频图像的摄像头以及多个软件和硬件模块,该多个软件和硬件模块用于处理该被捕捉到的视频图像,并生成对应的跌倒检测输出,该跌倒检测输出包括基于捕捉到的视频图像的跌倒报警/通知。
在多个实施例中,本申请公开的跌倒检测系统中的服务器可用于收集并处理多个跌倒检测结果,从该多个跌倒检测结果中选择一个跌倒检测结果,然后将已选择的跌倒检测结果发送给安装在一个或多个移动设备上的相关跌倒检测移动APP,其中该跌倒检测结果由该多个独立嵌入式跌倒检测视觉传感器生成。在多个实施例中,该服务器可以是基于云计算的服务器或者本地服务器。在多个实施例中,该服务器和该移动APP还可用于添加或删除该多个独立嵌入式跌倒检测视觉传感器内的档案,其中该档案涉及将要被该分布式跌倒检测系统监测或者正在被该分布式跌倒检测系统监测的人。在该实施例中,该服务器可用于将信息分发至多个独立嵌入式跌倒检测视觉传感器中。在一些实施例中,本申请公开的分布式跌倒检测系统由单个嵌入式跌倒检测视觉传感器(而非多个嵌入式跌倒检测视觉传感器)、服务器和该移动APP构成。
在多个实施例中,为了保护被本申请公开的嵌入式跌倒检测系统或者本申请公开的分布式跌倒检测系统正在监测的个人的隐私或者捕捉到的个人的隐私,关于被捕捉到的视频图像中所有与跌倒检测相关的计算都是在嵌入式跌倒检测系统或者该分布式跌倒检测系统内的每个独立嵌入式跌倒检测视觉传感器内部执行。在一些实施例中,在处理完该被捕捉到的视频图像后,本申请公开的分布式跌倒检测系统的每个嵌入式跌倒检测视觉传感器仅将每个被检测到的个人的去隐私化的视频图像和/或视频剪辑(例如仅发送每个被检测到的人的关键点/骨骼/人物线条图,而非该被检测到的人的原始图像),连带跌倒报警/通知发送至该分布式跌倒检测系统的服务器。本申请公开的嵌入式跌倒检测系统的隐私保护功能可由最近开发的多种强大的人工智能(AI)集成电路(IC)芯片实现,该芯片可以容易地与本申请公开的嵌入式跌倒检测系统集成。
此外,本申请还公开了基于步态分析并用于临床和家用跌倒风险评价的基于视频的跌倒风险评价系统的多个实施例。公开的跌倒风险评价系统可以包括多个软件模块,用于处理由摄像头或其他形式的图像/视频传感器捕捉的一被评估对象的视频,随后生成跌倒风险评价结果,该评价结果包括基于该捕捉视频中的该被评估对象的跌倒风险警告/通知。本申请公开的跌倒风险评价系统还可以集成到本申请已公开的嵌入式跌倒检测系统中去,作为功能模块做出独立的跌倒风险评价,并协助本申请公开的嵌入式跌倒检测系统内的其他模块作出跌倒检测决策。本申请公开的跌倒风险评价系统也可以作为独立的跌倒风险评价系统,该系统包括一个或多个用于捕捉被监测个人的视频的摄像头,一个或多个用于处理该捕捉视频的处理器,以及一个或多个人机交互(或者“HCI”)设备。本申请公开的基于视频的跌倒风险评价系统可用于捕捉并分析给定被评估对象的居家日常步态活动,并且可以协助该被评估对象或者护理人员在受控环境下容易地实现跌倒风险测试。
另一方面,本申请公开了一种基于视频的跌倒风险评价系统。在运行过程中,该跌倒风险评价系统接收用于跌倒风险评价的一序列视频帧,该序列视频帧包括正在被监测的个人。接下来,该系统为该序列视频帧生成连续的行为标签;生成方式为,对于该序列视频帧内的每个视频帧:估计该视频帧内的个人的姿态;并将估计的姿态划分为一组预定义行为中的给定行为。接下来,该系统在该连续的行为标签内识别行为标签子集。该系统接下来提取该序列视频帧内对应于该行为标签子集的视频帧子集中的个人的一组步态特征。接下来,该系统分析该组已提取步态特征以生成该个人的跌倒风险评价。在一些实施例中,在预定义时间阶段期间捕捉该序列视频帧,例如一个小时,一天或者一周。
通过下文结合本发明思想的示例描述,可以非常明显地得出本发明思想的其他特征及优势。
附图说明
通过下文详细的说明及附图,可以理解本发明的结构和运作方式,其中相同的附图标记表示相同的部件,其中:
图1为根据文中描述的一些实施例的嵌入式跌倒检测系统的块状图;
图2为根据文中描述的一些实施例,包括一个或多个嵌入式跌倒检测视觉传感器的分布式跌倒检测系统的块状图,其中嵌入式跌倒检测视觉传感器基于图1所示的嵌入式跌倒检测系统;
图3显示了根据文中描述的一些实施例,通过采用直线将18个相邻的关键点连接起来获得的视频图像中被检测个人的示例性骨骼图;
图4显示了根据文中描述的一些实施例,基于被检测个人的截取图像用于划分行为的示例性两级行为识别模块的块状图;
图5显示了根据文中描述的一些实施例,基于被检测个人的一组连续行为标签的用于预测跌倒的状态机的跌倒检测状态切换图;
图6为根据文中描述的一些实施例,用于执行基于图像的跌倒检测的示例性过程的流程图;
图7为根据文中描述的一些实施例,添加新的个人档案到跌倒检测系统的示例性过程的流程图;
图8为根据文中描述的一些实施例,从该跌倒检测系统中移除已存储个人档案的示例性过程的流程图;
图9为根据文中描述的一些实施例,通过嵌入式跌倒检测系统识别被检测个人的示例性过程的流程图;
图10为根据文中描述的一些实施例,用于嵌入式跌倒检测系统的示例性硬件环境;
图11为根据文中描述的一些实施例,用于执行该嵌入式跌倒检测系统的多种跌倒检测功能的示例性任务调度器;
图12为根据文中描述的一些实施例,基于串联连接的任务调试机的包括双任务调度器节点的示例性处理工作流;以及
图13为根据文中描述的一些实施例,跌倒风险评价系统的块状图;以及
图14为根据文中描述的一些实施例,用于执行基于视频的跌倒风险评价的示例性过程的流程图。
具体实施方式
如下描述可使本领域任一技术人员实现并使用这些实施例,并且在具体应用环境及其要求中提供有该描述。本领域技术人员可以非常容易地对这些实施例作出多种修改,并且在不脱离本申请的原则和范围的前提下,可以将文中定义的普遍原则应用到其他实施例和应用中。因此,本发明不限于文中所示的实施例,而是应该以文中公开的原则和特征的最宽解释范围为准。
术语
本申请全文中,术语“嵌入式跌倒检测视觉系统”、“嵌入式跌倒检测系统”以及“嵌入式视觉系统”可互换使用,均表示结合图1描述的嵌入式跌倒检测系统100。术语“嵌入式跌倒检测视觉传感器”以及“嵌入式视觉传感器”可以互换使用,均表示独立跌倒检测设备/单元,该独立跌倒检测设备/单元在硬件环境下与嵌入式跌倒检测系统100集成。此外,术语“分布式跌倒检测系统”表示结合图2描述的整体跌倒检测系统,其包括一个或多个基于该“嵌入式跌倒检测系统”实现的“嵌入式跌倒检测视觉传感器”、服务器以及移动应用程序。
本申请提出的跌倒检测系统概况
老龄化是很多国家面临的问题。老年人具有更高的跌倒风险,并且跌倒通常会导致严重的医疗后果。因此,需要提供一种用于监测和检测具有高跌倒风险的人群的跌倒检测系统和技术。此外,还需要保护正在被监测人的隐私。
在本申请中,公开了嵌入式隐私保护的跌倒检测视觉系统的多个实施例,该视觉系统包括多个用于执行多种基于图像的隐私保护的跌倒检测功能的软件和/或硬件模块。在下面的讨论中,该嵌入式跌倒检测视觉系统也可以被称为“嵌入式跌倒检测系统”或者“嵌入式视觉系统”。需要注意的是,该嵌入式跌倒检测系统可以作为独立的跌倒检测系统用于监测和检测跌倒。具体地,该嵌入式跌倒检测系统可以包括硬件模块,例如一个或多个用于捕捉一个或多个正在被监测潜在跌倒的人的视频图像的传感器,以及一个或多个用于处理该被捕捉到的视频图像的处理器。此外,该嵌入式跌倒检测系统可以包括多个软件模块,用于处理该被捕捉到的视频图像,并随后生成跌倒检测输出,该跌倒检测输出包括基于该被捕捉到的视频图像的跌倒报警/通知。本申请公开的嵌入式跌倒检测系统可以作为单体式嵌入式跌倒检测视觉传感器。在多种跌倒检测应用环境中,该单体式嵌入式跌倒检测传感器可以安装在单个固定位置,用于监测具有高度跌倒风险的个人,例如老年人、残疾人或者具有某种疾病的人。此外,在下面在讨论中,引入的术语“跌倒检测引擎”表示该嵌入式跌倒检测系统仅包括用于执行一个或多个本申请公开的跌倒检测技术中的多个计算机软件模块的部分,而不包括任何硬件模块,如处理器或摄像头。
此外,本申请公开的多个实施例中,分布式隐私保护跌倒检测系统包括:一个或多个基于本申请公开的嵌入式跌倒检测系统实现的独立嵌入式跌倒检测视觉传感器,服务器以及相关的移动应用程序(或者“移动APP”),所有这些通过网络结合在一起。在一些实施例中,该分布式跌倒检测系统可以作为多视觉传感器跌倒检测系统实现,该系统由多个独立嵌入式跌倒检测视觉传感器构成。该多个独立嵌入式跌倒检测视觉传感器可以安装在互不相同的多个固定位置,其中该多个嵌入式跌倒检测视觉传感器中的每一个可以包括至少一个用于捕捉视频图像的摄像头以及多个软件和硬件模块,该多个软件和硬件模块用于处理该被捕捉到的视频图像,并生成对应的跌倒检测输出,该跌倒检测输出包括基于捕捉到的视频图像的跌倒报警/通知。
在多个实施例中,本申请公开的跌倒检测系统中的服务器可用于收集并处理多个跌倒检测结果,从该多个跌倒检测结果中选择一个跌倒检测结果,然后将已选择的跌倒检测结果发送给安装在一个或多个移动设备上的相关跌倒检测移动APP,其中该跌倒检测结果由该多个独立嵌入式跌倒检测视觉传感器生成。在多个实施例中,该服务器可以是基于云计算的服务器或者本地服务器。在多个实施例中,该服务器和该移动APP还可用于添加或删除该多个独立嵌入式跌倒检测视觉传感器内的档案,其中该档案涉及将要被该分布式跌倒检测系统监测或者正在被该分布式跌倒检测系统监测的人。在该实施例中,该服务器可用于将信息分发至多个独立嵌入式跌倒检测视觉传感器中。在一些实施例中,本申请公开的分布式跌倒检测系统由单个嵌入式跌倒检测视觉传感器(而非多个嵌入式跌倒检测视觉传感器)、服务器和该移动APP构成。
在多个实施例中,为了保护被本申请公开的嵌入式跌倒检测系统或者本申请公开的分布式跌倒检测系统正在监测的个人或者捕捉到的个人的隐私,关于被捕捉到的视频图像中所有与跌倒检测相关的计算都是在该嵌入式跌倒检测系统或者该分布式跌倒检测系统内的每个独立嵌入式跌倒检测视觉传感器内部执行。在一些实施例中,在处理完该被捕捉到的视频图像后,本申请公开的分布式跌倒检测系统的每个嵌入式跌倒检测视觉传感器仅将每个被检测到的个人的去隐私化的视频图像和/或视频剪辑(例如仅发送每个被检测到的人的关键点/骨骼/人物线条图,而非该被检测到的人的真实图像),连带跌倒报警/通知发送至该分布式跌倒检测系统的服务器。本申请公开的嵌入式跌倒检测系统的隐私保护特征可由最近开发的多种强大的人工智能(AI)集成电路(IC)芯片实现,该芯片可以容易地与本申请公开的嵌入式跌倒检测系统集成。这种AI芯片在其中一个实例中可以是海思半导体Hi3599A片上系统(SoC),该片上系统包括2个ARM Cortex A73的CPU、3个ARM Cortex A53的CPU、1个双核ARM Mali G71的GPU、1个双核神经网络推理加速引擎(NNIE)和1个四核DSP模块。需要说明的是,这一特定SoC还包括内置的安全性、签名验证和防篡改功能。
需要说明的是,本申请公开的嵌入式跌倒检测系统是建立在实现多种基于深度学习的快速神经网络并同时结合多种优化技术的基础上的,例如网络剪枝,量化和深度可分离卷积。因此,本申请公开的嵌入式跌倒检测系统可以执行众多基于深度学习的功能,如基于实时深度学习的姿态估计、行为识别、跌倒检测、人脸检测和人脸识别。图1为根据文中一些实施例的嵌入式跌倒检测系统100的块状图。
从图1中可以看出,该嵌入式跌倒检测系统100包括跌倒检测引擎101和摄像头102。该跌倒检测引擎101还包括多种跌倒监测和跌倒检测功能模块,这其中包括姿态估计模块106、行为识别模块108、跌倒检测模块110、场景分割模块112、人脸检测模块116以及人脸识别模块118。然而,本申请公开的嵌入式跌倒检测系统在其他实施例中可以在不背离本申请的保护范围的前提下,包括其他的功能模块,或者省略掉图中所示的嵌入式跌倒检测系统100中的一个或多个功能模块。下面将对嵌入式跌倒检测系统100的多种功能模块的示例性实施例作进一步描述。
该嵌入式跌倒检测系统100可采用摄像头102监测给定空间内的人体活动,其中该给定空间例如为房间、房子、大厅、走廊;并捕捉视频图像和/或静止的图像,用于跌倒分析和预测。在一些实施例中,当该嵌入式跌倒检测系统100启动时,该摄像头102生成并输出视频图像104,该视频图像104包括位于该被监测空间的一个或多个人的视频图像。跌倒检测引擎101接收到该视频图像104并将该视频图像104作为输入,随后对输入的视频图像104进行处理,并基于该处理后的视频图像104进行跌倒/未跌倒预测/决策。该嵌入式跌倒检测系统100可以生成跌倒检测输出140,当检测到人跌倒时,该跌倒检测输出140包括跌倒报警/通知140-1以及去隐私化视频剪辑104-2。然而,即使未检测到跌倒,该嵌入式跌倒检测系统100依然可以输出被监测个人的日常生活活动(ADLs)统计。需要说明的是,摄像头102不一定要成为该嵌入式跌倒检测系统100的一部分,也可以作为该整个嵌入式跌倒检测系统的一部分,该整个嵌入式跌倒检测系统在下文被称为“嵌入式跌倒检测视觉传感器”。当该嵌入式跌倒检测系统100仅包括跌倒检测引擎101,而不包括任何其他硬件部件时,该嵌入式跌倒检测系统100可以完全由计算机软件实现。
在一些实施例,图1所示的嵌入式跌倒检测系统100可以作为嵌入式跌倒检测视觉传感器(下文也称之为“嵌入式视觉传感器”)。在这些实施例中,该跌倒检测引擎101的多个功能模块(即,姿态估计模块106、行为识别模块108、跌倒检测模块110、场景分割模块112、人脸检测模块116以及人脸识别模块118)可以集成到该嵌入式跌倒检测视觉传感器中。该嵌入式跌倒检测系统100可以采用一个或多个摄像头,例如用于监测如房间、房子、大厅、走廊等空间从而检测跌倒的摄像头102,并采用跌倒检测引擎101处理被捕捉到的视频图像,并生成跌倒检测输出140,跌倒检测输出140包括跌倒报警/通知140-1以及去隐私化视频剪辑104-2。更具体地,该嵌入式跌倒检测视觉传感器可以包括一个或多个用于存储指令的存储器,其中该指令用于实现该跌倒检测引擎101,还包括一个或多个处理器,其中该处理器包括多个CPU以及/或者多个神经处理单元(NPU),用于执行该一个或多个存储器内的指令,从而实现该跌倒检测引擎101的多个功能模块。此外,该嵌入式跌倒检测视觉传感器还可以包括一个或多个摄像头、一个或多个传感器以及网络接口等。当作为单体式跌倒检测和监测设备时,该嵌入式跌倒检测视觉传感器还可以包括壳体/外壳,一个或多个附属机构,并且可能包括支架/基座。下面结合图10对该嵌入式跌倒检测视觉传感器的更细节的实施方式进行描述。
图2为根据文中描述的一些实施例,包括一个或多个嵌入式跌倒检测视觉传感器的分布式跌倒检测系统200的块状图,其中嵌入式跌倒检测视觉传感器基于图1所示的嵌入式跌倒检测系统100。更具体地,该一个或多个嵌入式跌倒检测视觉传感器202-1、202-2……和202-N中的每一个传感器都是基于上文图1描述的嵌入式跌倒检测系统100实现的独立跌倒检测单元。换言之,该分布式跌倒检测系统200内的每个嵌入式跌倒检测视觉传感器202包括嵌入式跌倒检测系统100或者以其整体通过其他方式与该嵌入式跌倒检测系统100集成。需要说明的是,每个嵌入式跌倒检测视觉传感器202可用于执行独立的跌倒监测和跌倒检测功能。在一些实施例中,该分布式跌倒检测系统200可以仅包括一个嵌入式跌倒检测视觉传感器202-1(即N=1)。在这些实施例中,该分布式跌倒检测系统200可以仅包括一个用于捕捉具有一个或多个正在被监测的人的视频图像的摄像头,并且仅包括一个用于处理该被捕捉到的视频图像以检测一个或多个人的跌倒的跌倒检测引擎101。
在一些实施例中,该分布式跌倒检测系统200包括不止一个嵌入式跌倒检测视觉传感器(即N>1)。需要说明的是,由于单个摄像头具有相关盲区,因此非常难以利用单摄像头嵌入式跌倒检测系统监测较大区域。因此,对于大区域的跌倒监测和跌倒检测,在该区域内的多个位置处安装包括多个嵌入式跌倒检测视觉传感器202的分布式跌倒检测系统200可以消除这种盲区,从而提高整体跌倒检测性能的鲁棒性。如上文描述的,该多个嵌入式跌倒检测视觉传感器202-1、202-2……和202-N(N>1)中的每一个传感器都是基于上文图1描述的嵌入式跌倒检测系统100实现的独立跌倒检测单元。
需要说明的是,该多个嵌入式视觉传感器202中的每一个传感器均通过网络220连接到服务器204。在多个实施例中,该服务器204可以是基于云计算的服务器或者本地服务器。服务器204自身进一步连接到多个移动设备206、208和210,其中该移动设备206、208和210由看护者和/或医疗人员通过网络220监测。该服务器204可通信连接至客户端应用程序,例如安装在每个移动设备206、208和210上的跌倒检测移动APP 212(或者简称为“移动APP 212”)。在一些实施例中,某一移动设备上的移动APP 212用于从服务器204处接收跌倒报警/通知以及去隐私化的视频剪辑,其中该跌倒报警/通知以及去隐私化的视频剪辑由该多个嵌入式视觉传感器202-1、202-2……和202-N通过网络220输出。在一些实施例中,该服务器204还可以托管多摄像头管理应用程序,该应用程序用于将每个被监测区域划分为一组分区,并且分配该一个或多个嵌入式视觉传感器202-1、202-2……和202-N来监测该组分区中的每个分区。
如上文提到的,服务器204可用于将较大的被监测区域划分为一组分区,其中该组分区中的每个分区可以由两个或多个嵌入式视觉传感器202-1、202-2……和202-N(N>1)覆盖。此外,对于该组分区中的每个分区,该服务器204可用于“融合”或者以其他方式结合覆盖给定分区的两个或多个嵌入式视觉传感器202的所有输出结果。例如,如果无法基于一个位于较差角度的嵌入式视觉传感器的跌倒检测输出识别或确定被监测人的身份,则可以通过另一个位于较好角度的嵌入式视觉传感器的跌倒检测输出识别或确定该被监测人的身份。一般而言,服务器204可以将来自该两个或多个嵌入式视觉传感器202-1、202-2……和202-N的两个或多个跌倒检测结果结合起来,并基于该两个或多个跌倒检测结果生成关于给定个人的总的跌倒检测决策。
更具体地,如果该两个或多个嵌入式视觉传感器202检测出被监测区域内的给定个人跌倒了,则该两个或多个嵌入式视觉传感器中的每个传感器可发送各自的跌倒报警/通知140-1和去隐私化视频剪辑140-2(例如采用被检测个人的骨骼图/线条图表示,而非该被检测个人的实际图像),以向该服务器204描述该跌倒过程。在一些实施例中,该去隐私化视频剪辑包括紧接该跌倒被检测到之前的预定义时长缓冲(例如10-15秒)的视频图像。因此,该视频剪辑可以包括用于描述整个跌倒过程的视频图像序列。
需要说明的是,当该服务器204接收到来自该两个或多个嵌入式视觉传感器202的多个跌倒检测结果时,该服务器204用于确定该多个跌倒检测结果是否来自同一个人。如果来自同一个人,则该服务器204在该多个跌倒检测结果中选择具有最高置信度/分数的一个跌倒检测结果。在一些实施例中,该置信分数可以嵌入到每个跌倒检测结果中。下文会进一步描述,该嵌入式跌倒检测系统100的姿态估计模块106和行为识别模块108均会产生每个被检测个人的估计姿态和划分行为的概率。因此,可以基于这些概率值确定生成跌倒报警的置信分数。因此,服务器可以在该多个源中选择与最高置信分数关联的数据源,随后将该被选择的跌倒检测结果发送至安装在移动设备206-210上的跌倒检测移动APP 212,其中该跌倒检测结果包括相关的跌倒报警/通知以及相关的去隐私化视频剪辑。然而,当该服务器204从该两个或多个嵌入式视觉传感器202中仅接收来自单个视觉传感器的一个跌倒检测结果时,该服务器204可以将该接收到的单个跌倒检测结果直接发送至安装在移动设备206-210上的跌倒检测移动APP 212。
在一些实施例中,在接收到来自该服务器204的跌倒检测输出之后,该移动APP212可以在一个或多个看护者的一个或多个移动设备206-210上播放该去隐私化的视频剪辑。本申请公开的移动APP 212还可用于添加或删除由该分布式跌倒检测系统200跟踪的个人的档案。在一些实施例中,个人档案可以包括个人身份,如个人姓名,以及个人档案照片。在一些实施例中,在执行个人跌倒检测之前,可以在服务器204以及每个嵌入式跌倒检测视觉传感器202上创建并存储个人档案。例如,移动APP 212可用于将该个人的身份与该个人的一张或多张档案照片结合起来,从而新建该个人的档案。在一些实施例中,该移动APP212可用于拍摄该个人的一张或多张档案照片。该移动APP 212然后将包括该一张或多张档案照片以及个人身份的个人档案发送至该服务器204,其中该个人身份例如为该个人的姓名。
接下来,在该服务器204处,可采用文件管理程序生成并分配该个人的唯一身份ID(例如基于该个人的唯一身份)并将该身份ID与一个或多个档案照片进行关联。在一些实施例中,该服务器204生成的该个人的身份ID可以是唯一的数值(例如整数),并不包括该个人的任何身份信息。因此,本申请公开的身份ID可以保护该个人的隐私。服务器204随后将新生成的该个人的身份ID以及该个人的档案照片发送至嵌入式跌倒检测系统100,该嵌入式跌倒检测系统100维护有身份ID词典。接下来,该嵌入式跌倒检测系统100可以基于接收到的身份ID以及该档案照片生成新的个人条目,并将该新的条目添加到该身份ID词典内。
在一些实施例中,该服务器204可以是单个计算设备,例如计算机服务器。在其他实施例中,该服务器204可以表示不止一个共同工作的计算设备,以执行服务器计算机的工作,例如云服务器。服务器204可以包括一个或多个处理器和数据存储设备。这些一个或多个处理器可以执行存储在数据存储设备内的计算机程序,从而执行该服务器204的多种功能。网络220例如可以包括如下一种或多种:个人区域网(PAN)、局域网(LAN)、园区网(CAN)、城域网(MAN)、广域网(WAN)、宽带网(BBN)、互联网等。此外,该网络220可以包括但不限于以下网络拓扑中的任何一个或多个:总线网络、星形网络、环形网络、网状网络、星形总线网络、树形或分级网络等。
回到图1并结合图2,需要说明,当该嵌入式跌倒检测系统100检测到有人跌倒时,该嵌入式跌倒检测系统可发送跌倒报警/通知140-1以及用于描述跌倒行为的去隐私化视频图像140-2至该服务器,如图2所示的服务器204。具体地,该去隐私化的视频剪辑可以采用用于表征该被检测个人的关键点图/线条图,用于替代每个视频图像中该被检测个人的实际图像。在一些实施例中,该去隐私化视频剪辑140-2可以包括检测到该跌倒前的预定义时长缓冲(例如10-15秒)的视频图像。因此,该去隐私化图像片段140-2可以包括整个跌倒过程的视频图像序列。
在一些实施例中,该嵌入式跌倒检测系统100可以利用人脸检测模块116和人脸识别模块118,通过该视频图像序列跟踪该被检测个人。为了通过视频帧序列跟踪每个个人,该嵌入式跌倒检测系统100可以识别每个被检测个人,并在随后将该被检测个人与上述身份ID词典存储的对应身份ID进行关联(下文将更加详细地描述)。然后,该嵌入式跌倒检测系统100可以将该已识别身份ID连同其他与该被检测个人相关的跌倒检测数据发送至该服务器。在接收到包括该跌倒报警/通知140-1,相关去隐私化视频剪辑140-2以及该相关身份ID 136的该被检测个人的跌倒检测输出之后,该服务器(如服务器204)可以将上述跌倒检测数据发送至安装在一个或多个移动设备(例如移动设备206-210)的相关跌倒检测移动APP(例如移动APP 212)。
需要说明的是,无论是否具有相关的身份ID,该嵌入式跌倒检测系统100均可执行个人跌倒检测。换言之,一旦在该输入视频图像104检测出个人,则该嵌入式跌倒检测系统100就可以对该被检测个人执行跌倒检测,并在必要时生成跌倒检测/通知,即使该被检测个人不具有已建立的身份ID,或者该系统未能识别该被检测个人。如上文提到的,并且下文会更详细地提到,该嵌入式跌倒检测系统100包括身份ID词典,该词典可以存储可由该嵌入式跌倒检测系统100跟踪的一组人的一组已建立的身份ID。例如,该身份ID词典(即身份ID词典150)可以与人脸识别模块118集成。
在一些实施例中,如果该被检测个人与该身份ID词典150内存储的任何一个存储的身份ID均不匹配,则该嵌入式跌倒检测系统100可以生成并输出该跌倒报警/通知140-1以及一“未知个人”标签。然而,如果该嵌入式跌倒检测系统100可以成功地将该被检测个人与该身份ID词典150内建立的某一身份ID匹配,则该嵌入式跌倒检测系统100可以生成该跌倒报警/通知140-1以及被检测个人的已识别身份ID 136,并将该跌倒报警/通知140-1以及被检测个人的已识别身份ID 136发送至服务器,如服务器204。在接收到跌倒报警/通知140-1以及相关身份ID后,该服务器204可将该身份ID转化为该被检测个人的真实身份,例如该个人的姓名,并将该跌倒报警/通知与该被检测个人的真实身份关联。该服务器204然后将选择的跌倒报警/通知以及该被选择个人的身份发送至移动APP 212。
现在将更加详细地描述本申请公开的嵌入式跌倒检测系统100内的跌倒检测引擎101的每个功能模块。
姿态估计模块
在一些实施例中,该嵌入式跌倒检测系统100采用图1所示的姿态估计模块106,首先通过估计给定视频图像/帧中捕捉到的每个人的姿态,监测人体活动或行为,并预测跌倒。从图1中可以看出,该姿态估计模块106可以先于该行为识别模块108和该跌倒检测模块110接受到并处理该输入视频图像/帧104。该姿态估计模块106接下来识别该视频图像104中捕捉到的人。对于每个被检测个人,该姿态估计模块106随后确定该被检测个人的姿态。在一些实施例中,该姿态估计模块106可以首先识别该输入视频图像104内的该被检测个人的一组人体关键点122(或者简称为“人体关键点122”或者“关键点122”),然后采用该组关键点的布局和/或位置表示该被检测个人的姿态,其中该组关键点122可以包括但不限于:该个人的眼睛、鼻子、耳朵、脖子、肩膀、手肘、手腕、膝盖、髋关节以及踝关节。在一些实施例中,不需要采用一整组关键点,而只需要包括一组简化的关键点122,该组简化的关键点122可以只包括该被检测个人的头部、肩膀、手臂以及腿。本领域普通技术人员可以容易地理解,可以采用该组关键点122的不同几何构型表示该被检测个人的不同姿态。
为了实现图1中该姿态估计模块106的上述功能,可以采用多种基于CNN的技术来执行人体姿态估计。在一些实施例中,可以采用基于“自底向上”的姿态估计技术,例如“OpenPose”(正如由曹等人在CVPR 2017发表的“Realtime Multi-Person 2D PoseEstimation Using Part Affinity Fields”中所描述的)。这些姿态估计技术首先采用基于CNN的强特征提取器,用于从输出图像中提取视觉特征,然后采用两路多级CNN以检测该输出图像中的多个人体关键点。接下来,该姿态估计技术执行一组二分匹配操作,以将该被检测关键点“组合”或者连接成该图像中检测到的一些或所有人的全身姿态。这种类型的自底向上的姿态估计技术可兼具高性能和低复杂度并且可以估计每个被检测关键点的概率。这里,该被检测关键点的概率表示该姿态估计模块分配给该被检测关键点的置信分数。通常,在例如弱光、具混淆性背景或者被检测个人面前有障碍物等较为困难的检测环境下,每个被检测关键点的置信分数或者概率会相对较低。例如,如果该一个人穿着与背景颜色非常接近的衣服(例如白墙前穿着白色的衬杉),则姿态检测算法将难以识别正确的关键点及其相关位置。在这种场景下,该姿态检测算法将为该不确定关键点检测生成较低的概率值。
在一些实施例中,可以用直线连接用来表示一被检测个人的相邻的关键点,从而获得该输入视频图像104中该被检测个人的骨骼图。图3显示了根据文中描述的一些实施例,用直线连接18个关键点获得的视频图像中一被检测个人的示例性骨骼图300。从图3中可以看出,该骨骼图300包括18个关键点,该18个关键点对应于该被检测个人的两只眼睛302和304、两只耳朵306和308、鼻子310、脖子312、两个肩膀314和316、两个肘部318和320、两个腕部322和324、两个臀部326和328、两个膝盖330和332以及两个踝关节334和336,而最终得到的骨骼图300包括连接这些关键点的17条线段。
在一些实施例中,为了使该自底向上的姿态估计模块在嵌入式系统/设备,如嵌入式跌倒检测系统100上实时运行并具有最优性能,本申请提出的姿态估计模块106通过对现有框架进行多处改进以实现自底向上的姿态估计框架。这些修改/改进中的其中一些包括:
■采用更快的VGG16×4网络(如何等人在ICCV 2017中的“Channel Pruning forAccelerating Very Deep Neural Networks”中所描述的,以及何等人在ECCV2018中的“AMC:AutoML for Model Compression and Acceleration on Mobile Devices”所描述的)替换常用的复杂VGG16网络(如,西蒙尼扬(Simonyan)等人在arXiv:1409.1556中的“Very Deep Convolutional Networks for Large-Scale Image Recognition”所描述的)作为特征提取器,该VGG16×4网络的推理速度比VGG16网络快4倍。注意,术语“特征提取器”在本文中是指神经网络,该神经网络接收输入图像并提取图像特征,用于随后的深度学习任务,例如分类、回归和分割。这种提速很大程度上是由于执行了通道剪枝,即减小了特征图谱的宽度,从而将网络收窄;
■减少该两路多级CNN的级的数量;
■将多级中每个卷积层滤波器的尺寸降至3×3。即使现有网络和该被修改网络具有基本相同的感受野尺寸,该被修改网络可以更有效率地被执行;
■量化该网络参数,并且不采用典型的32位浮点精度,而是采用8位整数精度运行该网络。该修改不仅降低了对存储器的使用以及存储器访问频率,还显著提高了算术运算的速度,这对于资源有限的嵌入式系统应用是非常有益并且必要的;以及
■在网络训练过程中,采用数据增强以提高不同图像捕捉角度的姿态估计性能。需要说明的是,个人身体的位置可由连接该个人的头部和躯干的线表示,当一个人跌倒在地板上时,在捕捉到该个人身体的视频帧内该个人身体的位置可以是0到360度之间的任意角度。在一些实施例中,为了训练该姿态估计模块106,从而使该受训姿态估计模块106可以识别与被视频帧捕捉到的个人的不同可能角度相对应的个人跌倒的不同场景/姿态,可以准备训练图像集,该训练图像集包括模拟0到360度之间的多个捕捉角度的跌倒图像。然后可以将该训练图像集用于训练该姿态估计模块106,用于提高不同图像捕捉角度的姿态估计性能。
在对现有的自底向上姿态估计技术作出上述修改/改进,并且在姿态估计模块106内实现该修改后的网络后,可以看到在执行尺寸为656×368像素的输入图像时,在基于Hi3559A的嵌入式平台上执行本申请提出的姿态估计技术的推理时间从550ms降至86ms。
在一些实施例中,在定位到输入视频图像104内被检测个人的人体关键点122之后,可以通过在该被检测个人的一组关键点122周围的边界框以及相关的骨骼表示将该被检测个人的全身图像从输入视频图像104中截取出来。
对于本领域普通技术人员而言,可以理解对于姿态估计模块106接收的捕捉视频的一序列视频帧,该姿态估计模块106用于提取并且随后输出一被检测个人的对应序列估计姿态(假设该被检测个人存在于该捕捉视频的整个序列视频帧中),其中,可以用对应的一组姿态关键点122表示对应于该序列视频帧中的给定视频帧的该序列估计姿态中的每个估计姿态。需要说明,对于采用姿态估计模块106的多个应用,包括跌倒检测应用和下文将要描述的跌倒风险评价应用,通常需要保持一个捕捉视频的连续视频帧之间的姿态估计一致性。然而,当被检测个人在该序列视频帧中移动(例如行走),则人的移动会导致以及/或移动期间会发生视角改变、光照情况的变化以及阻挡,这会导致姿态估计错误,以及连续视频帧之间的不一致,并会进一步导致连续视频帧的不稳定姿态,并在视觉上发生震动。
在一些实施例中,从大量视频帧中提取姿态之后,为了更好地捕捉人体移动效果并且最小化姿态估计的错误和噪声,可以对两个或多个连续的视频帧的已提取姿态采用其他的“滤波”。在一些实施例中,可以采用卡尔曼滤波技术(如卡尔曼在“A New Approach toLinear Filtering and Prediction Problems”所描述的,基础工程杂志,vol 82,no 1,pp.35-45,doi:10.1115/1.366 2552)。一般而言,为了应用卡尔曼滤波技术,需要建立系统模型。对于上述关键点技术,可以假定该组关键点122在一序列视频帧中相互依赖。接下来,对于该组关键点122中的每一个关键点,可以基于牛顿运动定律为该关键点建立系统模型。接下来,对于给定的视频帧,每个关键点的系统模型可以通过观察先前视频帧得到的一系列的位置以及速度测量值做出该关键点的当前位置的预测。该关键点的预测位置可用于调整由基于CNN技术生成的当前估计位置,并且输出过滤和更新后的关键点位置。通过这种方式,可以生成给定视频帧的该被检测个人的“过滤后姿态”,并作为该组关键点122的该组过滤关键点位置的集合。需要说明的是,过滤后的姿态通常更加稳定,并且静态上更加准确,可以提高后续数据处理的准确度和可靠度。需要说明,上文描述的姿态过滤技术可以在姿态估计模块106中实现,并集成到该姿态估计模块106中。如上文提到的,对于一序列视频帧/视频片断中的每个被检测个人,姿态估计模块106可以生成一序列估计姿态,其中该序列估计姿态中的每个估计姿态都可以表示该被检测个人在对应视频帧中的位置。
行为识别模块
回到图1,需要说明该姿态估计模块106与行为识别模块108连接,该行为识别模块108用于接收来自该姿态估计模块的输出。在一些实施例中,来自这些姿态估计模块106的输出可以包括被检测人体关键点122、相关的骨骼图(通篇也称之为“线条图”),以及基于该被检测关键点122从原始视频图像104中截取的该被检测个人的二维(2D)图像132(也被称为该被检测个人的“截取图像132”)。行为识别模块108还用于基于该姿态估计模块106的输出预测与该被检测个人关联的行为或活动类型。例如,该行为识别模块108包括行为分类器128,该行为分类器128用于将每个被检测个人划分为一组预定义行为中的一个行为,并将该行为定义为该被检测个人的行为标签/类别124。在一些实施例中,该行为分类器128仅用于采用该被检测个人的截取图像132对该被检测个人的行为进行划分。在一些其他实施例中,该行为分类器128可仅用于采用该被检测个人的人体关键点122对该被检测个人的行为进行划分。需要说明的是,采用截取图像132来划分被检测个人的行为与仅采用人体关键点122划分被检测个人行为相比,可以获得更精确的结果。在又一实施例中,该行为分类器128利用该被检测个人的截取图像132和人体关键点122的结合数据划分该被检测个人的行为。
更具体地,可将该被检测个人的截取图像132以及/或者该被检测个人的人体关键点122提供给行为分类器128,该行为分类器128用于预测该被检测个人处于与该个人日常生活状态相关的一组预定义行为中每一种行为的概率;并基于对应于该组预定义行为的该组概率,将该被检测个人划分为该组预定义行为中的一个行为。例如,对于跌倒监测和跌倒检测应用,一组示例性的预定义相关行为可以包括如下五种行为:(1)站立、(2)坐下、(3)弯腰、(4)挣扎和(5)躺下。在一些实施例中,可以采用基于CNN的架构创建该分类器。需要说明的是,在这五种预定义行为中,前三种行为一般被认定为正常行为,而后两种行为一般被认定为用于指示跌倒的危险行为。在一些实施例中,为了在行为识别模块108中执行行为分类,可以基于上文描述的5种行为收集5类数据,该数据然后可用于训练神经系统识别这5种行为。
在一些实施例中,为了提高预测准确度,行为分类器128可以基于采用基于CNN的构架实现两级行为识别技术。图4显示了根据文中描述的一些实施例,基于被检测个人的截取图像用于划分行为的两级行为识别模块的块状图。然而,如上文所述,在本申请公开的行为识别模块的其他实施例中,也可以采用人体关键点122,或者该截取图像132和该人体关键点122的组合作为该行为分类器的输入,而非截取图像132。
从图4中可以看出,在第一级行为识别中,CNN模块404接收截取图像132,并采用二元分类器(图中未示出)生成输入图像132内的该被检测个人的“跌倒”预测406和“正常”(即未跌倒)预测408。需要说明的是,每一个跌倒预测406和正常预测408均与不同行为的分类相关联。接下来,在行为识别模块400的第二级,应用到另外两个CNN 410和412,用于进一步将每个二元预测406和408特征化为与该行为类别相关的更加具体的行为。
更具体地,CNN410可进一步将跌倒预测406划分为与跌倒相关的一组行为。在图4所示的实施例中,这些跌倒行为包括“躺卧”行为414和“挣扎”行为416。然而,在该行为识别模块400的其他实施例中,还可以包括其他行为,或者与该CNN 410的可能输出具有不同的一组跌倒行为。与之独立的,CNN 412可进一步将正常预测408划分为与未跌倒情况相关的一组行为。在图4所示的实施例中,这些正常行为可以包括“站立”行为418、“坐在椅子上”行为420、“坐在地板上”行为422、“弯腰”行为424以及“下蹲”行为426。然而,在该行为识别模块400的其他实施例中还包括其他行为或者具有与该CNN 412的可能输出不同的一组未跌倒行为。
需要说明的是,在图4所示的本申请公开的单级行为识别技术或者本申请公开的双级行为识别技术中,可以采用多种快速CNN架构对由该嵌入式视觉系统检测到的个人的行为进行划分。在一实施例中,可以采用SqueezeNet(如兰朵拉(Iandola)在arXiv:1602.07360,2016中的“SqueezeNet:AlexNet-level accuracy with 50x fewerparameters and<0.5MB model size”所描述的)。在一些实施例中,为了在本申请公开的行为识别模块108中实现该SqueezeNet架构,可以基于待检测预定义行为/活动地的数量,修改现有CNN网络的输出类的数量,同时再训练该神经网络的参数。
例如,在上述包括五个行为类别的单级行为识别技术中,该SqueezeNet的输出类的数量可以降到5个,并且再次训练相同的神经网络参数。然而,为了利用本申请公开的行为识别技术实现更多数量或更少数量的相关行为,可以通过设定更多或更少的输出类修改该SqueezeNet网络。
需要说明的是,本申请公开的在行为识别模块108中实现的行为识别技术通常应用于单个视频帧,从而针对每个被处理视频帧中的每一个被检测个人生成行为分类。同时,本申请公开的行为识别技术可以连续地逐帧应用于一序列视频帧,并且可以基于最新的帧针对每一个被检测个人继续生成更新的行为分类。因此,在一些实施例中,本申请公开的行为识别技术也被称为帧级行为识别技术;而行为识别模块108也可被称为帧级行为识别模块108。
场景分割模块
在一些实施例中,为了稳健并可靠地检测跌倒行为,尤其是从床上或沙发上跌倒的行为,本申请公开的嵌入式跌倒检测系统100用于区分一被检测个人的不同类型的躺卧和挣扎行为。例如,躺卧在床上或沙发上通常被划分为正常行为(即非跌倒行为),而在地板上躺卧或者挣扎则被划分为危险行为(即跌倒行为)。在一些实施例中,能够区分一被检测个人的不同类型的躺卧和挣扎行为可通过场景分割模块112实现,该场景分割模块112用于处理输入视频图像104并提取空间布局信息126。
更具体地,空间布局信息126可以包括危险区域/物体的位置,例如地板和地毯。在一些实施例中,如果确定该被检测个人的已识别躺卧行为位于该已识别危险区域内,例如地板区域,则有理由将该已识别躺卧行为划分为危险行为(例如躺卧在地板上)。此外,如果已识别躺卧行为之前被行为识别模块108划分为危险行为,这种划分可进一步由该空间布局信息126确认,例如通过增加该划分的概率/置信分数。空间布局信息126还包括正常区域/对象的位置,例如床和沙发。在一些实施例中,如果确定该被检测个人的已识别躺卧行为位于该已识别正常区域内,例如床,则有理由将该已识别躺卧行为划分为正常行为(例如在床上睡觉)。此外,如果已识别躺卧行为之前被划分为危险行为,则基于空间布局信息126需要将该划分重新划分为正常行为。需要说明的是,由于空间布局信息126相对静止,场景分割模块112不需要从每个输入视频帧104中提取该空间布局信息126。在一些实施例中,该场景分割模块112仅周期性地提取空间布局信息126,例如每N个输入视频帧104提取一次(其中N基于预定义时长确定)。在一些实施例中,还可以在分布式跌倒检测系统200的设置/安装/初始化期间提取该空间布局信息126,或者当该分布式跌倒检测系统200的使用者通过移动设备上的移动APP 212内的按钮发出请求时提取该空间布局信息126。
在一些实施例中,可以由多个基于CNN的快速图像分割模块实现该场景分割模块112。在一实施例中,可以基于DeepLabV3+模型(在陈等人在2018年8月在arXiv:1802.02611发表的“Encoder-Decoder with Atrous Separable Convolution for Semantic ImageSegmentation)实现该场景分割模块112,该DeepLabV3+模型通过结合空间金字塔池化技术和编码-解码器结构的优势,可以获得良好的场景分割性能。在一些实施例中,可以基于该DeepLabV3+模型,并对原始DeepLabV3+模型做出如下修改/改进中的一些或全部,以实现该场景分割模块112。
·修改该原始DeepLabV3+网络输出,以将该室内场景分割为三个区域/类别:(1)包括地板和地毯的危险区域;(2)包括人们可以躺下的安全区域,例如床或沙发;以及(3)除床和沙发之外的背景区域,例如家具;
·修改该原始DeepLabV3+模型,通过采用MobileNetV2网络(如桑德勒(Sandler)在arXiv:1801.04381的“MobileNetV2:Inverted Residuals and Linear Bottlenecks”中所描述的)作为构架/特征提取器;该修改后的DeepLabV3+模型对原始的DeepLabV3+模型进行了提速和简化。需要说明的是,该MobileNetV2网络是基于深度可分离卷积的,其中高维张量是由低维张量的乘积近似得到的。然而,可以采用类似于MobileNetV2网络的其他网络来代替该MobileNetV2网络作为上文对原始DeepLabV3+网络的修改中的架构;
■量化该网络参数,并且不采用典型的32位浮点精度,而是采用8位整型精度运行该网络推理,从而降低了对存储器的使用以及访问频率,还提高了算术运算的速度,从而对于资源有限的嵌入式系统应用是非常有益的;以及
■去除嵌入到原始DeepLabV3+模型中的一些预处理功能,并在CPU中实现这些功能。
上述网络修改/改进可以显著提高执行本申请公开的场景分割模型的速度。例如,当实现上述修改时,本申请公开的场景分割模块在Hi3559A CPU上的运行时间可以从43秒降低到2秒。在一些实施例中,仅在该嵌入式跌倒检测系统100启动阶段时,或者该分布时跌倒检测系统200校正时,或者当该输入视频图像104一段时间以内没有活动时才执行本申请公开的场景分割模块112。因此,本申请公开的场景分割模块112的执行速度足够快,从而在生成输入图像的行为标签124之前,允许生成该输入图像的空间布局信息126。
跌倒检测模块
回到图1,需要说明该行为识别模块108之后为跌倒检测模块110,该跌倒检测模块110接收来自姿态估计模块106的输出(即人体关键点122)和行为识别模块108(即行为标签/类别124)的输出。如上文所述,该嵌入式跌倒检测系统100采用姿态估计模块106识别每个被检测个人的一组人体关键点122,估计对应视频帧104中该人体关键点122的位置,并基于该人体关键点122输出每个被检测个人的截取图像132。然后,该行为识别模块108可利用被检测个人的截取图像132和/或关键点122生成每个人的逐帧行为标签/类别124。随后,跌倒检测模块110可以采用来自该行为识别模块110的至少该行为标签/类别124,用于区分危险行为和正常行为,随后生成跌倒检测输出140,如果该被检测个人被证实跌倒,则该跌倒检测输出140包括跌倒报警140-1,以及对应的去隐私化视频剪辑140-2。
然而,为了生成更加可靠的跌倒检测输出140,需要考虑一序列视频帧中的空间布局和时间信息。如上文所述,场景分割模块112用于提供与该跌倒检测相关的空间布局信息126。如图1所示,场景分割模块112可以接收原始视频图像104并处理该视频图像104,与场景分割模块112并行地,姿态估计模块106和行为识别模块108也处理该视频图像104。因此,场景分割模块112可以识别来自每个视频图像104的空间布局信息,这包括但不限于该输入视频帧中的地板、床和沙发。需要说明的是,该跌倒检测模块110可以接受来自该场景分割模块112的空间布局信息126,并且当作出跌倒检测决策时,将该信息与来自姿态估计模块106接收到的人体关键点122和来自行为识别模块108的行为标签124相结合。
从图1中可以看出,该跌倒检测模块110还可以包括状态机120和无效姿态过滤器138。通过将来自于场景分割模块112的空间布局信息126与下文将描述的状态机120和无效姿态过滤器138的功能相结合,该跌倒检测模块110可以生成高度可靠的跌倒检测输出140。现在讨论的是场景分割模块112,下文将更加详细地描述状态机120和无效姿态过滤器138。
跌倒检测状态机
需要说明的是,如果跌倒检测模块110基于由该行为识别模块108生成的逐帧行为标签/类别124直接生成跌倒报警/通知140-1,则该跌倒报警/通知140-1会包括误报警,这是因为这种跌倒决策通常没有考虑连续视频帧之间的关联性以及给定人体行为的连续性。在一些实施例中,为了减少由于简单的逐帧行为标签/类别124导致的误报警,可以开发一种状态机120,该状态机将连续视频帧的时间信息并入到该跌倒检测模块110的跌倒检测决策中来。图5所示为状态机的示例性实现方式。通过来自行为识别模块108的输出与采用本申请公开的状态机120生成的连续视频帧之间的时间关联的结合,该跌倒检测模块110生成的跌倒/未跌倒检测会更具鲁棒性并且更加可靠,而且该跌倒检测模块110生成的跌倒报警包括的误报警会显著减少。
图5显示了根据文中描述的一些实施例,基于被检测个人的一组连续行为标签的用于预测跌倒的状态机120的跌倒检测状态切换图500。从图5中可以看出,本申请公开的状态切换图500包括用于表示不同跌倒可能性级别的四个状态,分别为:“绿色”状态502、“黄色”状态504、“橙色”状态506以及“红色”状态508。更具体地,绿色状态502表示该被检测个人处于与正常行为/活动相关的正常状态;黄色和橙色状态504-506表示该被检测个人处于与潜在风险行为/活动相关的警告状态;红色状态508表示该被检测个人处于与危险行为/活动相关的指示跌倒的报警状态。
在一些实施例中,状态切换图500中的每个状态502-508均与状态分数,以及与该状态分数相关的预定义上限和预定义下限相关联。因此,每当该状态机的当前状态的状态分数更新时,可将该更新的状态分数与预指定的上限/下限相比较。如果该更新的状态分数高于/低于该当前状态的预指定上限/下限,则将该状态切换图500的状态切换至该组状态502-508中更为危险/安全的状态,如图中所示状态切换图500中各状态之间的箭头指向。此外,当到达报警状态(即红色状态508)时,可以生成跌倒报警510(并且生成图1所示的跌倒报警140-1),用于指示已经发生跌倒。
在一些实施例中,该状态切换图500的每个状态的最大状态分数为100(即上限),最小状态分数为0(即下限)。该行为识别模块108识别到的危险行为(例如在地板上挣扎和躺卧)可用于增加当前状态的状态分数,而检测到的正常状态(例如站起、坐下、弯腰和下蹲)可用以降低当前状态的状态分数。因此,对于描述被检测个人的连续人体行为的一序列视频帧,该当前状态的状态分数可以连续的增加或降低。需要说明的是,只要当前状态分数被限制在相关上限和下限之间,该跌倒检测状态切换图500中的当前状态不会切换到另一状态。
然而,当当前状态分数超出了相关上限,则当前状态会切换到该状态切换图500中更加危险的状态,例如从橙色状态506到红色状态508,从而触发跌倒报警510。另一方面,当当前状态分数低于相关下限,则当前状态会切换到更加安全的状态,例如从黄色状态504到绿色状态502。需要说明的是,虽然该状态切换图500中不同的颜色编码状态表示被检测人在跌倒风险上的当前状态的严重程度,然而这些状态一般并不能对应于该个人的具体行为,例如站起、坐下、弯腰或者躺卧。需要说明,虽然在本实施例中状态切换图500包括4个状态,然而在其他实施例中,该状态机可以包括更多或更少数量的状态。例如,在一实施例中,该状态机120仅包括三个状态,这其中只有一个警告状态,而非图5所示的两个警告状态。
现在描述一下决定该状态切换图500的状态分数的示例性技术。回顾上文,姿态估计模块106生成的人体关键点122为该跌倒检测模块110的输入的一部分。如上文描述的,当生成被检测个人的人体关键点122时,姿态估计模块106还可生成每个关键点122的概率。因此,对于该被检测个人,首先通过该人的该组被检测关键点122,计算该人的两种类型的权重分数wfall和wnormal,其中该人的wfall被计算为跌倒行为,而wnormal被计算为正常行为。例如,该权重分数wfall和wnormal定义如下:
wnormal=-Wk·Pk, (2)
在如上等式(1)中,表示两个向量的矩阵元素相乘,而“·”表示两个向量的点积。假定该被检测个人在危险区域(即地板区域),则wfall具有正值,而wnormal具有负值。例如,如果该被检测个人躺在被认为是危险区域的地板上,则Wfloor和wfall均为正值,这会使下文描述的等式(3)的状态值增加。然而,当该被检测个人处于正常/安全区域时,则由于Wfloor中的元素均为设为负值,因此wfall具有负值,而wnormal同样具有负值。例如,如果被检测个人躺在被认为是安全区域的床上,则wfall和Wfloor均为负值,这会使下文描述的等式(3)的状态值减少。需要说明的是,不管被检测个人是否位于危险区域或者正常区域,由于wnormal始终与正常行为相关联,因此wnormal保持为负值。
对于图3所示的被检测个人的示例性骨骼图/表示,Pk可以是该估计姿态的18个关键点的概率形成的18×1关键点概率向量;而Wk是与该估计姿态的18个关键点相关的权重值形成的18×1关键点权重向量。在一些实施例中,为了实现跌倒检测,Wk中的较大的权重值可分配至下肢关键点,而Wk中较小的权重值分配至上体关键点。此外,由于跌倒行为与该被检测个人是否位于危险区域(例如地板区域)高度相关,因此可以通过向量Wfloor将从空间布局信息126中提取的地板信息整合到第一种权重分数wfall。例如,对于图3所示的相同的18个关键点示例,Wfloor可以配置为18×1的掩码向量。在一些实施例中,当被检测个人的关键点被确定为危险区域(例如在地板或地毯上或旁边)时,则Wfloor中对应的权重因素可设定为1,从而该关键点对该跌倒检测具有正面贡献,并对下文将要描述的状态分数同样具有正面贡献。否则(即,当该关键点并非位于危险区域),则Wfloor中对应的权重因素可设定为-1,从而该关键点对该跌倒检测具有负面贡献,并对下文将要描述的状态分数同样具有负面贡献。一般来讲,wnormal分配给与地板信息基本无关或者完全无关的负值。因此,当检测到正常行为时,相应的wnormal可基于等式(2)计算得出,而该wnormal对下文将要描述的状态分数具有负面贡献。
如上所述,该状态切换图500中的每个状态可维持一状态分数。在一些实施例中,该状态切换图500中的当前状态的状态分数可基于如下等式更新:
其中,s和s'分别为当前视频帧和先前视频帧的状态分数,并且ws=[wfall,wnormal]T为该当前视频帧中的上述权重分数和该被检测个人的向量形式。此外,Pa为2×1向量,包括来自该行为识别模块108的一级输出的“跌倒行为”和“正常行为”相关的两个概率;Wa是2×1正权重向量,包括分别与两类别行为(即跌倒行为和正常行为)相关的两个权重值,而是该两个向量的点积。假设该被检测个人为危险区域(即地板区域),则wfall具有正值,而wnormal具有负值。随后,该被检测个人的每个已识别的危险行为均会导致当前的状态分数s向当前状态的上限增加;而该被检测个人的每个已识别的正常行为均会导致当前的状态分数s向当前状态的下限减少。例如,与可能跌倒行为相关的Pa的典型例子可以是:Pa=[0.9,0.1]T,在这种情况下,基于等式(1)-(3),一个负值会加至s',这会导致当前状态分数降低。
一般而言,通过调整Wa中两个元素的值,可以修改本申请公开的状态机的灵敏度和鲁棒性。更具体地,Wa的两个元素分别对应于跌倒和正常行为,其中Wa的该两个元素中的其中一个元素(例如第一元素)可用于控制跌倒行为需要多长时间触发报警;Wa的另一个元素(例如第二元素)可用于控制正常行为需要多久从该跌倒报警恢复到绿色状态502。因此,通过合适地设定Wa中与跌倒行为相关的元素的值,可以将本申请公开的状态机调整为对跌倒行为更为灵敏或者较不灵敏。示例说明,为了避免跌倒检测中的一些误报警,可以设定Wa=[10,30]T,从而由第二元素控制的正常行为可以对状态分数有更强的影响。采用这种设置,如果该预定义时间内的50%输入视频帧被划分为与跌倒行为相关,则跌倒报警不会被触发。相反地,可能需要该预定时间内的约75%的输入视频帧被划分为跌倒行为,触发跌倒报警。基于该设置,嵌入式跌倒检测系统100在跌倒检测输出140中的置信度会提高。通过这种方式,本申请公开的Wa可以通过调节跌倒行为的灵敏度控制该跌倒检测的置信度。
在一些实施例中,当嵌入式跌倒检测系统100在输入视频图像104中首先识别到一人,则可将初始状态分数S0分配给这个人。在一些实施例中,可以认定该被检测个人初始为完全正常的情况,从而该个人的初始状态可以设定为该状态切换图中的完全正常状态,该正常状态在该示例性状态切换图500中为绿色状态502,并且该初始状态分数S0可以设置为该正常状态的下限。然而,在其他实施例中,该初始状态分数S0可以设置为该正常状态的上限和下限之间的中间值。
无效姿态过滤器
需要说明,当一个人站在离该嵌入式跌倒检测系统100的摄像头102太近的位置,该个人的下肢将不会出现在该摄像头的视野中,则行为识别模块108可能会将该站立行为误划分为挣扎或躺卧行为。在一些实施例中,为了过滤掉这些误报警,该跌倒检测模块110还包括一无效姿态过滤器138,该无效姿态过滤器138可用于检查无效姿态位置以及相关的关键点和骨骼部分。更具体地,可以定义对应于一组无效姿态的一组二元信号。例如,该组二元信号可以包括三个标示fc、fl j(j=1 to 17),定义如下:
■无效姿态标示:如果输入视频图像中被检测姿态的中心坐标低于某一阈值(例如该视频图像中该姿态中心太低),则fc设定为1。否则fc设定为0。
■无效骨骼部分标示:如果输入视频图像中的第j个骨骼部分的长度超出预定义阈值,,则fl j设定为1。否则fl j设定为0。例如,当一个人站立位置离摄像头102太近,则一些骨骼部分的长度,例如眼-耳部分、眼-鼻部分以及/或者鼻-胸部分可明显大于正常值,并且还可能超出对应阈值。
下面将上文定义的标识整合/结合为权重无效姿态分数:
其中,wc,wpt和wl为分别分配至姿态中心、关键点和骨骼部分的权重。在一些实施例中,如果计算得出的无效分数sinv大于预定义阈值,则该行为识别模块108检测的姿态可以标记为无效并且被该嵌入式跌倒检测系统100忽略。作为使用该滤波器的具体示例,可以为wl分配一个较高的值,从而更有效地过滤掉由于个人的站立骨骼表示离摄像头过近而导致的误报警。
需要说明的是,当本申请公开的嵌入式跌倒检测视觉传感器安装在走廊,该摄像头通常安装在高于房间的位置,从而覆盖较大的区域。对于这些走廊应用环境,可以在屏幕/视野的下方设置一个矩形无效区域,从而过滤掉在该矩形无效区域,即在屏幕的底部检测到的个人的骨骼表示。在一些实施例中,可设置多个嵌入式跌倒检测传感器202-1、202-2……和202-N,从而每个独立嵌入式视觉传感器202-i(i=1 to N)的每个无效区域都可以被一个或多个附近的嵌入式视觉传感器202覆盖。在一些实施例中,安装的嵌入式视觉传感器202-i的无效区域的大小基于该嵌入式视觉传感器202-i距离地板的高度而定。
图6为根据文中描述的一些实施例,用于执行基于图像的跌倒检测的示例性过程的流程图600。在一个或多个实施例中,图6所示的一个或多个步骤可以省略、重复以及/或者以不同的顺序执行。因此,图6所示的具体步骤安排不应该作为对技术范围的限制。
过程600开始接收一序列视频图像,该序列视频图像捕捉到正在被监测的具有潜在跌倒风险的一个或多个人(步骤602)。例如,可由安装在辅助生活设施或疗养院上的跌倒检测摄像头捕捉该视频图像;并且该一个或多个被监测的人可以是住在该辅助生活设施或疗养院的老年人。在该被捕捉图像中,该一个或多个人可以执行任何日常生活活动(ADL),例如睡觉、坐下、走路或者其他类型的ADL。接下来,对于该序列视频图像中的给定视频图像,该处理器600检测该视频图像中的每一个人,并随后估计每一个被检测个人的姿态,并生成该被检测个人的截取图像(步骤604)。例如,处理器600首先识别每个被检测个人的一组人体关键点,然后用直线将相邻的关键点连接起来,以生成该被检测个人的骨骼图/线条图。在多个实施例中,可由嵌入式跌倒检测系统100中的姿态估计模块106执行步骤604。
接下来,对于每一个被检测个人,步骤600将该被检测个人的截取图像划分为一组预定义行为中的一具体行为,例如(1)站立、(2)坐下、(3)弯腰、(4)挣扎和(5)躺下(步骤606)。在一些实施例中,过程600可以采用上文结合图4描述的两级行为识别技术,以划分该截取图像中的行为:(1)将该行为划分为一般的“跌倒”行为或者一般的“非跌倒”行为;并且(2)进一步将已划分的一般行为进一步划分为与该已划分一般行为相关的具体行为。在一些实施例中,步骤606可以由嵌入式跌倒检测系统100的行为识别模块108实现。
接下来,对于每一个被检测个人,过程600组合多个行为标签/类别以生成跌倒/非跌倒决策(步骤608),其中该多个行为标签/类别通过该序列视频图像中的多个连续视频图像生成。如上文所描述的,通过组合因该多个连续视频图像而生成的行为类别,过程600将连续视频图像之间的包括时间关联在内的关联性考虑了进去,并在随后通过减少或者消除通常与基于逐帧跌倒检测相关的误报警,做出更可靠的跌倒/非跌倒决策。在一些实施例中,可由嵌入式跌倒检测系统100内的跌倒检测模块110的状态机120执行该步骤608。需要说明,为了进一步增加跌倒/未跌倒决策的可靠性,可以从该多个连续的视频图像中提取出如地板、床和沙发位置等的空间布局信息,并将该空间布局信息并入到该跌倒检测模块110的行为分类器,从而进一步区分每个被检测个人的不同类型的躺下和挣扎行为。在多个实施例中,可由嵌入式跌倒检测系统100的场景分割模块112生成该空间布局信息。
过程600接下来确定是否可以基于该跌倒/未跌倒决策检测出跌倒(步骤610)。例如,采用状态切换图500,步骤610在处理完该多个连续视频图像之后确定该系统的当前状态是否为该状态切换图500中的红色状态508。如果是红色状态508,则过程600生成跌倒报警/通知(步骤612)。否则,过程600可返回到步骤608,从而利用最近的行为标签/类别对该跌倒/未跌倒决策进行更新,并继续该跌倒监测/检测过程。
基于红外图像的床上跌落检测
在一些实施例中,该嵌入式跌倒检测系统100还可以用于检测从床上跌落事件/行为,例如当躺在床上的被监测个人正在经历严重的医疗状况,并且可能会导致从床上跌落到地板上。特别地,为了检测黑暗环境中的跌倒,例如晚上,则可以采用视觉传感器,例如具有夜视模式/功能的摄像头。具体地,当该监测区域内的光照情况比较差,例如当照明水平确定低于一检测阈值,则该嵌入式跌倒检测系统100可以自动打开红外(IR)灯/光源,并且如果必要,还会关闭红外滤波器以捕捉红外视频/图像。该被捕捉红外图像然后可以转化为灰度图像,该灰度图像可作为该姿态估计模块106、行为识别模块108、跌倒检测模块110和场景分割模块112的输入,用于跌倒检测。
在一些实施例中,该嵌入式跌倒检测系统100可用于处理日间RGB输入图像以及夜视红外输入图像。此外,该嵌入式跌倒检测系统100还可用于处理从床上跌落检测的特殊要求。例如,即使当被监测个人被毛毯或被子覆盖,姿态估计模块106依然可以检测到该个人依然一般可见的头部和肩膀关键点,并且随后估计该个人的上体和肢体关键点的位置。行为识别模块108随后可用于基于该个人的截取图像以及/或者该个人的骨骼表达生成该被检测个人的合适的行为标签,随后触发该跌倒检测模块110内的跌倒检测状态机120相应地切换状态。
日常生活活动统计(ADL)
在一些实施例中,该嵌入式跌倒检测系统100也可以用来识别并生成个人日常生活活动的统计数据,例如睡眠、坐下和移动的时间。更具体地,基于分析连续视频帧,将场景分割模块112的输出和行为识别模块108的输出结合起来,从而识别出各种日常生活活动(ADL),例如睡觉和行走。基于ADL信息,可以生成被监测个人的有用统计数据,例如该人在睡眠、坐下、行走和其他类型的ADL分别用了多少时间。在一些实施例中,嵌入式跌倒检测系统100可以周期性地输出被监测个人的已生成的ADL统计数据,例如作为跌倒检测输出140的一部分。通过将安装在护理设施或房屋里的多个嵌入式跌倒检测视觉传感器的ADL统计数据合并起来,该跌倒检测系统200可以获得每个被检测个人的ADL总结,并且该总结可以供看护者使用,用于分析该个人身体状况。在一些实施例中,嵌入式跌倒检测系统100可以包括用于计算上述ADL统计数据的专用ADL统计模块(图中未示出)。
人脸检测模块和人脸识别模块
回到图1,需要说明嵌入式跌倒检测系统100也包括人脸检测模块116,用于执行人脸检测功能。具体地,人脸检测模块116可直接接收原始视频图像104并处理该视频图像104;姿态估计模块106、行为识别模块108和场景分割模块112亦同步处理该视频图像104。人脸检测模块116随后输出该视频图像104内的被检测人脸130。
多种快速人脸检测模块可用于实现嵌入式跌倒检测系统100中的人脸检测模块116。在一实施例中,S3FD模型(如张等人在ICCV 2017中的“S3FD:Single Shot Scale-invariant Face Detector”)用于实现该人脸检测模块116。该S3FD模型已经显示出良好的针对不同比例人脸的处理性能。在一些实施例中,为了在嵌入式跌倒检测系统100中实时运行基于S3FD的人脸检测模型,需要对原始S3FD模型做出如下修改/改进:
■利用轻量级MobileNetV2(如桑德勒(Sandler)在arXiv:1801.04381的“MobileNetV2:Inverted Residuals and Linear Bottlenecks”中所描述的)替代复杂的VGG16网络作为构架/特征提取器;
■将特征金字塔网络(FPN)(如林等人在arXiv:1612.03144,2016的“FeaturePyramid Networks for Object Detection”中所描述的)并入到修改后的S3FD架构,以提高小脸检测性能;
■将原始S3FD模型的训练和推导数据尺寸从640×640降至320×320,从而进一步减少推理时间;
■添加特征点检测CNN模块,该模块用于接收来自该修改后的S3FD网络的人脸检测输出,并输出该被检测人脸的精确人脸特征点,用于后续人脸识别操作。在一些实施例中,该特征点检测CNN模块以及该基于S3FD的人脸检测模块可以联合受训;以及
■量化该网络参数,并且不采用典型的32位浮点精度,而是采用8位整数精度运行该网络推理。该修改不仅降低了对存储器的使用以及存储器访问频率,还提高了算术运算的速度,这对于资源有限的嵌入式系统应用是非常有益并且迫切的。
基于上述修改,本申请公开的在ARM v8 CPU上运行的基于S3FD的人脸检测模型可以将人脸检测推理时间从1.2s降低到100ms。需要说明,在不采用任何神经网络加速引擎的前提下就可以实现该性能的改进。
进一步参考图1,需要说明,本申请公开的嵌入式跌倒检测系统100还包括人脸识别模块118,该人脸识别模块118基于来自该人脸检测模块116的被检测人脸130,执行人脸识别功能。存在很多可用于实现嵌入式跌倒检测系统100的人脸识别模块118的良好的人脸识别模型。在一些实施例中,可以采用ArcFace人脸识别模型(如邓等人在arXiv:1801.07698,2018中的“ArcFace:Additive Angular Margin Loss for Deep FaceRecognition”中所描述的)实现该人脸识别模块118。在人脸识别模块118的一具体实施方式中,对该原始ArcFace模型作出了大量修改,从而将该ArcFace模型订制为满足该嵌入式跌倒检测系统100的需求。首先,本申请提出的人脸识别模块可以在MS1M-refine-V2数据集上训练轻量级ResNet-18网络(如何等人在CVPR 2016中“Deep Residual Learning forImage Recognition”中所描述的)。第二,本申请提出的人脸识别模型可用于量化该神经网络模型,并且采用8位整数精度运行该推理,而非原始ArcFace模型采用的32位浮点精度。经过这些修改,本申请提出的人脸识别模型在Hi3559A NNIE引擎上的推理时间可降低到12ms。需要说明,通过使该人脸识别模块118采用上文描述的实施方式,还可能在该被捕捉视频图像104中检测到个人的其他有用参数,例如人脸表情。
身份ID词典和身份数据库
在一些实施例中,在跌倒检测过程中,人脸识别模块118可以针对输入视频图像104中的每个被检测个人生成人脸特征向量(可以为1-D人脸特征向量、2-D人脸特征向量或者3-D人脸特征向量)。接下来,生成的人脸特征向量可以与身份ID词典进行对比,例如存储在嵌入式跌倒检测系统100的存储器内存储的身份ID词典150。在一些实施例中,身份ID词典可以包括与一组人的一组已存在/已创建身份ID相关的一组条目,该组人由该嵌入式跌倒检测系统100跟踪,其中该身份ID词典内的每一条目可以包括一个或多个人脸特征向量(例如基于一张或多张档案照片生成的特征向量,可以是1-D人脸特征向量、2-D人脸特征向量或者3-D人脸特征向量)以及相应的身份ID。
对于在跌倒检测过程中由人脸识别模块118生成的每个人脸特征向量,如果该人脸特征向量与该身份ID词典里的某一条目内存储的人脸特征向量匹配,则表明该被检测个人在该服务器内具有已建立档案。人脸识别模块118然后将输出该匹配条目内的身份ID,作为用于指示该被检测个人已经被识别的身份ID 136。同样地,人脸识别模块118可以输出所有被检测个人的身份ID 136,该所有被检测个人的身份ID 136可以基于其相对应的人脸特征向量被人脸识别模块118识别。接下来,嵌入式跌倒检测系统100可以输出所有的跌倒报警140-1连同身份ID 136至该服务器,例如服务器204。该服务器然后利用接收到的身份ID136查找先前已经创建并存储于该服务器内的对应个人身份(例如该个人的姓名),随后将跌倒通知发送至移动APP,例如移动APP 212,该移动APP 212包括已确定跌倒的对应个人的身份。
在一些实施例中,本申请公开的身份ID词典可以基于下述步骤在分布式跌倒检测系统200内进行更新,该步骤涉及到一个或多个嵌入式视觉传感器202-1、202-2……和202-N,服务器204以及移动APP 212之间的交互:
■该分布式跌倒检测系统200的每个用户都可以采用移动APP 212添加或移除要被该分布式跌倒检测系统200跟踪的个人。更具体地,对于该分布式跌倒检测系统200要跟踪的每一个人,该移动APP 212可用于通过将该个人的身份与一张或多张该个人的档案照片结合起来,以创建该个人的新档案。例如,移动APP 212可用于拍摄该个人的一张或多张档案照片。移动APP 212然后将该包括该一张或多张档案照片以及该个人身份的个人档案,发送至服务器,该个人身份例如为该个人的姓名;
■基于接收到的给定个人的档案,服务器204生成该给定个人的唯一身份ID(例如唯一的整数值),例如基于该个人的身份。然后该服务器204将该唯一身份ID与接收到的该个人的一个或者多个档案照片相关联。然后,该服务器204发送唯一身份ID以及该给定个人的档案照片至该一个或多个嵌入式视觉传感器202-1、202-2……和202-N。
■在每个嵌入式视觉传感器202中,可以利用上文描述的人脸检测模块116以及人脸识别模块118,将该给定个人的该一张或多张档案照片用于提取该个人的一个或多个人脸特征向量。接下来,通过添加该给定个人的新的条目以更新身份ID词典,例如身份ID词典150,其中该新的条目可以存储该一个或多个新近生成的人脸特征向量,以及该给定个人的相关唯一身份ID。
接下来,在跌倒检测过程中,该身份ID词典在每个嵌入式视觉传感器202中可用于个人识别和跟踪目的。更具体地,每个嵌入式视觉传感器202内的人脸识别模块118可以为输入图像104中每个被检测个人生成人脸特征向量。然后,该人脸识别模块118可以在每个嵌入式视觉传感器202的存储器中存储的身份ID词典中检索每个被检测个人的已生成的人脸特征向量,并且具体将该人脸特征向量与该身份ID词典中的每个条目中存储的人脸特征向量进行对比。回溯前文提到过,该身份ID词典中的每个条目存储着已知个人的档案,该档案可以包括一个或多个人脸特征向量,以及该个人的对应身份ID。基于检索结果,人脸识别模块118确定该被检测个人是否具有与该身份ID词典对应的条目(即匹配的人脸特征向量)。如果具有,则识别出该被检测个人,并且人脸识别模块118输出与该匹配人脸特征向量关联的已存储身份ID,作为该被检测个人的身份ID 136。如果嵌入式视觉传感器202确定该被检测个人涉及到跌倒,则该嵌入式视觉系统202生成跌倒检测输出,该输出包括该被检测个人的已识别身份ID 136。然而,如果该被检测个人的人脸特征向量与该身份ID词典中存储的任何一个人脸特征向量均不匹配,则人脸识别模块118为该被检测个人生成“未知个人”标示。
需要说明,上文描述的分布式跌倒检测系统设计确保了任何一个嵌入式跌倒检测视觉传感器202均不会传送已捕捉图像中任何一个被检测个人的任何被检测人脸图片。相反地,所有的人脸检测和识别操作都是在每个嵌入式跌倒检测视觉传感器202内部执行的,并且每个嵌入式跌倒检测视觉传感器202均只传送编码的身份ID以及去隐私化视频图像至该服务器204,而不包括该被检测个人的任何真实身份。这种分布式跌倒检测系统设备实现了最大程度地保护每个嵌入式跌倒检测视觉传感器监测的每个人的隐私。该分布式跌倒检测系统设计还最小化了通过网络传输的数据量,以及服务器(例如云服务器)中执行的计算量,从而最小化本申请公开的分布式跌倒检测系统200的日常运作成本。
图7为根据文中描述的一些实施例,添加新的个人档案到跌倒检测系统200的示例性过程700的流程图。在一个或多个实施例中,图7所示的一个或多个步骤可以省略、重复以及/或者以不同的顺序执行。因此,图7所示的具体步骤安排不应该作为对技术范围的限制。需要说明,可以结合图1所示的嵌入式跌倒检测系统100和图2所示的分布式跌倒检测系统200理解过程700。
过程700开始于该服务器(例如系统200中的服务器204)接收到新的档案请求以及需要添加至分布式跌倒检测系统的个人档案(步骤702)。如上文提到的,服务器可以接收来自移动APP的新档案请求(例如安装在系统200中的移动设备206上的移动APP 212)。更具体地,该移动APP可用于生成新的档案,该新的档案可以包括该个人的身份,该个人的一张或多张档案照片,然后将该新档案请求和该新档案一起发送至该服务器。接下来,在该服务器处,过程700基于接收到的该个人的档案,生成该个人的唯一身份ID(例如唯一的整数值)(步骤704)。例如,可以基于已接收档案中该个人的身份(例如姓名),创建唯一的身份ID。然后,过程700在存储在该服务器内的档案数据库内为该个人创建新的条目,其中该条目可以包括该个人的唯一身份ID以及一张或多张档案照片(步骤706)。随后,过程700将该唯一身份ID以及一张或多张档案照片从该服务器处发送至该一个或多个嵌入式跌倒检测视觉传感器(例如嵌入式视觉传感器202-1-202-N)(步骤708)。
接下来,在每个嵌入式视觉传感器上,过程700基于接收到的一张或多张档案照片提取出该个人的一个或多个人脸特征向量(步骤710)。例如,过程700可以采用上文描述的人脸识别模块并结合人脸检测模块以生成人脸特征向量。接下来,过程700通过将该个人的新条目添加至该身份ID词典中,以更新存储在每个嵌入式视觉传感器内的每个身份ID词典,其中该新的条目包括该个人的已生成的人脸特征向量以及已接收到的身份ID(步骤712)。如上文所陈述的,在该身份ID词典中创建该个人的档案条目之后,如果在跌倒检测过程中检测出该个人,则每个嵌入式跌倒检测视觉传感器可以识别并随后跟踪该个人。
需要说明的是,在一些实施例中,过程700可以反向执行,从而从该身份ID词典中删除一个人的已创建条目/档案。图8为根据文中描述的一些实施例,从该分布式跌倒检测系统200中移除已存储个人档案的示例性过程800的流程图。在一个或多个实施例中,图8所示的一个或多个步骤可以省略、重复以及/或者以不同的顺序执行。因此,图8所示的具体步骤安排不应该作为对技术范围的限制。需要说明,可以结合图1所示的嵌入式跌倒检测系统100和图2所示的分布式跌倒检测系统200理解过程800。
例如,过程800开始于该服务器(例如系统200中的服务器204)接收到档案移除请求,以从该分布式跌倒检测系统中将给定个人的档案移除(步骤802)。在一些实施例中,可以利用移动APP发出移除档案请求,并且服务器可以从该移动APP处接收档案移除请求。需要说明,该档案移除请求需要包括待移除个人的身份。当服务器接收到该档案移除请求时,该过程800接下来基于该档案中该个人的身份检索数据库,该数据库存储有一组人的已建立档案(步骤804)。如上文所述,该组人的已存储档案包括该组人的已创建身份ID。一旦在该档案数据库中找到该档案,则过程800会发送该个人的身份ID以及该档案移除请求至该一个或多个嵌入式跌倒检测视觉传感器(例如嵌入式视觉传感器202-1-202-N)(步骤806)。
接下来,在每个嵌入式视觉传感器上,过程800基于接收到的该个人的身份ID识别出各自身份ID词典内的个人条目(步骤808)。随后,过程800从各自身份ID词典中移除已识别的该个人的条目(步骤810)。接下来,过程800向服务器发送应答,表示已经从该嵌入式视觉传感器中成功移除该个人的档案。当服务器接收到来自该一个或多个嵌入式视觉传感器的应答之后,过程800即可从该档案数据库中移除该个人的档案,该档案包括该个人的身份、身份ID以及一张或多张档案照片(步骤812)。
图9为根据文中描述的一些实施例,通过嵌入式跌倒检测系统100识别被检测个人的示例性过程900的流程图。在一个或多个实施例中,图9所示的一个或多个步骤可以省略、重复或者以不同的顺序执行。因此,图9所示的具体步骤安排不应该理解为对本申请技术的范围的限制。需要说明,过程900应该与图1中的嵌入式跌倒检测系统100结合理解,具体地,与嵌入式跌倒检测系统100内的人脸识别模块118结合理解。在一些实施例中,过程900完全可以在人脸识别模块118上执行。
过程900开始于人脸识别模块118从人脸检测模块116处接收到输入视频图像104内的被检测个人的被检测人脸(步骤902)。然后,过程900利用人脸识别模块118的人脸特征提取子模块,并基于该被检测人脸生成人脸特征向量(步骤904)。在多个实施例中,该人脸特征向量可以为1-D人脸特征向量、2-D人脸特征向量或3-D人脸特征向量。接下来,过程900通过将该人脸特征向量与该身份ID词典中的每个条目中存储的人脸特征向量进行对比,在身份ID词典,例如身份ID词典150内检索已生成人脸特征向量(步骤906)。在一些实施例中,该身份ID词典存储在该嵌入式跌倒检测系统100的存储器内。接下来,过程900基于是否找到匹配的人脸特征向量,确定该被检测人脸在该身份ID词典内是否具有对应条目(步骤908)。如果具有,则识别出该被检测人脸/个人,并且过程900可以输出该身份ID词典内与该匹配人脸特征向量相关的已存储身份ID,作为该被检测人脸/个人的身份ID(步骤910)。随后,如果嵌入式跌倒检测系统确定该被检测个人涉及到跌倒,则该嵌入式跌倒检测系统输出跌倒报警以及该被检测个人的已识别身份ID。然而,如果该被检测人脸/个人的人脸特征向量与该身份ID词典中存储的任何一个人脸特征向量均不匹配,则过程900针对该被检测人脸/个人输出“未知个人”标示(步骤912)。
隐私保护设计
本申请公开的嵌入式跌倒检测系统100和分布式跌倒检测系统被设计为保护该分布式跌倒检测系统200内的每个嵌入式跌倒检测视觉传感器202捕捉到的每个个人/用户的隐私。在一些实施例中,本申请公开的嵌入式跌倒检测系统100和分布式跌倒检测系统200通过在每个独立嵌入式视觉传感器202内部现场对输入视频图像执行上文描述的一些或全部跌倒检测相关操作,从而实现隐私保护功能。此外,在现场处理完该捕捉视频图像之后,每个嵌入式视觉传感器202仅传送去隐私化的视频图像以及跌倒报警至服务器204(例如仅传送每个被检测个人的关键点/骨骼/线条图表示,而非该被检测个人的实际截取图像)。
在一些实施例中,从一序列最近视频帧中提取出的多个特征可存储在每个嵌入式视觉传感器202的存储缓冲区中。这些存储特征可以包括来自每个已处理视频帧的人体关键点、骨骼图/线条图以及包括身份ID 136的人脸识别结果。在一些实施例中,这些存储的特征可用于重新构建该被存储视频帧的最近N秒(例如N=5~15)的去隐私化视频剪辑。因此,一旦该相关嵌入式跌倒检测系统100检测到跌倒,该给定嵌入式视觉传感器202就会将跌倒报警/通知140-1连同该被捕捉视频帧的最近N秒(例如10秒)的重新构建的去隐私化视频剪辑发送至服务器204。
在一些实施例中,重构去隐私化视频剪辑包括首先识别该序列原始视频帧中的共同背景图像,其中该共同背景为不包括被检测个人的静止图像。例如,该共同背景图像可以是在该被检测个人进入摄像头视野内之前的静止视频图像提取得到的。接下来,可以通过直接叠加对应于该序列原始视频帧的该被检测个人的序列骨骼图至该共同背景图像。例如,为了生成该去隐私化视频剪辑的去隐私化视频帧i,可以将该序列视频帧中的帧i生成的骨骼图i叠加到共同背景图像中。需要说明的是,这种去隐私化视频重构技术相比于直接处理/修改原始视频帧,需要更低的计算和存储成本。
类似地,当对个人进行实时直播时,为了保护该个人的隐私,本申请公开的嵌入式视觉传感器202并不会将原始视频图像发送至服务器204或者移动设备212。相反地,每个嵌入式跌倒检测视觉传感器202用于发送去隐私化实时视频图像(例如该个人的关键点或者骨骼表示)。在一些实施例中,可以基于给定用户的具体隐私需求,调整包括在该去隐私化视频图像内的信息量。
例如,在高度严格隐私保护模式中,嵌入式跌倒检测系统100仅配置为仅包括每个视频帧中检测到的人的骨骼表示/线条图,该骨骼表示/线条图足以显示一个人是如何跌倒的,而无需包括该已发送视频帧中的人体身份信息以及背景信息。或者,在一相对较低严格的隐私保护模式中,除了将该被检测个人的骨骼表示/线条图发送至服务器外,该嵌入式跌倒检测系统100还用于发送被捕捉到的场景/视频帧中的一些分割背景掩码(例如由场景分割模块112生成)。例如,该分割背景掩码可以包括对应于场景中检测到的非人体物体的标记区域,从而有助于理解场景或者被检测到的跌倒,例如场景中与该个人相关的床和沙发。然而,这些分割背景掩码并不显示这些已识别物体的原始图像。
在另一示例性隐私保护模式中,已发送视频可以包括视频中的原始背景图像。然而,通过发送该人体关键点或者相关的骨骼表示,而非该被检测个人的该原始视频图像,本申请公开的跌倒检测系统100和200可以有效地保护每个被检测个人的隐私,从而适用于卧室和洗澡间内的跌倒监测。然而在一些实施例中,当需要证明人体身份时,例如为了合法目的,该嵌入式跌倒检测系统100还可以发送该视频图像中对应于给定个人的头部和脸部的区域,但是该个人的身体部分依然可以用该已发送视频图像中的相关骨骼表示来表达。
嵌入式视觉系统-硬件环境
图10为根据文中描述的一些实施例,用于如图1所示的嵌入式跌倒检测系统100的示例性硬件环境1000。需要说明,硬件环境1000可用于实现分布式跌倒检测系统200内的一个或多个嵌入式跌倒检测视觉传感器202-1、202-2……和202-N。从图10中可以看出,硬件环境1000可以包括总线1002、一个或多个处理器1004、存储器1006、存储设备1008、摄像头系统1010、传感器1011、一个或多个神经网络加速器1012、一个或多个输入设备1013、一个或多个输出设备1014以及网络接口1016。
总线1002集中表示通信连接到该硬件环境1000的各个组件的所有系统、外围设备和芯片组总线。例如,总线1002将处理器1004与存储器1006、存储设备1008、摄像头系统1010、传感器1011,神经网络加速器1012、输入设备1013,输出设备1014和网络接口1016通信连接。
处理器1004从存储器1006中检索待执行指令以及待处理数据,从而控制硬件环境1000的各个组件,并执行本专利描述的各种功能,这些功能包括本申请公开的嵌入式跌倒检测系统100中的各种功能模块的各种功能,这些功能模块包括但不限于姿态估计模块106、行为识别模块108、包括状态机120和无效姿态过滤器138的跌倒检测模块110、场景分割模块112、人脸检测模块116、人脸识别模块118和ADL统计模块(未示出)。处理器1004可以包括任何类型的处理器,包括但不限于一个或多个中央处理单元(CPU)、一个或多个微处理器、一个或多个图形处理单元(GPU)、一个或多个张量处理单元(TPU)、一个或多个数字信号处理器(DSP)、一个或多个现场可编程门阵列(FPGA)、一个或多个专用集成电路(ASIC)、个人管理器、设备控制器和设备内部的计算引擎,以及现在已知或以后开发的任何其他处理器。此外,给定处理器1004可以包括一个或多个内核。此外,给定处理器1004本身可以包括缓存,该缓存存储由给定处理器1004执行的代码和数据。
存储器1006包括可以存储代码和数据以供处理器1004、神经网络加速器1012和硬件环境1000的一些其他处理模块执行的任何类型的存储器。这包括但不限于动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、只读存储器(ROM)以及现在已知或以后开发的任何其他类型的存储器。
存储设备1008包括可以与硬件环境1000集成的任何类型的非易失性存储设备。这包括但不限于磁性存储设备、光学存储设备和磁光存储设备,以及基于闪存的存储设备和/或电池备份存储器。在一些实施方式中,用于实现本申请公开的嵌入式跌倒检测系统100中的各种模块的各种功能的各种程序都被存储在存储器1006和存储设备1008中,其中该模块包括姿态估计模块106、行为识别模块108、包括状态机120以及无效姿态过滤器138的跌倒检测模块110、场景分割模块112、人脸检测模块116、人脸识别模块118和ADL统计模块(未示出)。
总线1002也连接到摄像头系统1010。摄像头系统1010用于为以预定分辨率捕获视频图像序列,并通过总线1002将捕获到的视频图像通过总线1002传送到硬件环境1000中的各个组件,例如传送到存储器1006用于缓存;传送到处理器1004和神经网络加速器1012用于各种深度学习和基于神经网络的操作。摄像头系统1010包括一个或多个数字摄像头。在一些实施例中,摄像头系统1010包括一个或多个配备有广角镜的数字摄像头。摄像头系统1010所捕获的图像可以具有不同的分辨率,包括诸如1280×720p,1920×1080p的高分辨率或其他高分辨率。
在一些实施例中,神经网络加速器1012可以包括被设计硬件加速的任何类型的微处理器,其中该硬件加速为用于执行基于AI和基于深度学习的程序和模型,尤其是诸如本申请公开的各种CNN和RNN架构的各种深度学习神经网络。神经网络加速器1012可以执行本申请公开的嵌入式跌倒检测系统100中所描述的每个基于深度学习的模块的预期功能,该模块即姿态估计模块106、行为识别模块108、跌倒检测模块110、场景分割模块112、人脸检测模块116、人脸识别模块118和ADL统计模块。神经网络加速器1012的实例可以包括但不限于:双核ARM Mali-G71 GPU、双核神经网络推理加速引擎(NNIE)和HiSilicon Hi3559A片上系统中的四核DSP模块。
总线1002还连接到输入设备1013和输出设备1014。输入设备1013使用户能够向硬件环境1000传达信息并选择命令。输入设备1013可以包括例如麦克风、字母数字键盘和鼠标设备(也称为“光标控制设备”)。
硬件环境1000还包括连接到总线1002的一组传感器1011,用于收集环境数据以协助本申请所公开的嵌入式跌倒检测系统100的各种跌倒检测功能。传感器1011可以包括运动传感器、环境光传感器以及红外传感器,该红外传感器例如为无源红外传感器(PIR)。为了实现PIR传感器的功能,硬件环境1000还可以包括IR发射器阵列。
同样连接到总线1002的输出设备1014例如能够显示由处理器1004和神经网络加速器1012生成的结果。输出设备1014例如包括显示设备,例如阴极射线管显示器(CRT)、发光二极管显示器(LED)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、等离子显示器或电子纸。输出设备1014还可以包括音频输出设备,例如扬声器。输出设备1014还可以包括一个或多个LED指示灯。
最后,如图10所示,总线1002还通过网络接口1016将硬件环境1000连接到网络(未示出)。通过这种方式,硬件环境1000可以是网络的一部分,诸如局域网(LAN)、Wi-Fi网络、广域网(WAN)、内联网或者互联网的网络,如因特网。因此,网络接口1016可以包括Wi-Fi网络接口。网络接口1016还可以包括蓝牙接口。硬件环境1000的任何或所有组件可以与本申请结合使用。
在硬件环境1000的具体实施例中,硬件环境1000可作为嵌入式跌倒检测视觉传感器,其至少包括如下组件:一个或多个摄像头、多个CPU、多个GPU、多个神经网络加速器(例如NNIE加速器)、多个DSP、多个存储模块、存储设备、WiFi模块、蓝牙模块、麦克风、扬声器、显示界面、多个传感器以及多个LED指示灯,其中该传感器包括运动传感器、环境光传感器和红外传感器。
任务调度和低级别优化
在一些实施例中,为了充分利用硬件环境1000的有效处理能力,可以设计一定制任务调度器,用于并行利用多个硬件资源,例如ARM CPU和NNIE加速器,以实现最大处理吞吐量。图11为根据文中描述的一些实施例,用于执行该嵌入式跌倒检测系统100的多种跌倒检测功能的示例性任务调度器1100。
从图11中可以看出,任务调度器1100可以包括输入调度器1102和输出调度器1104。每一个任务调度器1100可以实例化任意数量的工作单元工作单元来并行完成相同的任务,例如三个CPU工作单元:CPU工作单元0、CPU工作单元1、CPU工作单元2,以及两个NNIE工作单元:NNIE工作单元0和NNIE工作单元1。此外,该任务调度器1100中的每个工作单元可以采用由硬件环境100提供的不同的硬件资源(即CPU或者NNIE加速器)。在一些实施例中,输入调度器1102可用于接收原始视频图像作为输入1106,并调度该组工作单元对该输入视频图像执行下述两流工作:(1)姿态估计任务,随后为行为识别任务和跌倒检测任务,随后生成跌倒检测输出,该输出包括跌倒报警、去隐私化视频剪辑以及/或者ADL,作为输出1108,以及(2)人脸检测作务,随后为人脸识别任务,并随后生成身份ID,作为输出1108。此外,该任务调度器1100的输入调度器1102和输出调度器1104可用于确保输出1108(例如跌倒检测报警、去隐私化视频剪辑以及ADL)的顺序与输入1106中该原始视频图像的顺序匹配。
需要说明,可以将多个任务调度器1100实例串行链接/组合以形成处理工作流,其中该处理工作流的每个节点(例如任务调度器1100的每个实例)执行一具体任务。例如,图12为根据文中描述的一些实施例,基于串联连接的任务调度器的包括双任务调度器节点的示例性处理工作流1200。如图12所示,第一调度器节点(即节点0)包括两个NNIE工作单元(NNIE0和NNIE1),用于执行上述姿态估计任务;而第二调度器节点(即节点1)采用三个CPU内核(CPU0,CPU1和CPU2)并行执行上述人脸检测和识别任务。节点0/调度器0可以接收原始视频图像作为输入1202,而节点1/调度器1可以生成一定的跌倒检测输出作为输出1204,例如身份ID。
在一些实施例中,为了对本申请公开的嵌入式跌倒检测系统采用的多个神经网络模块进行提速,可以利用ARM NEON指令重新设计给定神经网络模块的一些计算密集层。
需要说明,虽然在本申请跌倒检测系统中描述了用于修改和优化现有模块和框架,从而实现本申请公开的嵌入式跌倒检测系统100和多个任务调度技术的多种技术,然而本申请公开的修改和优化以及任务调度技术的概念可以应用到其他相似嵌入式系统,而非仅可应用于跌倒检测系统。
本申请提出的跌倒风险评价系统
本申请还公开了基于视频的跌倒风险评价系统(下文或简称为“跌倒风险评价系统”)的多个实施例,该系统包括多个用于实现多种基于视频的跌倒风险评价功能的软件模块。本申请公开的跌倒风险评价系统可包括多个软件模块,用于处理由摄像头或其他形式的图像/视频传感器捕捉的被评估对象的视频,随后生成跌倒风险评价结果,该评价结果包括基于该捕捉视频中的该被评估对象的跌倒风险警告/通知。本申请公开的跌倒风险评价系统还可以集成到嵌入式跌倒检测系统100中去,作为功能模块做出独立的跌倒风险评价决策,并协助本申请公开的嵌入式跌倒检测系统内的其他模块作出跌倒检测决策。然而,本申请公开的跌倒风险评价系统也可以作为独立的跌倒风险评价系统,该系统包括一个或多个用于捕捉被监测个人的视频的摄像头,一个或多个用于处理该捕捉视频的处理器,以及一个或多个人机交互(HCI)设备。在多个实施例中,该HCI设备可包括但不限于移动设备、计算机屏幕、扬声器、键盘和电脑鼠标。
图13为根据文中描述的一些实施例,跌倒风险评价系统1300的块状图。从图13中可以看出,该跌倒风险评价系统1300包括:姿态估计模块1306、行为识别模块1308、步态特征提取模块1310、步态分析模块1312以及受控环境跌倒风险测试模块1314。然而,本申请公开的跌倒风险评价系统在其他实施例中可以包括其他功能模块,或者省略图中所示的跌倒风险评价系统1300所示的一个或多个功能模块,均未超出本申请的保护范围。
跌倒风险评价系统1300中的姿态估计模块1306可以基于上文描述的嵌入式跌倒检测系统100的姿态估计模块106实现。在一些实施例中,姿态估计模块1306与姿态估计模块106相同。需要说明的是,姿态估计模块1306可以接收包括一序列视频帧的视频1302以作为输入,并生成对应于该序列视频帧的被检测个人的截取图像1332及人体关键点1322以作为输出。
跌倒风险评价系统1300中的行为识别模块1308可以基于上文描述的嵌入式跌倒检测系统100的行为识别模块108实现。在一些实施例中,行为识别模块1308与行为识别模块108基本相同。需要说明,该行为识别模块1308包括行为分类器1328,该行为分类器1328用于将每个被检测个人划分为处于一组预定义行为中一个行为,并将该行为定义为该被检测个人的行为标签/类别。在一些实施例中,该行为分类器1328仅采用该被检测个人的关键点1322对该被检测个人的行为进行划分。在一些其他实施例中,该行为分类器1328可用于采用该被检测个人的截取图像1332和人体关键点1322的组合数据对该被检测个人的行为进行划分。
然而,对于跌倒风险评价应用而言,行为识别模块1308中的行为分类器1328的设计可以不同于行为识别模块108中的行为分类器128。例如,行为分类器1328可用于将每个被检测个人划分为处于一组预定义行为中的一个行为,其中该组预定义行为不同于一组行为分类器128相关的预定义行为。与行为分类器1328相关的一组示例性预定义行为可以包括如下四种行为:(1)站立;(2)坐下;(3)行走;以及(4)其他行为。类似于行为分类器128,可采用基于CNN架构构建行为分类器1328。在一些实施例中,为了在行为识别模块1308中执行的上述划分,可以基于上文描述的4类行为对4类数据进行收集,然后,这些数据可用于训练神经网络,例如采用CNN对4类行为进行划分。对于视频1302中的每个被检测个人,行为识别模块1308可以生成连续的行为标签1324,其中该连续的行为标签1324中的每个标签表示对应视频帧中该被检测个人的行为。
从图13中可以看出,跌倒风险评价系统1300中的步态特征提取模块1310用于接收来自姿态估计模块1306的输出,如人体关键点1322,还接收来自行为识别模块1308的输出,如行为标签1324,随后基于这些输出数据提取该被检测个人的有用步态特征1330,用于进一步分析。在一些实施例中,对于由姿态估计模块1306生成的一被检测个人的一序列估计姿态,可以从被划分为“行走”行为标签1324的视频帧子集中提取该被检测个人的多项步态特征。例如,步态特征提取模块1310可用于从该视频子集中提取一定的基本行走统计,这包括但不限于步数、平均步行时间(时间计量)、步行时间方差、速度以及节奏。需要说明的是,这些基本的步行统计可以通过被检测个人的单脚或双脚进行提取。此外,步态特征提取模块1310还可通过比较从被检测个人的双脚提取的对应基本统计之间的差异,用于确定行走的“步行平衡”特征。在另一示例中,步态特征提取模块1310还可通过测量胸部关键点(例如图13中的胸部关键点312)在水平方向上相对于两臀部关键点(例如图13中的臀部关键点326和328)的中心点的偏移,用于提取“身体摇摆”因数。本领域普通技术人员可以容易地想到,步态特征提取模块1310可以基于对姿态估计模块1306和行为识别模块1308的输出进行分析,提取并输出该被检测人个的较宽范围的步态相关的特征,因此本申请不限于上文举出的这些示例。
进一步参考图13,跌倒风险评价系统1300的步态分析模块1312用于从步态特征模块1310中接收已提取步态特征1330,并在随后分析经一段时间收集的步态特征1330,从而生成跌倒风险评价。在一些实施例中,本申请公开的跌倒风险评价系统1300可持续地捕捉被监测个人的日常活动的视频,并且持续性地分析捕捉视频。基于捕捉视频,步态分析模块1312用于累积该已提取步态特征1330,这包括但不限于预定义时间阶段(例如一小时、一天或者一周)内的步数、平均步行时间、单脚或双脚的步行时间方差、速度、节奏、步行平衡以及身体摇摆因数。
步态分析模块1312还用于分析预定义时间阶段(例如一小时、一天或者一周)内的每个已提取步态特征,从而基于该分析估计该被监测个人的跌倒风险。在一些实施例中,步态分析模块1312可以采用预定义时间阶段内收集的数据,对给定已提取步态特征1330执行一项或多项统计分析。例如,可以确定该已提取步态特征1330随时间的变化。基于相同的步态特征在先前时间阶段内的平均值或者数值的变化,可以识别异常行为,例如通过比较检测到的变化和预定义的阈值,或者采用基于卡尔曼滤波的异常检测。例如,如果被监测个人在一天内的步数被确定为降至预定阈值,例如100步,则表示缺乏运动行为,这被认定为与高跌倒风险关联。在另一个示例中,如果被监测个人的身体摇摆因数的计算中值超出了上半身尺寸的预定义比例(例如15%)(例如基于胸部关键点312至臂部关键点326和328的中点间的距离),则该被监测个人的平衡性较弱,同样与高跌倒风险关联。在一些实施例中,不需要通过比较统计值与预定义阈值来检测高跌倒风险,可将基于卡尔曼滤波的异常检测应用于统计值以检测高跌倒风险。在一些实施例中,步态统计模块1312用于生成高风险跌倒警告1340,作为跌倒风险评价系统1300的输出,当检测到异常行为时,该高风险跌倒警告1340可发送至看护者(例如通过相关的移动APP)。
在一些实施例中,可采用本申请公开的跌倒风险评价系统1300在受控环境下执行一定的跌倒风险测试。具体地,跌倒风险评价系统1300包括用于控制该测试的受控环境跌倒风险测试模块1314(下文或简称为“跌倒风险测试模块1314”)。这些测试可以由被评估对象,即正在被测试的个人发起,或者由该被评估对象的看护者发起。当该跌倒风险评价系统1300被集成到嵌入式跌倒检测系统100中时,可以通过跌倒检测系统200的移动APP 212提供该跌倒风险测试的视觉或声音指令。然而,如果该跌倒风险评价系统1300独立实现或者被集成到其他跌倒检测系统中,则可采用其他的HCI设备(例如监控器、扬声器等)来提供该跌倒风险测试的视觉或声音指令。下面将描述跌倒风险测试以及如何在这些测试中使用本申请公开的跌倒风险评价系统1300的示例。
站起三米行走测试是用于衡量被评估对象移动能力的标准测试。在测试之前,将椅子放置在开始位置,并且可在椅子前面3米处放置标记物。开始测试时,被评估对象坐在椅子上。接下来,被评估对象本人或其护理者会通过相关的移动APP或其他的HCI设备开始该测试。当控制该测试时,该受控环境跌倒风险测试模块1314会通过移动APP或者其他HCI设备发送信号至被评估对象,以触发站起三米测试序列。在接收到该测试的开始信号后,被评估对象需要站起,向前行走三米,转身、走回椅子处并坐回到椅子上。跌倒风险测试模块1314测量完成这一测试的时长并将其作为跌倒风险的指标。例如,被评估对象完成这一测试耗时越长,则预测跌倒风险越高。在一些实施例中,如果测量超出预定义阈值时间,则该跌倒风险测试模块1314会生成高跌倒风险警告1340,并将该高跌倒风险警告1340作为跌倒风险评价系统1300的输出。
需要说明的是,跌倒风险测试模块1314连接步态特征提取模块1310,并且用于接收已提取步态特征1330,例如步数、平均步行时间及步行时间方差、身体摇摆因数。类似于步态分析模块1312,该跌倒风险测试模块1314还可用于分析一段时间(例如一小时、一天或者一周)内的每个已提取步态特征,从而基于该分析估计该被监测个人的跌倒风险,随后,当一个或多个具体步态特征超出预定义阈值时,生成高风险警告1340,作为跌倒风险评价系统1300的输出。例如,如果总行走测试时间超出12秒,则被评估对象被认定为具有低移动能力和高跌倒风险。在另一个示例中,如果在行走测试中的步数超出14步,或者被评估对象的身体摇摆因数的中值超出了上半身尺寸的15%(例如基于胸部关键点312至臂部关键点326和328的中点间的距离),则该被评估对象的平衡性被认定为较弱,因此该被评估对象则被认定为具有高跌倒风险。
30秒的坐下-站起测试可以用来估计被评估对象的下肢力量及移动能力。在该测试中,可以根据该被评估对象成功完成的坐下-站起动作的次数确定潜在的跌倒风险。一般来讲,坐下-站起动作的完成次数越多,则该被评估对象的跌倒风险就越低。通常,该测试需要一把椅子。开始测试时,被评估对象坐在椅子上。接下来,被评估对象本人或其护理者会通过相关的移动APP或其他的HCI设备开始该测试。当控制该测试时,该受控环境跌倒风险测试模块1314会通过移动APP或者其他HCI设备发送开始信号至被评估对象,以触发30秒的坐下-站起测试序列。在接收到该测试的开始信号后,被评估对象需要持续执行坐下-站起测试。在30秒时间结束时,跌倒风险测试模块1314会通过相关的移动APP或其他的HCI设备向被评估对象发出结束信号。需要说明的是,跌倒风险测试模块1314同样连接行为识别模块1308用于接收行为标签1324。由于在测试期间,跌倒风险评价系统1300监控该被评估对象,因此该跌倒风险测试模块1314可基于对行为识别模块1308生成的“站起”行为标签和“坐下”行为标签进行计数,确定在30秒内该站起行为和坐下行为的次数。在一些实施例中,如果确定站起行为和坐下行为的次数低于预定义阈值(例如10),则跌倒风险评价系统1300会生成高跌倒风险警告1340,作为该跌倒风险评价系统1300的输出,这是由于较少的次数表示下肢力量较弱、移动能力较差,这均与高跌倒风险关联。
平衡性测试可以用来测试被评估对象的平衡能力,这也可以作为跌倒风险的有效指标。在测试期间,要求被评估对象完成一系列的站立动作,包括但不限于(1)以正常姿态双脚站立;(2)其中一只脚的脚背触碰另一只脚的大脚趾;(3)两脚前后置位,前脚的脚跟触碰后脚的脚趾;以及(4)单脚站立。通常,在测试中每个阶段的开始,被评估对象站立。被评估对象本人或护理者会通过相关的移动APP或其他的HCI设备开始该测试。当控制该测试时,受控环境跌倒风险测试模块1314会通过相关的移动APP或其他的HCI设备发送具体站立姿态的声音指令和开始信号,以触发平衡测试。接收到该测试的开始信号后,被评估对象需要以指示姿态站立预定义时间阶段,例如10秒。在时间结束时,跌倒风险测试模块1314会通过相关的移动APP或其他的HCI设备向被评估对象发出结束信号。由于在平衡测试时间,跌倒风险评价系统1300监控该被评估对象,因此该跌倒风险测试模块1314可以基于被评估对象在测试期间的移动接收到来自该步态特征提取模块1310的提取步态特征。跌倒风险测试模块1314可用于分析被评估对象在平衡测试期间的移动以及身体摇摆因数。如果跌倒风险测试模块1314检测到任何的脚部移动,或者确定该身体摇摆因数超出预定义阈值,则该平衡测试被认为失败,并且该跌倒风险测试模块会生成高跌倒风险警告1340,作为该跌倒风险评价系统1300的输出。例如,如果该被评估对象的身体摇摆因数的最大值超出上半身尺寸的25%(例如基于胸部关键点312至臂部关键点326和328的中点间的距离),则被评估对象的平衡性被认为较差并且被评估对象被认定为具高跌倒风险。
在一些实施例中,还可以采用本申请公开的跌倒风险评价系统1300的一个或多个本申请公开的基于步态的分析模块1310、1312以及1314,用于检测和预测被评估对象的某些疾病,例如帕金森病。此外,步态特征提取模块1310可以独立或者与步态分析模块1312一并集成到嵌入式跌倒检测系统100中去,从而在与嵌入式跌倒检测系统100的其他模块合作时提高跌倒检测准确度和可靠性。在该实施例中,该已提取步态特征和步态特征分析结果可以作为作出跌倒/非跌倒决策的辅助信息。例如,由跌倒检测模块110做出的给定个人的跌倒检测决策可以通过由步态分析模块1312基于同一个人生成的高风险跌倒风险得到验证或加强。在一些实施例中,步态分析模块1312还可用于根据从步态特征提取模块1310接收到的步态特征1330生成独立的跌倒检测决策。
图14为根据文中描述的一些实施例,用于执行基于视频的跌倒风险评价的示例性过程1400的流程图。在一个或多个实施例中,图14所示的一个或多个步骤可以省略、重复以及/或者以不同的顺序执行。因此,图14所示的具体步骤安排不应该作为对技术范围的限制。
过程1400首先接收在预定义时间阶段期间内(例如一个小时,一天或者一周)捕捉到的用于跌倒风险评价的一序列视频图像/帧,所述序列视频帧包括正在被监测的个人(步骤1402)。例如,可以由安装在该个人的家中或者医院的摄像头捕捉该视频图像/帧。接下来,对于该序列视频帧中的给定视频帧,过程1400检测所述视频帧内的所述个人,并在随后估计该被检测个人的姿态(步骤1404)。例如,过程1400可以首先识别该被检测个人的一组人体关键点,然后通过用直线段连接相邻的点生成该被检测个人的骨骼图/线条图。在多个实施例中,可以通过跌倒风险评价系统1300的姿态估计模块1306执行步骤1404。因此,步骤1404可以生成对应于该序列视频帧的一序列估计姿态。
接下来,对于该序列估计姿态,过程1400将该被检测个人的每个估计姿态划分为一组预定义行为中的具体行为,例如(1)站立;(2)坐下;(3)行走;以及(4)其他行为(步骤1406)。在一些实施例中,在执行步骤1406之前,可以基于上文描述的4类行为对4类数据进行收集,这些数据可用于训练神经网络,例如采用CNN对4类行为进行划分。在多种实施例中,可以由跌倒风险评价系统1300的行为识别模块1308执行步骤1406。因此,步骤1404基于对应于该序列视频帧的该序列估计姿态生成连续的行为标签。
接下来,过程1400从该连续的行为标签中识别被划分为“行走”行为的行为标签子集(步骤1408)。过程1400然后基于与视频帧子集相关的估计姿态,提取所述序列视频帧内对应于所述行为标签子集的视频帧子集中的所述个人的一组步态特征(步骤1410)。在一些实施例中,该组步态特征包括但不限于:被检测个人的步数、平均步行时间、单脚或双脚的步行时间方差、速度、节奏、步行平衡以及身体摇摆因数。接下来,步骤1400分析在预定义时间阶段期间内收集的已提取步态特征,从而生成该被检测个人的跌倒风险评价(步骤1412)。在一些实施例中,过程1400可采用预定义时间内收集的数据,对给定已提取步态特征执行一项或多项统计分析。在一些实施例中,步骤1400在生成高跌倒风险评价时,触发将要发送至看护者的高跌倒风险警告。需要说明的是,过程1400可持续地接收并处理对应于相同时间段的新的序列视频帧,并基于该新的序列视频帧持续性地评价该个人的跌倒风险。
结合本申请公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可以由电子硬件、计算机软件或两者的组合实现。为了清楚地说明硬件和软件的可置换性,上文已经根据其功能大体描述了各种示例性组件、组分、模块、电路和步骤。这种功能由硬件还是软件实现取决于具体的应用程序和施加在整个系统上的设计约束。技术人员可以针对每个具体应用以各种方式来实现文中所描述的功能,但是这种实现决策不应被解释为脱离本发明的保护范围。
用于实现结合本申请所公开的多方面描述的各种描述性逻辑、逻辑块、模块和电路的硬件可以作为或者采用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、分立门或晶体管逻辑、分立硬件组件或其任何组合,用于执行本文所述的功能。通用处理器可以是微处理器,然而可替代地,该处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以为接收器设备的组合,例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器和DSP内核的组合或任何其他配置。或者,某些步骤或方法可以由专用于给定功能的电路执行。
从一个或多个示例性方面讲,可以以硬件、软件、固件或其任意组合来实现所描述的功能。如果以软件实现,则该功能可以作为一个或多个指令或代码存储在非暂时性计算机可读存储介质或非暂时性处理器可读存储介质上。本文公开的方法或算法的步骤可以体现在可以存储在非暂时性计算机可读或处理器可读存储介质上的处理器可执行指令中。非暂时性计算机可读或处理器可读存储介质可以是可由计算机或处理器访问的任何存储介质。作为示例而非限制性地,这样的非暂时性计算机可读或处理器可读存储介质可以包括RAM、ROM、EEPROM、EEPROM、闪存、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储设备,或者可用于以指令或数据结构形式存储所需程序代码并且可由计算机访问的任何其他介质。本文所使用的磁盘和光盘包括小型光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式复制数据,而光盘则通过激光光学方式复制数据。以上的组合也包括在非暂时性计算机可读和处理器可读介质的范围内。另外,方法或算法的操作可以作为代码和/或指令的一个或任何组合或集合存储在非暂时性处理器可读存储介质和/或计算机可读存储介质上,其可以被并入计算机程序产品。
尽管该专利文件包含许多细节,但是这些细节不应被解释为对本发明或可要求保护的范围的任何限制,而是对专用于具体发明的具体实施例的特征的描述。在单独的实施例的上下文中,该专利文件和所附附录中描述的某些特征也可以在单个实施例中组合实现。相反地,在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中单独实现,或以任何合适的子组合实现。此外,尽管上文以某种组合的方式描述了特征,甚至起始时甚至如此声称该特征,然而这种组合中的一个或多个特征可以从这个组合中剔除,并且该声称的组合可以指向一子组合或者该子组合的等同替换。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应理解为要求以所示的特定顺序或以连续的顺序执行这样的操作,或者执行所有示出的操作以实现期望的效果。此外,在该专利文件和所附附录中描述的实施例中的各种系统组件的独立性不应理解为在所有实施例中都需要这种独立性。
文中仅描述了一些实施方式和示例,基于该专利文件和所附附录中所描述和示出的内容,可以作出其他实施方式、增强和改变。
Claims (20)
1.一种基于视频的跌倒风险评价方法,其特征在于,所述方法包括:
接收用于跌倒风险评价的一序列视频帧,所述序列视频帧包括正在被监测的个人;
为所述序列视频帧生成连续的行为标签,包括:对于所述序列视频帧内的每个视频帧:
估计所述视频帧内的个人的姿态;以及
将估计姿态划分为一组预定义行为中的给定行为;
识别所述连续的行为标签内的行为标签子集;
提取所述序列视频帧内对应于所述行为标签子集的视频帧子集中的所述个人的一组步态特征;以及,
分析该组已提取步态特征以生成所述个人的跌倒风险评价。
2.根据权利要求1所述的方法,其特征在于,在预定义时间阶段期间捕捉所述序列视频帧。
3.根据权利要求2所述的方法,其特征在于,所述预定义时间阶段为一个小时,一天或者一周。
4.根据权利要求1所述的方法,其特征在于,在所述估计所述视频帧内的个人的姿态之前,所述方法还包括:检测所述视频帧内的所述个人。
5.根据权利要求1所述的方法,其特征在于,该组预定义行为包括站立行为、坐下行为、行走行为以及其他所有行为。
6.根据权利要求5所述的方法,其特征在于,所述识别连续的行为标签内的行为标签子集包括:识别所有被划分为所述行走行为的行为标签。
7.根据权利要求1所述的方法,其特征在于,该组步态特征包括如下一项或多项:步数、平均步行时间、单脚或双脚的步行时间方差、速度、节奏、步行平衡以及身体摇摆因数。
8.根据权利要求2所述的方法,其特征在于,所述分析该组已提取步态特征以生成所述个人的跌倒风险评价包括:分析在预定义时间阶段期间内捕捉的所述序列视频帧。
9.根据权利要求1所述的方法,其特征在于,所述分析该组已提取步态特征以生成跌倒风险评价包括:对该组已提取步态特征中的给定已提取步态特征执行一项或多项统计分析。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:当分析该组已提取步态特征生成所述个人的高跌倒风险评价时,触发并发送至看护者的高跌倒风险警告。
11.一种基于视频的跌倒风险评价系统,其特征在于,所述系统包括:
一个或多个处理器;
连接至所述一个或多个处理器的存储器;
其中所述存储器存储指令,所述一个或多个处理器执行所述指令以使所述系统执行:
接收用于跌倒风险评价的一序列视频帧,所述序列视频帧包括正在被监测的个人;
为所述序列视频帧生成连续的行为标签,包括:对于所述序列视频帧内的每个视频帧:
估计所述视频帧内的个人的姿态;以及
将估计姿态划分为一组预定义行为中的给定行为;
识别所述连续的行为标签内的行为标签子集;
提取所述序列视频帧内对应于所述行为标签子集的视频帧子集的所述个人的一组步态特征;以及,
分析该组已提取步态特征以生成所述个人的跌倒风险评价。
12.根据权利要求11所述的系统,其特征在于,在预定义时间阶段期间捕捉所述序列视频帧。
13.根据权利要求12所述的系统,其特征在于,所述预定义时间阶段为一个小时,一天或者一周。
14.根据权利要求11所述的系统,其特征在于,所述存储器还包括指令,当所述一个或多个处理器执行该指令时,所述系统执行:在估计所述视频帧内的所述个人的姿态之前,检测所述视频帧内的个人。
15.根据权利要求11所述的系统,其特征在于,该组预定义行为包括站立行为、坐下行为、行走行为以及其他所有行为。
16.根据权利要求15所述的系统,其特征在于,所述识别连续的行为标签内的行为标签子集包括:识别所有被划分为所述行走行为的行为标签。
17.根据权利要求11所述的系统,其特征在于,该组步态特征包括如下一项或多项:步数、平均步行时间、单脚或双脚的步行时间方差、速度、节奏、步行平衡以及身体摇摆因数。
18.根据权利要求12所述的系统,其特征在于,所述分析该组已提取步态特征以生成跌倒风险评价包括:对该组已提取步态特征中的给定已提取步态特征执行一项或多项统计分析。
19.根据权利要求11所述的系统,其特征在于,所述存储器还进一步存储了一组指令,当所述一个或多个处理器执行该指令时,所述系统执行:当分析该组已提取步态特征生成所述个人的高跌倒风险评价时,触发将要发送至看护者的高跌倒风险警告。
20.一个嵌入式系统,其特征在于,所述系统包括:
一个或多个摄像头,用于捕捉包括个人的一序列视频帧;
一个或多个处理器;
连接至所述一个或多个处理器并存储指令的存储器,当所述一个或多个处理器执行所述指令,所述系统执行:
接收用于跌倒风险评价的一序列视频帧,所述序列视频帧包括正在被监测的个人;
为所述序列视频帧生成连续的行为标签,包括:对于所述序列视频帧内的每个视频帧:
估计所述视频帧内的个人的姿态;以及
将估计姿态划分为一组预定义行为中的给定行为;
识别所述连续的行为标签内的行为标签子集;
提取所述序列视频帧内对应于所述行为标签子集的视频帧子集的所述个人的一组步态特征;以及
分析该组已提取步态特征以生成所述个人的跌倒风险评价。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862786541P | 2018-12-30 | 2018-12-30 | |
US16/672,432 | 2019-11-02 | ||
US16/672,432 US11179064B2 (en) | 2018-12-30 | 2019-11-02 | Method and system for privacy-preserving fall detection |
US16/731,025 US20200205697A1 (en) | 2018-12-30 | 2019-12-30 | Video-based fall risk assessment system |
US16/731,025 | 2019-12-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112784662A true CN112784662A (zh) | 2021-05-11 |
Family
ID=71123693
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911371675.6A Active CN111383421B (zh) | 2018-12-30 | 2019-12-27 | 隐私保护跌倒检测方法和系统 |
CN202010384748.1A Pending CN112784662A (zh) | 2018-12-30 | 2020-05-09 | 基于视频的跌倒风险评价系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911371675.6A Active CN111383421B (zh) | 2018-12-30 | 2019-12-27 | 隐私保护跌倒检测方法和系统 |
Country Status (2)
Country | Link |
---|---|
US (4) | US11179064B2 (zh) |
CN (2) | CN111383421B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113496216A (zh) * | 2021-08-31 | 2021-10-12 | 四川大学华西医院 | 一种基于骨骼关键点的多角度跌倒高危识别方法及系统 |
CN113569696A (zh) * | 2021-07-22 | 2021-10-29 | 福建师范大学 | 基于视频的人体微小震颤信号提取的方法 |
CN113838262A (zh) * | 2021-09-30 | 2021-12-24 | 中国工商银行股份有限公司 | 基于物联网的近场通讯方法、装置及系统 |
CN115713838A (zh) * | 2022-10-13 | 2023-02-24 | 浙江大华技术股份有限公司 | 摔倒行为预测方法、装置、计算机设备和存储介质 |
CN116343341A (zh) * | 2023-05-12 | 2023-06-27 | 天津志听医疗科技有限公司 | 一种基于姿态识别的动作预测分析方法和系统 |
WO2024020838A1 (en) * | 2022-07-27 | 2024-02-01 | Intel Corporation | Apparatus, method, device and medium for dynamic balance ability evaluation |
Families Citing this family (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11080513B2 (en) * | 2011-01-12 | 2021-08-03 | Gary S. Shuster | Video and still image data alteration to enhance privacy |
US10216694B2 (en) | 2015-08-24 | 2019-02-26 | Google Llc | Generic scheduling |
US10206630B2 (en) | 2015-08-28 | 2019-02-19 | Foresite Healthcare, Llc | Systems for automatic assessment of fall risk |
US11864926B2 (en) | 2015-08-28 | 2024-01-09 | Foresite Healthcare, Llc | Systems and methods for detecting attempted bed exit |
US11527140B2 (en) | 2017-09-29 | 2022-12-13 | Apple Inc. | Detecting falls using a mobile device |
US11282363B2 (en) | 2017-09-29 | 2022-03-22 | Apple Inc. | Detecting falls using a mobile device |
US11282361B2 (en) * | 2017-09-29 | 2022-03-22 | Apple Inc. | Detecting falls using a mobile device |
US11282362B2 (en) | 2017-09-29 | 2022-03-22 | Apple Inc. | Detecting falls using a mobile device |
US10629048B2 (en) | 2017-09-29 | 2020-04-21 | Apple Inc. | Detecting falls using a mobile device |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
US11107242B2 (en) * | 2019-01-11 | 2021-08-31 | Microsoft Technology Licensing, Llc | Detecting pose using floating keypoint(s) |
CN109829451B (zh) * | 2019-03-22 | 2021-08-24 | 京东方科技集团股份有限公司 | 生物体动作识别方法、装置、服务器及存储介质 |
US11599830B1 (en) * | 2019-05-01 | 2023-03-07 | ClearCare, Inc. | Automatic change in condition monitoring by passive sensor monitoring and machine learning |
US20220230376A1 (en) * | 2019-05-17 | 2022-07-21 | Nvidia Corporation | Motion prediction using one or more neural networks |
US10915743B2 (en) * | 2019-06-27 | 2021-02-09 | RoundhouseOne Inc. | Computer vision system configured to monitor at risk humans |
US11410540B2 (en) * | 2019-08-01 | 2022-08-09 | Fuji Xerox Co., Ltd. | System and method for event prevention and prediction |
US11281227B2 (en) * | 2019-08-20 | 2022-03-22 | Volkswagen Ag | Method of pedestrian activity recognition using limited data and meta-learning |
US11138414B2 (en) * | 2019-08-25 | 2021-10-05 | Nec Corporation Of America | System and method for processing digital images |
CN110852162B (zh) * | 2019-09-29 | 2020-10-23 | 深圳云天励飞技术有限公司 | 一种人体完整度数据标注方法、装置及终端设备 |
US10931976B1 (en) * | 2019-10-14 | 2021-02-23 | Microsoft Technology Licensing, Llc | Face-speech bridging by cycle video/audio reconstruction |
CN112668359A (zh) * | 2019-10-15 | 2021-04-16 | 富士通株式会社 | 动作识别方法、动作识别装置和电子设备 |
CN113128256A (zh) * | 2019-12-30 | 2021-07-16 | 北京三星通信技术研究有限公司 | 视频采样方法及装置 |
US11911147B1 (en) | 2020-01-04 | 2024-02-27 | Bertec Corporation | Body sway measurement system |
US11450192B2 (en) | 2020-01-06 | 2022-09-20 | National Cheng Kung University | Fall detection system |
US11315363B2 (en) * | 2020-01-22 | 2022-04-26 | Board Of Trustees Of Michigan State University | Systems and methods for gait recognition via disentangled representation learning |
US11688051B2 (en) * | 2020-01-24 | 2023-06-27 | Johnson Controls Tyco IP Holdings LLP | Automating inspection using neural network |
CN111291718B (zh) * | 2020-02-28 | 2022-06-03 | 上海商汤智能科技有限公司 | 行为预测方法及装置、步态识别方法及装置 |
WO2021186655A1 (ja) * | 2020-03-19 | 2021-09-23 | 株式会社日立製作所 | 転倒リスク評価システム |
US20230172491A1 (en) * | 2020-05-05 | 2023-06-08 | Stephen GROSSERODE | System and method for motion analysis including impairment, phase and frame detection |
CN111767888A (zh) * | 2020-07-08 | 2020-10-13 | 北京澎思科技有限公司 | 对象状态检测方法、计算机设备、存储介质和电子设备 |
CA3187587A1 (en) * | 2020-07-29 | 2022-02-03 | George Chronis | Systems and methods for detecting attempted bed exit |
CN111626273B (zh) * | 2020-07-29 | 2020-12-22 | 成都睿沿科技有限公司 | 基于原子性动作时序特性的摔倒行为识别系统及方法 |
US11798318B2 (en) | 2020-07-31 | 2023-10-24 | Qualiaos, Inc. | Detection of kinetic events and mechanical variables from uncalibrated video |
US11587423B2 (en) * | 2020-08-03 | 2023-02-21 | Healthcare Integrated Technologies, Inc. | Fall validation with privacy-aware monitoring |
CN111899470B (zh) * | 2020-08-26 | 2022-07-22 | 歌尔科技有限公司 | 人体跌倒检测方法、装置、设备及存储介质 |
CN112115827B (zh) * | 2020-09-09 | 2022-06-07 | 中南大学 | 基于人体姿态动态特征的跌倒行为识别方法 |
CN112149533A (zh) * | 2020-09-10 | 2020-12-29 | 上海电力大学 | 一种基于改进ssd模型的目标检测方法 |
CN114255508A (zh) * | 2020-09-21 | 2022-03-29 | 西安邮电大学 | 一种基于OpenPose的学生体态检测分析及效率评估方法 |
US11906540B1 (en) * | 2020-10-30 | 2024-02-20 | Bby Solutions, Inc. | Automatic detection of falls using hybrid data processing approaches |
TWI733616B (zh) * | 2020-11-04 | 2021-07-11 | 財團法人資訊工業策進會 | 人體姿勢辨識系統、人體姿勢辨識方法以及非暫態電腦可讀取儲存媒體 |
US20220147736A1 (en) * | 2020-11-09 | 2022-05-12 | Altumview Systems Inc. | Privacy-preserving human action recognition, storage, and retrieval via joint edge and cloud computing |
CN112380946B (zh) * | 2020-11-09 | 2022-12-16 | 苏州爱可尔智能科技有限公司 | 一种基于端侧ai芯片的跌倒检测方法及装置 |
CN112287868B (zh) * | 2020-11-10 | 2021-07-13 | 上海依图网络科技有限公司 | 一种人体动作识别方法及装置 |
CN112633059B (zh) * | 2020-11-12 | 2023-10-20 | 泰州职业技术学院 | 一种基于LabVIEW和MATLAB的跌倒远程监控系统 |
KR102551644B1 (ko) * | 2020-11-25 | 2023-07-05 | 주식회사 싸인텔레콤 | 영상기반의 핵심골격검출을 통한 안전관리 시스템 |
CN112633083A (zh) * | 2020-12-04 | 2021-04-09 | 南通大学 | 一种基于改进的Openpose 考试多人异常行为及口罩佩戴检测方法 |
CN112714280A (zh) * | 2020-12-08 | 2021-04-27 | 深圳英飞拓科技股份有限公司 | 基于智能盒子的智慧养老方法及系统、设备及存储介质 |
CN112464856B (zh) * | 2020-12-09 | 2023-06-13 | 成都华栖云科技有限公司 | 基于人体骨骼关键点的视频流动作检测方法 |
US11688264B2 (en) * | 2020-12-09 | 2023-06-27 | MS Technologies | System and method for patient movement detection and fall monitoring |
CN112580649B (zh) * | 2020-12-15 | 2022-08-02 | 重庆邮电大学 | 一种基于区域上下文关系模块的语义分割方法 |
CN112562260B (zh) * | 2020-12-16 | 2022-08-09 | 浙江大华技术股份有限公司 | 防走失方法及装置 |
EP4016376A1 (en) * | 2020-12-18 | 2022-06-22 | Toyota Jidosha Kabushiki Kaisha | Computer-implemented process monitoring method |
WO2022144898A1 (en) * | 2020-12-31 | 2022-07-07 | Carmel Haifa University Economic Corporation Ltd. | Methods and system for assessing the risk of falls |
CN112766165B (zh) * | 2021-01-20 | 2022-03-22 | 燕山大学 | 基于深度神经网络与全景分割的跌倒预判方法 |
SE544751C2 (en) * | 2021-01-26 | 2022-11-01 | Assa Abloy Ab | Enabling training of an ml model for monitoring states or events of a person |
US11734453B2 (en) * | 2021-02-22 | 2023-08-22 | International Business Machines Corporation | Privacy-preserving motion analysis |
CN113255446B (zh) * | 2021-04-20 | 2023-04-18 | 长沙海格北斗信息技术有限公司 | 人脸检测系统 |
US11544969B2 (en) * | 2021-04-27 | 2023-01-03 | Zhejiang Gongshang University | End-to-end multimodal gait recognition method based on deep learning |
CN113205043B (zh) * | 2021-04-30 | 2022-06-07 | 武汉大学 | 一种基于强化学习的视频序列二维姿态估计方法 |
WO2022256716A2 (en) * | 2021-06-04 | 2022-12-08 | Apple Inc. | Walking steadiness and fall risk assessment |
US11854264B2 (en) * | 2021-06-18 | 2023-12-26 | Kyndryl, Inc. | Speculative actions based on predicting negative circumstances |
CN113450538A (zh) * | 2021-06-28 | 2021-09-28 | 杭州电子科技大学 | 基于痛苦表情识别及跌倒行为检测的警示系统 |
CN113660455B (zh) * | 2021-07-08 | 2023-04-07 | 深圳宇晰科技有限公司 | 一种基于dvs数据的跌倒检测方法、系统、终端 |
US20230011635A1 (en) * | 2021-07-09 | 2023-01-12 | Viettel Group | Method of face expression recognition |
US11967102B2 (en) * | 2021-07-16 | 2024-04-23 | Shanghai United Imaging Intelligence Co., Ltd. | Key points detection using multiple image modalities |
CN113688734B (zh) * | 2021-08-25 | 2023-09-22 | 燕山大学 | 一种基于fpga异构加速的老人跌倒检测方法 |
CN113688740B (zh) * | 2021-08-26 | 2024-02-27 | 燕山大学 | 一种基于多传感器融合视觉的室内姿势检测方法 |
CN113850760B (zh) * | 2021-08-27 | 2024-05-28 | 北京工业大学 | 一种耳部ct影像前庭检测方法 |
CN113628413A (zh) * | 2021-08-30 | 2021-11-09 | 中山大学附属第三医院(中山大学肝脏病医院) | 穿脱防护服出现意外的自动报警求救技术 |
US11995917B2 (en) * | 2021-09-09 | 2024-05-28 | Sensormatic Electronics, LLC | Systems and methods for detecting a slip, trip or fall |
CN113919998B (zh) * | 2021-10-14 | 2024-05-14 | 天翼数字生活科技有限公司 | 一种基于语义和姿态图引导的图片匿名化方法 |
KR102608941B1 (ko) * | 2021-11-12 | 2023-12-01 | 인빅 주식회사 | 인공지능을 이용한 환자의 이상 행동 탐지 시스템 |
CN114333238B (zh) * | 2021-12-30 | 2024-06-25 | 广东省第二人民医院(广东省卫生应急医院) | 一种基于5g的紧急救援通信系统 |
JP7316712B1 (ja) * | 2022-04-26 | 2023-07-28 | 株式会社アジラ | 異常行動検出システム |
CN114821795B (zh) * | 2022-05-05 | 2022-10-28 | 北京容联易通信息技术有限公司 | 一种基于ReID技术的人员跑动检测和预警方法及系统 |
CN115174854A (zh) * | 2022-05-31 | 2022-10-11 | 南京航空航天大学 | 一种基于三轴加速计的智能监控视觉隐私保护方法 |
CN115100745B (zh) * | 2022-07-05 | 2023-06-20 | 北京甲板智慧科技有限公司 | 基于Swin Transformer模型的运动实时计数方法和系统 |
CN114898471B (zh) * | 2022-07-12 | 2022-09-30 | 华中科技大学 | 一种基于人体骨架特征的行为检测方法及存储介质 |
CN115546491B (zh) * | 2022-11-28 | 2023-03-10 | 中南财经政法大学 | 一种跌倒报警方法、系统、电子设备及存储介质 |
DE102022132598A1 (de) * | 2022-12-07 | 2024-06-13 | KEBA Group AG | System und Verfahren zur Überwachung |
US20240273902A1 (en) * | 2023-02-13 | 2024-08-15 | Nec Laboratories America, Inc. | Cut-paste training augmentation for machine learning models |
CN116823591B (zh) * | 2023-05-05 | 2024-02-02 | 国政通科技有限公司 | 一种基于卷积神经元的人形检测去隐私化方法及装置 |
CN116563797B (zh) * | 2023-07-10 | 2023-10-27 | 安徽网谷智能技术有限公司 | 一种用于智慧校园的监控管理系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101405779A (zh) * | 2005-04-05 | 2009-04-08 | 实物视频影像公司 | 采用视频基元的视频监视系统 |
CN106539587A (zh) * | 2016-12-08 | 2017-03-29 | 浙江大学 | 一种基于多运动传感器的跌倒风险评估以及监测系统及评估方法 |
CN106909890A (zh) * | 2017-01-23 | 2017-06-30 | 北京工业大学 | 一种基于部位聚类特征的人体行为识别方法 |
CN107045623A (zh) * | 2016-12-30 | 2017-08-15 | 厦门瑞为信息技术有限公司 | 一种基于人体姿态跟踪分析的室内危险情况告警的方法 |
US20170287146A1 (en) * | 2016-03-29 | 2017-10-05 | Verily Life Sciences Llc | Disease and fall risk assessment using depth mapping systems |
US9972187B1 (en) * | 2016-11-13 | 2018-05-15 | Agility4Life | Biomechanical parameter determination for emergency alerting and health assessment |
CN108338790A (zh) * | 2017-01-24 | 2018-07-31 | 首都医科大学 | 步态分析及跌倒评估系统 |
CN108960056A (zh) * | 2018-05-30 | 2018-12-07 | 西南交通大学 | 一种基于姿态分析和支持向量数据描述的跌倒检测方法 |
CN109919137A (zh) * | 2019-03-28 | 2019-06-21 | 广东省智能制造研究所 | 一种行人结构化特征表达方法 |
CN110287923A (zh) * | 2019-06-29 | 2019-09-27 | 腾讯科技(深圳)有限公司 | 人体姿态获取方法、装置、计算机设备及存储介质 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6975346B2 (en) * | 2002-06-27 | 2005-12-13 | International Business Machines Corporation | Method for suspect identification using scanning of surveillance media |
CA3090537A1 (en) * | 2011-04-04 | 2012-10-04 | Alarm.Com Incorporated | Fall detection and reporting technology |
US9597016B2 (en) * | 2012-04-27 | 2017-03-21 | The Curators Of The University Of Missouri | Activity analysis, fall detection and risk assessment systems and methods |
CN102722715A (zh) * | 2012-05-21 | 2012-10-10 | 华南理工大学 | 一种基于人体姿势状态判决的跌倒检测方法 |
CA2834877A1 (en) * | 2012-11-28 | 2014-05-28 | Henry Leung | System and method for event monitoring and detection |
CN105530865B (zh) * | 2013-09-11 | 2022-05-24 | 皇家飞利浦有限公司 | 跌倒检测系统和方法 |
US10096223B1 (en) * | 2013-12-18 | 2018-10-09 | Cerner Innovication, Inc. | Method and process for determining whether an individual suffers a fall requiring assistance |
CN105719429A (zh) * | 2014-07-29 | 2016-06-29 | 吴诗蕊 | 一种基于Kinect的跌倒检测及报警系统及其操作方法 |
US10863139B2 (en) * | 2015-09-07 | 2020-12-08 | Nokia Technologies Oy | Privacy preserving monitoring |
WO2017066600A1 (en) * | 2015-10-14 | 2017-04-20 | Finkelstein David Alan | System and method utilizing facial recognition with online (social) network to access casualty health information in an emergency situation |
US20170213080A1 (en) * | 2015-11-19 | 2017-07-27 | Intelli-Vision | Methods and systems for automatically and accurately detecting human bodies in videos and/or images |
US20190099113A1 (en) * | 2016-01-07 | 2019-04-04 | Gunther Röder | Method and device for detecting a fall |
US9993182B2 (en) * | 2016-02-19 | 2018-06-12 | Conduent Business Services, Llc | Computer vision system for ambient long-term gait assessment |
US10210451B2 (en) * | 2016-07-22 | 2019-02-19 | Alpine Electronics of Silicon Valley, Inc. | Neural network applications in resource constrained environments |
EP3289975A1 (en) * | 2016-09-04 | 2018-03-07 | Essence Smartcare Ltd | Detecting falls and near falls by ultrasound |
US11497417B2 (en) * | 2016-10-04 | 2022-11-15 | The Johns Hopkins University | Measuring patient mobility in the ICU using a novel non-invasive sensor |
US20180177436A1 (en) * | 2016-12-22 | 2018-06-28 | Lumo BodyTech, Inc | System and method for remote monitoring for elderly fall prediction, detection, and prevention |
KR102013935B1 (ko) * | 2017-05-25 | 2019-08-23 | 삼성전자주식회사 | 위험 상황을 감지하는 방법 및 시스템 |
US10055961B1 (en) * | 2017-07-10 | 2018-08-21 | Careview Communications, Inc. | Surveillance system and method for predicting patient falls using motion feature patterns |
US10510157B2 (en) * | 2017-10-28 | 2019-12-17 | Altumview Systems Inc. | Method and apparatus for real-time face-tracking and face-pose-selection on embedded vision systems |
CN108090458B (zh) * | 2017-12-29 | 2020-02-14 | 南京阿凡达机器人科技有限公司 | 人体跌倒检测方法和装置 |
CN108363966A (zh) * | 2018-01-30 | 2018-08-03 | 广东工业大学 | 一种室内跌倒检测方法及系统 |
US11232694B2 (en) * | 2018-03-14 | 2022-01-25 | Safely You Inc. | System and method for detecting, recording and communicating events in the care and treatment of cognitively impaired persons |
US11308325B2 (en) * | 2018-10-16 | 2022-04-19 | Duke University | Systems and methods for predicting real-time behavioral risks using everyday images |
JP7356849B2 (ja) * | 2019-09-13 | 2023-10-05 | 株式会社日立製作所 | 見守りシステム、見守り方法及び記憶媒体 |
-
2019
- 2019-11-02 US US16/672,432 patent/US11179064B2/en active Active
- 2019-12-27 CN CN201911371675.6A patent/CN111383421B/zh active Active
- 2019-12-30 US US16/731,025 patent/US20200205697A1/en active Pending
-
2020
- 2020-05-09 CN CN202010384748.1A patent/CN112784662A/zh active Pending
-
2021
- 2021-08-23 US US17/408,490 patent/US20210378554A1/en active Pending
- 2021-11-23 US US17/534,448 patent/US11923092B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101405779A (zh) * | 2005-04-05 | 2009-04-08 | 实物视频影像公司 | 采用视频基元的视频监视系统 |
US20170287146A1 (en) * | 2016-03-29 | 2017-10-05 | Verily Life Sciences Llc | Disease and fall risk assessment using depth mapping systems |
US9972187B1 (en) * | 2016-11-13 | 2018-05-15 | Agility4Life | Biomechanical parameter determination for emergency alerting and health assessment |
CN106539587A (zh) * | 2016-12-08 | 2017-03-29 | 浙江大学 | 一种基于多运动传感器的跌倒风险评估以及监测系统及评估方法 |
CN107045623A (zh) * | 2016-12-30 | 2017-08-15 | 厦门瑞为信息技术有限公司 | 一种基于人体姿态跟踪分析的室内危险情况告警的方法 |
CN106909890A (zh) * | 2017-01-23 | 2017-06-30 | 北京工业大学 | 一种基于部位聚类特征的人体行为识别方法 |
CN108338790A (zh) * | 2017-01-24 | 2018-07-31 | 首都医科大学 | 步态分析及跌倒评估系统 |
CN108960056A (zh) * | 2018-05-30 | 2018-12-07 | 西南交通大学 | 一种基于姿态分析和支持向量数据描述的跌倒检测方法 |
CN109919137A (zh) * | 2019-03-28 | 2019-06-21 | 广东省智能制造研究所 | 一种行人结构化特征表达方法 |
CN110287923A (zh) * | 2019-06-29 | 2019-09-27 | 腾讯科技(深圳)有限公司 | 人体姿态获取方法、装置、计算机设备及存储介质 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113569696A (zh) * | 2021-07-22 | 2021-10-29 | 福建师范大学 | 基于视频的人体微小震颤信号提取的方法 |
CN113569696B (zh) * | 2021-07-22 | 2023-06-06 | 福建师范大学 | 基于视频的人体微小震颤信号提取的方法 |
CN113496216A (zh) * | 2021-08-31 | 2021-10-12 | 四川大学华西医院 | 一种基于骨骼关键点的多角度跌倒高危识别方法及系统 |
CN113496216B (zh) * | 2021-08-31 | 2023-05-05 | 四川大学华西医院 | 一种基于骨骼关键点的多角度跌倒高危识别方法及系统 |
CN113838262A (zh) * | 2021-09-30 | 2021-12-24 | 中国工商银行股份有限公司 | 基于物联网的近场通讯方法、装置及系统 |
CN113838262B (zh) * | 2021-09-30 | 2023-04-18 | 中国工商银行股份有限公司 | 基于物联网的近场通讯方法、装置及系统 |
WO2024020838A1 (en) * | 2022-07-27 | 2024-02-01 | Intel Corporation | Apparatus, method, device and medium for dynamic balance ability evaluation |
CN115713838A (zh) * | 2022-10-13 | 2023-02-24 | 浙江大华技术股份有限公司 | 摔倒行为预测方法、装置、计算机设备和存储介质 |
CN116343341A (zh) * | 2023-05-12 | 2023-06-27 | 天津志听医疗科技有限公司 | 一种基于姿态识别的动作预测分析方法和系统 |
CN116343341B (zh) * | 2023-05-12 | 2023-08-15 | 天津志听医疗科技有限公司 | 一种基于姿态识别的动作预测分析方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
US20210378554A1 (en) | 2021-12-09 |
CN111383421A (zh) | 2020-07-07 |
US20200205697A1 (en) | 2020-07-02 |
US11923092B2 (en) | 2024-03-05 |
US20200211154A1 (en) | 2020-07-02 |
CN111383421B (zh) | 2021-12-17 |
US20220079472A1 (en) | 2022-03-17 |
US11179064B2 (en) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112784662A (zh) | 基于视频的跌倒风险评价系统 | |
CN109477951B (zh) | 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法 | |
US10080513B2 (en) | Activity analysis, fall detection and risk assessment systems and methods | |
JP7185805B2 (ja) | 転倒リスク評価システム | |
Shoaib et al. | View-invariant fall detection for elderly in real home environment | |
Mousse et al. | Percentage of human-occupied areas for fall detection from two views | |
Alazrai et al. | Fall detection for elderly using anatomical-plane-based representation | |
CN112036267A (zh) | 一种目标检测方法、装置、设备和计算机可读存储介质 | |
Rastogi et al. | Human fall detection and activity monitoring: a comparative analysis of vision-based methods for classification and detection techniques | |
Oumaima et al. | Vision-based fall detection and prevention for the elderly people: A review & ongoing research | |
Biswas et al. | A literature review of current vision based fall detection methods | |
Wang et al. | Fall detection with a non-intrusive and first-person vision approach | |
Safarzadeh et al. | Real-time fall detection and alert system using pose estimation | |
Siedel et al. | Contactless interactive fall detection and sleep quality estimation for supporting elderly with incipient dementia | |
Inoue et al. | Bed exit action detection based on patient posture with long short-term memory | |
JP7169213B2 (ja) | 身体健康状態映像分析装置、方法並びにシステム | |
CN114373142A (zh) | 基于深度学习的行人跌倒检测方法 | |
Bhatlawande et al. | Elderly Care System for Classification and Recognition of Sitting Posture | |
Castro et al. | Fall Detection with LSTM and Attention Mechanism. | |
Su et al. | Enhancing Detection of Falls and Bed-Falls Using a Depth Sensor and Convolutional Neural Network | |
Pathak et al. | Fall detection for elderly people in homes using Kinect sensor | |
Anderson et al. | Extension of a soft-computing framework for activity analysis from linguistic summarizations of video | |
TWI820784B (zh) | 一種具安全照護及高隱私處理的跌倒及姿態辨識方法 | |
Xu et al. | Fall detection based on person detection and multi-target tracking | |
Jatkar et al. | Human activity recognition and fall detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |