CN111383421B - 隐私保护跌倒检测方法和系统 - Google Patents

隐私保护跌倒检测方法和系统 Download PDF

Info

Publication number
CN111383421B
CN111383421B CN201911371675.6A CN201911371675A CN111383421B CN 111383421 B CN111383421 B CN 111383421B CN 201911371675 A CN201911371675 A CN 201911371675A CN 111383421 B CN111383421 B CN 111383421B
Authority
CN
China
Prior art keywords
behavior
fall detection
behaviors
sequence
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911371675.6A
Other languages
English (en)
Other versions
CN111383421A (zh
Inventor
吴谦伟
王星
郑健楠
区峻康
陈智琮
林冠寰
张栋
埃里克·汉斯
陈鈞杰
陈明华
高宇
欧继雷
马凯伦
埃德里安·费兹
吴建兵
卢晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aotong Artificial Intelligence Shenzhen Co ltd
Original Assignee
Altumview Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altumview Systems Inc filed Critical Altumview Systems Inc
Publication of CN111383421A publication Critical patent/CN111383421A/zh
Application granted granted Critical
Publication of CN111383421B publication Critical patent/CN111383421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/222—Personal calling arrangements or devices, i.e. paging systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/08—Elderly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Dentistry (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)

Abstract

公开了基于视觉的隐私保护嵌入式跌倒检测系统的多个实施例。该嵌入式跌倒检测系统包括一个或多个用于捕捉一个或多个人的视频图像的摄像头。此外，该嵌入式跌倒检测系统包括多个用于处理该已捕捉视频图像的跌倒检测模块，包括姿势估计模块、行为识别模块和的跌倒检测模块，所有这些模块可以在该嵌入式系统环境中实时执行期望的跌倒检测功能，从而检测一个或多个个人的跌倒。当检测到跌倒时，该嵌入式跌倒检测系统可将去特征化的视频图像发送至服务器，而无需发送该原始捕捉图像，其中每个被检测个人用骨骼图来代替真人图像，从而保护该被检测个人的隐私。该嵌入式跌倒检测系统可以作为安装在单一固定位置的嵌入式视觉传感器实现。

Description

隐私保护跌倒检测方法和系统
优先权要求及相关专利申请
本申请根据35U.S.C.119(e)，要求美国临时专利申请62/786,541的优先权，标题为“隐私保护跌倒检测方法和系统”，发明人为吴谦伟、王星、郑健楠、区峻康、陈智琮、林冠寰、张栋、埃里克·汉斯、陈鈞杰、欧继雷、马凯伦、吴建兵和卢晔，申请日为2018年12月30日(代理档案号为AVS010.PRV01)。上述申请以其整体并入本文并作为本文的一部分。
技术领域
本申请一般涉及医疗和健康监测领域，具体地，涉及一种用于对人体进行高可靠性并且隐私保护的跌倒检测的系统、设备和技术。
背景技术
随着全球范围的寿命持续延长，快速老龄化已经成为很多国家面临的严重社会问题。老年人群一般由65岁以上的人群构成。随着老年群体数量的快速增长，对高质量的医疗护理服务的日益增长的需求为医疗护理供应者及社会带来了严峻的挑战。在众多与老年群体相关的医疗和健康问题当中，跌倒是老年人面临的最为常见，同时也极为严重的问题之一。老年人具有非常高的跌倒风险，并且随着年龄的增长，这种风险也随之提高；而且，跌倒通常会导致严重并且不可挽回的医疗后果。然而，跌倒一旦发生，能够在跌倒后的第一时间立即发出警戒/报警信号，从而可以立即提供医疗救助是极其重要的。如今，可以通过多种跌倒检测设备生成这种跌倒报警，这些跌倒报警可以监测和检测具有高跌倒风险的人群是否跌倒。
如今已经开发出多种类型的跌倒检测设备。例如，这些跌倒检测设备包括可穿戴跌倒检测设备，该可穿戴跌倒检测设备通常依赖加速度传感器和陀螺仪进行跌倒检测。然而，可穿戴跌倒检测设备需要在大部分时间由被监测的人佩带，并且需要经常充电，从而使用繁琐不便。此外，很多人容易忘记佩带，甚至有一些人拒绝佩带。一些现有的可穿戴跌倒检测设备基于声音/震动传感器。然而，这些跌倒检测设备具有较低的精确度，并且通常只能用来检测重度撞击。
另一种类型的跌倒检测设备采用各种基于视觉的跌倒检测技术，例如基于获取的高风险个人的视频。例如，一现有技术采用深度摄像头检测跌倒。然而，该深度摄像头的精确度通常不足以监测大面积区域。在另一现有技术中，该获取视频的视场被划分为上区域和下区域，并且基于运动的幅度和区域检测对应于人体下区域的运动事件。在又一现有技术中，还通过获取视频中检测到的人的高度和纵横比进行跌倒检测。然而，在上述技术中，识别跌倒的决策规则较为简单朴素，并且这些系统的性能表现无法满足理想的精度要求。
在另一基于视频的跌倒检测系统中，从视频图像中计算基于梯度的特征向量，并将该特征向量用于表征人体对象。这些特征向量之后被发送至一个简单的三层埃尔曼循环神经网络(RNN)，用于跌倒检测。然而，这些简单的RNN架构的普遍低复杂度也限制了相关跌倒检测输出的性能。
最近，基于卷积神经网络(CNN)的技术已经应用到跌倒检测。这些基于CNN的技术通常更加精确并且比上述技术更具鲁棒性，该基于CNN的技术采用简单的规则或参数来作出跌倒预测。例如，其中一个该技术采用基于CNN架构识别图像中捕捉到的人体活动。然而，现有的基于CNN的跌倒检测技术需要非常大量的计算资源，因而不能适用于嵌入式系统实现。
发明内容
本申请公开了隐私保护嵌入式跌倒检测视觉系统(在本申请中也称之为“嵌入式跌倒检测系统”，或者简称为“嵌入式视觉系统”)的多个实施例，该系统包括用于实现各种基于视觉并且具有隐私保护的跌倒检测功能的多个软件和/或硬件模块。具体地，这些嵌入式跌倒检测系统为独立系统，该系统可以包括硬件模块和一个或多个处理器，该硬件模块例如为一个或多个用于捕捉一个或多个被监测的个人的视频图像，以服务于潜在的跌倒风险的摄像头；该处理器用于对捕捉到的视频图像进行处理。此外，该嵌入式跌倒检测系统可以包括多个用于处理该被捕捉到的视频图像，并在随后生成跌倒检测输出的软件模块，该跌倒检测输出包括基于捕捉到的视频图像的跌倒报警/通知。本申请公开的嵌入式跌倒检测系统可以作为单体嵌入式跌倒检测视觉传感器。该单体嵌入式跌倒检测视觉传感器在多个跌倒检测应用中可以安装在单个固定位置，用于监测具有高度跌倒风险的个人/个体，例如老年人、残疾人或者具有某种疾病的人。
本申请还公开了分布式隐私保护跌倒检测系统的多个实施例，该系统包括：一个或多个基于本申请公开的嵌入式跌倒检测系统实现的独立嵌入式跌倒检测视觉传感器，服务器以及相关的移动应用程序(或者“移动APP”)，所有这些通过网络结合在一起。在一些实施例中，该分布式跌倒检测系统可以作为多视觉传感器跌倒检测系统实现，该系统由多个独立嵌入式跌倒检测视觉传感器构成。该多个独立嵌入式跌倒检测视觉传感器可以安装在互不相同的多个固定位置，其中该多个嵌入式跌倒检测视觉传感器中的每一个可以包括至少一个用于捕捉视频图像的摄像头以及多个软件和硬件模块，该多个软件和硬件模块用于处理该被捕捉到的视频图像，并生成对应的跌倒检测输出，该跌倒检测输出包括基于捕捉到的视频图像的跌倒报警/通知。
在多个实施例中，本申请公开的跌倒检测系统中的服务器可用于收集并处理多个跌倒检测输出源，从该多个跌倒检测输出源中选择一个跌倒检测输出源，然后将已选择的跌倒检测输出源发送给安装在一个或多个移动设备上的相关跌倒检测移动APP，其中该跌倒检测输出源由该多个独立嵌入式跌倒检测视觉传感器生成。在多个实施例中，该服务器可以是基于云计算的服务器或者本地服务器。在多个实施例中，该服务器和该移动APP还可用于添加或删除该多个独立嵌入式跌倒检测视觉传感器内的档案，其中该档案涉及将要被该分布式跌倒检测系统监测或者正在被该分布式跌倒检测系统监测的人。在该实施例中，该服务器可用于将信息分发至多个独立嵌入式跌倒检测视觉传感器中。在一些实施例中，本申请公开的分布式跌倒检测系统由单个嵌入式跌倒检测视觉传感器(而非多个嵌入式跌倒检测视觉传感器)、服务器和该移动APP构成。
在多个实施例中，为了保护被本申请公开的嵌入式跌倒检测系统或者本申请公开的分布式跌倒检测系统正在监测的个人的隐私或者捕捉到的个人的隐私，关于被捕捉到的视频图像中所有与跌倒检测相关的计算都是在嵌入式跌倒检测系统或者该分布式跌倒检测系统内的每个独立嵌入式跌倒检测视觉传感器内部现场执行。在一些实施例中，在现场处理完该被捕捉到的视频图像后，本申请公开的分布式跌倒检测系统的每个嵌入式跌倒检测视觉传感器仅将每个被检测到的个人的去特征化的视频图像和/或视频剪辑(例如仅发送每个被检测到的人的关键点/骨骼/人物线条图，而非该被检测到的人的真实图像)，连带跌倒报警/通知发送至该分布式跌倒检测系统的服务器。本申请公开的嵌入式跌倒检测系统的隐私保护特征可由最近开发的多种强大的人工智能(AI)集成电路(IC)芯片实现，该芯片可以容易地与本申请公开的嵌入式跌倒检测系统集成。
一方面，公开了一种执行个人跌倒检测的过程。该过程一开始接收一序列视频图像，该视频图像包括正在被监测的个人。接下来，对于该序列视频图像中的每个图像，首先检测该图像内该个人的姿势，然后将图像中该被检测个人的姿势划分为一组预定义行为中的某一行为。接下来，该过程整合该被检测个人的已划分行为的序列，该序列对应于该视频图像的序列。该过程随后对该被划分行为的整合序列进行处理，以确定是否发生跌倒。
在一些实施例中，该过程检测该图像内的个人姿势包括：首先识别图像内对应于该个人的一组人体关键点的一组位置。该过程然后将已识别的该组位置内的相邻的点连接起来以形成该个人的骨骼图，其中该骨骼图代表该被检测个人的去特征化图像。
在一些实施例中，将被检测个人的姿势划分为一组预定义行为中的某一行为包括，基于该被检测个人的骨骼图，从图像中截取出一张该被检测个人的二维(2D)图像；将该被检测个人的截取图像提供给行为分类器，该行为分类器用于预测该被检测个人处于该组预定义行为中每一种行为的概率；并基于对应于该组预定义行为的该组概率，将该被检测个人的姿势划分为该行为。
在一些实施例中，该组预定义行为包括第一类行为和第二类行为。该过程将被检测个人的姿势划分为该组预定义行为中的某一行为包括，首先将该被检测个人的姿势划分为第一类行为或者第二类行为。接下来，对于被划分的第一类行为或第二类行为，该过程进一步将该被检测个人的姿势划分为被划分行为中的某一预定义行为。在一些实施例中，该第一类行为为该组预定义行为中的危险行为的子集。其中，该危险行为的子集包括如下一种或多种：躺下行为及挣扎行为。第二组行为是该组预定义行为中正常行为的子集。其中，该正常行为的子集包括如下一种或几种：站立行为、一种或多种类型的坐下行为、弯腰行为以及下蹲行为。
在一些实施例中，该整合对应于该视频图像序列的该被检测个人的被划分行为的序列包括：识别危险区域，例如视频图像序列中的地板或地毯；确定已识别行为序列和已识别危险区域之间的空间关系；以及当该已识别行为序列中的危险行为发生在该已识别危险区域内时，证实该被划分危险行为。
在一些实施例中，该整合对应于该视频图像序列的该被检测个人的被划分行为的序列包括：识别正常区域，例如视频图像序列中的床或沙发；确定已识别行为序列和已识别正常区域之间的空间关系；以及当该已识别行为序列中的危险行为发生在该已识别正常区域内时，将该被划分为危险的行为重新划分为正常行为。
在一些实施例中，对该被划分行为的整合序列进行处理，以确定是否发生跌倒包括：采用状态机检测与该被划分行为的整合序列相关的跌倒，其中该状态机至少包括表示正常行为的正常状态和表示跌倒的警告状态。
在一些实施例中，采用状态机处理被划分行为以检测跌倒包括：首先确定该状态机中被检测个人的当前状态以及相关的状态分数。接下来，该过程依据下面的方式依次处理被划分行为的整合序列。对于每个被划分为危险活动的被划分行为，该过程增加该状态机内的当前状态的分数，从而获得当前状态的更新状态分数。如果当前状态的更新状态分数超出预定义上阈值，则该过程使该状态机从当前状态切换至警告状态。然而，对于被划分为正常活动的每个被划分行为，该过程降低该状态机内当前状态的分数，以获得该当前状态的更新状态分数。如果当前状态的更新状态分数低于预定义下阈值，则该过程使该状态机将该当前状态从该警告状态中移除。
在一些实施例中，如果检测到该个人跌倒，则该过程进一步包括：生成跌倒报警；通过用被检测个人的骨骼图代替该视频图像序列中的该被检测个人实际图像，生成描述该跌倒的去特征化视频剪辑；并且将该去特征化视频剪辑连同该跌倒报警发送到该服务器，从而保护被检测个人的隐私。
在一些实施例中，如果检测到该个人跌倒，则生成去特征化视频剪辑包括：识别一序列视频图像中的共同背景；将对应于该视频图像序列的该被检测个人的一组骨骼图叠加到该共同背景图像中，以获得一序列去特征化视频图像。接下来，该过程将由该序列去特征化视频图像构成的去特征化视频剪辑发送到该服务器，从而保护被检测个人的隐私。
另一方面，公开了一种跌倒检测系统。该跌倒检测系统可以包括一个或多个处理器以及连接于该一个或多个处理器的存储器。该跌倒检测系统还包括姿势估计模块，用于接收一序列包括正在被监测的个人的视频图像，并且检测该视频图像序列中每张图像内该个人的姿势；行为识别模块，用于将该视频图像序列中的每一张图像中该被检测个人的姿势划分为一组预定义行为中的某一行为；以及跌倒检测模块，用于整合对应于该视频图像的序列的该被检测个人的被划分行为的序列，并对该被划分行为的整合序列进行处理，以确定是否发生跌倒。
在一些实施例中，该姿势估计模块检测图像内该个人的姿势包括：识别图像内对应于该个人的一组人体关键点的一组位置；将已识别的该组位置内的相邻的点连接起来以形成该个人的骨骼图，其中该骨骼图代表该被检测个人的去特征化图像。
在一些实施例中，该行为识别模块将被检测个人的姿势划分为一组预定义行为中的某一行为包括：基于该被检测个人的骨骼图，从图像中截取出一张该被检测个人的二维(2D)图像；将该被检测个人的截取图像提供给行为分类器，该行为分类器用于预测该被检测个人处于该组预定义行为中每一种行为的概率；并基于对应于该组预定义行为的该组概率，将该被检测个人的姿势划分为该行为。
在一些实施例中，该跌倒检测模块整合对应于该视频图像序列的该被检测个人的被划分行为的序列包括：识别正常区域，例如视频图像序列中的床或沙发；确定已识别行为序列和已识别正常区域之间的空间关系；以及当该已识别行为序列中的危险行为发生在该已识别正常区域内时，将该被划分为危险的行为重新划分为正常行为。
在一些实施例中，该跌倒检测模块对该被划分行为的整合序列进行处理包括：采用状态机检测与该被划分行为的整合序列相关的跌倒，其中该状态机至少包括表示正常行为的正常状态和表示跌倒的警告状态。
在一些实施例中，该跌倒检测模块采用状态机处理被划分行为包括：对于每个被划分为危险活动的被划分行为，增加该状态机内的当前状态的分数，从而获得当前状态的更新状态分数；其中，如果当前状态的更新状态分数超出预定义上阈值，则使该状态机从当前状态切换至警告状态；对于被划分为正常活动的每个被划分行为，降低该状态机内当前状态的分数，以获得该当前状态的更新状态分数；其中，如果当前状态的更新状态分数低于预定义下阈值，则使该状态机将该当前状态从该警告状态中移除。
本申请又一方面公开了一种嵌入式跌倒检测系统。该嵌入式跌倒检测系统包括：一个或多个用于捕捉包括个人的一序列视频图像的摄像头，一个或多个处理器，以及连接到该一个或多个处理器的存储器。该存储器存储有指令，当该指令被该一个或多个处理器执行时使该系统执行：接收一序列视频图像；检测该序列视频图像中的每张图像内该个人的姿势；对于该序列视频图像中的每张图像，将该图像中被检测个人的姿势划分为一组预定义行为中的某一行为；整合该被检测个人的被划分行为的序列，该序列对应于该视频图像的序列；以及对该被划分行为的整合序列进行处理，以确定是否发生跌倒。
在一些实施例中，该状态机用于检测与被划分行为的聚合序列相关的跌倒，其中该状态机至少包括表示正常行为的正常状态和表示跌倒的警告状态。该存储器还存储有指令，该指令被该一个或多个处理器执行时使该系统执行：确定该状态机中被检测个人的当前状态以及相关的状态分数；接下来依据下面的方式依次处理被划分行为的整合序列：对于每个被划分为危险活动的被划分行为，增加该状态机内的当前状态的分数，从而获得当前状态的更新状态分数。如果当前状态的更新状态分数超出预定义上阈值，则使该状态机从当前状态切换至警告状态；对于被划分为正常活动的每个被划分行为，降低该状态机内当前状态的分数，以获得该当前状态的更新状态分数，如果当前状态的更新状态分数低于预定义下阈值，则使该状态机将该当前状态从该警告状态中移除。
通过下文结合本发明思想的示例描述，可以非常明显地得出本发明思想的其他特征及优势。
附图说明
通过下文详细的说明及附图，可以理解本发明的结构和运作方式，其中相同的附图标记表示相同的部件，其中：
图1为根据文中描述的一些实施例的嵌入式跌倒检测系统的方块图；
图2为根据文中描述的一些实施例，包括一个或多个嵌入式跌倒检测视觉传感器的分布式跌倒检测系统的方块图，其中嵌入式跌倒检测视觉传感器基于图1所示的嵌入式跌倒检测系统；
图3显示了根据文中描述的一些实施例，通过采用直线将18个相邻的关键点连接起来获得的视频图像中被检测个人的示例性骨骼图；
图4显示了根据文中描述的一些实施例，基于被检测个人的截取图像用于划分行为的示例性两级行为识别模块的方块图；
图5显示了根据文中描述的一些实施例，基于被检测个人的一组连续行为标签的用于预测跌倒的状态机的跌倒检测状态切换图；
图6为根据文中描述的一些实施例，用于执行基于图像的跌倒检测的示例性过程的流程图；
图7为根据文中描述的一些实施例，添加新的个人档案到跌倒检测系统的示例性过程的流程图；
图8为根据文中描述的一些实施例，从该跌倒检测系统中移除已存储个人档案的示例性过程的流程图；
图9为根据文中描述的一些实施例，通过嵌入式跌倒检测系统识别被检测个人的示例性过程的流程图；
图10为根据文中描述的一些实施例，用于嵌入式跌倒检测系统的示例性硬件环境；
图11为根据文中描述的一些实施例，用于执行该嵌入式跌倒检测系统的多种跌倒检测功能的示例性任务调度器；
图12为根据文中描述的一些实施例，基于串联连接的任务调试机的包括双任务调度器节点的示例性处理管道；以及
图13为根据文中描述的一些实施例，执行图1所示嵌入式跌倒检测系统的嵌入式跌倒检测视觉传感器的示例性外部设计。
具体实施方式
如下描述可使本领域任一技术人员实现并使用这些实施例，并且在具体应用环境及其要求中提供有该描述。本领域技术人员可以非常容易地对这些实施例作出多种修改，并且在不脱离本申请的原则和范围的前提下，可以将文中定义的普遍原则应用到其他实施例和应用中。因此，本发明不限于文中所示的实施例，而是应该以文中公开的原则和特征的最宽解释范围为准。
术语
本申请全文中，术语“嵌入式跌倒检测视觉系统”、“嵌入式跌倒检测系统”以及“嵌入式视觉系统”可互换使用，均表示结合图1描述的嵌入式跌倒检测系统100。术语“嵌入式跌倒检测视觉传感器”以及“嵌入式视觉传感器”可以互换使用，均表示独立跌倒检测设备/单元，该独立跌倒检测设备/单元在硬件环境下与嵌入式跌倒检测系统100集成。此外，术语“分布式跌倒检测系统”表示结合图2描述的整体跌倒检测系统，其包括一个或多个基于该“嵌入式跌倒检测系统”实现的“嵌入式跌倒检测视觉传感器”、服务器以及移动应用程序。
本申请提出的跌倒检测系统概况
老龄化是很多国家面临的问题。老年人具有更高的跌倒风险，并且跌倒通常会导致严重的医疗后果。因此，需要提供一种用于监测和检测具有高跌倒风险的人群的跌倒检测系统和技术。此外，还需要保护正在被监测人的隐私。
在本申请中，公开了嵌入式隐私保护的跌倒检测视觉系统的多个实施例，该视觉系统包括多个用于执行多种基于图像的隐私保护的跌倒检测功能的软件和/或硬件模块。在下面的讨论中，该嵌入式跌倒检测视觉系统也可以被称为“嵌入式跌倒检测系统”或者“嵌入式视觉系统”。需要注意的是，该嵌入式跌倒检测系统可以作为独立的跌倒检测系统用于监测和检测跌倒。具体地，该嵌入式跌倒检测系统可以包括硬件模块，例如一个或多个用于捕捉一个或多个正在被监测潜在跌倒的人的视频图像，以及一个或多个用于处理该被捕捉到的视频图像的处理器。此外，该嵌入式跌倒检测系统可以包括多个软件模块，用于处理该被捕捉到的视频图像，并随后生成跌倒检测输出，该跌倒检测输出包括基于该被捕捉到的视频图像的跌倒报警/通知。本申请公开的嵌入式跌倒检测系统可以作为单体式嵌入式跌倒检测视觉传感器。在多种跌倒检测应用环境中，该单体式嵌入式跌倒检测传感器可以安装在单个固定位置，用于监测具有高度跌倒风险的个人/个体，例如老年人、残疾人或者具有某种疾病的人。此外，在下面在讨论中，引入的术语“跌倒检测引擎”表示该嵌入式跌倒检测系统仅包括用于执行一个或多个本申请公开的跌倒检测技术中的多个计算机软件模块的部分，而不包括任何硬件模块，如处理器或摄像头。
此外，本申请公开的多个实施例中，分布式隐私保护跌倒检测系统包括：一个或多个基于本申请公开的嵌入式跌倒检测系统实现的独立嵌入式跌倒检测视觉传感器，服务器以及相关的移动应用程序(或者“移动APP”)，所有这些通过网络结合在一起。在一些实施例中，该分布式跌倒检测系统可以作为多视觉传感器跌倒检测系统实现，该系统由多个独立嵌入式跌倒检测视觉传感器构成。该多个独立嵌入式跌倒检测视觉传感器可以安装在互不相同的多个固定位置，其中该多个嵌入式跌倒检测视觉传感器中的每一个可以包括至少一个用于捕捉视频图像的摄像头以及多个软件和硬件模块，该多个软件和硬件模块用于处理该被捕捉到的视频图像，并生成对应的跌倒检测输出，该跌倒检测输出包括基于捕捉到的视频图像的跌倒报警/通知。
在多个实施例中，本申请公开的跌倒检测系统中的服务器可用于收集并处理多个跌倒检测输出源，从该多个跌倒检测输出源中选择一个跌倒检测输出源，然后将已选择的跌倒检测输出源发送给安装在一个或多个移动设备上的相关跌倒检测移动APP，其中该跌倒检测输出源由该多个独立嵌入式跌倒检测视觉传感器生成。在多个实施例中，该服务器可以是基于云计算的服务器或者本地服务器。在多个实施例中，该服务器和该移动APP还可用于添加或删除该多个独立嵌入式跌倒检测视觉传感器内的档案，其中该档案涉及将要被该分布式跌倒检测系统监测或者正在被该分布式跌倒检测系统监测的人。在该实施例中，该服务器可用于将信息分发至多个独立嵌入式跌倒检测视觉传感器中。在一些实施例中，本申请公开的分布式跌倒检测系统由单个嵌入式跌倒检测视觉传感器(而非多个嵌入式跌倒检测视觉传感器)、服务器和该移动APP构成。
在多个实施例中，为了保护被本申请公开的嵌入式跌倒检测系统或者本申请公开的分布式跌倒检测系统正在监测的个人或者捕捉到的个人的隐私，关于被捕捉到的视频图像中所有与跌倒检测相关的计算都是在该嵌入式跌倒检测系统或者该分布式跌倒检测系统内的每个独立嵌入式跌倒检测视觉传感器内部现场执行。在一些实施例中，在现场处理完该被捕捉到的视频图像后，本申请公开的分布式跌倒检测系统的每个嵌入式跌倒检测视觉传感器仅将每个被检测到的个人的去特征化的视频图像和/或视频剪辑(例如仅发送每个被检测到的人的关键点/骨骼/人物线条图，而非该被检测到的人的真实图像)，连带跌倒报警/通知发送至该分布式跌倒检测系统的服务器。本申请公开的嵌入式跌倒检测系统的隐私保护特征可由最近开发的多种强大的人工智能(AI)集成电路(IC)芯片实现，该芯片可以容易地与本申请公开的嵌入式跌倒检测系统集成。这种AI芯片在其中一个实例中可以是海思半导体Hi3599A片上系统(SoC)，该片上系统包括2个ARM Cortex A73的CPU、3个ARMCortex A53的CPU、1个双核ARM Mali G71的GPU、1个双核神经网络推理加速引擎(NNIE)和1个四核DSP模块。需要说明的是，这一特定SoC还包括内置的安全性、签名验证和防篡改功能。
需要说明的是，本申请公开的嵌入式跌倒检测系统是建立在实现多种基于深度学习的快速神经网络并同时结合多种优化技术的基础上的，例如网络修剪，量化和深度卷积。因此，本申请公开的嵌入式跌倒检测系统可以执行众多基于深度学习的功能，如基于实时深度学习的姿势估计、行为识别、跌倒检测、人脸检测和人脸识别。图1为根据文中一些实施例的嵌入式跌倒检测系统100的方块图。
从图1中可以看出，该嵌入式跌倒检测系统100包括跌倒检测引擎101和摄像头102。该跌倒检测引擎101还包括多种跌倒监测和跌倒检测功能模块，这其中包括姿势估计模块106、行为识别模块108、跌倒检测模块110、场景分割模块112、人脸检测模块116以及人脸识别模块118。然而，本申请公开的嵌入式跌倒检测系统在其他实施例中可以在不背离本申请的保护范围的前提下，包括其他的功能模块，或者省略掉图中所示的嵌入式跌倒检测系统100中的一个或多个功能模块。下面将对嵌入式跌倒检测系统100的多种功能模块的示例性实施例作进一步描述。
该嵌入式跌倒检测系统100可采用摄像头102监测给定空间内的人体活动，其中该给定空间例如为房间、房子、大厅、走廊；并捕捉视频图像和/或静止的图像，用于跌倒分析和预测。在一些实施例中，当该嵌入式跌倒检测系统100启动时，该摄像头102生成并输出视频图像104，该视频图像104包括位于该被监测空间的一个或多个人的视频图像。跌倒检测引擎101接收到该视频图像104并将该视频图像104作为输入，随后对输入的视频图像104进行处理，并基于该处理后的视频图像104进行跌倒/未跌倒预测/决策。该嵌入式跌倒检测系统100可以生成跌倒检测输出140，当检测到人体跌倒时，该跌倒检测输出140包括跌倒报警/通知140-1以及去特征化视频剪辑104-2。然而，即使未检测到跌倒，该嵌入式跌倒检测系统100依然可以输出被监测个人的日常生活活动(ADLs)统计。需要说明的是，摄像头102不一定要成为该嵌入式跌倒检测系统100的一部分，也可以作为该整个嵌入式跌倒检测设备的一部分，该整个嵌入式跌倒检测设备在下文被称为“嵌入式跌倒检测视觉传感器”。当该嵌入式跌倒检测系统100仅包括跌倒检测引擎101，而不包括任何其他硬件部件时，该嵌入式跌倒检测系统100可以完全由计算机软件实现。
在一些实施例，图1所示的嵌入式跌倒检测系统100可以作为嵌入式跌倒检测视觉传感器(下文也称之为“嵌入式视觉传感器”)。在这些实施例中，该跌倒检测引擎101的多个功能模块(即，姿势估计模块106、行为识别模块108、跌倒检测模块110、场景分割模块112、人脸检测模块116以及人脸识别模块118)可以集成到该嵌入式跌倒检测视觉传感器中。该嵌入式跌倒检测系统100可以采用一个或多个摄像头，例如用于监测如房间、房子、大厅、走廊等空间从而检测跌倒的摄像头102，并采用跌倒检测引擎101处理被捕捉到的视频图像，并生成跌倒检测输出140，跌倒检测输出140包括跌倒报警/通知140-1以及去特征化视频剪辑104-2。更具体地，该嵌入式跌倒检测视觉传感器可以包括一个或多个用于存储指令的存储器，其中该指令用于实现该跌倒检测引擎101，还包括一个或多个处理器，其中该处理器包括多个CPU以及/或者多个神经处理单元(NPU)，用于执行该一个或多个存储器内的指令，从而实现该跌倒检测引擎101的多个功能模块。此外，该嵌入式跌倒检测视觉传感器还可以包括一个或多个摄像头、一个或多个传感器以及网络接口等。当作为单体式跌倒检测和监测设备时，该嵌入式跌倒检测视觉传感器还可以包括壳体/外壳，一个或多个附属机构，并且可能包括支架/基座。下面结合图10对该嵌入式跌倒检测视觉传感器的更细节的实施方式进行描述。
图2为根据文中描述的一些实施例，包括一个或多个嵌入式跌倒检测视觉传感器的分布式跌倒检测系统200的方块图，其中嵌入式跌倒检测视觉传感器基于图1所示的嵌入式跌倒检测系统100。更具体地，该一个或多个嵌入式跌倒检测视觉传感器202-1、202-2……和202-N中的每一个传感器都是基于上文图1描述的嵌入式跌倒检测系统100实现的独立跌倒检测单元。换言之，该分布式跌倒检测系统200内的每个嵌入式跌倒检测视觉传感器202包括嵌入式跌倒检测系统100或者以其整体通过其他方式与该嵌入式跌倒检测系统100集成。需要说明的是，每个嵌入式跌倒检测视觉传感器202可用于执行独立的跌倒监测和跌倒检测功能。在一些实施例中，该分布式跌倒检测系统200可以仅包括一个嵌入式跌倒检测视觉传感器202－1(即N＝1)。在这些实施例中，该分布式跌倒检测系统200可以仅包括一个用于捕捉具有一个或多个正在被监测的人的视频图像的摄像头，并且仅包括一个用于处理该被捕捉到的视频图像以检测一个或多个人的跌倒的跌倒检测引擎101。
在一些实施例中，该分布式跌倒检测系统200包括不止一个嵌入式跌倒检测视觉传感器(即N>1)。需要说明的是，由于单个摄像头具有相关盲区，因此非常难以利用单摄像头嵌入式跌倒检测系统监测较大区域。因此，对于大区域的跌倒监测和跌倒检测，在该大区域内的多个位置处安装包括多个嵌入式跌倒检测视觉传感器202的分布式跌倒检测系统200可用于消除这种盲区，从而提高整体跌倒检测性能的鲁棒性。如上文描述的，该多个嵌入式跌倒检测视觉传感器202-1、202-2……和202-N(N>1)中的每一个传感器都是基于上文图1描述的嵌入式跌倒检测系统100实现的独立跌倒检测单元。
需要说明的是，该多个嵌入式视觉传感器202中的每一个传感器均通过网络220连接到服务器204。在多个实施例中，该服务器204可以是基于云计算的服务器或者本地服务器。服务器204自身进一步连接到多个移动设备206、208和210，其中该移动设备206、208和210由看护者和/或医疗人员通过网络220监测。该服务器204可通信连接至客户端应用程序，例如安装在每个移动设备206、208和210上的跌倒检测移动APP 212(或者简称为“移动APP 212”)。在一些实施例中，某一移动设备上的移动APP 212用于从服务器204处接收跌倒报警/通知以及去特征化的视频剪辑，其中该跌倒报警/通知以及去特征化的视频剪辑由该多个嵌入式视觉传感器202-1、202-2……和202-N通过网络220输出。在一些实施例中，该服务器204还可以托管多摄像头管理应用程序，该应用程序用于将每个被监测区域划分为一组分区，并且分配该一个或多个嵌入式视觉传感器202-1、202-2……和202-N来监测该组分区中的每个分区。
如上文提到的，服务器204可用于将较大的被监测区域划分为一组分区，其中该组分区中的每个分区可以由两个或多个嵌入式视觉传感器202-1、202-2……和202-N(N>1)覆盖。此外，对于该组分区中的每个分区，该服务器204可用于“融合”或者以其他方式结合覆盖给定分区的两个或多个嵌入式视觉传感器202的所有输出结果。例如，如果无法基于一个位于较差角度的第一嵌入式视觉传感器的跌倒检测输出识别或确定被监测人的身份，则可以通过一个位于较好角度的第二嵌入式视觉传感器的跌倒检测输出识别或确定该被监测人的身份。一般而言，服务器204可以将来自该两个或多个嵌入式视觉传感器202-1、202-2……和202-N的两个或多个跌倒检测输出源结合起来，并基于该两个或多个跌倒检测输出源生成关于给定个人的集合性跌倒检测决策。
更具体地，如果该两个或多个嵌入式视觉传感器202检测出被监测区域内的给定个人跌倒了，则该两个或多个嵌入式视觉传感器中的每个传感器可发送各自的跌倒报警/通知140-1和去特征化视频剪辑140-2(例如采用被检测个人的骨骼图/线条图表示，而非该被检测个人的实际图像)，以向该服务器204描述该跌倒过程。在一些实施例中，该去特征化视频剪辑包括紧接该跌倒被检测到之前的预定义时长缓冲(例如10-15秒)的视频图像。因此，该视频剪辑可以包括用于描述整个跌倒过程的视频图像序列。
需要说明的是，当该服务器204接收到来自该两个或多个嵌入式视觉传感器202的多个跌倒检测输出源时，该服务器204用于确定该多个跌倒检测输出源是否来自同一个人。如果来自同一个人，则该服务器204在该多个跌倒检测输出源中选择具有最高置信度/分数的一个跌倒检测输出源。在一些实施例中，该置信分数可以嵌入到每个跌倒检测输出源中。下文会进一步描述，该嵌入式跌倒检测系统100的姿势估计模块106和行为识别模块108均会产生每个被检测个人的估计姿势和划分行为的概率。因此，可以基于这些概率值确定生成跌倒报警的置信分数。因此，服务器可以在该多个源中选择与最高置信分数关联的数据源，随后将该被选择的跌倒检测输出源发送至安装在移动设备206-210上的跌倒检测移动APP 212，其中该跌倒检测输出源包括相关的跌倒报警/通知以及相关的去特征化视频剪辑。然而，当该服务器204从该两个或多个嵌入式视觉传感器202中仅接收来自单个视觉传感器的一个跌倒检测输出源时，该服务器204可以将该接收到的单个跌倒检测输出源直接发送至安装在移动设备206-210上的跌倒检测移动APP 212。
在一些实施例中，在接收到来自该服务器204的跌倒检测输出之后，该移动APP212可以在一个或多个看护者的一个或多个移动设备206-210上播放该去特征化的视频剪辑。本申请公开的移动APP 212还可用于协助添加或删除由该分布式跌倒检测系统200跟踪的个人的档案。在一些实施例中，个人档案可以包括个人身份，如个人姓名，以及个人档案照片。在一些实施例中，在执行个人跌倒检测之前，可以在服务器204以及每个嵌入式跌倒检测视觉传感器202上创建并存储个人档案。例如，移动APP 212可用于将该个人的身份与该个人的一张或多张档案照片结合起来，从而新建该个人的档案。在一些实施例中，该移动APP 212可用于拍摄该个人的一张或多张档案照片。该移动APP 212然后将包括该一张或多张档案照片以及个人身份的个人档案发送至该服务器204，其中该个人身份例如为该个人的姓名。
接下来，在该服务器204处，可采用文件管理程序生成并分配该个人的唯一个人ID(例如基于该个人的唯一身份)并将该个人ID与一个或多个档案照片进行关联。在一些实施例中，该服务器204生成的该个人的个人ID可以是唯一的数值(例如整数)，并不包括该个人的任何身份信息。因此，本申请公开的个人ID可以保护该个人的隐私。服务器204然后将新生成的该个人的个人ID以及该个人的档案照片发送至嵌入式跌倒检测系统100，该嵌入式跌倒检测系统100维护有个人ID词典。接下来，该嵌入式跌倒检测系统100可以基于接收到的个人ID以及该档案照片生成新的个人条目，并将该新的条目添加到该个人ID词典内。
在一些实施例中，该服务器204可以是单个计算设备，例如计算机服务器。在其他实施例中，该服务器204可以表示不止一个共同工作的计算设备，以执行服务器计算机的工作，例如云服务器。服务器204可以包括一个或多个处理器和数据存储设备。这些一个或多个处理器可以执行存储在数据存储设备内的计算机程序，从而执行该服务器204的多种功能。网络220例如可以包括如下一种或多种：个人区域网(PAN)、局域网(LAN)、园区网(CAN)、城域网(MAN)、广域网(WAN)、宽带网(BBN)、互联网等。此外，该网络220可以包括但不限于以下网络拓扑中的任何一个或多个：总线网络、星形网络、环形网络、网状网络、星形总线网络、树形或分级网络等。
回到图1并结合图2，需要说明，当该嵌入式跌倒检测系统100检测到有人跌倒时，该嵌入式跌倒检测系统可发送跌倒报警/通知140-1以及用于描述跌倒行为的去特征化视频图像140-2至该服务器，如图2所示的服务器204。具体地，该去特征化的视频剪辑可以采用用于表征该被检测个人的关键点图/线条图，用于替代每个视频图像中该被检测个人的实际图像。在一些实施例中，该去特征化视频剪辑140-2可以包括紧接检测到该跌倒前的预定义时长缓冲(例如10-15秒)的视频图像。因此，该去特征化图像片段140-2可以包括整个跌倒过程的视频图像序列。
在一些实施例中，该嵌入式跌倒检测系统100可以利用人脸检测模块116和人脸识别模块118，通过该视频图像序列跟踪该被检测个人。为了通过视频帧序列跟踪每个唯一的个人，该嵌入式跌倒检测系统100可以识别每个被检测个人，并在随后将该被检测个人与上述个人ID词典存储的对应个人ID进行关联(下文将更加详细地描述)。然后，该嵌入式跌倒检测系统100可以将该已识别个人ID连同其他与该被检测个人相关的跌倒检测数据发送至该服务器。在接收到包括该跌倒报警/通知140-1，相关去特征化视频剪辑140-2以及该相关个人ID 136的该被检测个人的跌倒检测输出之后，该服务器(如服务器204)可以将上述跌倒检测数据发送至安装在一个或多个移动设备(例如移动设备206-210)的相关跌倒检测移动APP(例如移动APP 212)。
需要说明的是，无论是否具有相关的个人ID，该嵌入式跌倒检测系统100均可执行个人跌倒检测。换言之，一旦在该输入视频图像104检测出个人，则该嵌入式跌倒检测系统100就可以对该被检测个人执行跌倒检测，并在必要时生成跌倒检测/通知，即使该被检测个人不具有已建立个人ID，或者该系统未能识别该被检测个人。如上文提到的，并且下文会更详细地提到，该嵌入式跌倒检测系统100包括个人ID词典，该词典可以存储可由该嵌入式跌倒检测系统100跟踪的一组人的一组已建立的个人ID。例如，该个人ID词典(即个人ID词典150)可以与人脸识别模块118集成。
在一些实施例中，如果该被检测个人与该个人ID词典150内存储的任何一个存储的个人ID均不匹配，则该嵌入式跌倒检测系统100可以生成并输出该跌倒报警/通知140-1以及一“未知个人”标签。然而，如果该嵌入式跌倒检测系统100可以成功地将该被检测个人与该个人ID词典150内建立的某一个人ID匹配，则该嵌入式跌倒检测系统100可以生成该跌倒报警/通知140-1以及被检测个人的已识别个人ID 136，并将该跌倒报警/通知140-1以及被检测个人的已识别个人ID 136发送至服务器，如服务器204。在接收到跌倒报警/通知140-1以及相关个人ID后，该服务器204可将该个人ID转化为该被检测个人的真实身份，例如该个人的姓名，并将该跌倒报警/通知与该被检测个人的真实身份关联。该服务器204然后将选择的跌倒报警/通知以及该被选择个人的身份发送至移动APP 212。
现在将更加详细地描述本申请公开的嵌入式跌倒检测系统100内的跌倒检测引擎101的每个功能模块。
姿势估计模块
在一些实施例中，该嵌入式跌倒检测系统100采用图1所示的姿势估计模块106，首先通过估计给定视频图像/帧中捕捉到的每个人的姿势，监测人体活动或行为，并预测跌倒。从图1中可以看出，该姿势估计模块106可以先于该行为识别模块108和该跌倒检测模块110接受到并处理该输入视频图像/帧104。该姿势估计模块106接下来识别该视频图像104中捕捉到的人。对于每个被检测个人，该姿势估计模块106随后确定该被检测个人的姿势。在一些实施例中，该姿势估计模块106可以首先识别该输入视频图像104内的该被检测个人的一组人体关键点122(或者简称为“人体关键点122”或者“关键点122”)，然后采用该组关键点的布局和/或位置表示该被检测个人的姿势，其中该组关键点122可以包括但不限于：该个人的眼睛、鼻子、耳朵、胸部、肩膀、手肘、膝盖、髋关节以及踝关节。在一些实施例中，不需要采用一整组关键点，而只需要包括一组简化的关键点122，该组简化的关键点122可以只包括该被检测个人的头部、肩膀、手臂以及腿。本领域普通技术人员可以容易地理解，可以采用该组关键点122的不同几何构型表示该被检测个人的不同姿势。
为了实现图1中该姿势估计模块106的上述功能，可以采用多种基于CNN的技术来执行人体姿势估计。在一些实施例中，可以采用基于“自下而上”的姿势估计技术，例如“开放姿势(OpenPose)”(正如由曹等人在CVPR 2017的“采用部分关联字段的实时多人2D姿势估计”中所描述的)。这些姿势估计技术首先采用基于CNN的强特征提取器，用于从输出图像中提取视觉特征，然后采用两路多级CNN以检测该输出图像中的多个人体关键点。接下来，该姿势估计技术执行一组二分匹配操作，以将该被检测关键点“组合”或者连接成该图像中检测到的一些或所有人的全身姿势。这种类型的自下而上的姿势估计技术可兼具高性能和低复杂度并且可以估计每个被检测关键点的概率。这里，该被检测关键点的概率表示该姿势估计模块分配给该被检测关键点的置信分数。通常，在例如弱光、具混淆性背景或者被检测个人面前有障碍物等较为困难的检测环境下，每个被检测关键点的置信分数或者概率会相对较低。例如，如果该一个人穿着与背景颜色非常接近的衣服(例如白墙前穿着的衬杉)，则姿势检测算法将难以识别正确的关键点及其相关位置。在这种场景下，该姿势检测算法将为该不确定关键点检测生成较低的概率值。
在一些实施例中，可以用直线连接用来表示一被检测个人的相邻的关键点，从而获得该输入视频图像104中该被检测个人的骨骼图。图3显示了根据文中描述的一些实施例，用直线连接18个关键点获得的视频图像中一被检测个人的示例性骨骼图300。从图3中可以看出，该骨骼图300包括18个关键点，该18个关键点对应于该被检测个人的两只眼睛302和304、两只耳朵306和308、鼻子310、脖子312、两个肩膀314和316、两个肘部318和320、两个腕部322和324、两个臀部326和328、两个膝盖330和332以及两个踝关节334和336，而最终得到的骨骼图300包括连接这些关键点的17条线段。
在一些实施例中，为了使该自下而上的姿势估计模块在嵌入式系统/设备，如嵌入式跌倒检测系统100上实时运行并具有优化性能，本申请提出的姿势估计模块106通过对现有框架进行多处改进以实现自下而上的姿势估计框架。这些修改/改进中的其中一些包括：
■采用更快的VGG16×4网络(如何等人在ICCV 2017中的“用于加速超深神经网络的通道修剪”中所描述的，以及何等人在ECCV 2018中的“AMC：用于移动设备上的模型压缩和加速的神经网络”所描述的)替换常用的复杂VGG16网络(如，西蒙尼扬(Simonyan)等人在arXiv：1409.1556中的“用于大规模图像识别的超深卷积网络”所描述的)作为构架/特征提取器，该VGG16×4网络的推理速度比VGG16网络快4倍。注意，术语“架构”在本文中是指神经网络，该神经网络接收输入图像并提取图像特征，用于随后的深度学习任务，例如分类、回归和分割。这种提速很大程度上是由于执行了通道修剪，即减小了特征图谱的宽度，从而将网络收窄；
■减少该两路多级CNN的级的数量；
■将每个卷积层滤波器的尺寸降至多级中的3×3。即使现有网络和该被修改网络具有基本相同的接受域尺寸，该被修改网络可以更有效率地被执行；
■量化该网络参数，并且不采用典型的32位浮点精度，而是采用8位整数精度运行该网络推理。该修改不仅降低了对存储器的使用以及存储器访问频率，还显著提高了算术运算的速度，这对于资源有限的嵌入式系统应用是非常有益并且迫切的；以及
■在网络训练过程中，采用数据扩增以提高不同图像捕捉角度的姿势估计性能。需要说明的是，个人身体的位置可由连接该个人的头部和躯干的线表示，当一个人跌倒在地板上时，在捕捉到该个人身体的视频帧内该个人身体的位置可以是0到360度之间的任意角度。在一些实施例中，为了训练该姿势估计模块106，从而使该受训姿势估计模块106可以识别与被视频帧捕捉到的个人的不同可能角度相对应的个人跌倒的不同场景/姿势，可以准备训练图像集，该训练图像集包括模拟0到360度之间的多个捕捉角度的跌倒图像。然后可以将该训练图像集用于训练该姿势估计模块106，用于提高不同图像捕捉角度的姿势估计性能。
在对现有的由下而上姿势估计技术作出上述修改/改进，并且在姿势估计模块106内实现该修改后的网络后，可以看到在执行尺寸为656×368像素的输入图像时，在基于Hi3559A的嵌入式平台上执行本申请提出的姿势估计技术的推理时间从550ms降至86ms。
在一些实施例中，在定位到输入视频图像104内被检测个人的人体关键点122之后，可以通过在该被检测个人的一组关键点122周围的边界框以及相关的骨骼表示将该被检测个人的全身图像从输入视频图像104中截取出来。
行为识别模块
回到图1，需要说明该姿势估计模块106与行为识别模块108连接，该行为识别模块108用于接收来自该姿势估计模块的输出。在一些实施例中，来自这些姿势估计模块106的输出可以包括被检测人体关键点122、相关的骨骼图(通篇也称之为“线条图”)，以及基于该被检测关键点122从原始视频图像104中截取的该被检测个人的二维(2D)图像132(也被称为该被检测个人的“截取图像132”)。行为识别模块108还用于基于该姿势估计模块106的输出预测与该被检测个人关联的行为或活动类型。例如，该行为识别模块108包括行为分类器128，该行为分类器128用于将每个被检测个人划分为一组预定义行为中一个行为，并将该行为定义为该被检测个人的行为标签/类别124。在一些实施例中，该行为分类器128仅用于采用该被检测个人的截取图像132对该被检测个人的行为进行划分。在一些其他实施例中，该行为分类器128可仅用于采用该被检测个人的人体关键点122对该被检测个人的行为进行划分。需要说明的是，采用截取图像132来划分被检测个人的行为与仅采用人体关键点122划分被检测个人行为相比，可以获得更精确的结果。在又一实施例中，该行为分类器128利用该被检测个人的截取图像132和人体关键点122的结合数据划分该被检测个人的行为。
更具体地，可将该被检测个人的截取图像132以及/或者该被检测个人的人体关键点122提供给行为分类器128，该行为分类器128用于预测该被检测个人处于与该个人日常生活状态相关的一组预定义行为中每一种行为的概率；并基于对应于该组预定义行为的该组概率，将该被检测个人划分为该组预定义行为中的一个行为。例如，对于跌倒监测和跌倒检测应用，一组示例性的预定义相关行为可以包括如下五种行为：(1)站立、(2)坐下、(3)弯腰、(4)挣扎和(5)躺下。在一些实施例中，可以采用基于CNN的架构创建该分类器。需要说明的是，在这五种预定义行为中，前三种行为一般被认定为正常行为，而后两种行为一般被认定为用于指示跌倒的危险行为。在一些实施例中，为了在行为识别模块108中执行行为分类，可以基于上文描述的5种行为收集5类数据，该数据然后可用于训练神经系统识别这5种行为。
在一些实施例中，为了提高预测准确度，行为分类器128可以基于采用基于CNN的构架实现两级行为识别技术。图4显示了根据文中描述的一些实施例，基于被检测个人的截取图像用于划分行为的示例性两级行为识别模块的方块图。然而，如上文所述，在本申请公开的行为识别模块的其他实施例中，也可以采用人体关键点122，或者该截取图像132和该人体关键点122的组合作为该行为分类器的输入，而非截取图像132。
从图4中可以看出，在第一级行为识别中，第一CNN模块404接收截取图像404，并采用二元分类器(图中未示出)生成输入图像132内的该被检测个人的“跌倒”预测406和“正常”(即未跌倒)预测408。需要说明的是，每一个跌倒预测406和正常预测408均与不同行为的分类相关联。接下来，在行为识别模块400的第二级，应用到另外两个CNN 410和412，用于进一步将每个二元预测406和408特征化为与该行为类别相关的更加具体的行为。
更具体地，CNN410可进一步将跌倒预测406划分为与跌倒相关的一组行为。在图4所示的实施例中，这些跌倒行为包括“躺卧”行为414和“挣扎”行为416。然而，在该行为识别模块400的其他实施例中，还可以包括其他行为，或者与该CNN 410的可能输出具有不同的一组跌倒行为。与之独立的，CNN 412可进一步将正常预测408划分为与未跌倒情况相关的一组行为。在图4所示的实施例中，这些正常行为可以包括“站立”行为418、“坐在倚子”行为420、“坐在地板”行为422、“弯腰”行为424以及“下蹲”行为426。然而，在该行为识别模块400的其他实施例中还包括其他行为或者具有与该CNN 412的可能输出不同的一组未跌倒行为。
需要说明的是，在图4所示的本申请公开的单级行为识别技术或者本申请公开的双级行为识别技术中，可以采用多种快速CNN架构对由该嵌入式视觉系统检测到的个人的行为进行划分。在一实施例中，可以采用挤压网架构(SqueezeNet)(如兰朵拉(Iandola)在arXiv:1602.07360,2016中的“挤压网：具有50x更少参数以及小于0.5MB模型尺寸的艾利克斯网(AlexNet)级精度”所描述的)。在一些实施例中，为了在本申请公开的行为识别模块108中实现该SqueezeNet架构，可以基于待检测预定义行为/活动地的数量，修改现有CNN网络的输出类的数量，同时再训练该神经网络的配置。
例如，在上述包括五个行为类别的单级行为识别技术中，该SqueezeNet的输出类的数量可以降到5个，并且再次训练相同的神经网络配置。然而，为了利用本申请公开的行为识别技术实现更多数量或更少数量的相关行为，可以通过设定更多或更少的输出类非常容易地修改该SqueezeNet网络。
需要说明的是，本申请公开的在行为识别模块108中实现的行为识别技术通常应用于单个视频帧，从而针对每个被处理视频帧中的每一个被检测个人生成行为分类。同时，本申请公开的行为识别技术可以连续地逐帧应用于一序列视频帧，并且可以基于最新的帧针对每一个被检测个人继续生成更新的行为分类。因此，在一些实施例中，本申请公开的行为识别技术也被称为帧级行为识别技术；而行为识别模块108也可被称为帧级行为识别模块108。
场景分割模块
在一些实施例中，为了稳健并可靠地检测跌倒行为，尤其是从床上或沙发上跌倒的行为，本申请公开的嵌入式跌倒检测系统100用于区分一被检测个人的不同类型的躺卧和挣扎行为。例如，躺卧在床上或沙发上通常被划分为正常人体行为(即非跌倒行为)，而在地板上躺卧或者挣扎则被划分为危险行为(即跌倒行为)。在一些实施例中，能够区分一被检测个人的不同类型的躺卧和挣扎行为可通过场景分割模块112实现，该场景分割模块112用于处理输入视频图像104并提取空间布局信息126。
更具体地，空间布局信息126可以包括危险区域/物体的位置，例如地板和地毯。在一些实施例中，如果确定该被检测个人的已识别躺卧行为位于该已识别危险区域内，例如地板区域，则有理由将该已识别躺卧行为划分为危险行为(例如躺卧在地板上)。此外，如果已识别躺卧行为之前被行为识别模块108划分为危险行为，这种划分可进一步由该空间布局信息126确认，例如通过增加该划分的概率/置信分数。空间布局信息126还包括正常区域/对象的位置，例如床和沙发。在一些实施例中，如果确定该被检测个人的已识别躺卧行为位于该已识别正常区域内，例如床，则有理由将该已识别躺卧行为划分为正常行为(例如在床上睡觉)。此外，如果已识别躺卧行为之前被划分为危险行为，则基于空间布局信息126需要将该划分重新划分为正常行为。需要说明的是，由于空间布局信息126相对静止，场景分割模块112不需要从每个输入视频帧104中提取该空间布局信息126。在一些实施例中，该场景分割模块112仅周期提取空间布局信息126，例如每N个输入视频帧104提取一次(其中N基于预定义时长确定)。在一些实施例中，还可以在分布式跌倒检测系统200的设置/安装/初始化期间提取该空间布局信息126，或者当该分布式跌倒检测系统200的使用者通过移动设备上的移动APP 212内的按钮发出请求时提取该空间布局信息126。
在一些实施例中，可以由多个基于CNN的快速图像分割模块实现该场景分割模块112。在一实施例中，可以基于深度实验V3+(DeepLabV3+)模型(在陈等人在2018年8月在arXiv:1802.02611发表的“用于场景图像分割的采用阿特柔斯(Atrous)分离卷积的编码器-解码器”中所描述的)实现该场景分割模块112，该DeepLabV3+模型通过结合空间金字塔池化技术和编码-解码器结构的优势，可以获得良好的场景分割性能。在一些实施例中，可以基于该DeepLabV3+模型，并对原始DeepLabV3+模型做出如下修改/改进中的一些或全部，以实现该场景分割模块112。
■修改该原始DeepLabV3+网络输出，以将该室内场景分割为三个区域/类别：(1)包括地板和地毯的危险区域；(2)包括人们可以躺下的安全区域，例如床或沙发；以及(3)除床和沙发之外的背景区域，例如家具；
■修改该原始DeepLabV3+模型，通过采用快速移动网V2(MobileNetV2)网络(如桑德勒(Sandler)在arXiv:1801.04381的“移动网V2：反向残差和线性瓶颈”中所描述的)作为构架/特征提取器；该修改后的DeepLabV3+模型对原始的DeepLabV3+模型进行了提速和简化。需要说明的是，该MobileNetV2网络是基于深度卷积的，其中高维张量是由低维张量的乘积近似得到的。然而，可以采用类似于MobileNetV2网络的其他网络来代替该MobileNetV2网络作为上文对原始DeepLabV3+网络的修改中的架构；
■量化该网络参数，并且不采用典型的32位浮点精度，而是采用8位整数精度运行该网络推理，从而降低了对存储器的使用以及存储器访问频率，还提高了算术运算的速度，从而对于资源有限的嵌入式系统应用是非常有益并且迫切的；以及
■去除嵌入到原始DeepLabV3+模型中的一些处理功能，并在CPU中实现这些功能。
上述网络修改/改进可以显著提高执行本申请公开的场景分割模型的速度。例如，当实现上述修改时，本申请公开的场景分割模块在Hi3559A CPU上的运行时间可以从43秒降低到2秒。在一些实施例中，仅在该嵌入式跌倒检测系统100启动阶段时，或者该分布时跌倒检测系统200校正时，或者当该输入视频图像104一段时间以内没有活动时才执行本申请公开的场景分割模块112。因此，本申请公开的场景分割模块112的执行速度足够快，从而在生成输入图像的行为标签124之前，允许生成该输入图像的空间布局信息126。
跌倒检测模块
回到图1，需要说明该行为识别模块108之后为跌倒检倒模块110，该跌倒检测模块110接收来自姿势估计模块106的输出(即人体关键点122)和行为识别模块108(即行为标签/类别124)的输出。如上文所述，该嵌入式跌倒检测系统100采用姿势估计模块106识别每个被检测个人的一组人体关键点122，估计对应视频帧104中该人体关键点122的位置，并基于该人体关键点122输出每个被检测个人的截取图像132。然后，该行为识别模块108可利用被检测个人的截取图像132和/或关键点122生成每个人的逐帧行为标签/类别124。随后，跌倒检测模块110可以采用来自该行为识别模块110的至少该行为标签/类别124，用于区分危险行为和正常行为，随后生成跌倒检测输出140，如果该被检测个人被证实跌倒，则该跌倒检测输出140包括跌倒报警140－1，以及对应的去特征化视频剪辑140－2。
然而，为了生成更加可靠的跌倒检测输出140，需要考虑一序列视频帧中的空间布局和时间信息。如上文所述，场景分割模块112用于提供与该跌倒检测相关的空间布局信息126。如图1所示，场景分割模块112可以接收原始视频图像104并处理该视频图像104，与场景分割模块112并行地，姿势估计模块106和行为识别模块108也处理该视频图像104。因此，场景分割模块112可以识别来自每个视频图像104的空间布局信息，这包括但不限于该输入视频帧中的地板、床和沙发。需要说明的是，该跌倒检测模块110可以接受来自该场景分割模块112的空间布局信息126，并且当作出跌倒检测决策时，将该信息与来自姿势估计模块106接收到的人体关键点122和来自行为识别模块108的行为标签124相结合。
从图1中可以看出，该跌倒检测模块110还可以包括状态机120和无效姿势过滤器138。通过将来自于场景分割模块112的空间布局信息126与下文将描述的状态机120和无效姿势过滤器138的功能相结合，该跌倒检测模块110可以生成高度可靠的跌倒检测输出140。现在讨论的是场景分割模块112，下文将更加详细地描述状态机120和无效姿势过滤器138。
跌倒检测状态机
需要说明的是，如果跌倒检测模块110基于由该行为识别模块108生成的逐帧行为标签/类别124直接生成跌倒报警/通知140-1，则该跌倒报警/通知140-1会包括误报警，这是因为这种跌倒决策通常没有考虑连续视频帧之间的关联性以及给定人体行为的连续性。在一些实施例中，为了减少由于简单朴素的逐帧行为标签/类别124导致的误报警，可以开发一种状态机120，该状态机将连续视频帧的时间信息并入到该跌倒检测模块110的跌倒检测决策中来。图5所示为状态机的示例性实现方式。通过来自行为识别模块108的输出与采用本申请公开的状态机120生成的连续视频帧之间的时间关联的结合，该跌倒检测模块110生成的跌倒/未跌倒检测会更具鲁棒性并且更加可靠，而且该跌倒检测模块110生成的跌倒报警包括的误报警会显著减少。
图5显示了根据文中描述的一些实施例，基于被检测个人的一组连续行为标签的用于预测跌倒的状态机120的跌倒检测状态切换图500。从图5中可以看出，本申请公开的状态切换图500包括用于表示不同跌倒可能性级别的四个状态，分别为：“绿色”状态502、“黄色”状态504、“橙色”状态506以及“红色”状态508。更具体地，绿色状态502表示该被检测个人处于与正常行为/活动相关的正常状态；黄色和橙色状态504-506表示该被检测个人处于与潜在风险行为/活动相关的警告状态；红色状态508表示该被检测个人处于与危险行为/活动相关的指示跌倒的报警状态。
在一些实施例中，状态切换图500中的每个状态502-508均与状态分数，以及与该状态分数相关的预指定上限和预指定下限相关联。因此，每当该状态机的当前状态的状态分数更新时，可将该更新的状态分数与预指定的上限/下限相比较。如果该更新的状态分数高于/低于该当前状态的预指定上限/下限，则将该状态切换图500的状态切换至该组状态502-508中更为危险/安全的状态，如图中所示状态切换图500中各状态之间的箭头指向。此外，当到达报警状态(即红色状态508)时，可以生成跌倒报警510(并且生成图1所示的跌倒报警140-1)，用于指示已经发生跌倒。
在一些实施例中，该状态切换图500的每个状态的最大状态分数为100(即上限)，最小状态分数为0(即下限)。该行为识别模块108识别到的危险行为(例如在地板上挣扎和躺卧)可用于增加当前状态的状态分数，而检测到的正常状态(例如站立、坐下、弯腰和下蹲)可用以降低当前状态的状态分数。因此，对于描述被检测个人的连续人体行为的一序列视频帧，该当前状态的状态分数可以连续的增加或降低。需要说明的是，只要当前状态分数被限制在相关上限和下限之间，该跌倒检测状态切换图500中的当前状态不会切换到另一状态。
然而，当当前状态分数超出了相关上限，则当前状态会切换到该状态切换图500中更加危险的状态，例如从橙色状态506到红色状态508，从而触发跌倒报警510。另一方面，当当前状态分数低于相关下限，则当前状态会切换到更加安全的状态，例如从黄色状态504到绿色状态502。需要说明的是，虽然该状态切换图500中不同的颜色编码状态表示被检测人在跌倒风险上的当前状态的严重程度，然而这些状态一般并不能对应于该个人的具体行为，例如站立、坐下、弯腰或者躺卧。需要说明，虽然在本实施例中状态切换图500包括4个状态，然而在其他实施例中，该状态机可以包括更多或更少数量的状态。例如，在一实施例中，该状态机120仅包括三个状态，这其中只有一个警告状态，而非图5所示的两个警告状态。
现在描述一下决定该状态切换图500的状态分数的示例性技术。回顾上文，姿势估计模块106生成的人体关键点122为该跌倒检测模块110的输入的一部分。如上文描述的，当生成被检测个人的人体关键点122时，姿势估计模块106还可生成每个关键点122的概率。因此，对于该被检测个人，首先通过该人的该组被检测关键点122，计算该人的两种类型的权重分数wfall和wnormal，其中该人的wfall被计算为跌倒行为，而wnormal被计算为正常行为。例如，该权重分数wfall和wnormal定义如下：
Figure BDA0002339809600000291
wnormal＝-Wk·Pk, (2)
在如上等式(1)中，
Figure BDA0002339809600000301
表示两个向量的元素集，而“·”表示两个向量的点集。假定该被检测个人在危险区域(即地板区域)，则wfall具有正值，而wnormal具有负值。例如，如果该被检测个人躺在被认为是危险区域的地板上，则Wfloor和wfall均为正值，这会使下文描述的等式(3)的状态值增加。然而，当该被检测个人处于正常/安全区域时，则由于Wfloor中的元素均为设为负值，因此wfall具有负值，而wnormal同样具有负值。例如，如果被检测个人躺在被认为是安全区域的床上，则wfall和Wfloor均为负值，这会使下文描述的等式(3)的状态值减少。需要说明的是，不管被检测个人是否位于危险区域或者正常区域，由于wnormal始终与正常情况相关联，因此wnormal保持为负值。
对于图3所示的被检测个人的示例性骨骼图/表示，Pk可以是该估计姿势的18个关键点的概率形成的18×1关键点概率向量；而Wk是与该估计姿势的18个关键点相关的权重值形成的18×1关键点权重向量。在一些实施例中，为了促进跌倒检测，Wk中的较大的权重值可分配至下肢关键点，而Wk中较小的权重值分配至上体关键点。此外，由于跌倒行为与该被检测个人是否位于危险区域(例如地板区域)强相关，因此可以通过向量Wfloor将从空间布局信息126中提取的地板信息整合到第一类型的权重分数wfall。例如，对于图3所示的相同的18个关键点示例，Wfloor可以配置为18×1的掩码向量。在一些实施例中，当被检测个人的关键点被确定为危险区域(例如在地板或地毯上或旁边)时，则Wfloor中对应的权重因素可设定为1，从而该关键点对该跌倒检测具有正面贡献，并对下文将要描述的状态分数同样具有正面贡献。否则(即，当该关键点并非位于危险区域)，则Wfloor中对应的权重因素可设定为-1，从而该关键点对该跌倒检测具有负面贡献，并对下文将要描述的状态分数同样具有负面贡献。一般来讲，wnormal分配给与地板信息基本无关或者完全无关的负值。因此，当检测到正常行为时，相应的wnormal可基于等式(2)计算得出，而该wnormal对下文将要描述的状态分数具有负面贡献。
如上所述，该状态切换图500中的每个状态可维持一状态分数。在一些实施例中，该状态切换图500中的当前状态的状态分数可基于如下等式更新：
Figure BDA0002339809600000311
其中，s和s'分别为当前视频帧和先前视频帧的状态分数，并且ws＝[wfall,wnormal]T为该当前视频帧中的上述权重分数和该被检测个人的向量形式。此外，Pa为2×1向量，包括来自该行为识别模块108的一级输出的“跌倒行为”和“正常行为”相关的两个概率；Wa是2×1正权重向量，包括分别与两类别行为(即跌倒行为和正常行为)相关的两个权重值，而
Figure BDA0002339809600000312
是该两个向量的点积。假设该被检测个人为危险区域(即地板区域)，则wfall具有正值，而wnormal具有负值。随后，该被检测个人的每个已识别的危险行为均会导致当前的状态分数s向当前状态的上限增加；而该被检测个人的每个已识别的正常行为均会导致当前的状态分数s向当前状态的下限减少。例如，与可能跌倒行为相关的Pa的典型例子可以是：Pa＝[0.9,0.1]T，在这种情况下，基于等式(1)-(3)，一负值会加至s'，这会导致当前状态分数降低。
一般而言，通过调整Wa中两个元素的值，可以修改本申请公开的状态机的灵敏度和鲁棒性。更具体地，Wa的两个元素分别对应于跌倒和正常行为，其中Wa的该两个元素中的其中一个元素(例如第一元素)可用于控制跌倒行为需要多长时间触发报警；Wa的另一个元素(例如第二元素)可用于控制正常行为需要多久从该跌倒报警恢复到绿色状态502。因此，通过合适地设定Wa中与跌倒行为相关的元素的值，可以将本申请公开的状态机调整为对跌倒行为更为灵敏或者较不灵敏。示例说明，为了避免跌倒检测中的一些误报警，可以设定Wa＝[10,30]T，从而由第二元素控制的正常行为可以对状态分数有更强的影响。采用这种设置，如果该预定义时间内的50％输入视频帧被划分为与跌倒行为相关，则触发该跌倒报警。相反地，可能需要该预定时间内的约75％的输入视频帧被划分为跌倒行为，以触发跌倒报警。基于该设置，嵌入式跌倒检测系统100在跌倒检测输出140中的置信度会提高。通过这种方式，本申请公开的Wa可以通过调节跌倒行为的灵敏度控制该跌倒检测的置信度。
在一些实施例中，当嵌入式跌倒检测系统100在输入视频图像104中首先识别到一人，则可将初始状态分数S0分配给这个人。在一些实施例中，可以认定该被检测个人初始为完全正常的情况，从而该个人的初始状态可以设定为该状态切换图中的完全正常状态，该正常状态在该示例性状态切换图500中为绿色状态502，并且该初始状态分数S0可以设置为该正常状态的下限。然而，在其他实施例中，该初始状态分数S0可以设置为该正常状态的上限和下限之间的中间值。
无效姿势过滤器
需要说明，当一个人站在离该嵌入式跌倒检测系统100的摄像头102太近的位置，该个人的下肢将不会出现在该摄像头的视野中，则行为识别模块108可能会将该站立行为误划分为挣扎或躺卧行为。在一些实施例中，为了过滤掉这些误报警，该跌倒检测模块110还包括一无效姿势过滤器138，该无效姿势过滤器138可用于检查无效姿势位置以及相关的关键点和骨骼部分。更具体地，可以定义对应于一组无效姿势的一组二元信号。例如，该组二元信号可以包括三个标示fc、
Figure BDA0002339809600000321
(i＝1 to 18)、fl j(j＝1 to 17)，定义如下：
■无效姿势标示：如果输入视频图像中被检测姿势的中心坐标低于某一阈值(例如该视频图像中该姿势中心太低)，则fc设定为1。否则fc设定为0。
■无效关键点标示：如果输入视频图像中被检测姿势的第i个关键点丢失，则
Figure BDA0002339809600000322
设定为1，例如当该第i个关键点位于视野外。否则
Figure BDA0002339809600000323
设定为0。
■无效骨骼部分标示：如果输入视频图像中的第j个骨骼部分的长度超出预定义阈值，，则fl j设定为1。否则fl j设定为0。例如，当一个人站立位置离摄像头102太近，则一些骨骼部分的长度，例如眼-耳部分、眼-鼻部分以及/或者鼻-胸部分可明显大于正常值，并且还可能超出对应阈值。
下面将上文定义的标识整合/结合为权重无效分数：
Figure BDA0002339809600000331
其中，wc，wpt和wl为分别分配至姿势中心、关键点和骨骼部分的权重。在一些实施例中，如果计算得出的无效分数sinv大于预定义阈值，则该行为识别模块108检测的姿势可以标记为无效并且被该嵌入式跌倒检测系统100忽略。作为使用该滤波器的具体示例，可以为wl分配一个较高的值，从而更有效地过滤掉由于个人的站立骨骼表示离摄像头过近而导致的误报警。
需要说明的是，当本申请公开的嵌入式跌倒检测视觉传感器安装在走廊，该摄像头通常安装在高于房间的位置，从而覆盖较大的区域。对于这些走廊应用环境，可以在屏幕/视野的下方设置一个矩形无效区域，从而过滤掉在该矩形无效区域，即在屏幕的底部检测到的个人的骨骼表示。在一些实施例中，可设置多个嵌入式跌倒检测传感器202-1、202-2……和202-N，从而每个独立嵌入式视觉传感器202-i(i＝1 to N)的每个无效区域都可以被一个或多个附近的嵌入式视觉传感器202覆盖。在一些实施例中，安装的嵌入式视觉传感器202-i的无效区域的大小基于该嵌入式视觉传感器202-i距离地板的高度而定。
图6为根据文中描述的一些实施例，用于执行基于图像的跌倒检测的示例性过程的流程图600。在一个或多个实施例中，图6所示的一个或多个步骤可以省略、重复以及/或者以不同的顺序执行。因此，图6所示的具体步骤安排不应该作为对技术范围的限制。
过程600开始接收一序列视频图像，该序列视频图像捕捉到正在被监测的具有潜在跌倒风险的一个或多个人(步骤602)。例如，可由安装在辅助生活设施或疗养院上的跌倒检测摄像头捕捉该视频图像；并且该一个或多个被监测的人可以是住在该辅助生活设施或疗养院的老年人。在该被捕捉图像中，该一个或多个人可以执行任何日常生活活动(ADL)，例如睡觉、坐下、走路或者其他类型的ADL。接下来，对于该序列视频图像中的给定视频图像，该处理器600检测该视频图像中的每一个人，并随后估计每一个被检测个人的姿势，并生成该被检测个人的截取图像(步骤604)。例如，处理器600首先识别每个被检测个人的一组人体关键点，然后用直线将相邻的关键点连接起来，以生成该被检测个人的骨骼图/线条图。在多个实施例中，可由嵌入式跌倒检测系统100中的姿势估计模块106执行步骤604。
接下来，对于每一个被检测个人，步骤600将该被检测个人的截取图像划分为一组预定义行为中的一具体行为，例如(1)站立、(2)坐下、(3)弯腰、(4)挣扎和(5)躺下(步骤606)。在一些实施例中，过程600可以采用上文结合图4描述的两级行为识别技术，以划分该截取图像中的行为：(1)将该行为划分为一般的“跌倒”行为或者一般的“非跌倒”行为；并且(2)进一步将已划分的一般行为进一步划分为与该已划分一般行为相关的具体行为。在一些实施例中，步骤606可以由嵌入式跌倒检测系统100的行为识别模块108实现。
接下来，对于每一个被检测个人，过程600组合多个行为标签/类别以生成跌倒/非跌倒决策(步骤608)，其中该多个行为标签/类别通过该序列视频图像中的多个连续视频图像生成。如上文所描述的，通过组合因该多个连续视频图像而生成的行为类别，过程600将连续视频图像之间的包括时间关联在内的关联性考虑了进去，并在随后通过减少或者消除通常与基于逐帧跌倒检测相关的误报警，做出具有更可靠的跌倒/非跌倒决策。在一些实施例中，可由嵌入式跌倒检测系统100内的跌倒检测模块110的状态机120执行该步骤608。需要说明，为了进一步增加跌倒/未跌倒决策的可靠性，可以从该多个连续的视频图像中提取出如地板、床和沙发位置等的空间布局信息，并将该空间布局信息并入到该跌倒检测模块110的行为分类器，从而进一步区分每个被检测个人的不同类型的躺下和挣扎行为。在多个实施例中，可由嵌入式跌倒检测系统100的场景分割模块112生成该空间布局信息。
过程600接下来确定是否可以基于该跌倒/未跌倒决策检测出跌倒(步骤610)。例如，采用状态切换图500，步骤610在处理完该多个连续视频图像之后确定该系统的当前状态是否为该状态切换图500中的红色状态508。如果是红色状态508，则过程600生成跌倒报警/通知(步骤612)。否则，过程600可返回到步骤608，从而利用最近的行为标签/类别对该跌倒/未跌倒决策进行更新，并继续该跌倒监测/检测过程。
基于红外图像的床上跌落检测
在一些实施例中，该嵌入式跌倒检测系统100还可以用于检测从床上跌落事件/行为，例如当躺在床上的被监测个人正在经历严重的医疗状况，并且可能会导致从床上跌落到地板上。特别地，为了检测黑暗环境中的跌倒，例如晚上，则可以采用视觉传感器，例如具有夜视模式/功能的摄像头。具体地，当该监测区域内的光照情况比较差，例如当照明水平确定低于一检测阈值，则该嵌入式跌倒检测系统100可以自动打开红外(IR)灯/光源，并且如果必要，还会关闭红外滤波器以捕捉红外视频/图像。该被捕捉红外图像然后可以转化为灰度图像，该灰度图像可作为该姿势估计模块106、行为识别模块108、跌倒检测模块110和场景分割模块112的输入，用于跌倒检测。
在一些实施例中，该嵌入式跌倒检测系统100可用于处理日间RGB输入图像以及夜视红外输入图像。此外，该嵌入式跌倒检测系统100还可用于处理从床上跌落检测的特殊要求。例如，即使当被监测个人被毛毯或被子覆盖，姿势估计模块106依然可以检测到该个人依然一般可见的头部和肩膀关键点，并且随后估计该个人的上体和肢体关键点的位置。行为识别模块108随后可用于基于该个人的截取图像以及/或者该个人的骨骼表达生成该被检测个人的合适的行为标签，随后触发该跌倒检测模块110内的跌倒检测状态机120相应地切换状态。
日常生活活动统计(ADL)
在一些实施例中，该嵌入式跌倒检测系统100也可以用来识别并生成个人日常生活活动的统计数据，例如睡眠、坐下和移动的时间。更具体地，基于分析连续视频帧，将场景分割模块112的输出和行为识别模块108的输出结合起来，从而识别出各种日常生活活动(ADL)，例如睡觉和行走。基于ADL信息，可以生成被监测个人的有用统计数据，例如该人在睡眠、坐下、行走和其他类型的ADL分别用了多少时间。在一些实施例中，嵌入式跌倒检测系统100可以周期性地输出被监测个人的已生成的ADL统计数据，例如作为跌倒检测输出140的一部分。通过将安装在护理设施或房屋里的多个嵌入式跌倒检测视觉传感器的ADL统计数据合并起来，该跌倒检测系统200可以获得每个被检测个人的ADL总结，并且该总结可以供看护者使用，用于分析该个人身体状况。在一些实施例中，嵌入式跌倒检测系统100可以包括用于计算上述ADL统计数据的专用ADL统计模块(图中未示出)。
人脸检测模块和人脸识别模块
回到图1，需要说明嵌入式跌倒检测系统100也包括人脸检测模块116，用于执行人脸检测功能。具体地，人脸检测模块116可直接接收原始视频图像104并处理该视频图像104；姿势估计模块106、行为识别模块108和场景分割模块112亦同步处理该视频图像104。人脸检测模块116随后输出该视频图像104内的被检测人脸130。
多种快速人脸检测模块可用于实现嵌入式跌倒检测系统100中的人脸检测模块116。在一实施例中，S3FD模型(如张等人在ICCV 2017中的“S3FD：单镜头比例不变人脸检测器”)用于实现该人脸检测模块116。该S3FD模型已经显示出良好的针对不同比例人脸的处理性能。在一些实施例中，为了在嵌入式跌倒检测系统100中实时运行基于S3FD的人脸检测模型，需要对原始S3FD模型做出如下修改/改进：
■利用轻量级移动网V2(MobileNetV2)(如桑德勒(Sandler)在arXiv:1801.04381的“移动网V2：反向残差和线性瓶颈”中所描述的)替代复杂的VGG16网络作为构架/特征提取器；
■将特征金字塔网络(FPN)(如林等人在arXiv:1612.03144,2016的“用于对象检测的特征金字塔网络”中所描述的)并入到修改后的S3FD架构，以提高小人脸检测性能；
■将原始S3FD模型的训练和推导数据尺寸从640×640降至320×320，从而进一步减少推理时间；
■添加标记点检测CNN模块，该模块用于接收来自该修改后的S3FD网络的人脸检测输出，并输出该被检测人脸的精确人脸标记点，用于后续人脸识别操作。在一些实施例中，该标记点检测CNN模块以及该基于S3FD的人脸检测模块可以联合受训；以及
■量化该网络参数，并且不采用典型的32位浮点精度，而是采用8位整数精度运行该网络推理。该修改不仅降低了对存储器的使用以及存储器访问频率，还提高了算术运算的速度，这对于资源有限的嵌入式系统应用是非常有益并且迫切的。
基于上述修改，本申请公开的在ARM v8 CPU上运行的基于S3FD的人脸检测模型可以将人脸检测推理时间从1.2s降低到100ms。需要说明，在不采用任何神经网络加速引擎的前提下就可以实现该性能的改进。
进一步参考图1，需要说明，本申请公开的嵌入式跌倒检测系统100还包括人脸识别模块118，该人脸识别模块118基于来自该人脸检测模块116的被检测人脸130，执行人脸识别功能。存在很多可用于实现嵌入式跌倒检测系统100的人脸识别模块118的良好的人脸识别模型。在一些实施例中，可以采用弧形脸(ArcFace)人脸识别模型(如邓等人在arXiv:1801.07698,2018中的“弧形脸(ArcFace)：用于深度人脸识别的附加角裕度损失”中所描述的)实现该人脸识别模块118。在人脸识别模块118的一具体实施方式中，对该原始ArcFace模型作出了大量修改，从而将该ArcFace模型订制为满足该嵌入式跌倒检测系统100的需求。首先，本申请提出的人脸识别模块可以在MS1M-改进-V2数据集上训练轻量级ResNet-18网络(如何等人在CVPR 2016中“用于图像识别的深度残差学习”中所描述的)。第二，本申请提出的人脸识别模型可用于量化该神经网络模型，并且采用8位整数精度运行该推理，而非原始ArcFace模型采用的32位浮点精度。经过这些修改，本申请提出的人脸识别模型在Hi3559ANNIE引擎上的推理时间可降低到12ms。需要说明，通过使该人脸识别模块118采用上文描述的实施方式，还可能在该被捕捉视频图像104中检测到个人的其他有用参数，例如人脸表情。
个人ID词典和文件数据库
在一些实施例中，在跌倒检测过程中，人脸识别模块118可以针对输入视频图像104中的每个被检测个人生成人脸特征向量(可以为1-D人脸特征向量、2-D人脸特征向量或者3-D人脸特征向量)。接下来，生成的人脸特征向量可以与个人ID词典进行对比，例如存储在嵌入式跌倒检测系统100的存储器内存储的个人ID词典150。在一些实施例中，个人ID词典可以包括与一组人的一组已存在/已创建个人ID相关的一组条目，该组人由该嵌入式跌倒检测系统100跟踪，其中该个人ID词典内的每一条目可以包括一个或多个人脸特征向量(例如基于一张或多张档案照片生成的特征向量，可以是1-D人脸特征向量、2-D人脸特征向量或者3-D人脸特征向量)以及相应的个人ID。
对于在跌倒检测过程中由人脸识别模块118生成的每个人脸特征向量，如果该人脸特征向量与该个人ID词典里的某一条目内存储的人脸特征向量匹配，则表明该被检测个人在该服务器内具有已建立档案。人脸识别模块118然后将输出该匹配条目内的个人ID，作为用于指示该被检测个人已经被识别的个人ID 136。同样地，人脸识别模块118可以输出所有被检测个人的个人ID 136，该所有被检测个人的个人ID 136可以基于其相对应的人脸特征向量被人脸识别模块118识别。接下来，嵌入式跌倒检测系统100可以输出所有的跌倒报警140-1连同个人ID 136至该服务器，例如服务器204。该服务器然后利用接收到的个人ID136查找先前已经创建并存储于该服务器内的对应个人身份(例如该个人的姓名)，随后将跌倒通知发送至移动APP，例如移动APP 212，该移动APP 212包括已确定跌倒的对应个人的身份。
在一些实施例中，本申请公开的个人ID词典可以基于下述步骤在分布式跌倒检测系统200内进行更新，该步骤涉及到一个或多个嵌入式视觉传感器202-1、202-2……和202-N，服务器204以及移动APP 212之间的交互：
■该分布式跌倒检测系统200的每个用户都可以采用移动APP 212添加或移除要被该分布式跌倒检测系统200跟踪的个人。更具体地，对于该分布式跌倒检测系统200要跟踪的每一个人，该移动APP 212可用于通过将该个人的身份与一张或多张该个人的档案照片结合起来，以创建该个人的新档案。例如，移动APP 212可用于拍摄该个人的一张或多张档案照片。移动APP 212然后将该包括该一张或多张档案照片以及该个人身份的个人档案，发送至服务器，该个人身份例如为该个人的姓名；
■基于接收到的给定个人的档案，服务器204生成该给定个人的唯一个人ID(例如唯一的整数值)，例如基于该个人的身份。然后该服务器204将该唯一个人ID与接收到的该个人的一个或者多个档案照片相关联。然后，该服务器204发送唯一个人ID以及该给定个人的档案照片至该一个或多个嵌入式视觉传感器202-1、202-2……和202-N。
■在每个嵌入式视觉传感器202中，可以利用上文描述的人脸检测模块116以及人脸识别模块118，将该给定个人的该一张或多张档案照片用于提取该个人的一个或多个人脸特征向量。接下来，通过添加该给定个人的新的条目以更新个人ID词典，例如个人ID词典150，其中该新的条目可以存储该一个或多个新近生成的人脸特征向量，以及该给定个人的相关唯一个人ID。
接下来，在跌倒检测过程中，该个人ID词典在每个嵌入式视觉传感器202中可用于个人识别和跟踪目的。更具体地，每个嵌入式视觉传感器202内的人脸识别模块118可以为输入图像104中每个被检测个人生成人脸特征向量。然后，该人脸识别模块118可以在每个嵌入式视觉传感器202的存储器中存储的个人ID词典中检索每个被检测个人的已生成的人脸特征向量，并且具体将该人脸特征向量与该个人ID词典中的每个条目中存储的人脸特征向量进行对比。回溯前文提到过，该个人ID词典中的每个条目存储着已知个人的档案，该档案可以包括一个或多个人脸特征向量，以及该个人的对应个人ID。基于检索结果，人脸识别模块118确定该被检测个人是否具有与该个人ID词典对应的条目(即匹配的人脸特征向量)。如果具有，则识别出该被检测个人，并且人脸识别模块118输出与该匹配人脸特征向量关联的已存储个人ID，作为该被检测个人的个人ID 136。如果嵌入式视觉传感器202确定该被检测个人涉及到跌倒，则该嵌入式视觉系统202生成跌倒检测输出，该输出包括该被检测个人的已识别个人ID 136。然而，如果该被检测个人的人脸特征向量与该个人ID词典中存储的任何一个人脸特征向量均不匹配，则人脸识别模块118为该被检测个人生成“未知个人”标示。
需要说明，上文描述的分布式跌倒检测系统设计确保了任何一个嵌入式跌倒检测视觉传感器202均不会传送已捕捉图像中任何一个被检测个人的任何被检测人脸。相反地，所有的人脸检测和识别操作都是在每个嵌入式跌倒检测视觉传感器202内部执行的，并且每个嵌入式跌倒检测视觉传感器202均只传送编码的个人ID以及去特征化视频图像至该服务器204，而不包括该被检测个人的任何真实身份。这种分布式跌倒检测系统设备实现了最大程度地保护每个嵌入式跌倒检测视觉传感器监测的每个人的隐私。该分布式跌倒检测系统设计还最小化了通过网络传输的数据量，以及服务器(例如云服务器)中执行的计算量，从而最小化本申请公开的分布式跌倒检测系统200的日常运作成本。
图7为根据文中描述的一些实施例，添加新的个人档案到跌倒检测系统200的示例性过程700的流程图。在一个或多个实施例中，图7所示的一个或多个步骤可以省略、重复以及/或者以不同的顺序执行。因此，图7所示的具体步骤安排不应该作为对技术范围的限制。需要说明，可以结合图1所示的嵌入式跌倒检测系统100和图2所示的分布式跌倒检测系统200理解过程700。
过程700开始于该服务器(例如系统200中的服务器204)接收到新的档案请求以及需要添加至分布式跌倒检测系统的个人档案(步骤702)。如上文提到的，服务器可以接收来自移动APP的新档案请求(例如安装在系统200中的移动设备206上的移动APP 212)。更具体地，该移动APP可用于生成新的档案，该新的档案可以包括该个人的身份，该个人的一张或多张档案照片，然后将该新档案请求和该新档案一起发送至该服务器。接下来，在该服务器处，过程700基于接收到的该个人的档案，生成该个人的唯一个人ID(例如唯一的整数值)(步骤704)。例如，可以基于已接收档案中该个人的身份(例如姓名)，创建唯一的个人ID。然后，过程700在存储在该服务器内的档案数据库内为该个人创建新的条目，其中该条目可以包括该个人的唯一个人ID以及一张或多张档案照片(步骤706)。随后，过程700将该唯一个人ID以及一张或多张档案照片从该服务器处发送至该一个或多个嵌入式跌倒检测视觉传感器(例如嵌入式视觉传感器202-1-202-N)(步骤708)。
接下来，在每个嵌入式视觉传感器上，过程700基于接收到的一张或多张档案照片提取出该个人的一个或多个人脸特征向量(步骤710)。例如，过程700可以采用上文描述的人脸识别模块并结合人脸检测模块以生成人脸特征向量。接下来，过程700通过将该个人的新条目添加至该个人ID词典中，以更新存储在每个嵌入式视觉传感器内的每个个人ID词典，其中该新的条目包括该个人的已生成的人脸特征向量以及已接收到的个人ID(步骤712)。如上文所陈述的，在该个人ID词典中创建该个人的档案条目之后，如果在跌倒检测过程中检测出该个人，则每个嵌入式跌倒检测视觉传感器可以识别并随后跟踪该个人。
需要说明的是，在一些实施例中，过程700可以反向执行，从而从该个人ID词典中删除一个人的已创建条目/档案。图8为根据文中描述的一些实施例，从该分布式跌倒检测系统200中移除已存储个人档案的示例性过程800的流程图。在一个或多个实施例中，图8所示的一个或多个步骤可以省略、重复以及/或者以不同的顺序执行。因此，图8所示的具体步骤安排不应该作为对技术范围的限制。需要说明，可以结合图1所示的嵌入式跌倒检测系统100和图2所示的分布式跌倒检测系统200理解过程800。
例如，过程800开始于该服务器(例如系统200中的服务器204)接收到档案移除请求，以从该分布式跌倒检测系统中将给定个人的档案移除(步骤802)。在一些实施例中，可以利用移动APP发出移除档案请求，并且服务器可以从该移动APP处接收档案移除请求。需要说明，该档案移除请求需要包括待移除个人的身份。当服务器接收到该档案移除请求时，该过程800接下来基于该档案中该个人的身份检索数据库，该数据库存储有一组人的已建立档案(步骤804)。如上文所述，该组人的已存储档案包括该组人的已创建个人ID。一旦在该档案数据库中找到该档案，则过程800会发送该个人的个人ID以及该档案移除请求至该一个或多个嵌入式跌倒检测视觉传感器(例如嵌入式视觉传感器202-1-202-N)(步骤806)。
接下来，在每个嵌入式视觉传感器上，过程800基于接收到的该个人的个人ID识别出各自个人ID词典内的个人条目(步骤808)。随后，过程800从各自个人ID词典中移除已识别的该个人的条目(步骤810)。接下来，过程800向服务器发送应答，表示已经从该嵌入式视觉传感器中成功移除该个人的档案。当服务器接收到来自该一个或多个嵌入式视觉传感器的应答之后，过程800即可从该档案数据库中移除该个人的档案，该档案包括该个人的身份、个人ID以及一张或多张档案照片(步骤812)。
图9为根据文中描述的一些实施例，通过嵌入式跌倒检测系统100识别被检测个人的示例性过程900的流程图。在一个或多个实施例中，图9所示的一个或多个步骤可以省略、重复或者以不同的顺序执行。因此，图9所示的具体步骤安排不应该理解为对本申请技术的范围的限制。需要说明，过程900应该与图1中的嵌入式跌倒检测系统100结合理解，具体地，与嵌入式跌倒检测系统100内的人脸识别模块118结合理解。在一些实施例中，过程900完全可以在人脸识别模块118上执行。
过程900开始于人脸识别模块118从人脸检测模块116处接收到输入视频图像104内的被检测个人的被检测人脸(步骤902)。然后，过程900利用人脸识别模块118的人脸特征提取子模块，并基于该被检测人脸生成人脸特征向量(步骤904)。在多个实施例中，该人脸特征向量可以为1-D人脸特征向量、2-D人脸特征向量或3-D人脸特征向量。接下来，过程900通过将该人脸特征向量与该个人ID词典中的每个条目中存储的人脸特征向量进行对比，在个人ID词典，例如个人ID词典150内检索已生成人脸特征向量(步骤906)。在一些实施例中，该个人ID词典存储在该嵌入式跌倒检测系统100的存储器内。接下来，过程900基于是否找到匹配的人脸特征向量，确定该被检测人脸在该个人ID词典内是否具有对应条目(步骤908)。如果具有，则识别出该被检测人脸/个人，并且过程900可以输出该个人ID词典内与该匹配人脸特征向量相关的已存储个人ID，作为该被检测人脸/个人的个人ID(步骤910)。随后，如果嵌入式跌倒检测系统确定该被检测个人涉及到跌倒，则该嵌入式跌倒检测系统输出跌倒报警以及该被检测个人的已识别个人ID。然而，如果该被检测人脸/个人的人脸特征向量与该个人ID词典中存储的任何一个人脸特征向量均不匹配，则过程900针对该被检测人脸/个人输出“未知个人”标示(步骤912)。
隐私保护设计
本申请公开的嵌入式跌倒检测系统100和分布式跌倒检测系统被设计为保护该分布式跌倒检测系统200内的每个嵌入式跌倒检测视觉传感器202捕捉到的每个个人/用户的隐私。在一些实施例中，本申请公开的嵌入式跌倒检测系统100和分布式跌倒检测系统200通过在每个独立嵌入式视觉传感器202内部现场对输入视频图像执行上文描述的一些或全部跌倒检测相关操作，从而实现隐私保护性质。此外，在现场处理完该捕捉视频图像之后，每个嵌入式视觉传感器202仅传送去特征化的视频图像以及跌倒报警至服务器204(例如仅传送每个被检测个人的关键点/骨骼/线条图表示，而非该被检测个人的实际截取图像)。
在一些实施例中，从一序列最近视频帧中提取出的多个特征可存储在每个嵌入式视觉传感器202的存储缓冲区中。这些存储特征可以包括来自每个已处理视频帧的人体关键点、骨骼图/线条图以及包括个人ID 136的人脸识别结果。在一些实施例中，这些存储的特征可用于重新构建该被存储视频帧的最近N秒(例如N＝5～15)的去特征化视频剪辑。因此，一旦该相关嵌入式跌倒检测系统100检测到跌倒，该给定嵌入式视觉传感器202就会将跌倒报警/通知140-1连同该被捕捉视频帧的最近N秒(例如10秒)的重新构建的去特征化视频剪辑发送至服务器204。
在一些实施例中，重构去特征化视频剪辑包括首先识别该序列原始视频帧中的共同背景图像，其中该共同背景为不包括被检测个人的静止图像。例如，该共同背景图像可以是在该被检测个人进入摄像头视野内之前的静止视频图像提取得到的。接下来，可以通过直接叠加对应于该序列原始视频帧的该被检测个人的序列骨骼图至该共同背景图像。例如，为了生成该去特征化视频剪辑的去特征化视频帧i，可以将该序列视频帧中的帧i生成的骨骼图i叠加到共同背景图像中。需要说明的是，这种去特征化视频重构技术相比于直接处理/修改原始视频帧，需要更低的计算和存储成本。
类似地，当对个人进行实时直播时，为了保护该个人的隐私，本申请公开的嵌入式视觉传感器202并不会将原始视频图像发送至服务器204或者移动设备212。相反地，每个嵌入式跌倒检测视觉传感器202用于发送去特征化实时视频图像(例如该个人的关键点或者骨骼表示)。在一些实施例中，可以基于给定用户的具体隐私需求，调整包括在该去特征化视频图像内的信息量。
例如，在高度严格隐私保护模式中，嵌入式跌倒检测系统100仅配置为仅包括每个视频帧中检测到的人的骨骼表示/线条图，该骨骼表示/线条图足以显示一个人是如何跌倒的，而无需包括该已发送视频帧中的人体身份信息以及背景信息。替换性地，在一相对较低严格的隐私保护模式中，除了将该被检测个人的骨骼表示/线条图发送至服务器外，该嵌入式跌倒检测系统100还用于发送被捕捉到的场景/视频帧中的一些分割背景掩码(例如由场景分割模块112生成)。例如，该分割背景掩码可以包括对应于场景中检测到的非人体物体的标记区域，从而有助于理解场景或者被检测到的跌倒，例如场景中与该个人相关的床和沙发。然而，这些分割背景掩码并不显示这些已识别物体的原始图像。
在另一示例性隐私保护模式中，已发送视频可以包括视频中的原始背景图像。然而，通过发送该人体关键点或者相关的骨骼表示，而非该被检测个人的该原始视频图像，本申请公开的跌倒检测系统100和200可以有效地保护每个被检测个人的隐私，从而适用于卧室和洗澡间内的人体监测。然而在一些实施例中，当需要证明人体身份时，例如为了合法目的，该嵌入式跌倒检测系统100还可以发送该视频图像中对应于给定个人的头部和脸部的区域，但是该个人的身体部分依然可以用该已发送视频图像中的相关骨骼表示来表达。
嵌入式视觉系统-硬件环境
图10为根据文中描述的一些实施例，用于如图1所示的嵌入式跌倒检测系统100的示例性硬件环境1000。需要说明，硬件环境1000可用于实现分布式跌倒检测系统200内的一个或多个嵌入式跌倒检测视觉传感器202-1、202-2……和202-N。从图10中可以看出，硬件环境1000可以包括总线1002、一个或多个处理器1004、存储器1006、存储设备1008、摄像头系统1010、传感器1011、一个或多个神经网络加速器1012、一个或多个输入设备1013、一个或多个输出设备1014以及网络接口1016。
总线1002集中表示通信连接到该硬件环境1000的各个组件的所有系统、外围设备和芯片组总线。例如，总线1002将处理器1004与存储器1006、存储设备1008、摄像头系统1010、传感器1011，神经网络加速器1012、输入设备1013，输出设备1014和网络接口1016通信连接。
处理器1004从存储器1006中检索待执行指令以及待处理数据，从而控制硬件环境1000的各个组件，并执行本专利描述的各种功能，这些功能包括本申请公开的嵌入式跌倒检测系统100中的各种功能模块的各种功能，这些功能模块包括但不限于姿势估计模块106、行为识别模块108、包括状态机120和无效姿势过滤器138的跌倒检测模块110、场景分割模块112、人脸检测模块116、人脸识别模块118和ADL统计模块(未示出)。处理器1004可以包括任何类型的处理器，包括但不限于一个或多个中央处理单元(CPU)、一个或多个微处理器、一个或多个图形处理单元(GPU)、一个或多个张量处理单元(TPU)、一个或多个数字信号处理器(DSP)、一个或多个现场可编程门阵列(FPGA)、一个或多个专用集成电路(ASIC)、个人管理器、设备控制器和设备内部的计算引擎，以及现在已知或以后开发的任何其他处理器。此外，给定处理器1004可以包括一个或多个内核。此外，给定处理器1004本身可以包括缓存，该缓存存储由给定处理器1004执行的代码和数据。
存储器1006包括可以存储代码和数据以供处理器1004、神经网络加速器1012和硬件环境1000的一些其他处理模块执行的任何类型的存储器。这包括但不限于动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、只读存储器(ROM)以及现在已知或以后开发的任何其他类型的存储器。
存储设备1008包括可以与硬件环境1000集成的任何类型的非易失性存储设备。这包括但不限于磁性存储设备、光学存储设备和磁光存储设备，以及基于闪存的存储设备和/或电池备份存储器。在一些实施方式中，用于实现本申请公开的嵌入式跌倒检测系统100中的各种模块的各种功能的各种程序都被存储在存储器1006和存储设备1008中，其中该模块包括姿势估计模块106、行为识别模块108、包括状态机120以及无效姿势过滤器138的跌倒检测模块110、场景分割模块112、人脸检测模块116、人脸识别模块118和ADL统计模块(未示出)。
总线1002也连接到摄像头系统1010。摄像头系统1010用于为以预定分辨率捕获视频图像序列，并通过总线1002将捕获到的视频图像通过总线1002传送到硬件环境1000中的各个组件，例如传送到存储器1006用于缓存；传送到处理器1004和神经网络加速器1012用于各种深度学习和基于神经网络的操作。摄像头系统1010包括一个或多个数字摄像头。在一些实施例中，摄像头系统1010包括一个或多个配备有广角镜的数字摄像头。摄像头系统1010所捕获的图像可以具有不同的分辨率，包括诸如1280×720p，1920×1080p的高分辨率或其他高分辨率。
在一些实施例中，神经网络加速器1012可以包括被设计硬件加速的任何类型的微处理器，其中该硬件加速为用于执行基于AI和基于深度学习的程序和模型，尤其是诸如本申请公开的各种CNN和RNN架构的各种深度学习神经网络。神经网络加速器1012可以执行本申请公开的嵌入式跌倒检测系统100中所描述的每个基于深度学习的模块的预期功能，该模块即姿势估计模块106、行为识别模块108、跌倒检测模块110、场景分割模块112、人脸检测模块116、人脸识别模块118和ADL统计模块。神经网络加速器1012的实例可以包括但不限于：双核ARM Mali-G71 GPU、双核神经网络推理加速引擎(NNIE)和HiSilicon Hi3559A片上系统中的四核DSP模块。
总线1002还连接到输入设备1013和输出设备1014。输入设备1013使用户能够向硬件环境1000传达信息并选择命令。输入设备1013可以包括例如麦克风、字母数字键盘和指示设备(也称为“光标控制设备”)。
硬件环境1000还包括连接到总线1002的一组传感器1011，用于收集环境数据以协助本申请所公开的嵌入式跌倒检测系统100的各种跌倒检测功能。传感器1011可以包括运动传感器、环境光传感器以及红外传感器，该红外传感器例如为无源红外传感器(PIR)传感器。为了实现PIR传感器的功能，硬件环境1000还可以包括IR发射器阵列。
同样连接到总线1002的输出设备1014例如能够显示由处理器1004和神经网络加速器1012生成的结果。输出设备1014例如包括显示设备，例如阴极射线管显示器(CRT)、发光二极管显示器(LED)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、等离子显示器或电子纸。输出设备1014还可以包括音频输出设备，例如扬声器。输出设备1014还可以包括一个或多个LED指示器。
最后，如图10所示，总线1002还通过网络接口1016将硬件环境1000连接到网络(未示出)。通过这种方式，硬件环境1000可以是网络的一部分，诸如局域网(“LAN”)、Wi-Fi网络、广域网(“WAN”)、内联网或者万网之网，如因特网。因此，网络接口1016可以包括Wi-Fi网络接口。网络接口1016还可以包括蓝牙接口。硬件环境1000的任何或所有组件可以与本申请结合使用。
在硬件环境1000的具体实施例中，硬件环境1000可作为嵌入式跌倒检测视觉传感器，其至少包括如下组件：一个或多个摄像头、多个CPU、多个GPU、多个神经网络加速器(例如NNIE加速器)、多个DSP、多个存储模块、存储设备、WiFi模块、蓝牙模块、麦克风、扬声器、显示界面、多个传感器以及多个LED指示灯，其中该传感器包括运动传感器、环境光传感器和红外传感器。
任务调度和低级别优化
在一些实施例中，为了充分利用硬件环境1000的有效处理能力，可以设计一定制任务调度器，用于并行利用多个硬件资源，例如ARM CPU和NNIE加速器，以实现最大处理吞吐量。图11为根据文中描述的一些实施例，用于执行该嵌入式跌倒检测系统100的多种跌倒检测功能的示例性任务调度器1100。
从图11中可以看出，任务调度器1100可以包括输入调度器1102和输出调度器1104。每一个任务调度器1100可以实例化任意数量的工人来并行完成相同的任务，例如三个CPU工人：CPU_工人0、CPU_工人1、CPU_工人2，以及两个NNIE工人：NNIE_工人0和NNIE_工人1。此外，该任务调度器1100中的每个工人可以采用由硬件环境100提供的不同的硬件资源(即CPU或者NNIE加速器)。在一些实施例中，输入调度器1102可用于接收原始视频图像作为输入1106，并调度该组工人对该输入视频图像执行下述两流工作：(1)姿势估计任务，随后为行为识别任务和跌倒检测任务，随后生成跌倒检测输出，该输出包括跌倒报警、去特征化视频剪辑以及/或者ADL，作为输出1108，以及(2)人脸检测作务，随后为人脸识别任务，并随后生成个人ID，作为输出1108。此外，该任务调度器1100的输入调度器1102和输出调度器1104可用于确保输出1108(例如跌倒检测报警、去特征化视频剪辑以及ADL)的顺序与输入1106中该原始视频图像的顺序匹配。
需要说明，可以将多个任务调度器1100实例串行链接/连接以形成处理管道，其中该处理管道的每个节点(例如任务调度器1100的每个实例)执行一具体任务。例如，图12为根据文中描述的一些实施例，基于串联连接的任务调度器的包括双任务调度器节点的示例性处理管道1200。如图12所示，第一调度器节点(即节点0)包括两个NNIE工人(NNIE0和NNIE1)，用于执行上述姿势估计任务；而第二调度器节点(即节点1)采用三个CPU内核(CPU0，CPU1和CPU2)并行执行上述人脸检测和识别任务。节点0/调度器0可以接收原始视频图像作为输入1202，而节点1/调度器1可以生成一定的跌倒检测输出作为输出1204，例如个人ID。
在一些实施例中，为了对本申请公开的嵌入式跌倒检测系统采用的多个神经网络模块进行提速，可以利用ARM NEON指令重新设计给定神经网络模块的一些计算密集层。
需要说明，虽然在本申请跌倒检测系统中描述了用于修改和优化现有模块和框架，从而实现本申请公开的嵌入式跌倒检测系统100和多个任务调度技术的多种技术，然而本申请公开的修改和优化以及任务调度技术的概念可以应用到其他相似嵌入式系统，而非仅可应用于跌倒检测系统。
图13为根据文中描述的一些实施例，执行图1所示嵌入式跌倒检测系统100的嵌入式跌倒检测视觉传感器1300的示例性外部设计。更具体地，图13显示了该嵌入式跌倒检测视觉传感器1300的立体图。需要说明的是，该嵌入式跌倒检测视觉传感器1300的前表面包括多个传感器和灯。该环境光传感器上方的大圆圈为用于捕捉实际图像的摄像头的位置。在一些实施例中，该嵌入式跌倒检测视觉传感器1300的主体内部至少包括如下组件：一台或多台摄像头、多个CPU、多个GPU、多个神经网络加速器、多个DSP、多个存储模块、存储设备、WiFi模块、蓝牙模块、麦克风、扬声器、显示界面、多个传感器和多个LED指示灯，其中该传感器包括运动传感器、环境光传感器和红外传感器。
结合本申请公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可以由电子硬件、计算机软件或两者的组合实现。为了清楚地说明硬件和软件的可置换性，上文已经根据其功能大体描述了各种示例性组件、组分、模块、电路和步骤。这种功能由硬件还是软件实现取决于具体的应用程序和施加在整个系统上的设计约束。技术人员可以针对每个具体应用以各种方式来实现文中所描述的功能，但是这种实现决策不应被解释为脱离本发明的保护范围。
用于实现结合本申请所公开的多方面描述的各种描述性逻辑、逻辑块、模块和电路的硬件可以作为或者采用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、分立门或晶体管逻辑、分立硬件组件或其任何组合，用于执行本文所述的功能。通用处理器可以是微处理器，然而可替代地，该处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以为接收器设备的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器和DSP内核的组合或任何其他配置。或者，某些步骤或方法可以由专用于给定功能的电路执行。
从一个或多个示例性方面讲，可以以硬件、软件、固件或其任意组合来实现所描述的功能。如果以软件实现，则该功能可以作为一个或多个指令或代码存储在非暂时性计算机可读存储介质或非暂时性处理器可读存储介质上。本文公开的方法或算法的步骤可以体现在可以存储在非暂时性计算机可读或处理器可读存储介质上的处理器可执行指令中。非暂时性计算机可读或处理器可读存储介质可以是可由计算机或处理器访问的任何存储介质。作为示例而非限制性地，这样的非暂时性计算机可读或处理器可读存储介质可以包括RAM、ROM、EEPROM、EEPROM、闪存、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储设备，或者可用于以指令或数据结构形式存储所需程序代码并且可由计算机访问的任何其他介质。本文所使用的磁盘和光盘包括小型光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘则通过激光光学方式复制数据。以上的组合也包括在非暂时性计算机可读和处理器可读介质的范围内。另外，方法或算法的操作可以作为代码和/或指令的一个或任何组合或集合存储在非暂时性处理器可读存储介质和/或计算机可读存储介质上，其可以被并入计算机程序产品。
尽管该专利文件包含许多细节，但是这些细节不应被解释为对本发明或可要求保护的范围的任何限制，而是对专用于具体发明的具体实施例的特征的描述。在单独的实施例的上下文中，该专利文件和所附附录中描述的某些特征也可以在单个实施例中组合实现。相反地，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中单独实现，或以任何合适的子组合实现。此外，尽管上文以某种组合的方式描述了特征，甚至起始时甚至如此声称该特征，然而这种组合中的一个或多个特征可以从这个组合中剔除，并且该声称的组合可以指向一子组合或者该子组合的等同替换。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应理解为要求以所示的特定顺序或以连续的顺序执行这样的操作，或者执行所有示出的操作以实现期望的效果。此外，在该专利文件和所附附录中描述的实施例中的各种系统组件的独立性不应理解为在所有实施例中都需要这种独立性。
文中仅描述了一些实施方式和示例，基于该专利文件和所附附录中所描述和示出的内容，可以作出其他实施方式、增强和改变。

Claims (15)

1.一种执行个人跌倒检测的方法，其特征在于，所述方法包括：
接收一序列视频图像，所述视频图像包括正在被监测的个人；
对于所述序列视频图像中的每张图像：
检测所述图像内所述个人的姿势；以及
将图像中被检测个人的姿势划分为一组预定义行为中的某一行为；
整合所述被检测个人的已划分行为的序列，所述序列对应于所述视频图像的序列；
对被划分行为的整合序列进行处理，以确定是否发生跌倒；
其中，所述对被划分行为的整合序列进行处理，以确定是否发生跌倒包括：采用状态机检测与所述被划分行为的整合序列相关的跌倒，其中所述状态机至少包括表示正常行为的正常状态和表示跌倒的警告状态；
所述采用状态机处理与所述被划分行为的整合序列以检测跌倒包括：
确定所述状态机中被检测个人的当前状态以及相关的状态分数；
依据下面的方式依次处理被划分行为的整合序列：
对于每个被划分为危险活动的被划分行为，增加所述状态机内的当前状态的分数，从而获得当前状态的更新状态分数；
如果当前状态的更新状态分数超出预定义上阈值，则使所述状态机从当前状态切换至警告状态；
对于被划分为正常活动的每个被划分行为，降低所述状态机内当前状态的分数，以获得所述当前状态的更新状态分数；
如果当前状态的更新状态分数低于预定义下阈值，则使所述状态机将所述当前状态从所述警告状态中移除。
2.根据权利要求1所述的方法，其特征在于，所述检测所述图像内所述个人的姿势包括：
识别图像内对应于所述个人的一组人体关键点的一组位置；
将已识别的所述组位置内的相邻的点连接起来以形成所述个人的骨骼图，其中所述骨骼图代表所述被检测个人的去特征化图像。
3.根据权利要求2所述的方法，其特征在于，所述将图像中所述被检测个人的姿势划分为一组预定义行为中的某一行为包括：
基于所述被检测个人的骨骼图，从图像中截取出一张所述被检测个人的二维(2D)图像；
将所述被检测个人的截取图像提供给行为分类器，所述行为分类器用于预测所述被检测个人处于所述组预定义行为中每一种行为的概率；以及
基于对应于所述组预定义行为的该组概率，将所述被检测个人的姿势划分为所述行为。
4.根据权利要求1所述的方法，其特征在于，所述组预定义行为包括第一类行为和第二类行为；并且所述将图像中被检测个人的姿势划分为一组预定义行为中的某一行为包括：
将所述被检测个人的姿势划分为第一类行为或者第二类行为；
对于被划分的第一类行为或第二类行为，进一步将所述被检测个人的姿势划分为被划分行为中的某一预定义行为。
5.根据权利要求4所述的方法，其特征在于，所述第一类行为为所述组预定义行为中的危险行为的子集；以及
所述第二组行为是所述组预定义行为中正常行为的子集。
6.根据权利要求5所述的方法，其特征在于，所述危险行为的子集包括如下一种或多种：躺下行为及挣扎行为；
所述正常行为的子集包括如下一种或几种：站立行为、一种或多种类型的坐下行为、弯腰行为以及下蹲行为。
7.根据权利要求1所述的方法，其特征在于，所述整合所述被检测个人的已划分行为的序列包括：
识别危险区域，例如视频图像序列中的地板或地毯；
确定已识别行为序列和已识别危险区域之间的空间关系；以及
当所述已识别行为序列中的危险行为发生在所述已识别危险区域内时，证实所述被划分危险行为。
8.根据权利要求1所述的方法，其特征在于，所述整合所述被检测个人的已划分行为的序列包括：
识别正常区域，例如视频图像序列中的床或沙发；
确定已识别行为序列和已识别正常区域之间的空间关系；以及
当所述已识别行为序列中的危险行为发生在所述已识别正常区域内时，将被划分为危险的行为重新划分为正常行为。
9.根据权利要求2所述的方法，其特征在于，如果检测到所述个人跌倒，则所述方法进一步包括：
生成跌倒报警；
通过用被检测个人的骨骼图代替所述视频图像序列中的所述被检测个人实际图像，生成描述所述跌倒的去特征化视频剪辑；以及
将所述去特征化视频剪辑连同所述跌倒报警发送到服务器，从而保护被检测个人的隐私。
10.根据权利要求2所述的方法，其特征在于，如果检测到所述个人跌倒，则所述方法进一步包括：
生成去特征化视频剪辑，包括：
识别一序列视频图像中的共同背景；以及
将对应于所述视频图像序列的所述被检测个人的一组骨骼图叠加到所述共同背景图像中，以获得一序列去特征化视频图像；
将由所述序列去特征化视频图像构成的去特征化视频剪辑发送到服务器，从而保护被检测个人的隐私。
11.一种跌倒检测系统，其特征在于，所述跌倒检测系统包括：
一个或多个处理器；
连接于所述一个或多个处理器的存储器；
姿势估计模块，用于：
接收一序列包括正在被监测的个人的视频图像，并且检测所述视频图像序列中每张图像内所述个人的姿势；
行为识别模块，用于将所述视频图像序列中的每一张图像中被检测个人的姿势划分为一组预定义行为中的某一行为；以及
跌倒检测模块，用于：
整合对应于所述视频图像的序列的所述被检测个人的被划分行为的序列；以及
对所述被划分行为的整合序列进行处理，以确定是否发生跌倒；
其中，所述跌倒检测模块对所述被划分行为的整合序列进行处理包括：采用状态机检测与所述被划分行为的整合序列相关的跌倒，其中所述状态机至少包括表示正常行为的正常状态和表示跌倒的警告状态；
所述跌倒检测模块采用状态机处理被划分行为包括：
确定所述状态机内的当前分数和所述被检测个人的相关状态分数；以及
通过如下方式顺序处理被划分行为的整合序列：
对于每个被划分为危险活动的被划分行为，增加所述状态机内的当前状态的分数，从而获得当前状态的更新状态分数；
如果当前状态的更新状态分数超出预定义上阈值，则使所述状态机从当前状态切换至警告状态；以及
对于被划分为正常活动的每个被划分行为，降低所述状态机内当前状态的分数，以获得所述当前状态的更新状态分数；
如果当前状态的更新状态分数低于预定义下阈值，则使所述状态机将所述当前状态从所述警告状态中移除。
12.根据权利要求11所述的跌倒检测系统，其特征在于，所述姿势估计模块检测图像内所述个人的姿势包括：
识别图像内对应于所述个人的一组人体关键点的一组位置；以及
将已识别的所述组位置内的相邻的点连接起来以形成所述个人的骨骼图，其中所述骨骼图代表所述被检测个人的去特征化图像。
13.根据权利要求12所述的跌倒检测系统，其特征在于，所述行为识别模块将被检测个人的姿势划分为一组预定义行为中的某一行为包括：
基于所述被检测个人的骨骼图，从图像中截取出一张所述被检测个人的二维(2D)图像；
将所述被检测个人的截取图像提供给行为分类器，所述行为分类器用于预测所述被检测个人处于所述组预定义行为中每一种行为的概率；以及
基于对应于所述组预定义行为的该组概率，将所述被检测个人的姿势划分为所述行为。
14.根据权利要求11所述的跌倒检测系统，其特征在于，所述跌倒检测模块整合对应于所述视频图像序列的所述被检测个人的被划分行为的序列包括：
识别正常区域，例如视频图像序列中的床或沙发；
确定已识别行为序列和已识别正常区域之间的空间关系；以及
当所述已识别行为序列中的危险行为发生在所述已识别正常区域内时，将被划分为危险的行为重新划分为正常行为。
15.一种嵌入式跌倒检测系统，其特征在于，所述嵌入式跌倒检测系统包括：
一个或多个用于捕捉包括个人的一序列视频图像的摄像头；
一个或多个处理器；
连接到所述一个或多个处理器的存储器；所述存储器存储有指令，当所述指令被所述一个或多个处理器执行时使所述系统执行：
接收一序列视频图像；
检测所述序列视频图像中的每张图像内所述个人的姿势；
对于所述序列视频图像中的每张图像，将所述图像中被检测个人的姿势划分为一组预定义行为中的某一行为；
整合所述被检测个人的被划分行为的序列，所述序列对应于所述视频图像的序列；以及
对所述被划分行为的整合序列进行处理，以确定是否发生跌倒；
其中，状态机用于检测与被划分行为的聚合序列相关的跌倒，其中所述状态机至少包括表示正常行为的正常状态和表示跌倒的警告状态；
所述存储器还存储有指令，所述指令被所述一个或多个处理器执行时使所述系统执行：
确定所述状态机中被检测个人的当前状态以及相关的状态分数；
依据下面的方式依次处理被划分行为的整合序列：
对于每个被划分为危险活动的被划分行为，增加所述状态机内的当前状态的分数，从而获得当前状态的更新状态分数；
如果当前状态的更新状态分数超出预定义上阈值，则使所述状态机从当前状态切换至警告状态；
对于被划分为正常活动的每个被划分行为，降低所述状态机内当前状态的分数，以获得所述当前状态的更新状态分数；
如果当前状态的更新状态分数低于预定义下阈值，则使所述状态机将所述当前状态从所述警告状态中移除。
CN201911371675.6A 2018-12-30 2019-12-27 隐私保护跌倒检测方法和系统 Active CN111383421B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862786541P 2018-12-30 2018-12-30
US62/786,541 2018-12-30
US16/672,432 2019-11-02
US16/672,432 US11179064B2 (en) 2018-12-30 2019-11-02 Method and system for privacy-preserving fall detection

Publications (2)

Publication Number Publication Date
CN111383421A CN111383421A (zh) 2020-07-07
CN111383421B true CN111383421B (zh) 2021-12-17

Family

ID=71123693

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911371675.6A Active CN111383421B (zh) 2018-12-30 2019-12-27 隐私保护跌倒检测方法和系统
CN202010384748.1A Pending CN112784662A (zh) 2018-12-30 2020-05-09 基于视频的跌倒风险评价系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010384748.1A Pending CN112784662A (zh) 2018-12-30 2020-05-09 基于视频的跌倒风险评价系统

Country Status (2)

Country Link
US (4) US11179064B2 (zh)
CN (2) CN111383421B (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080513B2 (en) * 2011-01-12 2021-08-03 Gary S. Shuster Video and still image data alteration to enhance privacy
US10216694B2 (en) 2015-08-24 2019-02-26 Google Llc Generic scheduling
US11864926B2 (en) 2015-08-28 2024-01-09 Foresite Healthcare, Llc Systems and methods for detecting attempted bed exit
US10206630B2 (en) 2015-08-28 2019-02-19 Foresite Healthcare, Llc Systems for automatic assessment of fall risk
US10629048B2 (en) 2017-09-29 2020-04-21 Apple Inc. Detecting falls using a mobile device
US11527140B2 (en) 2017-09-29 2022-12-13 Apple Inc. Detecting falls using a mobile device
US11282361B2 (en) * 2017-09-29 2022-03-22 Apple Inc. Detecting falls using a mobile device
US11282363B2 (en) 2017-09-29 2022-03-22 Apple Inc. Detecting falls using a mobile device
US11282362B2 (en) 2017-09-29 2022-03-22 Apple Inc. Detecting falls using a mobile device
US11562231B2 (en) * 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11107242B2 (en) * 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Detecting pose using floating keypoint(s)
CN109829451B (zh) * 2019-03-22 2021-08-24 京东方科技集团股份有限公司 生物体动作识别方法、装置、服务器及存储介质
DE112020002425T5 (de) * 2019-05-17 2022-01-27 Nvidia Corporation Bewegungsvorhersage unter verwendung eines oder mehrerer neuronaler netzwerke
US10915743B2 (en) * 2019-06-27 2021-02-09 RoundhouseOne Inc. Computer vision system configured to monitor at risk humans
US11410540B2 (en) * 2019-08-01 2022-08-09 Fuji Xerox Co., Ltd. System and method for event prevention and prediction
US11281227B2 (en) * 2019-08-20 2022-03-22 Volkswagen Ag Method of pedestrian activity recognition using limited data and meta-learning
US11138414B2 (en) * 2019-08-25 2021-10-05 Nec Corporation Of America System and method for processing digital images
CN110852162B (zh) * 2019-09-29 2020-10-23 深圳云天励飞技术有限公司 一种人体完整度数据标注方法、装置及终端设备
US10931976B1 (en) * 2019-10-14 2021-02-23 Microsoft Technology Licensing, Llc Face-speech bridging by cycle video/audio reconstruction
CN112668359A (zh) * 2019-10-15 2021-04-16 富士通株式会社 动作识别方法、动作识别装置和电子设备
CN113128256A (zh) * 2019-12-30 2021-07-16 北京三星通信技术研究有限公司 视频采样方法及装置
US11911147B1 (en) 2020-01-04 2024-02-27 Bertec Corporation Body sway measurement system
US11450192B2 (en) 2020-01-06 2022-09-20 National Cheng Kung University Fall detection system
US11315363B2 (en) * 2020-01-22 2022-04-26 Board Of Trustees Of Michigan State University Systems and methods for gait recognition via disentangled representation learning
US11688051B2 (en) * 2020-01-24 2023-06-27 Johnson Controls Tyco IP Holdings LLP Automating inspection using neural network
WO2021186655A1 (ja) * 2020-03-19 2021-09-23 株式会社日立製作所 転倒リスク評価システム
CN111767888A (zh) * 2020-07-08 2020-10-13 北京澎思科技有限公司 对象状态检测方法、计算机设备、存储介质和电子设备
CN111626273B (zh) * 2020-07-29 2020-12-22 成都睿沿科技有限公司 基于原子性动作时序特性的摔倒行为识别系统及方法
WO2022026745A1 (en) * 2020-07-29 2022-02-03 Foresite Healthcare, Llc Systems and methods for detecting attempted bed exit
US11798318B2 (en) 2020-07-31 2023-10-24 Qualiaos, Inc. Detection of kinetic events and mechanical variables from uncalibrated video
US11587423B2 (en) * 2020-08-03 2023-02-21 Healthcare Integrated Technologies, Inc. Fall validation with privacy-aware monitoring
CN111899470B (zh) * 2020-08-26 2022-07-22 歌尔科技有限公司 人体跌倒检测方法、装置、设备及存储介质
CN112115827B (zh) * 2020-09-09 2022-06-07 中南大学 基于人体姿态动态特征的跌倒行为识别方法
CN112149533A (zh) * 2020-09-10 2020-12-29 上海电力大学 一种基于改进ssd模型的目标检测方法
US11906540B1 (en) * 2020-10-30 2024-02-20 Bby Solutions, Inc. Automatic detection of falls using hybrid data processing approaches
CN112380946B (zh) * 2020-11-09 2022-12-16 苏州爱可尔智能科技有限公司 一种基于端侧ai芯片的跌倒检测方法及装置
CN112287868B (zh) * 2020-11-10 2021-07-13 上海依图网络科技有限公司 一种人体动作识别方法及装置
CN112633059B (zh) * 2020-11-12 2023-10-20 泰州职业技术学院 一种基于LabVIEW和MATLAB的跌倒远程监控系统
KR102551644B1 (ko) * 2020-11-25 2023-07-05 주식회사 싸인텔레콤 영상기반의 핵심골격검출을 통한 안전관리 시스템
CN112633083A (zh) * 2020-12-04 2021-04-09 南通大学 一种基于改进的Openpose 考试多人异常行为及口罩佩戴检测方法
CN112714280A (zh) * 2020-12-08 2021-04-27 深圳英飞拓科技股份有限公司 基于智能盒子的智慧养老方法及系统、设备及存储介质
US11688264B2 (en) * 2020-12-09 2023-06-27 MS Technologies System and method for patient movement detection and fall monitoring
CN112464856B (zh) * 2020-12-09 2023-06-13 成都华栖云科技有限公司 基于人体骨骼关键点的视频流动作检测方法
CN112580649B (zh) * 2020-12-15 2022-08-02 重庆邮电大学 一种基于区域上下文关系模块的语义分割方法
CN112562260B (zh) * 2020-12-16 2022-08-09 浙江大华技术股份有限公司 防走失方法及装置
EP4016376A1 (en) * 2020-12-18 2022-06-22 Toyota Jidosha Kabushiki Kaisha Computer-implemented process monitoring method
WO2022144898A1 (en) * 2020-12-31 2022-07-07 Carmel Haifa University Economic Corporation Ltd. Methods and system for assessing the risk of falls
CN112766165B (zh) * 2021-01-20 2022-03-22 燕山大学 基于深度神经网络与全景分割的跌倒预判方法
SE544751C2 (en) * 2021-01-26 2022-11-01 Assa Abloy Ab Enabling training of an ml model for monitoring states or events of a person
US11734453B2 (en) * 2021-02-22 2023-08-22 International Business Machines Corporation Privacy-preserving motion analysis
CN113255446B (zh) * 2021-04-20 2023-04-18 长沙海格北斗信息技术有限公司 人脸检测系统
US11544969B2 (en) * 2021-04-27 2023-01-03 Zhejiang Gongshang University End-to-end multimodal gait recognition method based on deep learning
CN113205043B (zh) * 2021-04-30 2022-06-07 武汉大学 一种基于强化学习的视频序列二维姿态估计方法
US20230124158A1 (en) * 2021-06-04 2023-04-20 Apple Inc. Assessing walking steadiness of mobile device user
US11854264B2 (en) * 2021-06-18 2023-12-26 Kyndryl, Inc. Speculative actions based on predicting negative circumstances
CN113450538A (zh) * 2021-06-28 2021-09-28 杭州电子科技大学 基于痛苦表情识别及跌倒行为检测的警示系统
CN113660455B (zh) * 2021-07-08 2023-04-07 深圳宇晰科技有限公司 一种基于dvs数据的跌倒检测方法、系统、终端
US11967102B2 (en) * 2021-07-16 2024-04-23 Shanghai United Imaging Intelligence Co., Ltd. Key points detection using multiple image modalities
CN113569696B (zh) * 2021-07-22 2023-06-06 福建师范大学 基于视频的人体微小震颤信号提取的方法
CN113688734B (zh) * 2021-08-25 2023-09-22 燕山大学 一种基于fpga异构加速的老人跌倒检测方法
CN113688740B (zh) * 2021-08-26 2024-02-27 燕山大学 一种基于多传感器融合视觉的室内姿势检测方法
CN113850760B (zh) * 2021-08-27 2024-05-28 北京工业大学 一种耳部ct影像前庭检测方法
CN113628413A (zh) * 2021-08-30 2021-11-09 中山大学附属第三医院（中山大学肝脏病医院） 穿脱防护服出现意外的自动报警求救技术
CN113496216B (zh) * 2021-08-31 2023-05-05 四川大学华西医院 一种基于骨骼关键点的多角度跌倒高危识别方法及系统
US11995917B2 (en) * 2021-09-09 2024-05-28 Sensormatic Electronics, LLC Systems and methods for detecting a slip, trip or fall
CN113838262B (zh) * 2021-09-30 2023-04-18 中国工商银行股份有限公司 基于物联网的近场通讯方法、装置及系统
CN113919998B (zh) * 2021-10-14 2024-05-14 天翼数字生活科技有限公司 一种基于语义和姿态图引导的图片匿名化方法
KR102608941B1 (ko) * 2021-11-12 2023-12-01 인빅 주식회사 인공지능을 이용한 환자의 이상 행동 탐지 시스템
JP7316712B1 (ja) 2022-04-26 2023-07-28 株式会社アジラ 異常行動検出システム
CN114821795B (zh) * 2022-05-05 2022-10-28 北京容联易通信息技术有限公司 一种基于ReID技术的人员跑动检测和预警方法及系统
CN115100745B (zh) * 2022-07-05 2023-06-20 北京甲板智慧科技有限公司 基于Swin Transformer模型的运动实时计数方法和系统
CN114898471B (zh) * 2022-07-12 2022-09-30 华中科技大学 一种基于人体骨架特征的行为检测方法及存储介质
WO2024020838A1 (en) * 2022-07-27 2024-02-01 Intel Corporation Apparatus, method, device and medium for dynamic balance ability evaluation
CN115546491B (zh) * 2022-11-28 2023-03-10 中南财经政法大学 一种跌倒报警方法、系统、电子设备及存储介质
DE102022132598A1 (de) * 2022-12-07 2024-06-13 KEBA Group AG System und Verfahren zur Überwachung
CN116823591B (zh) * 2023-05-05 2024-02-02 国政通科技有限公司 一种基于卷积神经元的人形检测去隐私化方法及装置
CN116343341B (zh) * 2023-05-12 2023-08-15 天津志听医疗科技有限公司 一种基于姿态识别的动作预测分析方法和系统
CN116563797B (zh) * 2023-07-10 2023-10-27 安徽网谷智能技术有限公司 一种用于智慧校园的监控管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722715A (zh) * 2012-05-21 2012-10-10 华南理工大学 一种基于人体姿势状态判决的跌倒检测方法
CN105719429A (zh) * 2014-07-29 2016-06-29 吴诗蕊 一种基于Kinect的跌倒检测及报警系统及其操作方法
CN108090458A (zh) * 2017-12-29 2018-05-29 南京阿凡达机器人科技有限公司 人体跌倒检测方法和装置
CN108363966A (zh) * 2018-01-30 2018-08-03 广东工业大学 一种室内跌倒检测方法及系统
CN108629284A (zh) * 2017-10-28 2018-10-09 深圳奥瞳科技有限责任公司 基于嵌入式视觉系统的实时人脸跟踪和人脸姿态选择的方法及装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US6975346B2 (en) * 2002-06-27 2005-12-13 International Business Machines Corporation Method for suspect identification using scanning of surveillance media
US8675920B2 (en) * 2011-04-04 2014-03-18 Alarm.Com Incorporated Fall detection and reporting technology
US9597016B2 (en) * 2012-04-27 2017-03-21 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
CA2834877A1 (en) * 2012-11-28 2014-05-28 Henry Leung System and method for event monitoring and detection
JP6923319B2 (ja) * 2013-09-11 2021-08-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 転倒検出システム、方法及びコンピュータプログラム
US10096223B1 (en) * 2013-12-18 2018-10-09 Cerner Innovication, Inc. Method and process for determining whether an individual suffers a fall requiring assistance
WO2017042419A1 (en) * 2015-09-07 2017-03-16 Nokia Technologies Oy Privacy preserving monitoring
US10140504B2 (en) * 2015-10-14 2018-11-27 David Alan Finkelstein System and method utilizing facial recognition with online (social) network to access casualty health information in an emergency situation
US20170213080A1 (en) * 2015-11-19 2017-07-27 Intelli-Vision Methods and systems for automatically and accurately detecting human bodies in videos and/or images
EP3442417A1 (de) * 2016-01-07 2019-02-20 Gunther Röder Verfahren und vorrichtung zur sturzerkennung
US9996739B2 (en) * 2016-02-19 2018-06-12 Conduent Business Services, Llc System and method for automatic gait cycle segmentation
US10262423B2 (en) * 2016-03-29 2019-04-16 Verily Life Sciences Llc Disease and fall risk assessment using depth mapping systems
US10210451B2 (en) * 2016-07-22 2019-02-19 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments
US20180064373A1 (en) * 2016-09-04 2018-03-08 Essence Smartcare Ltd. Detecting falls and near falls by ultrasound
US11497417B2 (en) * 2016-10-04 2022-11-15 The Johns Hopkins University Measuring patient mobility in the ICU using a novel non-invasive sensor
US9972187B1 (en) * 2016-11-13 2018-05-15 Agility4Life Biomechanical parameter determination for emergency alerting and health assessment
CN106539587A (zh) * 2016-12-08 2017-03-29 浙江大学 一种基于多运动传感器的跌倒风险评估以及监测系统及评估方法
US20180177436A1 (en) * 2016-12-22 2018-06-28 Lumo BodyTech, Inc System and method for remote monitoring for elderly fall prediction, detection, and prevention
CN107045623B (zh) * 2016-12-30 2020-01-21 厦门瑞为信息技术有限公司 一种基于人体姿态跟踪分析的室内危险情况告警的方法
CN106909890B (zh) * 2017-01-23 2020-02-11 北京工业大学 一种基于部位聚类特征的人体行为识别方法
CN108338790B (zh) * 2017-01-24 2020-09-18 首都医科大学 步态分析及跌倒评估系统
KR102013935B1 (ko) * 2017-05-25 2019-08-23 삼성전자주식회사 위험 상황을 감지하는 방법 및 시스템
US10055961B1 (en) * 2017-07-10 2018-08-21 Careview Communications, Inc. Surveillance system and method for predicting patient falls using motion feature patterns
US11232694B2 (en) * 2018-03-14 2022-01-25 Safely You Inc. System and method for detecting, recording and communicating events in the care and treatment of cognitively impaired persons
CN108960056B (zh) * 2018-05-30 2022-06-03 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
US11308325B2 (en) * 2018-10-16 2022-04-19 Duke University Systems and methods for predicting real-time behavioral risks using everyday images
CN109919137B (zh) * 2019-03-28 2021-06-25 广东省智能制造研究所 一种行人结构化特征表达方法
CN110287923B (zh) * 2019-06-29 2023-09-15 腾讯科技（深圳）有限公司 人体姿态获取方法、装置、计算机设备及存储介质
JP7356849B2 (ja) * 2019-09-13 2023-10-05 株式会社日立製作所 見守りシステム、見守り方法及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722715A (zh) * 2012-05-21 2012-10-10 华南理工大学 一种基于人体姿势状态判决的跌倒检测方法
CN105719429A (zh) * 2014-07-29 2016-06-29 吴诗蕊 一种基于Kinect的跌倒检测及报警系统及其操作方法
CN108629284A (zh) * 2017-10-28 2018-10-09 深圳奥瞳科技有限责任公司 基于嵌入式视觉系统的实时人脸跟踪和人脸姿态选择的方法及装置
CN108090458A (zh) * 2017-12-29 2018-05-29 南京阿凡达机器人科技有限公司 人体跌倒检测方法和装置
CN108363966A (zh) * 2018-01-30 2018-08-03 广东工业大学 一种室内跌倒检测方法及系统

Also Published As

Publication number Publication date
US11923092B2 (en) 2024-03-05
US11179064B2 (en) 2021-11-23
CN111383421A (zh) 2020-07-07
US20210378554A1 (en) 2021-12-09
US20200205697A1 (en) 2020-07-02
US20220079472A1 (en) 2022-03-17
CN112784662A (zh) 2021-05-11
US20200211154A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
CN111383421B (zh) 隐私保护跌倒检测方法和系统
Kwolek et al. Improving fall detection by the use of depth sensor and accelerometer
US10095930B2 (en) System and method for home health care monitoring
US9036902B2 (en) Detector for chemical, biological and/or radiological attacks
US20160259980A1 (en) Systems and methodologies for performing intelligent perception based real-time counting
Shoaib et al. View-invariant fall detection for elderly in real home environment
KR101839827B1 (ko) 원거리 동적 객체에 대한 얼굴 특징정보(연령, 성별, 착용된 도구, 얼굴안면식별)의 인식 기법이 적용된 지능형 감시시스템
JP2018160219A (ja) 移動経路予測装置、及び移動経路予測方法
GB2584400A (en) Processing captured images
Poonsri et al. Fall detection using Gaussian mixture model and principle component analysis
Poonsri et al. Improvement of fall detection using consecutive-frame voting
JP2019106631A (ja) 画像監視装置
Pramerdorfer et al. Fall detection based on depth-data in practice
Rastogi et al. Human fall detection and activity monitoring: a comparative analysis of vision-based methods for classification and detection techniques
Khraief et al. Convolutional neural network based on dynamic motion and shape variations for elderly fall detection
Willems et al. A video-based algorithm for elderly fall detection
Biswas et al. A literature review of current vision based fall detection methods
Kasturi et al. Classification of human fall in top Viewed kinect depth images using binary support vector machine
Iazzi et al. Efficient fall activity recognition by combining shape and motion features
Pathak et al. Fall detection for elderly people in homes using Kinect sensor
TWI820784B (zh) 一種具安全照護及高隱私處理的跌倒及姿態辨識方法
Xu et al. Fall detection based on person detection and multi-target tracking
Zahan et al. Modeling human skeleton joint dynamics for fall detection
KR102628689B1 (ko) 이상행동 탐지 시스템
CN117351405B (zh) 一种人群行为分析系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231229

Address after: 601 Key Laboratory Platform Building Virtual University Park No 1 Yuexing Second Road Nanshan District Shenzhen Guangdong Province Guangdong Province

Patentee after: Aotong Artificial Intelligence (Shenzhen) Co.,Ltd.

Address before: 607-220 Bloom Street, Port Moody, British Columbia

Patentee before: AltumView Systems Inc.

TR01 Transfer of patent right