CN112842258A - 用于事件预防和预测的方法、处理器和计算机可读介质 - Google Patents

用于事件预防和预测的方法、处理器和计算机可读介质 Download PDF

Info

Publication number
CN112842258A
CN112842258A CN202010940112.0A CN202010940112A CN112842258A CN 112842258 A CN112842258 A CN 112842258A CN 202010940112 A CN202010940112 A CN 202010940112A CN 112842258 A CN112842258 A CN 112842258A
Authority
CN
China
Prior art keywords
features
prediction
subject
risk
fall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010940112.0A
Other languages
English (en)
Inventor
张艳霞
A·吉尔根松
刘琼
Y·贾亚迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN112842258A publication Critical patent/CN112842258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0492—Sensor dual technology, i.e. two or more technologies collaborate to extract unsafe condition, e.g. video tracking and RFID tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Automation & Control Theory (AREA)
  • Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

用于事件预防和预测的方法、处理器和计算机可读介质。提供了一种计算机实现的方法，该方法包括以下步骤：基于位于环境中的物体上的对象的信息，生成数据流；对于该数据流，提取与对象相对于物体或环境的移动关联的特征，其中，该移动由从传感器提取的时空特征表示；基于所提取的特征来生成与移动的可能性关联的预测，并且基于多个跌倒风险因素生成移动的风险简档；以及将预测和风险简档应用于规则库以执行动作。

Description

用于事件预防和预测的方法、处理器和计算机可读介质
技术领域
示例实现方式的各方面涉及与通过动作预测、电子健康记录和个体事件风险简档的组合来预防和预测事件关联的方法、系统和用户体验。
背景技术
在现有技术中，人可能从床、椅子或其它物体上跌倒。这种跌倒是可能导致人受伤(例如，轻伤、残疾或死亡)的显著问题。在住院或医院环境中，跌倒和关联的伤害是患者在住院期间获得的一些主要状况。据估计在美国每年有超过1百万患者在医院跌倒，占医院获得性状况的85％。此外，29％至55％的患者跌倒导致受伤，与跌倒伤关联的费用超过300亿美元/年。跌倒检测的现有技术方法可给诸如医院的医疗设施以及其员工带来显著的财物、情感和法律压力。
解决跌倒问题的现有技术方法聚集于事件检测方法，例如在床或地板上使用离床报警器或垫，以在患者从床上跌倒之后触发警报。现有技术方法分析传感器数据以在发生跌倒之后检测跌倒。然而，除了传感器数据之外，存在其它多方面的因素，例如人口统计信息、健康状况和可能促成跌倒的环境或周围状况。
图1(a)至图1(c)示出各种现有技术方法。一些现有技术方法基于压力，使得响应于垫上不存在或存在压力，触发报警器。例如，图1(a)示出定位在睡在床上的患者下方的压敏垫101，使得当压力施加到压敏垫101时，可触发报警器。然而，该现有技术方法可能具有各种问题和缺点。例如，该现有技术方法是反应式的，无法在患者离开床之前足够快速地启用。例如但非限制，由于患者的体重差异和非跌倒移动以及如上所述启用的不适当定时的问题，基于压力的现有技术方法可能导致频繁的虚警。因此，压力垫检测患者离开床可能不准确。
另选地，患者可在跌倒时或跌倒后手动地触发报警器。图1(b)示出定位在患者可睡在其上的床架上的离床报警器103。其它方法包括随患者使用保姆，或者完全防止患者移动的床上约束物，如图1(c)中示出为床上约束物105。
另外，在现有技术中，护士必须将附加资源投入于跌倒风险更高的患者。跌倒风险的评估可基于现有技术风险评估工具，例如摩尔斯(Morse)跌倒量表或运动功能测试(motor test)。然而，该现有技术方法具有各种问题和缺点。例如但非限制，这些风险评估是不可靠的，因为实际上医院中的所有患者均将被评定为具有高跌倒风险；因此，它不是向具有较高跌倒风险的特定患者分配资源的有用工具。此外，跌倒风险可不仅与移动性有关，而且与现有技术风险评估测试中未覆盖的其它因素有关。那些其它因素可包括例如周围环境、医疗过程等。
另外，即使采用现有技术方法的护士投入附加资源，患者也可能在需要干预时不记得或无法呼叫护士。此外，由于风险评估的难度给关于患者何时可能需要干预的规划带来挑战，所以现有技术方法使得难以确定患者护理的优先次序并且区分哪些患者可能需要帮助。
此外，一些现有技术方法可使用运动历史图像序列作为视觉特征，并且在用于活动分类的马尔科夫(Markov)模型中，运动历史图像需要手动选择想要的运动，并且对照明或摄像头的轻微震动敏感，并且可能错过细微的人姿势改变。这些现有技术方法仅聚焦于床上活动，并且没有使用上下文特征来分析跌倒风险。现有技术方法还应用分段运动历史，而非这里所描述的密集轨迹或深度学习方法。
发明内容
非限制性示例实现方式的各方面涉及跌倒的预防，更具体地，涉及在跌倒发生之前预见跌倒以便潜在地预防跌倒，而非仅在检测到跌倒之后对跌倒做出反应。
根据示例实现方式的一方面，提供了一种计算机实现的方法，用于：基于位于环境中的物体上的对象的信息，生成数据流；对于该数据流，提取与对象相对于物体或环境的移动关联的特征，其中，该移动由从传感器提取的时空特征表示；基于所提取的特征来生成与移动的可能性关联的预测，并且基于多个跌倒风险因素来生成移动的风险简档；以及将该预测和风险简档应用于规则库以执行动作。
示例实现方式还可包括一种非暂时性计算机可读介质，其具有存储装置和处理器，该处理器能够执行用于通过动作预测、电子健康记录和个体事件风险简档来预防和预测事件的指令。
附图说明
本专利或申请文件包含至少一个彩色附图。带有彩色附图的本专利或专利申请公布的副本将由主管局根据请求并在支付必要费用后提供。
图1(a)至图1(c)示出各种现有技术方法。
图2示出根据示例实现方式的对象和房间的各种方面。
图3示出根据一些示例实现方式的系统的各种方面。
图4示出根据一些示例实现方式的与视觉系统或预测动作或事件关联的工作流程。
图5示出根据一些示例实现方式的与视觉系统或预测动作或事件关联的工作流程的图示。
图6(a)至图6(c)示出根据一些示例实现方式的局部特征的密集采样。
图7示出根据一些示例实现方式的预测实例的提取。
图8示出一些示例实现方式的示例处理。
图9示出具有适用于一些示例实现方式的示例计算机装置的示例计算环境。
图10示出适合于一些示例实现方式的示例环境。
具体实施方式
以下详细描述提供了本申请的附图和示例实现方式的进一步的细节。为了清晰，附图之间的冗余元件的标号和描述被省略。贯穿说明书使用的术语作为示例提供，并非旨在限制。
示例实现方式的各方面涉及与在事件发生之前事件的预防关联的系统和方法。例如，事件可以是对象(例如，人)相对于物体(例如，环境)的移动，更具体地，人(例如，患者)从床或椅子跌倒，例如医院中的对象或养老院的住户随后称为对象。例如但非限制，上述示例实现方式可应用于非医院环境(例如，在对象的住所中)，以解决诸如梦游或睡眠中的其它异常移动的状况。此外，示例实现方式可与其它类型的传感器结合，其可预测和评估关于其它类型的状况(例如，睡眠呼吸暂停，婴儿猝死综合征(SIDS)或其它状况)的风险。以与上述类似的方式，关于医院病床的控制，示例实现方式可控制其它医疗装置(例如，静脉内营养、供氧、呼吸支持等)。
提供一种基于视觉的方法以基于运动轨迹和深度递归神经网络(RNN)来预测对象是否正在尝试离开安全位置。此外，基于如下所述的内在因素和外部因素提供动态和对象特定跌倒风险剖析。此外，使用对象是否将要离开床上的位置的预测模型与风险剖析的组合来生成提供用于预防跌倒的信令策略，其基于在不同的风险情况下不同的跌倒严重性来定制。
更具体地，示例实现方式包括用于跌倒预防的系统和方法，例如用于预防的跌倒预测分析和信号。从传感器(例如，视频摄像头)接收的信息可用于预测对象受伤的风险，并且可连续地估计对象从安全位置(例如，床或椅子上)移动的可能性。
例如，传感器可以是对象周围的非侵入性基于视觉的传感器，其可监测对象的活动。可提供视频的颜色、灰度、深度和其它方面。此外，可提供传感器以捕获被动红外、微波、超声或其它介质以检测对象的运动。
此外，要注意的是，传感器不仅感测对象本人在当前位置的活动，而且感测对象的整个环境，包括但不限于对象、对象的安全位置(例如，床或椅子上)以及对象所在的房间的周围环境。
该可能性是动态的，可从对象到对象不同。此外，当对象处于安全位置(例如，躺在床上或坐在椅子上)时可能性通常将降低，并且随着对象从安全位置移动并尝试转移出安全位置而增加。通过在跌倒实际发生之前预见跌倒，可预防跌倒。
例如，该系统可基于从对象的健康记录、行为模式、生命体征和周围状况接收的信息通过监测风险因素来连续地更新。可基于信令严重性来提供评级，以用于提供关于要执行的信令策略的推荐以便预防跌倒。结果，代替在发生跌倒之后检测跌倒，在发生之前预测跌倒。
示例实现方式采用基于视觉的方法，其预测对象是否正在尝试离开安全位置。使用时空视觉特征(例如，密集轨迹)来从移动身体的数据流(例如，图像流)提取局部原子动作模式。此外，使用Fisher向量来对特征进行编码，并且使用神经网络来进行与环境(例如，床或椅子)关联的活动预测。
此外，示例实现方式采用动态和对象特定的风险剖析，其与跌倒的风险关联。例如，活动历史、内在因素和外部因素可被融合以提供与跌倒关联的个性化风险分析。与跌倒关联的多个风险因素可被编码为变量，并且可使用回归来计算跌倒风险。通过使用对象的行为模式的分析，可生成预测模型以预测对象的下一动作。例如但非限制，如果对象躺下并突然坐起，则可计算对象尝试移动离开床的可能性。基于该计算，可向对象或能够尝试在发生跌倒之前阻止跌倒的另一实体提供信号。因此，生成并提供具有多个可能性级别之一的信号，其可用于预防或避免跌倒。
另外，根据示例实现方式提供跌倒预防信令策略。例如，通过将对象的跌倒风险与对象离开安全位置的可能性组合，可确定干预的严重性以及时机和如何干预。
示例实现方式的各方面涉及预测事件，更具体地，预测对象离开床或椅子。示例实现方式涉及早期预测和风险评估，然后及时动作。这里所描述的方法将动作预测、电子健康记录和个体跌倒风险简档组合。
图2示出根据示例实现方式的所提出的系统200。在环境201中，提供诸如床或椅子的物体203。对象205处于物体203上的休息位置。此外，提供运动传感器207和摄像头传感器209。运动传感器207可包括但不限于作为被动红外微波或超声或其组合的运动传感器类型。摄像头传感器209可选自包括但不限于灰度、RGB(红绿蓝)、夜视、深度和/或热的一个或更多个类型。例如，运动传感器207和摄像头传感器209可被置于组合位置(例如，房间的天花板或墙壁上)，或者可被置于单独的位置，并且可被定位或选择以按隐私保护方式提供必要信息(例如，使用深度摄像头或运动传感器)。可提供其它隐私保护方法，包括但不限于使用运动传感器而非摄像头，关于对象、环境等感测或收集的信息的匿名化。
根据示例实现方式，更具体地，通过将从一个或更多个传感器接收的数据与诸如医院信息的电子数据合并到自动学习系统中，深度神经网络提供基于视觉的动作预测，以预测对象离开安全位置的可能性P。此外，内在特征、个体特征和上下文特征被融合，以估计跌倒风险R。
例如，可计算对象离开相同位置的可能性Pt以及与对象在时间t跌倒关联的跌倒风险Rt。例如但非限制，如果对象正躺在床上，则Pt表示对象离开床的可能性，Rt表示关于对象将跌倒的风险的连续风险剖析。当Rt高(例如，高于规定的阈值)时，应该向对象或负责照料对象的其他人提供高召回率(recall)，以能够前去帮助高风险对象。另一方面，当Rt低时，由于与示例实现方式关联的准确率(precision)增加，可避免虚警。
另外，P和R被组合以确定要应用的跌倒预防干预策略的严重性。例如，可根据以下规则库基于严重性级别生成并发射信号：
·如果P低并且R低，则不发出信号
·如果P低并且R高，则向对象发出信号以建议请求帮助
·如果P高并且R低，则向对象发出信号以遵循安全程序
·如果P高并且R高，则向对象发出信号以留在安全位置。并且还直接向工作人员发出信号以立即帮助。
图3示出根据示例实现方式的系统概述。如系统概述300中所示，从上述摄像头和/或运动传感器提供多个输入。
更具体地，如301处所示，从诸如摄像头的传感器提供时空视觉特征。例如但非限制，在301处来自传感器的输入可包括但不限于视频流311，针对其生成时空视觉特征313，例如密集轨迹，但不限于此。摄像头不仅感测对象，或者甚至床，而且感测对象所在的整个环境，包括但不限于房间本身的周围环境。
如303处所示，可从诸如历史事件和健康记录的电子记录提供信息。例如但非限制，历史事件包括但不限于最近事件的时间(例如，319处上厕所)、对象动作(例如，321处按下报警器)等。健康记录可包括但不限于与对象生命体征关联的信息(例如，315处的血压)以及与最近相关事件关联的信息(例如，317处的先前跌倒次数)。
在323，来自301的感测信息和来自303的电子记录信息作为输入被提供给递归神经网络(RNN)。更具体地，本示例实现方式可包括长短期记忆(LSTM)RNN或深度卷积神经网络(CNN)，包括多个帧325。在此示例实现方式中，提供327处具有两层的方法。
表1示出可输入到示例实现方式中的感测信息301和电子记录信息303的示例。风险因素被分成三个主要类别：人特定、环境和行为习惯。人特定风险因素包括与对象关联的信息，例如生命体征、跌倒历史、医疗信息、身体信息或人口统计信息。环境跌倒风险因素包括与周围环境关联的信息，例如位置、诸如房间类型的单元、室友的存在、光强度和温度以及时间信息。行为风险因素包括与行为习惯关联的信息，例如助手请求、上厕所(例如，连续活动)、睡眠模式信息(例如，分类活动)和医疗过程。此外，风险因素变量可被表征为连续变量或离散变量。
除了针对当前医疗事故收集信息之外，例如，可预先收集信息，例如基于先前医疗事故或发生在家中或医院的其它活动。根据一些示例实现方式，可在家中和医院中设置相同的传感器，并且可针对本地环境校准在各个设置下接收的信息。
表1：跌倒风险因素
Figure BDA0002673351390000071
表1中描述的风险因素仅是示例，本领域技术人员将理解，可包括其它风险因素或代替这些风险因素。如上所述，现有技术方法没有考虑环境风险因素。
除了上述风险因素的当前状态的测量之外，附加示例实现方式可包括纵向测量。例如，可随时间对对象以及环境和/或行为习惯进行风险评估。风险评估随时间的改变可用于预测风险评估的未来改变。在一个示例实现方式中，可按时间间隔(例如，每年、每五年等)针对对象获取诸如表1所示的风险因素。可按纵向方式分析结果，以提供未来风险的预测。
此外，除了可为人所特定的风险因素的改变之外，风险因素也可相对于环境改变。例如但非限制，对于相同的对象和相同的行为习惯，医院内的不同房间可具有不同的风险因素，或者对于相同的对象和相同的行为习惯，在医院的相同科室，不同的医院可具有不同的风险评估。这些改变可能是由于资源分配、人员配置、房间的分配、医院的布局等。如本文中说明的，这些因素可被并入风险因素的确定中。
LSTM RNN的输出305包括密集层329；LSTM层与密集层组合以预测在各种时间(例如，时间戳)事件(例如，离开床)的可能性。在本例示性示例实现方式中，时间戳1、5和k分别表示在331、333和335处。
305处所示的提供预测的离开床的可能性的输出被组合以估计当前跌倒风险。可选地，可使用基于注意力的LSTM。更具体地，此方法可在时间关系挖掘期间学习特征的重要性。另选地，使用诸如门控循环单元(GRU)和时间卷积网(TCN)的替代序列模型，也可使用其它示例实现方式或替代方式。
图4示出根据示例实现方式的工作流程。更具体地，提供与用于动作预测的视频监测组件关联的工作流程400。输出是与在当前时间对象移动离开安全位置(例如，对象离开床)的可能性关联的连续量表P∈[0,1]。
在401，提供诸如摄像头传感器的感测装置以感测环境。例如，并且如上所述，可采用摄像头，包括但不限于RGB、RGB-D、热像仪和夜视摄像头。例如但非限制，可使用深度摄像头或热像仪来对背景中的对象进行分割。在403，将对象在床或椅子上的移动，以及床周围的环境(例如，对象所在的房间)中可能发生的人的移动流化。
在405，执行特征提取操作，使得从帧序列提取特征。例如，可采用双流卷积神经网络(CNN)架构来层叠图像和光流序列，以表示帧级别特征。来自图像序列的空间数据包括外观信息，来自光流的时间数据与运动信息关联。另选地，诸如骨架关节的特征可用作特征表示。
根据示例实现方式，可处理连续帧的窗口以提取代表移动模式的空间时间动态的特征。例如但非限制，这些移动模式可包括对象在床上滚动，以及与对象坐起或躺下关联的移动。根据一个示例实现方式，可使用称为密集轨迹的密集采样的局部时空特征来表示动作动态。局部特征的这种密集采样可胜过稀疏时空兴趣点。
因此，示例实现方式涉及使用密集采样方法以及沿着密集轨迹提取的局部特征。因此，可对与人的动作高度相关的特征进行编码，而不需要背景分割。可用于示例实现方式的方法包括但不限于定向梯度直方图(HOG)、光流直方图(HOF)和运动边界直方图(MBH)。然而，如本领域技术人员将理解的，其它方法可代替这些方法。
在407，学习动作特征。例如，可使用在床上移动、坐在椅子上以及行走的对象的视频训练数据，使得系统学习用于特征编码的码本。
在409，对特征向量序列进行编码。对特征描述符进行编码可包括不同特征类型的组合或使用特征的子集。在训练期间，例如使用高斯混合模型(GMM)对动作特征进行聚类。在测试期间，从连续帧的窗口提取的特征可被编码为可学习描述符的分布的Fisher向量，因此可能对各个词的出现频率以及与各个描述符距中心的距离关联的编码附加信息不太敏感。根据替代示例实现方式，可使用视觉词袋(BOV)、软BOV或散列来表示特征。
在411，将信息馈送到诸如RNN预测模型的预测模型。下面更详细地讨论预测模型的进一步的细节。
图5提供根据示例实现方式的用于动作预测的视频监测的工作流程的图示可视化500。相对于潜在事件或动作预测人的动作的目标是给定连续视频流，及时预测动作。视频流可包括多个顺序动作，例如包含多个动作的习惯活动，其彼此可具有细微差异，并且遵循规定的顺序。例如但非限制，正常睡眠中的对象的睡眠模式与具有较高跌倒风险的异常睡眠中的对象之间的差异可仅相对于在睡眠事件期间的总移动在对象移动方面具有细微差异。
本示例实现方式使用密集轨迹来提取局部时空模式，而非帧级别表示。使用高斯混合模型(GMM)来构建用于各个特征类别(例如，轨迹、HOG、HOF和MBH)的密集轨迹的描述符的码本。使用来自训练的码本的Fisher向量来表示视频的短序列，然后是短程动作特征表示与高级时间模型(例如，TCN和LSTM)的组合，以学习远程动作依赖性。在TCN模型的情况下，时间卷积网络由重复的卷积块组成，然后是非线性激活。
在LSTM模型的情况下，使用输入数据的顺序信息，并且给定使用存储器单元从先前子序列提取的信息，处理当前子序列。因此，LSTM可从输入特征学习短期依赖模式和长期依赖模式二者。本示例实现方式可包括双向LSTM，其包括两个反向的单向LSTM。存储器单元之后可以是时间分布密集层，其结果可被馈送到输出软性最大(softmax)层中以用于预测。
例如，在501，示出使用深度摄像头或热像仪来分割前景人对象，并提供人在床或椅子上的移动的流。在503，公开了生成密集轨迹以用于特征提取。此外，在505，公开了各种密集采样方法，其导致例如在507使用GMM训练动作码本学习动作特征。在509，公开了将提取的特征编码为Fisher向量，并且在511，公开了输出动作可能性。
图6(a)至图6(c)示出采用密集轨迹方法的示例实现方式。如图6(a)所示，人处于坐姿，并且在坐着的人周围以更大的密度对兴趣点进行采样。可在图6(b)中看到，在603，采样的兴趣点可将移动显示为不同的颜色、纹理或点形状；因为在坐着的人周围采样密度越大，为移动提供的粒度越大。此外，如图6(c)所示，在605，密集采样的兴趣点显示人移动离开椅子并走开。
图7在700示出根据示例实现方式的模型学习和用于预测动作可能性的训练实例的收集。为了动作分类任务，动作预测的训练实例被设置为(L,k)时间戳。例如，在701、703、705和707，作为帧示出感测的信息(例如，在床上滚动或坐起)。此外，分类器可基于训练数据对睡眠是否正常进行分类，例如可在睡眠模式或者与对象或其他类似对象在类似情况下的睡眠模式关联的历史信息中寻找，或者另一方面，不被认为是正常睡眠活动(可指示跌倒风险)。
该信息表示用于特征提取的序列715。元素709、711和713表示在未来时间戳即将发生的动作或事件，例如坐起、离开等。基于所学习的长期模式以及在先前L个帧期间进行的最近观测，任务可预测事件或动作，例如在即将来临的k个时间戳对象是否将从床或椅子中的安全位置移动。
如上所述，更具体地，如图4的411处所提供的，预测模型的输入是编码的特征向量的时间序列。神经网络方法包括使用LSTM、RNN的变体、模型长期依赖性，并基于输入提供预测。如上面图3中327处所示，一个示例实现方式包括两个LSTM层，其与一个密集层组合，以预测在随后的1、5和n时间戳，对象从床上的安全位置移动的可能性(分别显示为717、719和721)；这些预测的输出被组合，以提供当前跌倒风险的估计。
作为替代示例实现方式，可使用基于注意力的LSTM，以在时间关系挖掘期间学习特征的重要性。其它示例实现方式可使用其它序列模型，包括但不限于门控循环单元(GRU)和时间卷积网(TCN)。
更具体地，对于来自视频子序列的连续M个帧
Figure BDA0002673351390000101
X表示输入到预测模型的视觉特征表示。给定时间步长T的输入Xt，在Pt预测动作的可能性。根据示例实现方式，如果在深度神经网络的输出层中使用软性最大激活函数，则可通过获取属于已有动作的当前输入Xt的概率来获得动作Pt的输出可能性。
因此，本示例实现方式提供了使用密集轨迹来从移动人体的图像流提取局部原子动作模式，以及Fisher向量对特征进行编码，并且神经网络预测与床或椅子上的对象或者跌倒预防关联的事件和活动。
除了与预测模型关联的上述预测信息之外，示例实现方式还包括对于各个时间戳，对象所特定的动态风险剖析。这些示例实现方式可提供高召回率或高风险对象。
如上所述，表1公开了与跌倒关联的风险因素。一些因素可基于现有医学研究和医院报告来提供。此外，对象可具有与跌倒关联的风险因素的不同组合，并且跌倒风险可随时间改变，包括在对象待在医院期间。此外，风险可跨不同的医疗单位变化，并且也可跨医院变化。
例如，诸如年龄超过65岁、行动不便、视觉障碍或低身体质量指数(BMI)的内在对象特征可能更有可能导致跌倒。另外，对于具有跌倒历史和神经系统失调的对象，跌倒风险可能更大。对象房间的特性也可影响对象跌倒和受伤的风险。例如，由于人员配置限制，手术对象可比重症监护对象具有更高的风险，并且单人房间中的对象可具有更大的跌倒风险。此外，时刻也可能是重要因素，因为在夜班期间受伤可能更频繁，并且年迈的对象在移到新房间之后的第一天可能更有可能跌倒。
行为习惯也可影响跌倒风险。例如但非限制，多次使用过呼叫按钮来指示需要从床上的安全位置移动(例如，去卫生间)的对象离开床的概率或可能性可能更高，而其他对象可能按下呼叫按钮而实际不需要离开床。可影响对象离开床之后的跌倒风险的个体对象生命评估可包括血压、药物治疗或最近受伤。例如，血压降低可指示体位性高血压，这与较高的跌倒风险关联，并且服用超过四种药物可增加跌倒风险。
示例实现方式基于输入(包括表1中包括的那些)以及风险概率的计算来提供跌倒风险简档。换言之，可基于医学研究、医院报告等来提供风险因素，并且可由传感器提供数据，使得所获得的各个跌倒风险因素的值包括生命体征、电子健康记录收集等，收集并编码为连续或分类特征。例如但非限制，生命体征可自动地感测或由医院工作人员收集。
根据一个示例实现方式，如果可从医院获得数据集，则可应用回归方法以学习特征权重b，并估计跌倒风险R∈[0,1]。另选地，医院工作人员可提供传感器所收集的变量的重要性的手动指示。如上所述，传感器不仅观察床上的对象的当前位置，而且观察整个环境，因此被配置为感测可用作风险因素的附加信息。输入风险变量可如上所述被编码为连续或分类特征，并且可对各个特征维度应用归一化(例如，在零和1之间缩放风险得分，使得允许跨医疗事故、对象等进行标准化和比较)。对于N个风险因素xi的列表(例如，表1所示那些)，对于i∈[1，N]，在时间t作为输入风险因素的逻辑回归计算各个对象的跌倒风险Rt，如下示出于方程(1)和(2)中：
患者的跌倒风险得分St＝b0+blow blood pressurex1+b#fallsx2+...bNxN (1)
患者的跌倒风险
Figure BDA0002673351390000121
基于上述移动离开安全位置的可能性P与跌倒风险R组合，可调整跌倒预防信令策略。表2提供根据示例实现方式取决于P和R的值的跌倒预防协议的示例。
表2：跌倒预防协议
Figure BDA0002673351390000122
例如，可如下实现基于规则的方法。如果P低于阈值并且R低于阈值，则可不提供信号，因为从安全位置移动的概率以及跌倒风险低于阈值。
在另一场景中，如果P低于阈值并且R高于阈值，则可向对象提供信号，建议对象需要帮助。这种情况将指示高跌倒风险，但是对象移动离开安全位置的概率不高。
另外，如果P高于阈值并且R低于阈值，则可向对象提供信号以遵循安全程序。这种情况可与对象从安全位置移动的概率高，但是该对象的跌倒风险低关联。
此外，如果P高于阈值并且R也高于阈值，则可向对象提供信号以留在安全位置，并且还可向工作人员提供信号以直接提供立即帮助。
上述场景仅是示例，而非旨在限制。本领域技术人员将理解，也可变化地实现其它示例。例如，在特定场景的情况下发射的信号可根据本地医院协议、对象偏好或其它基础而变化。此外，P和R的阈值可变化。此外，协议可不限于提醒和工作人员通知，而是可集成到对象移动的其它方面(例如，康复、物理治疗等)。
图8示出根据示例实现方式的示例处理800。如本文中说明的，可对一个或更多个装置执行示例处理800。
在801，如上所述例如通过摄像头或运动传感器感测信息。此外，接收感测的信息，并且生成流。流指示物体在表面上(例如，对象在床或椅子或地板上)的移动。上面关于示例实现方式描述了与信息的感测和流的生成关联的结构和技术。
在803，从帧序列提取特征，并且学习动作特征。例如但非限制，可采用诸如密集轨迹的方法，以及如上所述的附加技术和实现方式。
在805，例如基于GMM训练动作码本对特征向量序列进行编码，以将连续帧的窗口编码为例如Fisher向量。编码的特征向量序列被馈送到上面关于图3描述的预测模型中。
在807，计算与对象离开床或椅子的概率或可能性和跌倒风险关联的P和R的值。如上所述基于预测模型和风险剖析方法来计算P和R。
在809，评估P和R的值以确定它们是否相对高或低。例如，可将P和/或R的值与阈值比较。基于评估，可应用基于规则的方法，并且可选择一个或更多个协议，例如上面表2所示那些。
在811，基于所选协议执行动作。例如但非限制，动作可包括向对象提供信号、向诸如第三方(例如，护理人员或工作人员)的外部资源提供信号、或者执行针对与用户关联的装置自动执行的动作，例如切换床或保护设备的位置、在适当位置放置跌倒缓解设备或垫、启用报警器、打开房间的门或者可被理解为与基于P和R的值实现协议关联的动作的其它活动，其指示对象离开床或椅子上的安全位置的预测与跌倒风险的组合，例如上面的方程(1)和(2)中所指出的。
关于可采取的动作，除了上述示例之外，可采用附加非限制性示例。例如但非限制，动作可不限于向对象或第三方(例如，护理人员或工作人员)提供信号以实现立即动作以预防跌倒。附加动作可包括以保护隐私的方式提供例如医院科室、医院楼层或整个医院中的多个对象的聚集的风险简档，并且基于聚集的风险简档，在医院、科室或其它组织实体内重新分配资源。根据一个示例实现方式，如果在白天或晚上的特定时间，跌倒风险显著更高，则可分配附加资源，或者可移动对象，以解决那些风险因素。
可基于所选协议执行的动作的另外的非限制性示例可包括但不限于派遣第三方来干预和预防跌倒、为对象启用灯(例如，用于楼层引导)或标记、以及在房间中或对象的移动装置上通过扬声器提供警告或建议；所提供的信息可以是预记录的消息、光信号、音频消息或本领域技术人员将理解的其它通信方式。
如也在上面说明的，动作可涉及控制装置以降低与对象跌倒关联的风险。例如，如上面说明的，与床关联的特征(例如，自动化或机动化轨道或其它防护装置、地板上的垫或其它支撑结构)可引导对象以降低跌倒风险的方式离开床，或者甚至增加无意中离开床的难度(例如，通过改变床的位置、角度、取向、移动床本身或者移动房间内的其它物体)。
在一些示例实现方式中，系统可与感测或检测系统接口或通过本文所描述的传感器或摄像头来确定对象是否无意中没有将床的保护特征放置在其正确的位置。例如，在对象睡觉时检测轨道何时未处于接合位置的轨道检测系统可能检测对象无意中未将防护装置放置在适当位置。
在上述示例实现方式中，在与用户关联的在线移动应用处执行操作。例如，客户端装置可包括摄像头传感器，或直接与房间中的传感器通信，并且一些或所有处理可在在线移动应用上本地执行。然而，示例实现方式不限于此，在不脱离本发明范围的情况下，其它方法可代替。例如但非限制，其它示例方法可与客户端装置远程地执行操作(例如，在服务器处)。
图9示出具有适用于一些示例实现方式的示例计算机装置905的示例计算环境900。计算环境900中的计算装置905可包括一个或更多个处理单元、核或处理器910、存储器915(例如，RAM、ROM等)、内部存储装置920(例如，磁、光学、固态存储装置和/或有机)和/或I/O接口925，其中任一个可联接在用于通信信息的通信机构或总线930上或嵌入在计算装置905中。
计算装置905可在通信上联接到输入/接口935和输出装置/接口940。输入/接口935和输出装置/接口940中的任一者或两者可以是有线或无线接口并且可为可拆卸的。输入/接口935可包括可用于提供输入的任何装置、组件、传感器或接口(物理的或虚拟的)(例如，按钮、触摸屏接口、键盘、指点/光标控制、麦克风、摄像头、盲文、运动传感器、光学读取器等)。
输出装置/接口940可包括显示器、电视、监视器、打印机、扬声器、盲文等。在一些示例实现方式中，输入/接口935(例如，用户接口)和输出装置/接口940可被嵌入或物理联接到计算装置905。在其它示例实现方式中，其它计算装置可用作或提供用于计算装置905的输入/接口935和输出装置/接口940的功能。
计算装置905的示例可包括(但不限于)高度移动装置(例如，智能电话、车辆和其它机器中的装置、人和动物携带的装置等)、移动装置(例如，平板、笔记本、膝上型计算机、个人计算机、便携式电视、收音机等)以及不是为移动性设计的装置(例如，台式计算机、服务器装置、其它计算机、信息亭、嵌入有和/或联接有一个或更多个处理器的电视、收音机等)。
计算装置905可(例如，经由I/O接口925)在通信上联接到外部存储装置945和网络950以用于与任何数量的联网组件、装置和系统通信，包括相同或不同配置的一个或更多个计算装置。计算装置905或任何连接的计算装置可用作、提供其服务或被称为服务器、客户端、精简服务器、通用机器、专用机器或另一标签。例如但非作为限制，网络950可包括块链网络和/或云。
I/O接口925可包括(但不限于)使用任何通信或I/O协议或标准(例如，以太网、802.11xs、通用系统总线、WiMAX、调制解调器、蜂窝网络协议等)以用于至少向和/或从计算环境900中的所有连接的组件、装置和网络通信信息的有线和/或无线接口。网络950可以是任何网络或网络组合(例如，互联网、局域网、广域网、电话网络、蜂窝网络、卫星网络等)。
计算装置905可使用计算机可用或计算机可读介质(包括暂时性介质和非暂时性介质)和/或使用其通信。暂时性介质包括传输介质(例如，金属线缆、光纤)、信号、载波等。非暂时性介质包括磁介质(例如，磁盘和磁带)、光学介质(例如，CD ROM、数字视频盘、蓝光盘)、固态介质(例如，RAM、ROM、闪存、固态存储装置)以及其它非易失性存储装置或存储器。
计算装置905可用于在一些示例计算环境中实现技术、方法、应用、处理或计算机可执行指令。计算机可执行指令可从暂时性介质检索，以及被存储在非暂时性介质上并从其检索。可执行指令可源自任何编程、脚本和机器语言(例如，C、C++、C#、Java、VisualBasic、Python、Perl、JavaScript等)中的一个或更多个。
处理器910可在本机或虚拟环境中在任何操作系统(OS)(未示出)下执行。可部署一个或更多个应用，其包括逻辑单元955、应用编程接口(API)单元960、输入单元965、输出单元970、学习和编码单元975、P和R确定单元980、协议和动作单元985以及用于不同单元彼此通信、与OS通信以及与其它应用(未示出)通信的单元间通信机制995。
例如，学习和编码单元975、P和R确定单元980和协议和动作单元985可实现上面针对上述结构示出的一个或更多个处理。所描述的单元和元件的设计、功能、配置或实现方式可变化，不限于所提供的描述。
在一些示例实现方式中，当通过API单元960接收到信息或执行指令时，可将其通信到一个或更多个其它单元(例如，逻辑单元955、输入单元965、学习和编码单元975、P和R确定单元980和协议和动作单元985)。
例如，如上所述，学习和编码单元975可从一个或更多个传感器接收并处理信息，执行特征提取，学习动作特征等。学习和编码单元975的输出被提供给P和R确定单元980，P和R确定单元980例如基于如上面描述并示出于图2的神经网络的应用来执行必要预测，并且还确定R以提供对象在环境中的跌倒风险(也如上所述)。另外，协议和动作单元985可基于学习和编码单元975和P和R确定单元980的输出来提供与动作关联的信号。
在一些情况下，在上述一些示例实现方式中，逻辑单元955可被配置为控制单元之间的信息流并引导由API单元960、输入单元965、学习和编码单元975、P和R确定单元980和协议和动作单元985提供的服务。例如，一个或更多个处理或实现方式的流程可由逻辑单元955单独控制或结合API单元960来控制。
图10示出适合于一些示例实现方式的示例环境。环境1000包括装置1005-1045，并且各个装置经由例如网络1060(例如，通过有线和/或无线连接)在通信上连接到至少一个其它装置。一些装置可在通信上连接到一个或更多个存储装置1030和1045。
一个或更多个装置1005-1045的示例可分别是图9中描述的计算装置905。装置1005-1045可包括但不限于如上所述具有监视器和关联的网络摄像头的计算机1005(例如，膝上型计算装置)、移动装置1010(例如，智能电话或平板)、电视1015、与车辆1020关联的装置、服务器计算机1025、计算装置1035-1040、存储装置1030和1045。
在一些实现方式中，装置1005-1020可被视为与用户关联的用户装置，这些用户可远程地获得用作预测模型和/或风险剖析的输入的感测的输入。在本示例实现方式中，如上所述，这些用户装置中的一个或更多个可与可感测预测模型和风险剖析所需的信息的一个或更多个摄像头关联。
示例实现方式的各方面可具有各种优点和益处。例如但非限制，本示例实现方式提供预测方法和活动分析。另外，本示例实现方式使用对象周围的传感器采用被动方法。此外，本示例实现方式可区分跌倒与其它日常活动，例如站立、左下、躺下、不行和上下楼梯。
另外，本文中的示例实现方式涉及具有深度传感器和运动传感器的摄像头，并且能够使用灰度输入，而无需RGB。此外，示例实现方式不仅涉及人在床上的移动，而且涉及在任何安全位置的移动。
因此，示例实现方式可根据基于规则的协议方法提供允许对高风险对象的高召回率的预测和风险剖析。尽管这些示例实现方式主要涉及医院环境中的对象，但是可考虑其它示例。例如但非限制，上述示例实现方式可应用于非医院环境中(例如，在对象的住所中)，以解决诸如梦游或睡眠中的其它异常移动的状况。此外，示例实现方式可与可预测和评估其它类型的状况(例如，睡眠呼吸暂停、婴儿猝死综合征(SIDS)或其它状况)的风险的其它类型的传感器结合。按照与上面关于医院病床的控制所说明的相似方式，示例实现方式可控制其它医疗装置，例如静脉内营养、供氧、呼吸支持等。
尽管已示出和描述了一些示例实现方式，但是提供这些示例实现方式是为了将本文所描述的主题传达给熟悉本领域的人。应该理解，本文所描述的主题可按照各种形式实现，而不限于所描述的示例实现方式。本文所描述的主题可在没有那些具体定义或描述的事项或者具有未描述的其它或不同元件或事项的情况下实践。熟悉本领域的人将理解，在不脱离本文中所描述的如所附权利要求及其等同物中限定的主题的情况下，可对这些示例性实现方式进行改变。
本公开的特定非限制性实施方式的各方面解决了上面讨论的特征和/或上面未描述的其它特征。然而，非限制性实施方式的各方面不需要解决上述特征，本公开的非限制性实施方式的各方面可不解决上述特征。
相关申请的交叉引用
本申请要求2019年11月27日提交的美国临时专利申请No.16/698,616的优先权，其内容通过引用并入本文。

Claims (20)

1.一种计算机实现的方法，该方法包括以下步骤：
基于位于环境中的物体上的对象的信息，生成数据流；
对于所述数据流，提取与所述对象相对于所述物体或所述环境的移动关联的特征，其中，所述移动由从传感器提取的时空特征表示；
基于所提取的特征来生成与所述移动的可能性关联的预测，并且基于多个跌倒风险因素生成所述移动的风险简档；以及
将所述预测和所述风险简档应用于规则库以执行动作。
2.根据权利要求1所述的计算机实现的方法，其中，所述信息由摄像头传感器和运动传感器中的至少一个感测。
3.根据权利要求2所述的计算机实现的方法，其中，所述摄像头传感器包括深度传感器或热传感器。
4.根据权利要求1所述的计算机实现的方法，其中，提取所述特征的步骤包括以下步骤：应用密集轨迹以从所述数据流中的帧序列提取所述特征或者应用卷积神经网络CNN以从所述数据流中的帧序列学习所述时空特征，应用自动学习系统以学习所述特征，并且基于所学习的特征和所提取的特征来对特征向量序列进行编码。
5.根据权利要求1所述的计算机实现的方法，其中，生成所述预测的步骤包括以下步骤：在时间范围内将所提取的特征提供给递归神经网络或卷积神经网络以生成提供给密集层的输出，所述密集层的输出被馈送给软性最大层以生成所述预测。
6.根据权利要求1所述的计算机实现的方法，其中，通过接收所述多个跌倒风险因素来生成所述风险简档，所述多个跌倒风险因素包括所述对象所特定的因素、与所述对象关联的环境所特定的因素以及随时间与所述环境和所述对象所关联的行为习惯关联的因素。
7.根据权利要求1所述的计算机实现的方法，其中，所述规则库包括确定所述预测是否超过第一阈值以及所述风险简档是否超过第二阈值，并且基于该确定，执行所述动作。
8.根据权利要求1所述的计算机实现的方法，其中，所述动作包括以下项中的一个或更多个：为所述对象生成信号、控制所述物体的状态以及向外部资源提供命令以执行所述动作。
9.根据权利要求1所述的计算机实现的方法，其中，所述对象是人，所述物体是床或椅子，并且所述移动是所述人从所述床或所述椅子跌倒。
10.一种具有存储指令的存储装置的非暂时性计算机可读介质，所述指令由处理器执行，所述指令包括：
基于位于环境中的物体上的对象的信息，生成数据流；
对于所述数据流，提取与所述对象相对于所述物体或所述环境的移动关联的特征，其中，所述移动由时空视觉特征表示；
基于所提取的特征来生成与所述移动的可能性关联的预测，并且基于多个跌倒风险因素生成所述移动的风险简档；以及
将所述预测和所述风险简档应用于规则库以执行动作。
11.根据权利要求10所述的非暂时性计算机可读介质，其中，所述信息由摄像头传感器和/或运动传感器中的至少一个感测，并且所述摄像头传感器包括深度传感器或热传感器。
12.根据权利要求10所述的非暂时性计算机可读介质，其中，提取所述特征包括：应用密集轨迹以从所述数据流中的帧序列提取所述特征或者应用卷积神经网络CNN以从所述数据流中的帧序列学习所述时空特征，应用自动学习系统以学习所述特征，并且基于所学习的特征和所提取的特征来对特征向量序列进行编码。
13.根据权利要求10所述的非暂时性计算机可读介质，其中，生成所述预测包括：在时间范围内将所提取的特征提供给递归神经网络或卷积神经网络以生成提供给密集层的输出，所述密集层的输出被馈送给软性最大层以生成所述预测。
14.根据权利要求10所述的非暂时性计算机可读介质，其中，通过接收所述多个跌倒风险因素来生成所述风险简档，所述多个跌倒风险因素包括所述对象所特定的因素、与所述对象关联的环境所特定的因素以及随时间与所述环境和所述对象所关联的行为习惯关联的因素。
15.根据权利要求10所述的非暂时性计算机可读介质，其中，所述规则库包括确定所述预测是否超过第一阈值以及所述风险简档是否超过第二阈值，并且基于该确定，执行所述动作。
16.根据权利要求10所述的非暂时性计算机可读介质，其中，所述动作包括以下项中的一个或更多个：为所述对象生成信号、控制所述物体的状态以及向外部资源提供命令以执行所述动作。
17.根据权利要求10所述的非暂时性计算机可读介质，其中，所述对象是人，所述物体是床或椅子，并且所述移动是所述对象从所述床或所述椅子跌倒。
18.一种能够处理请求的处理器，该处理器被配置为执行以下操作：
基于位于环境中的床或椅子上的对象的信息，生成数据流；
对于所述数据流，提取与所述对象相对于所述床或椅子或者所述环境的跌倒关联的特征，其中，所述跌倒由时空视觉特征表示；
基于所提取的特征来生成与所述跌倒的可能性关联的预测，并且基于多个跌倒风险因素来生成所述跌倒的风险简档；以及
将所述预测和所述风险简档应用于规则库以执行动作。
19.根据权利要求18所述的处理器，其中，提取所述特征包括：应用密集轨迹以从所述数据流中的帧序列提取所述特征或者应用卷积神经网络CNN以从所述数据流中的帧序列学习所述时空特征，应用自动学习系统以学习所述特征，并且基于所学习的特征和所提取的特征来对特征向量序列进行编码；生成所述预测包括：在时间范围内将所提取的特征提供给递归神经网络或深度神经网络以生成提供给密集层的输出，所述密集层的输出被馈送给软性最大层以生成所述预测；并且通过接收所述多个跌倒风险因素来生成所述风险简档，所述多个跌倒风险因素包括所述对象所特定的因素、与所述对象关联的环境所特定的因素以及随时间与所述环境和所述对象所关联的行为习惯关联的因素。
20.根据权利要求18所述的处理器，其中，所述规则库包括确定所述预测是否超过第一阈值以及所述风险简档是否超过第二阈值，并且基于该确定，执行所述动作，并且所述动作包括以下项中的一个或更多个：为所述对象生成信号、控制所述床或椅子的状态以及向外部资源提供命令以执行所述动作。
CN202010940112.0A 2019-08-01 2020-09-09 用于事件预防和预测的方法、处理器和计算机可读介质 Pending CN112842258A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962881665P 2019-08-01 2019-08-01
US16/698,616 US11410540B2 (en) 2019-08-01 2019-11-27 System and method for event prevention and prediction
US16/698,616 2019-11-27

Publications (1)

Publication Number Publication Date
CN112842258A true CN112842258A (zh) 2021-05-28

Family

ID=74258615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010940112.0A Pending CN112842258A (zh) 2019-08-01 2020-09-09 用于事件预防和预测的方法、处理器和计算机可读介质

Country Status (3)

Country Link
US (1) US11410540B2 (zh)
JP (1) JP2021086605A (zh)
CN (1) CN112842258A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255565A (zh) * 2022-03-02 2022-03-29 济宁蜗牛软件科技有限公司 一种危险感知的智能头盔及感知系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800993B2 (en) * 2019-06-28 2023-10-31 Hill-Rom Services, Inc. Exit monitoring system for patient support apparatus
US11222198B2 (en) * 2019-11-21 2022-01-11 International Business Machines Corporation Video analysis system for optimizing an activity protocol
US20210270050A1 (en) * 2020-02-27 2021-09-02 Mirza Faizan System to prevent injury from stair fall
US11587423B2 (en) * 2020-08-03 2023-02-21 Healthcare Integrated Technologies, Inc. Fall validation with privacy-aware monitoring
CN112998697B (zh) * 2021-02-22 2022-06-14 电子科技大学 一种基于骨架数据的跌倒伤害程度预测方法、系统及终端
WO2022182933A1 (en) * 2021-02-25 2022-09-01 Nagpal Sumit Kumar Technologies for tracking objects within defined areas
CN112907894B (zh) * 2021-03-02 2022-12-02 深圳市医创加科技有限公司 一种基于患者动作预判的坠床预警方法及系统
US20240152736A1 (en) * 2021-03-18 2024-05-09 Telefonaktiebolaget Lm Ericsson (Publ) Systems, methods, computer programs for predicting whether a device will change state
CN112862219A (zh) * 2021-03-19 2021-05-28 浙江大学 一种基于时域卷积与循环神经网络的水电机组温度预测方法
CN113361855A (zh) * 2021-05-07 2021-09-07 浙江警官职业学院 一种短中长期风险的告警方法及装置
US20220398396A1 (en) * 2021-06-10 2022-12-15 Sony Group Corporation Clinical activity recognition with multiple cameras
KR102565463B1 (ko) * 2021-10-12 2023-08-10 경북대학교 산학협력단 딥러닝 기반의 낙상 감지 및 활동 인식 장치와 방법 및 이를 위한 컴퓨터 판독가능 프로그램
CN114224326B (zh) * 2021-11-18 2024-05-03 北京精密机电控制设备研究所 一种穿戴式步态相位和动作识别装置及方法
CN114757395B (zh) * 2022-03-22 2023-06-16 欧亚高科数字技术有限公司 一种基于智能物联网的危房监测方法
CN115171361B (zh) * 2022-09-02 2022-12-02 广东中科凯泽信息科技有限公司 一种基于计算机视觉的危险行为智能检测预警方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11179064B2 (en) * 2018-12-30 2021-11-23 Altum View Systems Inc. Method and system for privacy-preserving fall detection
US20210142643A1 (en) * 2019-11-08 2021-05-13 Smart Health Solutions LLC Patient-fall scenario detector and systems and methods for remediating fall scenarios

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255565A (zh) * 2022-03-02 2022-03-29 济宁蜗牛软件科技有限公司 一种危险感知的智能头盔及感知系统

Also Published As

Publication number Publication date
US20210035437A1 (en) 2021-02-04
US11410540B2 (en) 2022-08-09
JP2021086605A (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
US11410540B2 (en) System and method for event prevention and prediction
US11688265B1 (en) System and methods for safety, security, and well-being of individuals
JP7083809B2 (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
US10736582B2 (en) Monitoring and tracking system, method, article and device
Sarker et al. Finding significant stress episodes in a discontinuous time series of rapidly varying mobile sensor data
US10755817B2 (en) Systems, apparatuses and methods for predicting medical events and conditions reflected in gait
Kim et al. Emergency situation monitoring service using context motion tracking of chronic disease patients
US7612681B2 (en) System and method for predicting fall risk for a resident
US11615687B2 (en) Automated identification and creation of personalized kinetic state models of an individual
Rastogi et al. A systematic review on machine learning for fall detection system
US20190287376A1 (en) System and Method for Detecting, Recording and Communicating Events in the Care and Treatment of Cognitively Impaired Persons
Ward et al. Fall detectors: a review of the literature
KR20200104759A (ko) 위험 상황을 판단하고, 사용자의 안전을 관리하는 시스템
WO2019013257A1 (ja) 見守り支援システム及びその制御方法、プログラム
Mansoor et al. A machine learning approach for non-invasive fall detection using Kinect
Pogorelc et al. Detecting gait-related health problems of the elderly using multidimensional dynamic time warping approach with semantic attributes
JP7285046B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN110755091A (zh) 一种个人心理健康监测系统及方法
JP2019152914A (ja) 保育施設児童見守りシステム及び情報処理方法
Alvarez et al. Multimodal monitoring of Parkinson's and Alzheimer's patients using the ICT4LIFE platform
Chiu et al. A convolutional neural networks approach with infrared array sensor for bed-exit detection
Amiroh et al. Intelligent System for Fall Prediction Based on Accelerometer and Gyroscope of Fatal Injury in Geriatric
US20230254454A1 (en) Attention Focusing for Multiple Patients Monitoring
AU2021106898A4 (en) Network-based smart alert system for hospitals and aged care facilities
Shukralia et al. Fall detection of elderly in ambient assisted smart living using cnn based ensemble approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination