CN109561855B - 用于跌倒检测的设备、系统和方法 - Google Patents

用于跌倒检测的设备、系统和方法 Download PDF

Info

Publication number
CN109561855B
CN109561855B CN201780048695.2A CN201780048695A CN109561855B CN 109561855 B CN109561855 B CN 109561855B CN 201780048695 A CN201780048695 A CN 201780048695A CN 109561855 B CN109561855 B CN 109561855B
Authority
CN
China
Prior art keywords
video data
sensor data
sensor
subject
fall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780048695.2A
Other languages
English (en)
Other versions
CN109561855A (zh
Inventor
J·埃斯皮纳佩雷斯
V·A·R·阿尔特斯
A·S·海尔梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN109561855A publication Critical patent/CN109561855A/zh
Application granted granted Critical
Publication of CN109561855B publication Critical patent/CN109561855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0492—Sensor dual technology, i.e. two or more technologies collaborate to extract unsafe condition, e.g. video tracking and RFID tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016—Personal emergency signalling and security systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Security & Cryptography (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于可靠的并且快速的跌倒检测的设备、系统和方法。所述设备包括：传感器输入部(11)，其用于获得与通过由所述对象穿戴的穿戴式传感器(20、22、61)采集的对象的移动有关的传感器数据；以及视频输入部(12)，其用于获得所述对象和/或所述对象的环境的视频数据。分析单元(13)分析所获得的传感器数据以检测指示所述对象的潜在跌倒的一个或多个信号特征并且用于在已经检测到一个或多个这样的信号特征的情况下分析检测到的一个或多个信号特征和/或有关的传感器数据结合有关的视频数据以识别以下项之间的相似性：随时间的所述有关的传感器数据和/或所述信号特征的改变；以及随时间的所述视频数据的改变。如果检测到的相似性的水平和/或量超过对应阈值，则输出部(14、64、65、66)发出跌倒检测指示。

Description

用于跌倒检测的设备、系统和方法
技术领域
本发明涉及一种用于跌倒检测的设备、系统和方法。
背景技术
跌倒是不利地影响人口的大部分(包括老年人、住院患者以及具有援助需求的人)的生活的广泛认可的问题。跌倒检测器提供关于人已经跌倒的通知/警报。这能够满足提供更早的援助、更好的事件报告的需求，并且可以防止跌倒的(一些)再发生。基于可穿戴传感器的许多跌倒检测器已经有所描述并且是可商购的。基于视频数据的跌倒检测器也是已知的，但是尚未找到将其付诸有效产品的方式。
仅基于可穿戴传感器的跌倒检测器常常在有需求的情况下展现出不足的检测准确度。此外，其未提供跌倒的穿戴者的位置，这会延迟对穿戴者的事件位置的恰当评估以及援助的到达。仅基于视频数据的跌倒检测器当前是不成熟的，通常展现出在现实使用条件下的不佳的检测准确度以及关于遮挡和不佳的照明条件的已知问题。
US 2015/0112151看起来描述了一种至少从位置传感器和IR相机接收输入的患者移动传感器。在实施例中，如果位置传感器数据和IR相机数据两者指示跌倒已经发生或者将要发生，则发出跌倒警告警报。
US 2012/0314901描述了一种运动传感器信息和基于图像的分析被用于检测跌倒的跌倒检测技术。具体地，一种系统可以将运动传感器信息与基于图像的分析相结合。
发明内容
本发明的目的是提供一种用于具有增加的准确度的跌倒检测并且能够最佳地管理紧急情况的设备、系统和方法。
在本发明的第一方面中，提出了一种用于跌倒检测的设备，包括：传感器输入部，其用于获得由传感器采集的与对象的移动有关的传感器数据；视频输入部，其用于获得所述对象和/或所述对象的环境的视频数据；分析单元，其用于分析所获得的传感器数据以检测指示所述对象的潜在跌倒的一个或多个信号特征并且用于在已经检测到一个或多个这样的信号特征的情况下分析检测到的一个或多个信号特征和/或有关的传感器数据结合有关的视频数据以识别以下项中的相似性：随时间的所述有关的传感器数据和/ 或所述信号特征的改变，以及随时间的所述视频数据的改变；以及输出部，其用于在检测到的相似性的水平和/或量超过对应阈值的情况下发出跌倒检测指示。
在本发明的另外的方面中，提出了一种用于跌倒检测的系统，包括：传感器，其用于采集与对象的移动有关的传感器数据；视频采集单元，其用于采集所述对象和/或所述对象的环境的视频数据；以及如在本文中所公开的设备，其用于根据所采集的传感器数据和视频数据来检测所述对象的潜在跌倒。
在本发明的又另外的方面中，提供了：一种对应的方法；一种计算机程序，所述计算机程序包括程序代码模块，当所述计算机程序在计算机上被执行时，所述程序代码模块用于使计算机执行在本文中所公开的方法的步骤；以及一种非瞬态计算机可读记录介质，在所述非瞬态计算机可读记录介质中存储有计算机程序产品，所述计算机程序产品当由处理器运行时使在本文中所公开的方法被执行。
在从属权利要求中定义了本发明的优选实施例。应当理解，所主张的方法、系统、计算机程序和介质具有与所主张的设备相似和/或相同的优选实施例，特别是如在从属权利要求中所定义的并且如在本文中所公开的。
本发明基于以下构思：通过使用与对象的移动有关的传感器数据以及所述对象和/或所述对象的环境的视频数据的巧妙结合来检测对象(即，人) 的跌倒。处理所述传感器数据以导出其值指示所述穿戴者的可能跌倒的信号特征。当已经识别了可能的跌倒时，原始传感器数据和/或其导出的信号特征连同视频数据一起被处理。
算法例如可以被用于对所接收到的基于视频和基于可穿戴的信号/特征流的演变进行比较，以寻找随时间的基于视频和基于可穿戴的流的改变的相似性。当找到足够的相似性时，算法可以判定可能的跌倒被确认并且可以向用户(例如，护士)发出警报。此外，来自所述相机的在其中找到对应性的所述视频流可以被呈现给所述用户。在评估所呈现的图片/视频之后，所述用户可能想要取消所述警报和/或奔赴所选择的相机的位置以辅助跌倒的对象。
因此，在传感器数据改变的方式与视频数据改变的方式之间进行比较以便检测跌倒。本发明由此提供更可靠的跌倒检测设备，因为如使用两个不同的感测方法而监测的跌倒的进展之间的相似性被用于确认跌倒是否已经发生。这降低了跌倒将被错误地检测到的可能性。
在所述视频数据与所述传感器数据(和/或信号特征)之间的相似性的数值/水平超过预定阈值(例如，10或更多的相似性或者大于0.5的相关性得分)，那么可以发出警报。低于该阈值的相似性的数值/水平可以指示跌倒是通过所述传感器数据不准确地检测到的，并且因此可能是误警报。
例如，可以在所述传感器数据的时间模式与所述视频数据的时间模式之间进行比较以确定在所述传感器数据的所述改变与所述视频数据的所述改变之间是否存在相似性。数据信号中的最大值和/或最小值的数值例如可以表示相关联的数据的模式。在一些实施例中，可以在传感器数据与视频数据之间执行相关性。
在实施例中，随时间的所述传感器的多个数据点与随时间的视频数据的多个数据点之间的各自相似性被用于确定是否已经发生真实的跌倒事件。
在该上下文中，算法通常可以使用两个视频数据与所述传感器数据之间的任何多个距离或相似性度量。相似性度量值可以基于多个结果(例如，相关性系数)来生成。可以建立针对用于触发所述检测的所述相似性度量值来(可能动态的)阈值。例如，如果根据所述视频数据和所述传感器数据而确定的相关性系数超过所述阈值，则随时间的所述视频数据与所述传感器数据的所述改变之间的相似性可以被假定为被检测到。
因此，可以确定两个数据集(传感器数据和图像数据)之间的相互依赖性，每个数据集包括超过一个数据点。这可以通过使所述数据相关来允许对潜在跌倒的更准确的识别。具体地，分别表示所述传感器数据和所述视频数据的时间相关函数之间的相关性可以得到表示随时间的所述传感器数据的所述改变与随时间的所述视频数据的所述改变之间的所述相似性的值。
此外，所述对象的环境的视频数据可以通常被理解为其中所述对象可能遭遇的任何区域和环境的视频数据，例如包括所述对象的房间、所述对象的家，而且还有例如在监视相机中可见的医院周围的公共区域。
在实施例中，所述分析单元被配置为识别改变的计时、速度、持续时间、强度和/或演变的相似性。所识别的相似性的种类可以取决于传感器数据的种类以及被用于采集传感器数据的传感器的种类。例如，可以使用信号特征以及这些信号特征的改变的相似性，其示出了显著的改变并且因此能够容易地被认为是针对所述对象的潜在跌倒的指示器。
在实施例中，所述分析单元被配置为检测以下项中的一项或多项作为指示所述对象的潜在跌倒的信号特征：冲击、最大值、最小值、零交叉、在垂直方向上的加速度、在垂直方向上的速度、高度改变、在潜在跌倒之前和/或之后的倾斜、在潜在跌倒之前和/或之后的活动水平，以及强度改变。这样的特征是特别有帮助的并且指示潜在跌倒。
所述分析单元可以被配置为检测在垂直方向上的和/或由于所述对象在地上的冲击而发生的改变并且将这样的改变用在对相似性的所述识别中。这样的改变是针对潜在跌倒的有用的指示器。对改变的所述检测可以涉及所述对象或目标的位置的改变。例如，可以检测目标在所述图像的一个图像帧中的一个位置处并且相同的目标被检测处在后续图像帧中的另一位置处，使得所述后续位置被确定或者获知在相对于局部重力场的较低位置处。
所述分析单元还可以被配置为：根据所述视频数据来估计所述对象的所述相对垂直速度和/或加速度；并且使所述相对垂直速度和/或加速度与从所述传感器数据导出的垂直加速度和/或垂直速度相关以识别相似性。这改善了对潜在跌倒的检测的准确度。
所述分析单元由此还可以被配置为根据所述视频数据来确定垂直速度图并且根据所述垂直速度图来估计所述对象的所述相对垂直速度和/或加速度。所述垂直速度图因此可以被用于指示例如所述对象的身体的不同身体区域的局部速度。
所述分析还能够被用于检测在所述视频数据的另一视频帧中从开始位置到较低位置的目标的垂直移动。
在另一实施例中，所述分析单元被配置为分析由不同的视频数据采集单元所采集的不同的视频数据流以识别以下项之间的相似性：随时间的所述有关的传感器数据和/或所述信号特征的改变；以及随时间的所述视频数据的改变。这确保了对潜在跌倒的检测的较高的准确度。
所述分析单元还可以被配置为：分析所获得的视频数据以检测指示所述对象的潜在跌倒的一个或多个信号特征，并且如果除了对指示所述对象的潜在跌倒的一个或多个信号特征的检测之外已经在所述视频数据中检测到所述对象的潜在跌倒的指示，则分析检测到的一个或多个信号特征和/或所述有关的传感器数据结合所述有关的视频数据，以识别以下项之间的相似性：随时间的所述有关的传感器数据和/或所述信号特征的改变；以及随时间的所述视频数据的改变。已经用于检测潜在跌倒的指示的所述视频数据的所述使用还可以改善对潜在跌倒的所述检测。
所述输出部优选被配置为额外地发出视频数据部分和/或传感器数据部分和/或与所识别的潜在跌倒有关的所识别的信号特征。这可以帮助所述用户对所述情况发表意见并且决定待采取的所要求的措施，例如，所述对象是否立即要求个人帮助或者所述对象的情况是否是无害的。此外，这可以帮助所述用户更容易地找到所述跌倒对象的位置。在使用多个相机的系统中，这可以包括选择用于呈现给所述用户(例如，护士)的正确相机(例如，来自被链接到所述医院中的一位置的相机的视频数据)。
被用于采集所述传感器数据的所述系统的所述传感器可以包括由所述对象(例如，使用粘着剂、胸部束带、腕带等)穿戴的一个或多个传感器元件，或者可以包括被布置在所述对象的环境中(例如，在所述对象的床上)的一个或多个传感器元件。这样的传感器可以包括以下项中的一项或多项：移动传感器、加速度计、压力传感器、床相机和惯性传感器。通常，可以使用能够提供与对象的移动有关的传感器数据的任何传感器。例如，智能电话常规地包括惯性传感器，所述惯性传感器可以被用作所提出的系统中的传感器以采集与所述对象的移动有关的传感器数据，只要所述智能电话由所述对象携带(例如，在所述对象的夹克或裤子的口袋中)。这些传感器元件就可以提供讨论中的对象不在床上而是在床外部的额外信息和/或确认。
被用于采集所述视频数据的所述视频采集单元可以包括用于采集所述对象的环境的视频数据的由所述对象穿戴的身体穿戴式相机和/或用于采集所述对象的视频数据的固定式或移动式相机，特别是RGB相机和/或红外相机。
在所述系统的实施例中，传感器、视频采集单元和设备被集成到用户设备(特别是智能电话、相机、手表或眼镜)中。
附图说明
本发明的这些和其他方面将根据在下文中所描述的(一个或多个)实施例而显而易见并且参考在下文中所描述的(一个或多个)实施例得以阐述。在以下附图中：
图1示出了根据本发明的系统和设备的第一实施例的示意图；
图2示出了根据本发明的系统和设备的第二实施例的示意图；并且
图3示出了根据本发明的系统和设备的第三实施例的示意图。
具体实施方式
图1示出了用于对象40(例如，在医院中的患者、在护理站或休养所中的老年人、在家中的人、在床上的孩子等)的跌倒检测的根据本发明的系统1和设备10的第一实施例的示意图。在该范例中，对象40是躺在床 50上(例如，在医院中)的患者。
系统1包括至少一个传感器20，其用于采集与对象40的移动有关的传感器数据。在该示范性实施例中，传感器20是穿戴式惯性传感器，诸如通过胸部束带被固定到对象的身体的加速度计。传感器20能够检测对象的身体的移动并且生成表示这样的移动的传感器数据21。
系统1还包括用于采集对象和/或对象的环境的视频数据31的视频采集单元30，在这种情况下，是用于采集对象40的视频数据的固定式或移动式相机，特别是RGB相机和/或红外相机。相机30例如被安装到天花板并且监测整个床50，如通常例如在视频监视应用中的情况那样。
系统1还包括用于根据所采集的传感器数据21和视频数据31来检测对象40的潜在跌倒的设备10。设备10包括：传感器输入部11，其用于获得(即，接收或取回)与由传感器20采集的对象的移动有关的传感器数据 21；以及视频输入部12，其用于获得(即，接收或取回)对象40和/或对象的环境(例如，床50和床50周围的区域)的视频数据31。为了将传感器数据21和视频数据31传送到设备10，通常可以使用任何可能的通信方式。例如，传感器20和相机30可以通过接线(例如，直接地，或者经由计算机网络，诸如LAN)或者以无线方式(例如，通信网络(例如，UMTS、 LTE等)或者另一无线网络(例如，Wi-Fi、蓝牙、ZigBee等))被连接到设备10。传感器输入部11和视频输入部12因此例如可以是对应的数据接口，诸如蓝牙接口、Wi-Fi接口、有线终端等。
设备10还包括分析单元13，其用于分析所获得的传感器数据21以检测指示对象40的潜在跌倒的一个或多个信号特征并且用于在已经检测到一个或多个这样的信号特征的情况下分析检测到的一个或多个信号特征和/或有关的传感器数据21结合有关的视频数据31以识别指示对象40的潜在跌倒的所分析的信号特征、传感器数据和视频数据的改变的相似性。下文将更详细地解释该操作。分析单元13可以例如以硬件和/或软件被实施为一个或多个编程的处理器或计算机(例如，医院工作站、护理提供者的PC等) 或者被实施为在用户设备(例如，智能电话、膝上型电脑、平板电脑等) 上运行的应用。
设备10还包括输出部14，其用于在检测到的相似性的水平和/或量超过对应阈值的情况下发出跌倒检测指示。输出部14例如可以是用于将跌倒检测指示(例如，警报通知)传送到远程目的地(例如，护士的用户设备、中央监视器等)的输出接口或者可以是直接地发出已经检测到特定对象的潜在跌倒的(可见的和/或可听的)通知的用户接口(如显示器和/或扬声器)。
因此，根据本发明，潜在的用户跌倒是通过使用传感器数据和视频(相机)数据的结合来检测的。
图2示出了根据本发明的系统2和设备10的第二实施例的示意图。在该实施例中，设备10通常具有与在图1中所示的设备10相同的布局。替代(或补充)穿戴式传感器20，在该示范性实施例中使用被布置在床垫内或床垫顶部上并且采集反映对象40的移动的传感器数据23的一个或多个压力传感器22(例如，压力传感器的阵列)。此外，替代(或补充)固定式相机30，身体穿戴式相机32是由对象40所穿戴的以采集所述对象的环境的视频数据33的。如在第一实施例中，设备10获得传感器数据23和视频数据33并且对其进行处理以检测对象的潜在跌倒。
身体穿戴式相机32的使用具有以下优点：对象40能够四处走动并且假如对象40穿戴如在第一实施例中所示的穿戴式传感器20，还能够检测在步行期间(例如，在浴室中、在楼梯上等)的对象的跌倒。备选地或另外地，较大的区域(例如，完整的家庭或医院站)可以被提供有监测较大区域的多个相机，即，分析单元13获得并且分析来自多个相机的视频数据。
图3示出了根据本发明的系统3和设备10的第三实施例的示意图。在该实施例中，系统3的所有元件被集成到用户设备60中，在该示范性实施例中被集成到智能电话中。因此，系统3利用智能电话的惯性传感器61(作为用于采集与穿戴智能电话的对象的移动有关的传感器数据的传感器)、智能电话的相机62(作为用于采集对象的环境的视频数据的视频采集单元)、智能电话的处理器63(作为分析单元)和智能电话的显示器64、扬声器65 和/或通信装置66(例如，Wi-Fi接口、无线电天线等)(作为输出单元)。在其他实施例中，所述系统的元件可以被集成在其他用户设备(诸如手表、相机、眼镜(例如，Google眼镜)等)中。
所述用户设备(在该示范性实施例中为智能电话)可以被穿戴为垂饰或者被附接到衣服。在这种情况下，在肯定的跌倒检测中，视频流被发送到能够根据视频数据来确定跌倒的严重性(例如，对象在事件之后是否躺在地板上)的用户(例如，护士)。跌倒的位置也可以基于视频数据来确定。
根据本发明的实施例，所述传感器数据被处理以导出其值指示对象的可能跌倒的信号特征。这样的信号特征可以是以下项中的一项或多项：冲击、(例如，3轴加速度矢量数据的)加速度范数的最大值/最小值/零交叉、垂直加速度、垂直速度、在事件之前/之后的倾斜、在事件之前/之后的活动水平，以及高度改变估计。当已经识别了可能的跌倒时，原始传感器数据和/或其导出的信号特征被传送到分析单元，所述分析单元还具有对一个或多个视频相机的视频数据流的访问权。
算法然后可以被用于对所接收到的基于视频的和基于传感器的信号/特征流的演变进行比较，以寻找诸如改变的计时、速度和演变的相似性。在垂直轴中(例如，在人下降到地面期间)和/或由于在地上的冲击而发生的改变具有特殊相关性。在一个实施例中，与对象相对应的图像区域被分割并且从(视频数据的)一个帧被跟踪到另一帧。在数个帧的分割中估计作为时间t的函数的第k个对象vz(k,t)的相对垂直速度。在另一实施例中，在图像平面中的垂直运动速度针对所有点进行估计以获得垂直速度图vz(i,j,t)，其中，i和j是图像平面中的位置。在第一种情况下，可以获得与图像中的许多对象相对应的垂直速度。在第二种情况下，可以针对图像中的许多区域来计算速度。在图像中的垂直运动的两个表示之间存在转换。
在下文中，将更详细地描述基于单个对象跟踪的情况，但是能够类似地处理对于多个对象和全部运动流图像的情况的扩展。
在平面中的单个对象(诸如人的身体)的垂直速度是vz(t)。来自加速度计信号的所观察到的垂直加速度是由az(t)给出的。为了确定两个信号之间的时间相关性，首先需要将其带到相同的表示域。在优选实施例中，估计对象速度的第一时间导数与垂直加速度之间的相关性系数，即：
Figure BDA0001966910540000091
在另一实施例中，获取垂直加速度(来自加速度计信号)的累积积分以获得针对垂直速度的估计，即：
Figure BDA0001966910540000092
并且，相关性然后根据以下等式来计算：
Figure BDA0001966910540000093
当执行对等式(1)和等式(2)的计算时的时间点(即，离散化dt的大小)之间的步长小于潜在跌倒的事件长度。例如，步长可以小于0.1s或者小于0.1ms。
随时间取得针对传感器数据和视频数据中的每项的多个数据点。因此，多个数据点被用于执行相似性检查。相关性计算计算这些数据点之间的相关性，以给出随时间的传感器数据的改变与随时间的视频数据的改变之间的相似性的度量(即，相似性度量值)。
以这种方式，在随时间的传感器数据中的改变(在此：加速度的改变) 与随时间的视频数据(在此：速度的改变)的改变之间进行比较。相关性被计算以提供传感器数据的改变与视频数据的改变之间的相似性的度量。
该相关性的值可以与阈值进行比较以确定跌倒是否已经发生。通过范例的方式，大于0.5或0.6的相关性值可以指示跌倒可能已经发生。
因此，使用所述流的多个数据点比较基于视频的和基于传感器的信号/ 特征流以确定跌倒是否已经发生。
使传感器数据(特别是加速度计数据)与视频数据相关的特征还能够与针对跌倒检测算法专门计算的那些无关，例如在传感器上已经计算的跨步检测步态特征，以及不存在针对特征计算所需要的额外的努力的优点。
存在下文将描述的用于比较基于视频的和基于传感器的信号/特征流的若干备选选项。相关性操作通常包含标准化(例如，使用皮尔逊相关性系数)，使得能够在不同的时间处比较传感器数据与视频数据之间的相关性值。另外，所述标准化可以包含观察帧和其他预处理步骤中的平均值的移除。在典型情况下，在来自多个相机的图像中的若干目标或图像区域之间计算相关性。
当在基于视频的信号/特征流与基于传感器的信号/特征流之间找到足够的相似性时，决定(例如，通过算法)可能的跌倒被确认并且警报可以例如被发出到用户(例如，护士)，优选同时呈现在其中找到对应性的来自相机的视频流。
相关相机和相关相机流的自动选择和呈现防止了用户的信息的过量并且提供关于对象的位置的信息。所呈现的视频流优选是实时的，而且也能够示出跌倒事件周围的记录(例如，在事件之前和之后数秒)以评估跌倒的严重性。此外，如果多个相机已经到达与传感器信号的相似性的所要求的水平，那么可以要么备选地在一个帧中要么同时地在不同的子帧中呈现多个视频流。跌倒警报和(一个或多个)视频流的呈现可以发生在用户设备(诸如用户的PC、膝上型电脑、智能电话、平板电脑、智能手表等)中。
任选地，除了所述传感器数据之外，所述视频数据可以被用在分析的第一步中以检测指示对象的潜在跌倒的一个或多个信号特征。
尽管固定式相机的使用是优选的，但是还可以利用移动式相机(例如，具有巡视医院病房的相机的护士机器人)。在该情况下，所述移动式相机应当包含将其位置传送给所述系统使得跌倒的对象能够由用户最佳地找到的装置。
任选地，被动红外(PIR)相机也可以被包括在所述系统中。这样的相机应当能够输出容许由此处所描述的算法而处理的像素化图像流。由PIR 相机引入的额外优点将是隐私改进。这因此将尤其适用于将系统范围扩展到如卫生间和浴室的敏感区(在其中人也可能遭受跌倒)。
在实施例中，分析的部分也可以在传感器上运行。例如，基于传感器数据检测指示对象的潜在跌倒的一个或多个信号特征的分析可以在传感器上本地运行，其因此可以被装备有对应的处理器能力(例如，小处理器)。在该情况下，当检测到可能的跌倒时，传感器可以暂时地适配其无线电传输设置以促进在后端处的预警报、信号/特征流或者其他相关信息的正确的和计时的接收。无线电设置的适配可以包括以下项中的一项或多项：较高的传输功率、所有可用信道/RF接口上的传输、确认传输模式的切换，以及系统的传感器与其他元件之间的中继警报。
本发明可以被实施为用于由对象穿戴(例如，不引人注意地在其口袋或包中)的智能电话(或者智能手表或Google眼镜)的app(应用程序)。当例如智能电话被连接到医院网络时，信号特征将自动地计算和传送。
本发明可以被用在其中相对于对象的跌倒要求援救或护理的应用设置中。因此，其适用于住院患者护理设置(诸如医院病房)以及患者/客户护理设置(诸如(老年人)住宿护理和家庭护理)。其通常适用于其中应当检测对象的跌倒(例如，婴儿从床上跌落)的所有情况。
尽管已经在附图和前述描述中详细图示和描述本发明，但是这样的图示和描述将被认为是说明性或示范性而非限制性的；本发明不限于所公开的实施例。通过研究附图、说明书和随附的权利要求书，本领域技术人员在实践所主张的本发明时可以理解和实现所公开的实施例的其他变型。
在权利要求中，词语“包括”不排除其他元件或者步骤，并且不定冠词“一”或“一个”不排除多个。单个元件或其他单元可以实现权利要求中所记载的若干项的功能。互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地使用这些措施的结合。
计算机程序可以被存储/被分布在适合的非瞬态介质(诸如连同其他硬件一起提供或者作为其部分而提供的光学存储介质或固态介质)上，而且可以以其他形式来分布(诸如经由因特网或者其他有线或无线电信系统)。
权利要求中的任何附图标记不应当被解释为对范围的限制。

Claims (17)

1.一种用于跌倒检测的设备，所述设备包括：
传感器输入部，其用于获得由传感器采集的与对象的移动有关的传感器数据，
视频输入部，其用于获得所述对象和/或所述对象的环境的视频数据，
分析单元：
其用于分析所获得的传感器数据以检测指示所述对象的潜在跌倒的一个或多个信号特征；并且
其用于在已经检测到一个或多个这样的信号特征的情况下分析所检测到的一个或多个信号特征和有关的传感器数据中的至少一个以及有关的视频数据，以识别所述有关的传感器数据和所述信号特征中的至少一个随时间的改变与所述视频数据随时间的改变之间的相似性；
输出部，其用于在所述检测到的相似性的水平和/或量超过相应阈值的情况下发出跌倒检测指示。
2.根据权利要求1所述的设备，
其中，所述分析单元被配置为：响应于所述信号特征指示已经识别出可能的跌倒而分析所检测到的一个或多个信号特征和有关的传感器数据中的至少一个以及有关的视频数据。
3.根据权利要求1或2所述的设备，
其中，所述分析单元被配置为识别所述改变的计时、速度、持续时间和/或强度的相似性。
4.根据权利要求1或2所述的设备，
其中，所述分析单元被配置为检测以下项中的一项或多项作为指示所述对象的潜在跌倒的信号特征：所述对象在地上的冲击；所获得的传感器数据中的最大值、最小值和零交叉；在垂直方向上的加速度；在垂直方向上的速度；高度改变；在潜在跌倒之前和/或之后的倾斜；在潜在跌倒之前和/或之后的活动水平；以及所获得的传感器数据中的强度改变。
5.根据权利要求1或2所述的设备，
其中，所述分析单元被配置为：检测随时间在垂直方向上和/或由于所述对象在地上的冲击而发生的改变；并且将这样的改变用于对相似性的所述识别。
6.根据权利要求1或2所述的设备，
其中，所述分析单元被配置为：根据所述视频数据来估计所述对象的相对垂直速度和/或加速度；并使所述相对垂直速度和/或加速度与从所述传感器数据导出的垂直加速度和/或垂直速度相关以识别相似性，并且
其中，所述分析单元被配置为：根据所述视频数据来确定垂直速度图；并且根据所述垂直速度图来估计所述对象的所述相对垂直速度和/或加速度。
7.根据权利要求1或2所述的设备，
其中，所述分析单元被配置为分析由不同的视频数据采集单元所采集的不同的视频数据流以用于对相似性的所述识别。
8.根据权利要求1或2所述的设备，
其中，所述分析单元被配置为：分析所获得的视频数据以检测指示所述对象的潜在跌倒的一个或多个信号特征；并且如果除了对指示所述对象的潜在跌倒的一个或多个信号特征的所述检测之外已经在所述视频数据中检测到所述对象的潜在跌倒的指示，则分析所检测到的一个或多个信号特征和有关的传感器数据中的至少一个以及有关的视频数据，以识别指示所述对象的潜在跌倒的所分析的信号特征和传感器数据中的至少一个的改变与所分析的视频数据的改变的相似性。
9.根据权利要求1或2所述的设备，
其中，所述输出部被配置为额外地发出视频数据部分和/或传感器数据部分，和/或
其中，所述输出部被配置为额外地发出与所识别的潜在跌倒有关的所识别的信号特征。
10.一种用于跌倒检测的系统，所述系统包括：
传感器，其用于采集与对象的移动有关的传感器数据，
视频采集单元，其用于采集所述对象和/或所述对象的环境的视频数据，以及
根据权利要求1至9中的任一项所述的设备，其用于根据所采集的传感器数据和视频数据来检测所述对象的潜在跌倒。
11.根据权利要求10所述的系统，
其中，所述传感器包括以下项中的一项或多项：移动传感器、加速度计、压力传感器和惯性传感器。
12.根据权利要求10或11所述的系统，
其中，所述视频采集单元包括：用于采集所述对象的环境的视频数据的由所述对象穿戴的身体穿戴式相机；和/或用于采集所述对象的视频数据的固定式或移动式相机。
13.根据权利要求12所述的系统，
其中，所述相机包括RGB相机和/或红外相机。
14.根据权利要求10或11所述的系统，
其中，所述传感器、所述视频采集单元和所述设备被集成到用户设备中。
15.根据权利要求14所述的系统，
其中，所述用户设备包括智能电话、相机、手表或眼镜。
16.一种用于跌倒检测的方法，所述方法包括：
获得由传感器采集的与对象的移动有关的传感器数据，
获得所述对象和/或所述对象的环境的视频数据，
分析所获得的传感器数据以检测指示所述对象的潜在跌倒的一个或多个信号特征，
在已经检测到一个或多个这样的信号特征的情况下分析所检测到的一个或多个信号特征和有关的传感器数据中的至少一个以及有关的视频数据，以识别所述有关的传感器数据和所述信号特征中的至少一个随时间的改变与所述视频数据随时间的改变之间的相似性，并且
在检测到的相似性的水平和/或量超过相应阈值的情况下发出跌倒检测指示。
17.一种存储有计算机程序的计算机可读介质，所述计算机程序包括程序代码模块，当所述计算机程序在计算机上被执行时，所述程序代码模块用于使所述计算机执行根据权利要求16所述的方法的步骤。
CN201780048695.2A 2016-08-08 2017-08-08 用于跌倒检测的设备、系统和方法 Active CN109561855B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16183222.5 2016-08-08
EP16183222 2016-08-08
PCT/EP2017/070067 WO2018029193A1 (en) 2016-08-08 2017-08-08 Device, system and method for fall detection

Publications (2)

Publication Number Publication Date
CN109561855A CN109561855A (zh) 2019-04-02
CN109561855B true CN109561855B (zh) 2022-06-21

Family

ID=56686656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048695.2A Active CN109561855B (zh) 2016-08-08 2017-08-08 用于跌倒检测的设备、系统和方法

Country Status (5)

Country Link
US (1) US11116424B2 (zh)
EP (1) EP3496607A1 (zh)
JP (1) JP6983866B2 (zh)
CN (1) CN109561855B (zh)
WO (1) WO2018029193A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3588458A1 (en) 2018-06-29 2020-01-01 Koninklijke Philips N.V. A fall detection apparatus, a method of detecting a fall by a subject and a computer program product for implementing the method
CN109740761A (zh) * 2018-11-30 2019-05-10 广东工业大学 一种基于多传感器特征融合的跌倒检测方法
DE102019100105A1 (de) 2019-01-04 2020-07-09 Enocean Gmbh Gerät zur Erfassung der Aktivität von Personen oder des Zustandes von durch Personen beeinflussten Infrastrukturen oder Gegenständen
CN110677535A (zh) * 2019-09-24 2020-01-10 捷开通讯(深圳)有限公司 一种智能应急的方法、装置、存储介质和终端
CN113936420B (zh) * 2020-07-14 2023-06-16 苹果公司 使用移动设备检测跌倒
CN112418096A (zh) * 2020-11-24 2021-02-26 京东数科海益信息科技有限公司 检测跌的方法、装置和机器人
CN114067436B (zh) * 2021-11-17 2024-03-05 山东大学 一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105051799A (zh) * 2013-03-22 2015-11-11 皇家飞利浦有限公司 用于检测跌倒的方法和跌倒检测器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060001545A1 (en) * 2005-05-04 2006-01-05 Mr. Brian Wolf Non-Intrusive Fall Protection Device, System and Method
US7733224B2 (en) 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
US9060683B2 (en) 2006-05-12 2015-06-23 Bao Tran Mobile wireless appliance
US9277878B2 (en) * 2009-02-26 2016-03-08 Tko Enterprises, Inc. Image processing sensor systems
SG178270A1 (en) * 2009-08-05 2012-03-29 Agency Science Tech & Res Condition detection methods and condition detection devices
US9406336B2 (en) * 2010-08-26 2016-08-02 Blast Motion Inc. Multi-sensor event detection system
US8675920B2 (en) 2011-04-04 2014-03-18 Alarm.Com Incorporated Fall detection and reporting technology
WO2013054257A1 (en) 2011-10-09 2013-04-18 The Medical Research, Infrastructure and Health Services Fund of the Tel Aviv Medical Center Virtual reality for movement disorder diagnosis and/or treatment
US10307111B2 (en) 2012-02-09 2019-06-04 Masimo Corporation Patient position detection system
JP6544236B2 (ja) * 2013-09-13 2019-07-17 コニカミノルタ株式会社 保管システム、制御装置、保管システムにおける映像情報保管方法、制御装置における制御方法、並びにプログラム
CN104077887B (zh) * 2014-06-25 2017-04-12 桂林电子科技大学 人体跌倒健康监测方法及装置
CN205094444U (zh) 2015-10-26 2016-03-23 重庆理工大学 云服务实时摔倒检测系统
CN105125221B (zh) 2015-10-26 2017-11-10 重庆理工大学 云服务实时摔倒检测系统及方法
CN105786186A (zh) * 2016-03-16 2016-07-20 中山大学 一种基于红外线热成像的智能报警系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105051799A (zh) * 2013-03-22 2015-11-11 皇家飞利浦有限公司 用于检测跌倒的方法和跌倒检测器

Also Published As

Publication number Publication date
WO2018029193A1 (en) 2018-02-15
US20190167157A1 (en) 2019-06-06
JP6983866B2 (ja) 2021-12-17
CN109561855A (zh) 2019-04-02
US11116424B2 (en) 2021-09-14
EP3496607A1 (en) 2019-06-19
JP2019534716A (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
CN109561855B (zh) 用于跌倒检测的设备、系统和方法
US9710761B2 (en) Method and apparatus for detection and prediction of events based on changes in behavior
US10080513B2 (en) Activity analysis, fall detection and risk assessment systems and methods
Kepski et al. Fall detection using ceiling-mounted 3d depth camera
US12011258B2 (en) Method and apparatus for determining a fall risk
Ramezani et al. Sensing-Fi: Wi-Fi CSI and accelerometer fusion system for fall detection
Hossain et al. A direction-sensitive fall detection system using single 3D accelerometer and learning classifier
JP2017536880A (ja) 人の向き及び／又は位置の自動検出のための装置、システム、及び方法
Kepski et al. Event‐driven system for fall detection using body‐worn accelerometer and depth sensor
WO2016155789A1 (en) Fall detection system and method
CN114469076A (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
Uslu et al. Human activity monitoring with wearable sensors and hybrid classifiers
WO2012002904A1 (en) Device and method for detection of abnormal spatial states of a human body
Tabbakha et al. Elderly action recognition system with location and motion data
US20230389880A1 (en) Non-obtrusive gait monitoring methods and systems for reducing risk of falling
Fern'ndez-Caballero et al. HOLDS: Efficient fall detection through accelerometers and computer vision
KR102526771B1 (ko) 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템
Safarzadeh et al. Real-time fall detection and alert system using pose estimation
KR100961476B1 (ko) 행동 패턴 인식 장치 및 방법
Khowaja et al. AN EFFECTIVE THRESHOLD BASED MEASUREMENT TECHNIQUE FOR FALL DETECTION USING SMART DEVICES.
Kaudki et al. IOT enabled human fall detection using accelerometer and RFID technology
Khawandi et al. Integrated monitoring system for fall detection in elderly
Pathak et al. Fall detection for elderly people in homes using Kinect sensor
Elagovan et al. Fall detection systems at night
Mendulkar et al. A survey on efficient human fall detection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant