CN112784890B - 一种利用多传感器融合的人体跌倒检测方法及系统 - Google Patents

一种利用多传感器融合的人体跌倒检测方法及系统 Download PDF

Info

Publication number
CN112784890B
CN112784890B CN202110047562.1A CN202110047562A CN112784890B CN 112784890 B CN112784890 B CN 112784890B CN 202110047562 A CN202110047562 A CN 202110047562A CN 112784890 B CN112784890 B CN 112784890B
Authority
CN
China
Prior art keywords
data
pressure
characteristic
maximum
falling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110047562.1A
Other languages
English (en)
Other versions
CN112784890A (zh
Inventor
杜松
李忠伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202110047562.1A priority Critical patent/CN112784890B/zh
Publication of CN112784890A publication Critical patent/CN112784890A/zh
Application granted granted Critical
Publication of CN112784890B publication Critical patent/CN112784890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Computation (AREA)
  • Emergency Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种利用多传感器融合的人体跌倒检测方法及系统，其中，该方法包括：利用多种传感器采集人体相关数据，其中所述人体相关数据至少包括温度数据及压力数据；提取所述温度数据及压力数据中的特征数据；采集跌倒样本与非跌倒样本，构建训练样本；将所述特征数据与训练数据进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。本发明通过融合多种传感器，实现对多维数据的统筹使用及分析计算，能够在复杂环境下准确的进行跌倒检测，在保证方案具备低成本特性的同时有效降低漏报率和误报率，为用户提供更好的使用体验。

Description

一种利用多传感器融合的人体跌倒检测方法及系统
技术领域
本发明涉及行为识别技术领域，尤指一种利用多传感器融合的人体跌倒检测方法及系统。
背景技术
跌倒是老人面临的重大危险，跌倒后及时发现是养老场所面临的重大业务痛点。现有用于房间内的跌倒报警设备，有些例如视频分析类、摄像头类，虽然有很高的准确率，但由于它不能保护个人隐私，受到社区居住老人的抵制，难以实际应用。
另一类设备可以保护隐私，例如红外、雷达传感设备等，但是它们受现场环境、温度、湿度、人员等的影响比较大，在复杂环境时表现并不好，漏报率和误报率比较高，基本无法实际落地应用。
综上来看，亟需一种既可以保护个人隐私，且检测跌倒行为的准确率高的技术方案。
发明内容
为克服现有技术存在的不足，本发明提出了一种利用多传感器融合的人体跌倒检测方法及系统。该方法及系统使用多种传感器数据进行协同配合，能够准确检测用户的跌倒行为，给客户提供更好的体验和服务，并且所有传感器采集的都是非敏感信息，有效保护居住人的个人隐私。
在本发明实施例的第一方面，提出了一种利用多传感器融合的人体跌倒检测方法，该方法包括：
利用多种传感器采集人体相关数据，其中所述人体相关数据至少包括温度数据及压力数据；
提取所述温度数据及压力数据中的特征数据；
采集跌倒样本与非跌倒样本，构建训练样本；
将所述特征数据与训练数据进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
在本发明实施例的第二方面，提出了一种利用多传感器融合的人体跌倒检测系统，该系统包括：
人体相关数据采集模块，用于通过多种传感器采集人体相关数据，其中所述人体相关数据至少包括温度数据及压力数据；
特征提取模块，用于提取所述温度数据及压力数据中的特征数据；
样本构建模块，用于采集跌倒样本与非跌倒样本，构建训练样本；
跌倒行为检测模块，用于将所述特征数据与训练数据进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
在本发明实施例的第三方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现利用多传感器融合的人体跌倒检测方法。
在本发明实施例的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现利用多传感器融合的人体跌倒检测方法。
本发明提出的利用多传感器融合的人体跌倒检测方法及系统，利用多种传感器采集人体相关数据，并提取其中的特征数据，将所述特征数据与训练数据进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警，整体方案通过融合多种传感器，实现对多维数据的统筹使用及分析计算，能够在复杂环境下准确的进行跌倒检测，在保证方案具备低成本特性的同时有效降低漏报率和误报率，为用户提供更好的使用体验。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一实施例的利用多传感器融合的人体跌倒检测方法流程示意图。
图2是本发明一具体实施例的温度数据分析流程示意图。
图3是本发明一具体实施例的压力数据分析流程示意图。
图4是本发明一具体实施例的站姿、坐姿及用户的压力数据关系示意图。
图5是本发明一具体实施例的雷达数据分析流程示意图。
图6是本发明一实施例的利用多传感器融合的人体跌倒检测系统架构示意图。
图7是本发明一实施例的计算机设备结构示意图。
图8是本发明一具体实施例的利用多传感器融合对人体跌倒进行检测报警的关系示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种利用多传感器融合的人体跌倒检测方法及系统。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
图1是本发明一实施例的利用多传感器融合的人体跌倒检测方法流程示意图。如图1所示，该方法包括：
步骤S1，利用多种传感器采集人体相关数据，其中所述人体相关数据至少包括温度数据及压力数据；
步骤S2，提取所述温度数据及压力数据中的特征数据；
步骤S3，采集跌倒样本与非跌倒样本，构建训练样本；
步骤S4，将所述特征数据与训练数据进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
为了对上述利用多传感器融合的人体跌倒检测方法进行更为清楚的解释，下面结合每一步进行详细说明。
步骤S1，在利用多种传感器采集人体相关数据时，可以在检测区域中，设置温度传感器及压力传感器，分别采集温度数据及压力数据；另外，还可以设置雷达传感器，采集雷达数据。
在一实施例中，温度传感器可以采用高精度、低分辨率的Grid-EYE系列红外线阵列传感器。该传感器在一个8×8网格式布局内含有64个热电堆元件，能够在不接触被测物体的前提下探测物体表面的绝对温度。由于传感器分辨率低，从温度分布图像中无法直接辨别出探测的物体，从而保护了个人隐私；另外，人体时时刻刻都在向周围环境辐射红外线，即使在黑暗条件下，也不影响传感器获取到人体的温度分布图像。
在性能参数上，Grid-EYE系列传感器在60度探测视野角内，能够探测最远为5m的目标，而且它设有外部数字接口，方便对温度分布数据进行传输。同时它封装尺寸还非常小，便于集成开发。
在实际应用中，红外检测设备可以安装在房间屋顶上，从上往下通过红外阵列传感器采集检测范围内的温度分布信息，并以I2C的方式将温度信息发送到单片机上，完成信号采集后，单片机再通过无线蓝牙将信息发送到云端系统，由云端系统进行跌倒行为的计算、判定。
在一实施例中，压力传感器可以采用薄膜压力传感器，该传感器利用电阻值的变化测量受力的大小，具有响应速度快、功耗低、稳定性优异的特点。由于一个薄膜压力传感器只能测量单点的受力情况，因此，可以把传感器安排成行列矩阵分布，从而实现测量一定面积的区域的受力情况，并根据受力面积的大小推测人的姿态。
在实际应用中，可以将压力传感器阵列设置在地毯内，配合采集电路与控制电路构成压力感应地毯放置房间内，测量人在房间的走动和跌倒状态。
在一实施例中，为增加跌倒检测的准确性，本发明还可以设置雷达传感器进行跌倒报警。雷达测量的优点有：非接触探测，不受温度、湿度、噪声、气流、尘埃、光线等影响，适合恶劣环境；抗射频干扰能力强；成本低，稳定性高；探测精度高。
雷达传感器可以采用AJ-SR0K-T-X双头超声波测距模块，其采用收发一体的防水带线探头，运用非接触试超声波探测技术设计而成。产品在5cm至800cm范围内，能够准确探测出与平面物体间的距离，并且在5cm至250cm范围内，能够准确测量到人体信息。
在实际应用中，雷达检测设备可以安装在房间屋顶上，从上往下通过雷达采集检测范围内的人体信息，并将信息发送到单片机上，单片机再通过无线蓝牙将信息发送到云端系统，由云端系统进行跌倒行为的计算、判定。
下面分别结合温度数据、压力数据及雷达数据，详细阐述跌倒行为的判断过程。
A、根据温度数据分析跌倒行为。
参考图2，为本发明一具体实施例的温度数据分析流程示意图。如图2所示，具体流程为：
步骤S211，根据所述温度数据中每一帧温度图像得到温度图像中对应位置的温度分布方差，并在温度分布方差中查找最大方差Vmax i；其中，Vmax i为第i帧温度图像的最大方差；
在一具体实施例中，红外测温传感器每秒能传送10帧温度分布图像，每一帧温度图像可以使用矩阵Ti表示
其中，i表示当前图像是第i帧，a11i表示的是第i图像像素点(1,1)处的温度值。每幅温度图像都有64个像素点。
计算每个像素点在1秒内(10帧图像)温度变化的方差Vmni：
表示为第i帧图像时，像素点(m,n)在连续10帧图像内的平均温度值，因此可获得每幅温度图像的方差分布Vi：
求得Vi中的最大值Vmax i，Vmax i＝max(Vi)。
步骤S212，将Vmax i与第一阈值Vth进行比较；
若连续两帧温度图像满足Vmax i>Vth，判定检测区域中有人活动；
若连续两帧温度图像满足Vmax i≤Vth，则判定为无人活动状态。
关于第一阈值Vth，可以采用以下方式进行设定：在检测区域无人的情形下，记录一定时间内(如，整个装置连续运行3分钟)的最大温度分布方差并重复一定次数(如，重复该过程3次)，选取其中最大值作为第一阈值Vth。
步骤S213，在有人活动的情况下，根据对应的温度图像提取运动最大帧数Kmov、最大方差Vmax、最大像素点数ρmax及形态特征在内的特征数据Rmax。
首先，在有人活动的情况下，记录出现Vmax i>Vth时的数据帧为kstart帧，连续获取温度帧并计算温度分布方差，直到出现Vmax i≤Vth，记录当前帧为kend帧。
运动最大帧数Kmov：
根据kstart帧及kend帧，计算得到运动最大帧数Kmov，计算式为：
Kmov＝kend-kstart+1；
最大方差Vmax：
在(kstart,kend)之间所有帧的最大温度分布方差Vmax i中查找最大值，得到最大方差Vmax；
最大像素点数ρmax：
根据(kstart,kend)之间所有帧的温度分布方差，计算每帧中多个单像素点的方差超过第一阈值最多的像素点数，得到最大像素点数ρmax；
在本实施例中，每帧中单像素点的总个数为64个。
形态特征Rmax：
根据每一帧温度图像，将图像中每一区域的温度分布值进行排列，忽略温度分布值小于温度阈值的部分，计算保留部分的温度平均值Mi；
将保留部分的图像中大于Mi的像素点记录为高温点，统计高温点在温度图像中的分布，并选取其中最大的4连通区域，得到区域的面积、长度和宽度；
根据所述区域的面积、长度和宽度，计算形态数据：
式中，R为形态数据；S为面积；L为长度；W为宽度；
在(kstart,kend)之间的形态数据R中选取最大值，得到形态特征Rmax。
步骤S31：
采集跌倒样本与非跌倒样本，构建训练样本；
步骤S41：
将所述运动最大帧数Kmov、最大方差Vmax，最大像素点数ρmax及形态特征Rmax与训练样本进行比对，采用KNN分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
B、根据压力数据分析跌倒行为。
参考图3，为本发明一具体实施例的压力数据分析流程示意图。如图3所示，具体流程为：
步骤S221，采集用户的站姿压力平均值及坐姿压力平均值；其中，
获取用户静止站立一定时间的压力数据向量Psta i(i＝1,2,...,n)，站姿压力平均值表示为：
获取用户静止坐一定时间的压力数据向量Psit i(i＝1,2,...,n)，坐姿压力平均值表示为：
步骤S222，根据所述用户的站姿压力平均值及坐姿压力平均值，提取步频特征E1、最大步频波动特征E2、最大步频幅值特征E3及极小压力值特征E4在内的特征数据。
步频特征E1：
获取一定时间内的压力数据Pi(i＝1,2,...,n)，计算压力数据Pi对应的压力变化曲线与站姿压力平均值ysta对应的压力线的交点D，步频特征E1表示为：
E1＝count(D)；
最大步频波动特征E2：
参考图4，为本发明一具体实施例的站姿、坐姿及用户的压力数据关系示意图。如图4所示，在交点D中选取满足Pi≤Pi+1且i最小的交点D1，及满足Pi≥Pi+1且i最大的交点D2，计算位于D1和D2之间的压力数据Pi'(i＝D1,...,D2)的平均值最大步频波动特征E2表示为：
根据压力数据Pi，计算压力数据Pi对应的压力变化曲线与坐姿压力平均值ysit对应的压力线的交点S(在图4中为S2)，其中，交点S满足Pi≥Pi+1且i最大；
最大步频幅度特征E3：
根据交点D2及交点S，计算位于D2和S之间的压力数据Pi”(i＝D2,...,S)的平均值最大步频幅度特征E3表示为：
极小压力值特征E4：
根据压力数据Pi及坐姿压力平均值，计算在整个时间窗口采集的压力数据小于坐姿平均压力值的点pi的个数，极小压力值特征E4表示为：
E4＝count(pi)；0≤pi≤psit,i∈[0,n]。
在本实施例中，时间窗口可以设置为2秒来截取压力信号数据，计算站姿和坐姿压力平均值的时间选为10秒。
步骤S32：
采集跌倒样本与非跌倒样本，构建训练样本；
步骤S42：
将所述步频特征E1、最大步频波动特征E2、最大步频幅度特征E3及极小压力值特征E4与训练样本进行比对，采用KNN分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
C、根据雷达数据分析跌倒行为。
参考图5，为本发明一具体实施例的雷达数据分析流程示意图。如图5所示，雷达数据分析流程为：
根据所述雷达数据，判断人体高度和位移数据的变化，判断是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
在本实施例中，具体过程包括：
步骤S51，设置雷达探测频率(如，10Hz)，根据所述雷达探测频率测量检测区域中的人体高度数据和位移数据；
步骤S52，根据检测到的人体高度数据和位移数据进行除噪，得到有效数据；其中，在进行除燥时，可以将每个数据与其前后三个数据对比，如果变化过大认为是测量噪声不予考虑。
步骤S53，计算所述有效数据(10个)的平均值，得到所述检测区域中的人体的人体高度和位移数据；
步骤S54，根据所述人体高度和位移数据判断是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
进一步的，在本发明实施例中进行跌倒检测时，还包括：
步骤S6，根据温度数据、压力数据及雷达数据的跌倒检测结果，判断是否存在跌倒行为；其中，
若温度数据、压力数据及雷达数据的跌倒检测结果均为发生跌倒行为，判定用户已跌到，进行报警；
若温度数据、压力数据及雷达数据的跌倒检测结果至少有一项为未发生跌倒行为，判定用户未跌倒。
表达式为：
如同时满足上述条件，则认为用户已跌倒，需进行报警，否则认为发生跌倒风险较小。
需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
在介绍了本发明示例性实施方式的方法之后，接下来，参考图6对本发明示例性实施方式的利用多传感器融合的人体跌倒检测系统进行介绍。
利用多传感器融合的人体跌倒检测系统的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
基于同一发明构思，本发明还提出了一种利用多传感器融合的人体跌倒检测系统，如图6所示，该系统包括：
人体相关数据采集模块610，用于通过多种传感器采集人体相关数据，其中所述人体相关数据至少包括温度数据及压力数据；
特征提取模块620，用于提取所述温度数据及压力数据中的特征数据；
样本构建模块630，用于采集跌倒样本与非跌倒样本，构建训练样本；
跌倒行为检测模块640，用于将所述特征数据与训练数据进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
在一实施例中，所述人体相关数据采集模块610通过多种传感器采集的人体相关数据还包括：雷达数据；
其中，所述多种传感器至少包括：温度传感器、压力传感器及雷达传感器。
相应的，所述跌倒行为检测模块640还用于：
根据所述雷达数据，判断人体高度和位移数据的变化，判断是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
本发明的利用多传感器融合的人体跌倒检测系统在硬件上使用了多种传感器，包括压力传感器、红外传感器、雷达传感器，组成了一个多维采集网络，各个节点的数据具有统一的时间标签；同时服务器端的智能算法对不同传感器节点数据进行统一管理、分析、应用、计算，做出人体姿态的判断，并在跌倒时发出报警信息。
应当注意，尽管在上文详细描述中提及了利用多传感器融合的人体跌倒检测系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
基于前述发明构思，如图7所示，本发明还提出了一种计算机设备700，包括存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序730，所述处理器720执行所述计算机程序730时实现前述利用多传感器融合的人体跌倒检测方法。
基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述利用多传感器融合的人体跌倒检测方法。
为了对上述利用多传感器融合的人体跌倒检测方法及系统进行更为清楚的解释，下面结合一个具体的实施例来进行说明，然而值得注意的是该实施例仅是为了更好地说明本发明，并不构成对本发明不当的限定。
参考图8，为本发明一具体实施例的利用多传感器融合对人体跌倒进行检测报警的关系示意图。
如图8所示，在养老社区中，为了及时发现与救治跌倒老人，可以在老人的活动区域内设置多种传感器(压力、温度、雷达传感器等)，该些传感器仅采集人体的一些相关数据，可以较好的保护隐私。
在前端设备上，压力传感器、红外传感器、雷达传感器及相关的边缘计算设备可以组成多维采集网络，各个节点的数据具有统一的时间标签；同时，后台服务器端的智能算法对不同传感器节点数据进行统一管理、分析、应用、计算，做出人体姿态的判断，并在跌倒时发出报警信息，及时通知护理人对跌倒老人进行救治。
本发明提出的利用多传感器融合的人体跌倒检测方法及系统，利用多种传感器采集人体相关数据，并提取其中的特征数据，将所述特征数据与训练数据进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警，整体方案通过融合多种传感器，实现对多维数据的统筹使用及分析计算，能够在复杂环境下准确的进行跌倒检测，在保证方案具备低成本特性的同时有效降低漏报率和误报率，为用户提供更好的使用体验。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种利用多传感器融合的人体跌倒检测方法，其特征在于，该方法包括：
利用多种传感器采集人体相关数据，其中所述人体相关数据至少包括温度数据及压力数据；
提取所述温度数据及压力数据中的特征数据；
采集跌倒样本与非跌倒样本，构建训练样本；
将所述特征数据与训练样本进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警；
其中，提取所述压力数据中的特征数据，包括：
采集用户的站姿压力平均值及坐姿压力平均值；其中，
获取用户静止站立一定时间的压力数据向量Psta i，i＝1,2,...,n，站姿压力平均值表示为：
获取用户静止坐一定时间的压力数据向量Psit x，x＝1,2,...,m，坐姿压力平均值表示为：
根据所述用户的站姿压力平均值及坐姿压力平均值，提取步频特征、最大步频波动特征、最大步频幅值特征及极小压力值特征在内的特征数据；
其中，根据所述用户的站姿压力平均值及坐姿压力平均值，提取步频特征、最大步频波动特征、最大步频幅值特征及极小压力值特征在内的特征数据，包括：
获取一定时间内的压力数据Py，y＝1,2,...,l，计算压力数据Py对应的压力变化曲线与站姿压力平均值ysta对应的压力线的交点D，步频特征E1表示为：
E1＝count(D)；
在交点D中选取满足Py≤Py+1且y最小的交点D1，及满足Py≥Py+1且y最大的交点D2，计算位于D1和D2之间的压力数据Py'的平均值最大步频波动特征E2表示为：
根据压力数据Py，计算压力数据Py对应的压力变化曲线与坐姿压力平均值ysit对应的压力线的交点S，其中，交点S满足Py≥Py+1且y最大；
根据交点D2及交点S，计算位于D2和S之间的压力数据Py”的平均值最大步频幅度特征E3表示为：
根据压力数据Py及坐姿压力平均值，计算在整个时间窗口采集的压力数据小于坐姿压力平均值的点pz的个数，极小压力值特征E4表示为：
E4＝count(pz)；0≤pz≤ysit，z∈[0,j]；
其中，将所述特征数据与训练样本进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警，包括：
将所述步频特征E1、最大步频波动特征E2、最大步频幅度特征E3及极小压力值特征E4与训练样本进行比对，采用KNN分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
2.根据权利要求1所述的方法，其特征在于，提取所述温度数据中的特征数据，包括：
根据所述温度数据中每一帧温度图像得到温度图像中对应位置的温度分布方差，并在温度分布方差中查找最大方差Vmax；
将Vmax h与第一阈值Vth进行比较；其中，Vmax h为第h帧温度图像的最大温度分布方差；
若连续两帧温度图像满足Vmax h>Vth，判定检测区域中有人活动；
在有人活动的情况下，根据对应的温度图像提取运动最大帧数、最大方差、最大像素点数及形态特征在内的特征数据。
3.根据权利要求2所述的方法，其特征在于，在有人活动的情况下，根据对应的温度图像提取运动最大帧数、最大方差、最大像素点数及形态特征在内的特征数据，包括：
在有人活动的情况下，记录出现Vmax h>Vth时的数据帧为kstart帧，连续获取温度帧并计算温度分布方差，直到出现Vmax h≤Vth，记录当前帧为kend帧；
根据kstart帧及kend帧，计算得到运动最大帧数Kmov，计算式为：
Kmov＝kend-kstart+1；
在kstart和kend之间所有帧的最大温度分布方差Vmax h中查找最大值，得到最大方差Vmax；
根据kstart和kend之间所有帧的温度分布方差，计算每帧中多个单像素点的方差超过第一阈值最多的像素点数，得到最大像素点数ρmax；
根据每一帧温度图像，将图像中每一区域的温度分布方差进行排列，忽略温度分布方差小于阈值的部分，计算保留部分的温度平均值Mh；
将保留部分的图像中大于Mh的像素点记录为高温点，统计高温点在温度图像中的分布，并选取其中最大的4连通区域，得到区域的面积、长度和宽度；
根据所述区域的面积、长度和宽度，计算形态数据：
式中，R为形态数据；S'为面积；L为长度；W为宽度；
在(kstart,kend)之间的形态数据R中选取最大值，得到形态特征Rmax。
4.根据权利要求2所述的方法，其特征在于，该方法还包括：
在检测区域无人的情形下，记录一定时间内的最大温度分布方差并重复一定次数，选取其中最大值作为第一阈值Vth。
5.根据权利要求3所述的方法，其特征在于，将所述特征数据与训练样本进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警，包括：
将所述运动最大帧数Kmov、最大方差Vmax、最大像素点数ρmax及形态特征Rmax与训练样本进行比对，采用KNN分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
6.根据权利要求1所述的方法，其特征在于，利用多种传感器采集的人体相关数据还包括：雷达数据；
该方法还包括：
根据所述雷达数据，判断人体高度和位移数据的变化，判断是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
7.根据权利要求6所述的方法，其特征在于，根据所述雷达数据，判断人体高度和位移数据的变化，判断是否存在跌倒行为，并在检测到发生跌倒行为时进行报警，包括：
设置雷达探测频率，根据所述雷达探测频率测量检测区域中的人体高度和位移数据；
根据检测到的人体高度和位移数据进行除噪，得到有效数据；
计算所述有效数据的平均值，得到所述检测区域中的人体高度和位移数据；
根据所述人体高度和位移数据判断是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
8.根据权利要求7所述的方法，其特征在于，该方法还包括：
根据温度数据、压力数据及雷达数据的跌倒检测结果，判断是否存在跌倒行为；其中，
若温度数据、压力数据及雷达数据的跌倒检测结果均为发生跌倒行为，判定用户已跌倒，进行报警；
若温度数据、压力数据及雷达数据的跌倒检测结果至少有一项为未发生跌倒行为，判定用户未跌倒。
9.一种利用多传感器融合的人体跌倒检测系统，其特征在于，该系统包括：
人体相关数据采集模块，用于通过多种传感器采集人体相关数据，其中所述人体相关数据至少包括温度数据及压力数据；
特征提取模块，用于提取所述温度数据及压力数据中的特征数据；
样本构建模块，用于采集跌倒样本与非跌倒样本，构建训练样本；
跌倒行为检测模块，用于将所述特征数据与训练样本进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警；
其中，特征提取模块，提取所述压力数据中的特征数据，包括：
采集用户的站姿压力平均值及坐姿压力平均值；其中，
获取用户静止站立一定时间的压力数据向量Psta i，i＝1,2,...,n，站姿压力平均值表示为：
获取用户静止坐一定时间的压力数据向量Psit x，x＝1,2,...,m，坐姿压力平均值表示为：
根据所述用户的站姿压力平均值及坐姿压力平均值，提取步频特征、最大步频波动特征、最大步频幅值特征及极小压力值特征在内的特征数据；
其中，根据所述用户的站姿压力平均值及坐姿压力平均值，提取步频特征、最大步频波动特征、最大步频幅值特征及极小压力值特征在内的特征数据，包括：
获取一定时间内的压力数据Py，y＝1,2,...,l，计算压力数据Py对应的压力变化曲线与站姿压力平均值ysta对应的压力线的交点D，步频特征E1表示为：
E1＝count(D)；
在交点D中选取满足Py≤Py+1且y最小的交点D1，及满足Py≥Py+1且y最大的交点D2，计算位于D1和D2之间的压力数据Py'的平均值最大步频波动特征E2表示为：
根据压力数据Py，计算压力数据Py对应的压力变化曲线与坐姿压力平均值ysit对应的压力线的交点S，其中，交点S满足Py≥Py+1且y最大；
根据交点D2及交点S，计算位于D2和S之间的压力数据Py”的平均值最大步频幅度特征E3表示为：
根据压力数据Py及坐姿压力平均值，计算在整个时间窗口采集的压力数据小于坐姿压力平均值的点pz的个数，极小压力值特征E4表示为：
E4＝count(pz)；0≤pz≤ysit，z∈[0,j]；
其中，跌倒行为检测模块，用于将所述特征数据与训练样本进行比对，采用分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警，包括：
将所述步频特征E1、最大步频波动特征E2、最大步频幅度特征E3及极小压力值特征E4与训练样本进行比对，采用KNN分类器检测出是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
10.根据权利要求9所述的系统，其特征在于，所述人体相关数据采集模块通过多种传感器采集的人体相关数据还包括：雷达数据；
所述跌倒行为检测模块还用于：
根据所述雷达数据，判断人体高度和位移数据的变化，判断是否存在跌倒行为，并在检测到发生跌倒行为时进行报警。
11.根据权利要求10所述的系统，其特征在于，所述多种传感器至少包括：温度传感器、压力传感器及雷达传感器。
12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一所述方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至8任一所述方法。
CN202110047562.1A 2021-01-14 2021-01-14 一种利用多传感器融合的人体跌倒检测方法及系统 Active CN112784890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110047562.1A CN112784890B (zh) 2021-01-14 2021-01-14 一种利用多传感器融合的人体跌倒检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110047562.1A CN112784890B (zh) 2021-01-14 2021-01-14 一种利用多传感器融合的人体跌倒检测方法及系统

Publications (2)

Publication Number Publication Date
CN112784890A CN112784890A (zh) 2021-05-11
CN112784890B true CN112784890B (zh) 2024-01-26

Family

ID=75755933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110047562.1A Active CN112784890B (zh) 2021-01-14 2021-01-14 一种利用多传感器融合的人体跌倒检测方法及系统

Country Status (1)

Country Link
CN (1) CN112784890B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017049957A1 (zh) * 2015-09-25 2017-03-30 广东乐源数字技术有限公司 智能跌倒监护装置及其处理方法
CN106781278A (zh) * 2017-02-04 2017-05-31 华南理工大学 一种基于多传感器数据融合的跌倒检测方法及装置
CN109171734A (zh) * 2018-10-18 2019-01-11 中国科学院重庆绿色智能技术研究院 基于多传感器数据融合的人体行为分析云管理系统
CN110781808A (zh) * 2019-10-23 2020-02-11 泰康保险集团股份有限公司 跌倒检测方法、装置、设备及存储介质
CN111166342A (zh) * 2020-01-07 2020-05-19 四川宇然智荟科技有限公司 一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017049957A1 (zh) * 2015-09-25 2017-03-30 广东乐源数字技术有限公司 智能跌倒监护装置及其处理方法
CN106781278A (zh) * 2017-02-04 2017-05-31 华南理工大学 一种基于多传感器数据融合的跌倒检测方法及装置
CN109171734A (zh) * 2018-10-18 2019-01-11 中国科学院重庆绿色智能技术研究院 基于多传感器数据融合的人体行为分析云管理系统
CN110781808A (zh) * 2019-10-23 2020-02-11 泰康保险集团股份有限公司 跌倒检测方法、装置、设备及存储介质
CN111166342A (zh) * 2020-01-07 2020-05-19 四川宇然智荟科技有限公司 一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法

Also Published As

Publication number Publication date
CN112784890A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
US10080513B2 (en) Activity analysis, fall detection and risk assessment systems and methods
Liu et al. A fall detection system using k-nearest neighbor classifier
Li et al. Fall detection for elderly person care using convolutional neural networks
Chua et al. A simple vision-based fall detection technique for indoor video surveillance
CN103930027B (zh) 用于监测患者并检测该患者的谵妄的监测系统
US9408561B2 (en) Activity analysis, fall detection and risk assessment systems and methods
Mohammadmoradi et al. Measuring people-flow through doorways using easy-to-install ir array sensors
CN111898580B (zh) 针对戴口罩人群的体温和呼吸数据采集系统、方法及设备
Chen et al. Remote recognition of in-bed postures using a thermopile array sensor with machine learning
JP6425261B2 (ja) 赤外線アレイセンサを用いた行動検知システムと方法
CN104269025B (zh) 面向户外摔倒监测的穿戴式单节点特征及位置选取方法
Aich et al. Design of a Machine Learning‐Assisted Wearable Accelerometer‐Based Automated System for Studying the Effect of Dopaminergic Medicine on Gait Characteristics of Parkinson’s Patients
Yang et al. Fall detection system based on infrared array sensor and multi-dimensional feature fusion
Planinc et al. Robust fall detection by combining 3D data and fuzzy logic
Naser et al. Privacy-preserving, thermal vision with human in the loop fall detection alert system
Amir et al. Real-time threshold-based fall detection system using wearable IoT
Sowmyayani et al. Fall detection in elderly care system based on group of pictures
Wang et al. A deep learning-based high-temperature overtime working alert system for smart cities with multi-sensor data
CN112784890B (zh) 一种利用多传感器融合的人体跌倒检测方法及系统
Bansal et al. Elderly people fall detection system using skeleton tracking and recognition
CN107669282A (zh) 基于面部识别的测谎仪
Pogorelc et al. Discovery of gait anomalies from motion sensor data
Howedi et al. Accelerometer-based human fall detection using fuzzy entropy
Zhang et al. Experiments with computer vision methods for fall detection
Hsu et al. Abnormal behavior detection with fuzzy clustering for elderly care

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant