CN111950575A - 用于跌倒检测的设备及其方法 - Google Patents

用于跌倒检测的设备及其方法 Download PDF

Info

Publication number
CN111950575A
CN111950575A CN201910410447.9A CN201910410447A CN111950575A CN 111950575 A CN111950575 A CN 111950575A CN 201910410447 A CN201910410447 A CN 201910410447A CN 111950575 A CN111950575 A CN 111950575A
Authority
CN
China
Prior art keywords
feature
layer
pooling layer
maximum
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910410447.9A
Other languages
English (en)
Inventor
郑森圭
刘子坤
杨杰
文伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecom R&D Center
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201910410447.9A priority Critical patent/CN111950575A/zh
Publication of CN111950575A publication Critical patent/CN111950575A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种用于跌倒检测的设备及其方法。用于跌倒检测的设备包括:特征提取器,被配置为基于用户的加速度数据来提取特征向量;以及分类器,被配置为根据提取的特征向量来确定用户是否跌倒。通过本公开的设备和方法,提高了对用户在不同方向、不同时刻发生的跌倒行为的检测率,并且能够对实际生活中的多种场景下的非跌倒行为进行准确判断。

Description

用于跌倒检测的设备及其方法
技术领域
本公开涉及人工智能领域,更具体地,涉及一种用于检测用户是否跌倒的设备及其方法。
背景技术
近来,随着微电子及传感技术的发展,基于加速度传感器、陀螺仪传感器、气压传感器等多传感器的可穿戴式跌倒检测系统成为目前国内外研究跌倒检测的主要趋势。国内外许多公司、高校以及科研机构进行了大量关于跌倒检测的开发,其中,一些跌倒检测的设备已经研制成产品并投入使用。
然而,现有的跌倒检测模型仍存在很多缺陷。例如,现有的传感器跌倒特征提取方法所提取的特征不能真正做到区分跌倒与非跌倒行为。主要因为现有的跌倒特征提取方法大多数是基于研究人员实验和经验的人工提取法,因此所提取的特征受限于研究人员对跌倒行为的认知。此外,现有的跌倒检测模型在实验数据集上表现良好,然而在现实生活中的许多场景上,模型检测效果很差,这是由于模型泛化能力(模型对于训练样本中没有出现过的数据能够做出准确判断的能力)不足所导致的,因此,现有的特征提取方法所提取的特征向量无法在各种场景下保持适用性。
发明内容
本公开的示例性实施例提供了一种用于检测用户是否跌倒的设备及其方法,至少解决上述技术问题和上文未提及的其它技术问题,并且提供下述的有益效果。
本公开的一方面在于提供一种用于跌倒检测的设备,所述设备可以包括:特征提取器,被配置为基于用户的加速度数据来提取特征向量;以及分类器,被配置为根据提取的特征向量来确定用户是否跌倒。
特征提取器可以被配置为基于用户的加速度数据使用最大最小池化层来提取特征向量,其中,最大最小池化层包括最大池化层和最小池化层,并且根据最大池化层的输出和最小池化层的输出来提取特征向量。
可选地,特征提取器还可以被配置为将利用最大最小池化层提取的特征向量输入到特征排序层进行特征对齐处理,其中,特征排序层包括展平层和对齐层,展平层将输入的数据变换为一维特征向量,对齐层将所述一维特征向量按照特定顺序进行排序。
此外,特征提取器可以被配置为基于用户的加速度数据使用深度学习网络来提取特征向量,其中,所述深度学习网络包括:卷积层;以及最大最小池化层和特征排序层中的至少一个。
在使用所述深度学习网络的情况下,特征提取器可以被配置为:将获取的加速度数据输入到卷积层以进行初步特征提取,将获得的初步特征输入到最大最小池化层和特征排序层中的至少一个来进一步进行处理。
当将获得的初步特征输入到最大最小池化层中时,对获得的初步特征进一步进行特征提取,以获得梯度特征。
所述深度学习网络的参数通过基于跌倒行为与非跌倒行为的类间可分性以及跌倒行为的类内紧致性的特定损失函数训练得到。本公开的另一方面在于提供一种用于跌倒检测的方法,所述方法可以包括以下步骤:基于用户的加速度数据来提取特征向量;并且根据提取的特征向量来确定用户是否跌倒。
提取特征向量的步骤可以包括基于用户的加速度数据使用最大最小池化层来提取特征向量,其中,最大最小池化层包括最大池化层和最小池化层,并且根据最大池化层的输出和最小池化层的输出来提取特征向量。
可选地,提取特征向量的步骤还包括:将利用最大最小池化层提取的特征向量输入到特征排序层进行特征对齐处理,其中,所述排序层包括展平层和对齐层,展平层将输入的数据变换为一维特征向量,对齐层将所述一维特征向量按照特定顺序进行排序。
此外,提取特征向量的步骤可以包括基于用户的加速度数据使用深度学习网络来提取特征向量,其中,所述深度学习网络包括:卷积层;最大最小池化层和特征排序层中的至少一个。
在使用所述深度学习网络的情况下,提取特征向量的步骤可以包括:将用户的加速度数据输入到卷积层以进行初步特征提取,将获得的初步特征输入到最大最小池化层和特征排序层中的至少一个来进一步进行处理。当将获得的初步特征输入到最大最小池化层中时,对获得的初步特征进一步进行特征提取,以获得梯度特征。当将获得的初步特征输入到特征排序层中时,对获得的初步特征进行特征对齐处理。
所述深度学习网络的参数通过基于跌倒行为与非跌倒行为的类间可分性以及跌倒行为的类内紧致性的特定损失函数训练得到。
本公开的另一方面在于提供一种计算机可读存储介质,存储有程序,所述程序可包括用于执行以上所述的用于跌倒检测的方法的指令。
本公开的另一方面在于提供一种计算机,包括存储有计算机程序的可读介质和处理器,当所述处理器运行所述计算机程序时执行以上所述的用于跌倒检测的方法的指令。
基于以上描述的方法和设备,能够有效提高对不同方向、不同时刻发生的跌倒行为的检测率,同时还能够对实际生活中多种不同场景下的非跌倒行为进行准确判断,从而降低了在实际应用中的漏检率和误判率,极大地改善了跌倒检测系统的实用性。
附图说明
通过结合附图,从实施例的下面描述中,本公开这些和/或其它方面及优点将会变得清楚,并且更易于理解,其中:
图1是根据本公开的示例性实施例的用于跌倒检测的设备的框图;
图2是根据本公开的示例性实施例的最大最小池化层的结构的示图;
图3是根据本公开的示例性实施例的特征排序层的结构的示图;
图4是根据本公开的示例性实施例的用于跌倒检测的方法的流程图;
图5是根据本公开的示例性实施例的不同方向的跌倒行为的加速度信号曲线图;
图6是根据本公开的示例性实施例的不同时刻的跌倒行为的加速度信号曲线图;
图7是根据本公开的示例性实施例的使用深度学习网络进行跌倒检测的过程;
图8是根据本公开的示例性实施例的当用户发生跌倒时的示图。
具体实施方式
提供参照附图的以下描述以帮助对由权利要求及其等同物限定的本公开的实施例的全面理解。包括各种特定细节以帮助理解,但这些细节仅被视为是示例性的。因此,本领域的普通技术人员将认识到在不脱离本公开的范围和精神的情况下,可对描述于此的实施例进行各种改变和修改。此外,为了清楚和简洁,省略对公知的功能和结构的描述。
在下文中,根据本公开的各种实施例,将参照附图对本公开的设备以及方法进行描述。
图1是根据本公开的示例性实施例的用于跌倒检测的设备的框图。
根据本公开的用于跌倒检测的设备100可以被实现为或被应用于智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器、MP3播放器、移动医疗装置、相机或可穿戴装置等中的至少一个,但不限于此。根据本公开的实施例,可穿戴装置可包括配件型装置(例如,手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式装置)、织物或衣物集成装置(例如,电子衣服)、身体附着型装置(例如,皮肤垫或纹身)或身体可植入装置(例如,可植入电路)等中的至少一个,但不限于此。
参照图1,用于跌倒检测的设备100可以包括特征提取器101以及分类器102。特征提取器101可以根据用户的加速度数据使用深度学习网络来提取特征向量。分类器102可以根据提取的特征向量来确定用户是否跌倒。根据本公开的设备100中的每个元件可以由一个或多个元件来实现,并且对应元件的名称可根据元件的类型而变化。在各种实施例中,可以省略设备100中的一些元件,或者还可包括另外的元件。此外,根据本公开的各种实施例的元件可以被组合以形成单个实体,并且因此可等效地执行相应元件在组合之前的功能。
在提取特征的过程中,现有的特征提取方法主要是人工特征提取法,包括时域特征提取法、频域特征提取法以及时频特征提取法等统计特征提取方法。虽然频域特征提取法和时频特征提取法提取的特征向量较为全面,但提取过程复杂且速度慢,而时域特征提取法提取过程相对简单、计算量小、速度快,但是在检测率方面表现不足。因此,这些方法在现实生活中的许多场景上会出现特征表现失灵,从而导致模型检测效果很差。究其原因,这些人工特征提取法主要是基于研究人员实验和经验基础根据加速度传感器采集的数据计算得到的,其受限于研究人员对跌倒行为的认知,尽管在实验数据中包含的场景表现良好,但是实验数据中不包含的场景就容易出现不适用的情况。
在现有技术中,一般采用加速度信号幅度矢量、加速度信号幅度域等特征来解决跌倒方向不确定性的问题,然而这些特征提取方法的不足之处在于丢失了部分有用信息,尤其是负信号信息;对于跌倒时刻不确定性问题,一般采用与时间无关的统计特征(诸如最大值、最小值、均值、中位数等),然而统计特征是离散特征,而加速度信号是连续数据,因此也会导致信息丢失,造成检测结果的准确率下降。
本公开借鉴深度学习方法的思想,从用户的加速度数据中提取特征向量,这样,由于采用数据驱动的特征提取方法,无需研究人员对跌倒行为的先验知识,所以能够对现实生活中的各种场景自动进行特征提取,所提取的特征向量便能够更加有效地区分跌倒行为与非跌倒行为。
根据本公开的实施例,特征提取器101可以基于用户的加速度数据使用最大最小池化层来提取特征向量,作为将被输入到分类器中的特征向量。作为示例,用户的加速度数据是三维加速度的原始数据。例如,当加速度数据的采样频率为100Hz,时间窗口为4.5s时,加速度数据的维度为3×450。然而,上述示例仅是示例性的,本公开不限于此。这里,最大最小池化层包括卷积网络中的最大池化层和最小池化层,并且根据最大池化层的输出和最小池化层的输出来提取特征向量。
当跌倒发生时,行为的数据特征一般由3维加速度传感器的一个或者多个轴来反映,取决于跌倒方向的不确定性。为了捕捉跌倒方向,我们提出了最大最小池化层来提取具有旋转不变性和反方向不变性的特征。
图2示出了最大最小池化层的结构。
如图2所示,最大最小池化层200包括最大池化层201和最小池化层202,并且将最大池化层201的输出减去最小池化层202的输出以获得最大最小池化层200的输出作为提取的特征向量。对于最大最小池化层200的结构设计,能够提高对不同方向的跌倒行为的检测率,从而解决跌倒方向不确定性的问题。
对于三维加速度输入信号(x,y,z),可以使用等式(1)来计算最大最小池化层200的输出:
f(x,y,z)=max(x,y,z)-min(x,y,z) (1)
其中,max(x,y,z)表示最大池化层201的输出,min(x,y,z)表示最小池化层202的输出。
通过本公开的最大最小池化层200能够解决如图5所示的用户跌倒方向的不确定性问题。图5示出了用户在不同方向跌倒时加速度信号在x、y、z三轴上的波动情况。横轴表示加速度信号发生的时间,纵轴表示加速度的大小。例如,图5的(a)示出了当用户向前跌倒时加速度信号的波动情况,可以看出加速度信号在y轴和z轴的波动表现更强烈,图5的(b)示出了当用户前后跌倒时的加速度信号的波动情况,并且图5的(c)示出了当用户侧向跌倒的情况。由此可见,不同跌倒方向的加速度信号在x、y、z三轴上表现出不同的波动曲线,从而确定用户的跌倒方向。
由于f(x,y,z)=f(x,z,y)=f(z,y,x),并且f(x,y,z)=f(-x,-y,-z)。上面两个等式说明最大最小池化层对x、y、z三轴数据是对称的(即f(x,y,z)=f(x,z,y)=f(z,y,x))并且具有反转换不变性(即f(x,y,z)=f(-x,-y,-z)),所以本公开的最大最小池化层能够解决用户跌倒方向的不确定性。
此外,特征提取器101还可以基于利用最大最小池化层提取的特征向量使用特征排序层进行特征对齐处理。这里,特征排序层包括展平层和对齐层,展平层将输入的数据变换为一维特征向量,对齐层将所述一维特征向量按照特定顺序进行排序。
跌倒可以在任意时刻发生。因此,我们设计了特征排序层在时间维度上对所提取的特征进行对齐。特征排序层是展平和排序两种操作的混合。
图3示出了特征排序层的结构。
如图3所示,特征排序层300包括展平层301和对齐层302,展平层301将输入的数据变换为一维特征向量,对齐层302将所述一维特征向量按照特定顺序进行排序。对于特征排序层300的网络结构设计,能够提高对不同时刻的跌倒行为的检测率,从而解决跌倒时刻不确定性的问题。
例如,在获得经过最大最小池化层输出的特征(可以被称为梯度特征)后,将梯度特征输入到特征排序层中。特征排序层300的结构如图3所示,将梯度特征输入到展平层301,通过展平层301将特征图拉伸为一维特征向量,然后将一维特征向量输入到对齐层302,通过对齐层302将一维特征向量按照从小到大或者从大到小的顺序进行排序。特征排序层主要用于对齐特征。
当用户跌倒的时刻发生变化时,跌倒过程所对应的特征在特征向量中所处的位置也发生了变化,而排序的作用打乱了全部特征在特征向量的位置,使得这些特征不是按照所发生的时刻进行排序,而是按照特征的明显程度进行排序,这样有利于解决跌倒时刻不确定性的问题。
通过本公开的特征排序层能够解决如图6所示的用户跌倒时刻的不确定性问题。例如,图6的(a)、(b)、(c)、(d)示出了用户在不同时刻跌倒时的加速度信号在x、y、z三轴上表现的不同波动曲线,即当用户发生跌倒时,加速度信号在x、y、z三轴上表现的波动曲线与未发生跌倒时的加速度信号的波动有着明显的差别。然而,图6的(a)、(b)、(c)、(d)示出的波动曲线仅是示例性的。
在本公开中,特征提取器101可以根据用户的加速度数据使用深度学习网络来提取特征向量。根据本公开的实施例,深度学习网络可以包括最大最小池化层200和特征排序层300中的至少一个以及卷积层,这里,深度学习网络采用卷积神经网络作为骨干结构,然后添加上最大最小池化层和特征排序层中的至少一个。
在深度学习网络包括最大最小池化层200和卷积层的情况下,特征提取器101可以将用户的加速度数据输入到卷积层以获得初步特征,并且将初步特征输入到最大最小池化层200来获得将被输入到分类器中的特征向量。
例如,在获得用户的加速度数据后,利用深度学习网络中的卷积核对加速度数据进行卷积运算,从而得到初步特征。应注意的是,在进行卷积运算中,使用的卷积核以及移动步长等参数并非人为确定,而是使用本公开的损失函数进行训练优化确定的,本公开的损失函数将在后面进行详细描述。在获得经过卷积运算的数据(即经过卷积层的特征)后,将该数据输入到最大最小池化层200中。最大最小池化层200的结构如图2所示,将输入的特征分别输入到最大池化层201和最小池化层202,然后将最大池化层201的输出和最小池化层202的输出相减以获得最大最小池化层200的输出,作为将被输入到分类器102中的特征向量。
在深度学习网络包括特征排序层300和卷积层的情况下,特征提取器101可以将用户的加速度数据输入到卷积层以获得初步特征,并且将初步特征输入到特征排序层300对获得的初步特征进行排序。
例如,在获得用户的加速度数据后,利用深度学习网络中的卷积核对加速度数据进行卷积运算,从而得到初步特征。应注意的是,在进行卷积运算中,使用的卷积核以及移动步长等参数并非人为确定,而是使用本公开的损失函数进行训练优化确定的,本公开的损失函数将在后面进行详细描述。在获得经过卷积运算的数据(即经过卷积层的特征)后,将该数据输入到特征排序层中。特征排序层300的结构如图3所示,将初步特征输入到展平层301,通过展平层301将特征图拉伸为一维特征向量,然后将一维特征向量输入到对齐层302,通过对齐层302将一维特征向量按照从小到大或者从大到小的顺序进行排序。特征排序层主要用于对齐特征。
当用户跌倒的时刻发生变化时,跌倒过程所对应的特征在特征向量中所处的位置也发生了变化,而排序的作用打乱了全部特征在特征向量的位置,使得这些特征不是按照所发生的时刻进行排序,而是按照特征的明显程度进行排序,这样有利于解决跌倒时刻不确定性的问题。
在深度学习网络包括最大最小池化层200、特征排序层300和卷积层的情况下,特征提取器101可以将获取的加速度数据输入到卷积层以获得初步特征,将初步特征输入到最大最小池化层200并将最大最小池化层的输出输入到特征排序层300来获得将被输入到分类器的特征向量。换句话说,为了很好地提取能够区分跌倒行为和正常行为(非跌倒)的区别性特征,我们采用卷积神经网络作为骨干结构来提取底层特征,使用最大最小池化层和特征排序层作为更高层来提取区别性特征。
例如,在获得用户的加速度数据后,利用深度学习网络中的卷积核对加速度数据进行卷积运算,从而得到初步特征。应注意的是,在进行卷积运算中,使用的卷积核以及移动步长等参数并非人为确定,而是使用本公开的损失函数进行训练优化确定的,本公开的损失函数将在后面进行详细描述。在获得经过卷积运算的数据后,将该数据输入到最大最小池化层200的最大池化层201和最小池化层202中,利用等式(1)对该数据进行计算,以得到梯度特征向量(即最大最小池化层的输出),然后将梯度特征向量输入到特征排序层300的展平层301,通过展平层301将梯度特征向量拉伸为一维特征向量,然后将一维特征向量输入到特征排序层的对齐层302,通过对齐层302将一维特征向量按照从小到大或者从大到小的顺序进行排序,从而获得将被输入到分类器中的特征向量。
在获得最终的特征向量(将被输入到分类器的特征向量)后,将最终的特征向量输入到分类器102,分类器102可以根据提取的特征向量来确定用户是否跌倒。根据本公开的实施例,分类器102可以由K近邻法实现。然而,本公开不限于此。
此外,在使用深度学习网络来提取特征向量的情况下,本公开的用于跌倒检测的设备100还可以包括参数优化器103(未示出)。参数优化器103可以根据提取的特征向量,利用特定损失函数来训练优化深度学习网络的参数,例如,卷积核的参数、卷积核的移动步长等。
为了提取出能够有效区分跌倒行为和非跌倒行为的特征,所提取的跌倒特征必须具有类别可分性。最为常见的类别可分性测度是距离测度:类内距离和类间距离。在提取特征时,一般的原则是使类内距离尽量小,类间距离尽量大。由于不同场景、不同角度下人们的跌倒行为具有相似性,因此,对于跌倒行为而言,可以使用“类内距离最小化”的原则进行特征提取;而由于非跌倒行为多种多样,例如走路、跑步、跳跃等,因此,非跌倒行为并不具有相似性,对于非跌倒行为而言,不适合使用“类内距离最小化”的原则进行特征提取。
因此,本公开中的损失函数是基于跌倒行为与非跌倒行为的类间可分性以及跌倒行为的类内紧致性被定义的,这里,所述类内紧致性表示类内距离的最小化特性,即使类内距离尽量最小。
本公开的损失函数可以由等式(2)表示:
Loss=Lossin+Lossout (2)
其中,
Figure BDA0002062648640000091
Figure BDA0002062648640000092
其中,v表示所述深度学习网络输出的特征向量;xi表示跌倒样本;
Figure BDA0002062648640000093
表示跌倒样本的类中心;lx为超参数,用于过滤与跌倒样本的类中心距离较近的跌倒样本;
Figure BDA0002062648640000094
Figure BDA0002062648640000095
表示满足
Figure BDA0002062648640000096
的跌倒样本数量;yi表示非跌倒样本;ly为超参数,用于过滤与跌倒样本的类中心距离较远的非跌倒样本,且满足0≤lx<ly≤1;
Figure BDA0002062648640000101
表示满足
Figure BDA0002062648640000102
的非跌倒样本数量。
例如,假设深度学习网络输出的特征向量为v={v1,v2,...,vp},每次训练过程中的跌倒样本为{x1,x2,...xm},非跌倒样本为{y1,y2,...yn},因此跌倒样本的类中心为
Figure BDA0002062648640000103
然后根据上述Lossin和Lossout的定义,从而使总损失函数Loss的最小化优化网络参数。
本公开的损失函数的设计实际上借鉴了“异常值检验”的思想,即将跌倒行为看作一类,非跌倒行为看作跌倒行为的异常点,因此,能够使得所提取的特征向量适用于多种非跌倒场景,从而提高跌倒检测模型的鲁棒性。
可选地,设备100还可以包括加速度传感器104(未示出),这样,设备100可以直接经由自身来检测用户的加速度,从而获取用户的加速度数据。
此外,本公开的用于跌倒检测的设备100还可以包括报警器105(未示出)。当确定用户跌倒时,报警器105自动发出报警消息,使得跌倒的用户能够得到及时的救助。
图4是根据本公开的示例性实施例的用于跌倒检测的方法的流程图。
参照图4,在步骤S401,由加速度传感器从用户获取加速度数据。获取的加速度数据是三维加速度的原始数据。例如,当加速度数据的采样频率为100Hz,时间窗口为4.5s时,加速度数据的维度为3×450。
在步骤S402,基于获取的加速度数据来提取特征向量。
根据本公开的实施例,可以仅使用最大最小池化层从用户的加速度数据来将被输入到分类器中的特征向量。可选地,可以先将用户的加速度数据输入到最大最小池化层中以提取特征向量,然后将最大最小池化层的输出输入到特征排序层对提取的特征进行对齐处理。与使用深度学习方法提取特征的情况相比,在上述仅使用最大最小池化层或者使用最大最小池化层和特征排序层两者的情况下,能够大大减少计算量,加快计算速度。
可选地,在使用深度学习网络来提取特征向量的情况下,根据本公开的深度学习网络可以包括最大最小池化层200和特征排序层300中的至少一个以及卷积层,然而,本公开不排除现有的卷积网络中的其他层。
当深度学习网络包括卷积层和最大最小池化层时,由特征提取器101将获取的加速度数据输入到卷积层以获得初步特征,并且将初步特征输入到最大最小池化层来获得梯度特征向量,以作为将被输入到分类器中的特征向量。例如,在获得经过卷积层的特征后,可以使用等式(1)来计算最大最小池化层200的输出,作为将被输入到分类器中的特征向量。
当深度学习网络包括卷积层和特征排序层时,由特征提取器101将获取的加速度数据输入到卷积层以获得初步特征,并且将初步特征输入到特征排序层进行特征对齐处理以获得将被输入到分类器中的特征向量。例如,在获得经过卷积处理的特征后,可以通过展平层将经过卷积处理的特征变换为一维特征向量,然后对该一维特征向量进行排序,从而获得将被输入到分类器的特征向量。
当深度学习网络包括卷积层、最大最小池化层和特征排序层时,由特征提取器101将获取的加速度数据输入到卷积层以获得初步特征,将初步特征输入到最大最小池化层进一步进行特征提取来获得梯度特征向量,并且将所述梯度特征向量输入到特征排序层进行特征对齐处理来获得将被输入到分类器中的特征向量。
根据本公开的实施例,根据深度学习网络的不同结构来获得相应的特征向量。上述情况与参照图1说明的特征提取器101执行的操作相同,这里不再对此进行赘述。
在步骤S403,根据提取的特征向量来确定用户是否跌倒。例如,可以使用分类器根据提取的特征向量来确定用户是否跌倒。可以使用K近邻法作为跌倒检测的分类器。然而,本公开不限于此。
当确定用户跌倒时,进入步骤S404,由报警器105自动发出报警消息,以使跌倒的用户能够及时得到救助。当确定用户未跌倒时,返回步骤S401,继续获取用户的加速度信号,以实时地检测用户的跌倒行为。
以用户佩戴可穿戴装置(例如,智能手表)作为示例,对使用深度学习网络的跌倒检测的过程进行阐述。假设根据本公开的用于跌倒检测的设备被应用于智能手表中,即将用于跌倒检测的设备集成到智能手表中,参照图7,可通过智能手表中的加速度传感器来获取佩戴智能手表的用户的加速度信号。在获取到用户的加速度信号后,将加速度信号输入到卷积层以进行初步特征提取,然后将初步特征输入到最大最小池化层来获得梯度特征,将梯度特征输入到特征排序层以进行特征对齐处理。之后,将最终获取的特征向量输入到分类器中,经由分类器确定用户是否跌倒,即分类器可基于提取的最终特征向量来判别用户是处于正常行为状态还是处于跌倒状态。当确定用户发生跌倒行为时,如图8所示,智能手表中的报警器会及时发出报警消息,以帮助用户获得帮助。
此外,根据本公开的方法还可以包括根据提取的特征向量,利用特定损失函数来训练优化深度学习网络的参数。可以基于跌倒行为与非跌倒行为的类间可分性以及跌倒行为的类内紧致性来定义所述特定损失函数。例如,特定损失函数可以由等式(2)表示,通过使特定损失函数最小化来优化深度学习网络中的参数,从而获得具有更好的类别可分性的特征。
本公开提出了一种基于深度学习方法的解决方案。为了解决跌倒方向的不确定性问题,提出了最大最小池化层来提取具有旋转不变性和反方向不变性的特征;同时,为了解决跌倒时刻发生的不确定性,提出了特征排序层用于特征对齐;此外,为了提高模型对各种非跌倒场景的稳健性,基于“异常值检验”思想设计了一种独特的损失函数。换句话说,提出一种基于深度学习的端到端的框架来解决跌倒检测问题;提出通过最大最小池化层和特征排序层这两个新的操作层和一个新的损失函数来改善鲁棒性;提出只使用具有最大最小池化层和特征排序层的特征提取方法,来有效的识别跌倒行为,具有较大实用价值。
本公开的设备和方法不仅能够提高对用户在不同方向、不同时刻发生的跌倒行为的检测率,同时还能够对实际生活中多种不同场景下的非跌倒行为进行准确判别,从而降低了在实际应用中的漏检率和误判率,极大地改善了跌倒检测系统的实用性。
可根据计算机程序指令来执行根据本公开的上述方法。由于这些程序指令可被包括在计算机、专用处理器或可编程或专用硬件中,因此在其中执行的指令可有利于上述的功能的执行。如本领域的技术人员所理解的,计算机、处理器或可编程硬件包括可存储或接收软件或计算机代码的存储器件,所述软件或计算机代码在被计算机、处理器或硬件访问和执行时实现在本公开中描述的方法。
虽然本公开是参照其示例性的实施例被显示和描述的,但是本领域的技术人员应该理解,在不脱离由权利要求及其等同物限定的本公开的精神和范围的情况下,可以对其形式和细节进行各种改变。

Claims (15)

1.一种用于跌倒检测的设备,其特征在于,所述设备包括:
特征提取器,被配置为基于用户的加速度数据来提取特征向量;以及
分类器,被配置为根据提取的特征向量来确定用户是否跌倒。
2.如权利要求1所述的设备,其特征在于,特征提取器被配置为基于用户的加速度数据使用最大最小池化层来提取特征向量,
其中,最大最小池化层包括最大池化层和最小池化层,并且根据最大池化层的输出和最小池化层的输出来提取特征向量。
3.如权利要求2所述的设备,其特征在于,特征提取器还被配置为将利用最大最小池化层提取的特征向量输入到特征排序层进行特征对齐处理。
4.如权利要求1所述的设备,其特征在于,特征提取器被配置为基于用户的加速度数据使用深度学习网络来提取特征向量,
其中,所述深度学习网络包括:卷积层;以及最大最小池化层和特征排序层中的至少一个,
其中,最大最小池化层包括最大池化层和最小池化层,并且根据最大池化层的输出和最小池化层的输出来提取特征向量,特征排序层进行特征对齐处理。
5.如权利要求3或4所述的设备,其特征在于,特征排序层包括展平层和对齐层,展平层将输入的数据变换为一维特征向量,对齐层将所述一维特征向量按照特定顺序进行排序。
6.如权利要求4所述的设备,其特征在于,所述深度学习网络的参数通过基于跌倒行为与非跌倒行为的类间可分性以及跌倒行为的类内紧致性的特定损失函数训练得到。
7.一种用于跌倒检测的方法,其特征在于,所述方法包括:
基于用户的加速度数据来提取特征向量;并且
根据提取的特征向量来确定用户是否跌倒。
8.如权利要求7所述的方法,其特征在于,提取特征向量的步骤包括基于用户的加速度数据使用最大最小池化层来提取特征向量,
其中,最大最小池化层包括最大池化层和最小池化层,并且根据最大池化层的输出和最小池化层的输出来提取特征向量。
9.如权利要求8所述的方法,其特征在于,提取特征向量的步骤还包括:将利用最大最小池化层提取的特征向量输入到特征排序层进行特征对齐处理。
10.如权利要求7所述的方法,其特征在于,提取特征向量的步骤包括基于用户的加速度数据使用深度学习网络来提取特征向量,
其中,所述深度学习网络包括:卷积层;最大最小池化层和特征排序层中的至少一个,
其中,最大最小池化层包括最大池化层和最小池化层,并且根据最大池化层的输出和最小池化层的输出来提取特征向量,特征排序层进行特征对齐处理。
11.如权利要求9或10所述的方法,其特征在于,特征排序层包括展平层和对齐层,展平层将输入的数据变换为一维特征向量,对齐层将所述一维特征向量按照特定顺序进行排序。
12.如权利要求10所述的方法,其特征在于,提取特征向量的步骤还包括:
将用户的加速度数据输入到卷积层以进行初步特征提取,
将获得的初步特征输入到最大最小池化层和特征排序层中的至少一个来进一步进行处理,
其中,当将获得的初步特征输入到最大最小池化层中时,对获得的初步特征进一步进行特征提取,以获得梯度特征,
当将获得的初步特征输入到特征排序层中时,对获得的初步特征进行特征对齐处理。
13.如权利要求12所述的方法,其特征在于,所述深度学习网络的参数通过基于跌倒行为与非跌倒行为的类间可分性以及跌倒行为的类内紧致性的特定损失函数训练得到。
14.一种计算机可读存储介质,存储有程序,其特征在于,所述程序包括用于执行如权利要求7-13中的任一项所述方法的指令。
15.一种计算机,包括存储有计算机程序的可读介质,其特征在于,所述计算机程序包括用于执行如权利要求7-13中的任一项所述方法的指令。
CN201910410447.9A 2019-05-16 2019-05-16 用于跌倒检测的设备及其方法 Pending CN111950575A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910410447.9A CN111950575A (zh) 2019-05-16 2019-05-16 用于跌倒检测的设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910410447.9A CN111950575A (zh) 2019-05-16 2019-05-16 用于跌倒检测的设备及其方法

Publications (1)

Publication Number Publication Date
CN111950575A true CN111950575A (zh) 2020-11-17

Family

ID=73336736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910410447.9A Pending CN111950575A (zh) 2019-05-16 2019-05-16 用于跌倒检测的设备及其方法

Country Status (1)

Country Link
CN (1) CN111950575A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106870A1 (ko) * 2021-12-08 2023-06-15 순천대학교 산학협력단 Cmp를 이용한 재구조화된 합성곱 신경망 시스템 및 그 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106870A1 (ko) * 2021-12-08 2023-06-15 순천대학교 산학협력단 Cmp를 이용한 재구조화된 합성곱 신경망 시스템 및 그 동작 방법

Similar Documents

Publication Publication Date Title
Wang et al. Fall detection based on dual-channel feature integration
BR102017026251A2 (pt) Método e sistema de reconhecimento de dados de sensor utilizando o enriquecimento de dados para o processo de aprendizagem
CN107590478A (zh) 一种基于深度学习的年龄估计方法
Sun et al. Fall detection algorithm for the elderly based on human posture estimation
CN111753683A (zh) 一种基于多专家卷积神经网络的人体姿态识别方法
CN111368768A (zh) 一种基于人体关键点的员工手势指引检测方法
Butt et al. Fall detection using LSTM and transfer learning
CN115439927A (zh) 基于机器人的步态监测方法、装置、设备及存储介质
Zhou et al. Applying deep learning and wearable devices for educational data analytics
Khandnor et al. A survey of activity recognition process using inertial sensors and smartphone sensors
CN111950575A (zh) 用于跌倒检测的设备及其方法
Guan et al. A video-based fall detection network by spatio-temporal joint-point model on edge devices
CN112861679B (zh) 面向行为识别的迁移学习方法及系统
CN115546491A (zh) 一种跌倒报警方法、系统、电子设备及存储介质
CN105184275B (zh) 基于二值决策树的红外局部人脸关键点获取方法
CN114627310A (zh) 一种换衣行人重识别方法、装置、设备及存储介质
Wilson et al. Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition
Cao et al. Exploration of new community fitness mode using intelligent life technology and AIoT
Yhdego et al. Fall Detection Using Self-Supervised Pre-Training Model
He et al. Human behavior feature representation and recognition based on depth video
CN111597881A (zh) 基于数据分离多尺度特征结合的人体复杂行为识别方法
Shaafi et al. Improving Human Activity Recognition Algorithms using Wireless Body Sensors and SVM
CN115937958B (zh) 一种眨眼检测方法、装置、设备及存储介质
Zihan et al. Campus bullying detection based on motion recognition and speech emotion recognition
Duffy et al. An investigation into smartphone based weakly supervised activity recognition systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination