CN111257890A - 一种跌倒行为识别方法及装置 - Google Patents

一种跌倒行为识别方法及装置 Download PDF

Info

Publication number
CN111257890A
CN111257890A CN202010060767.9A CN202010060767A CN111257890A CN 111257890 A CN111257890 A CN 111257890A CN 202010060767 A CN202010060767 A CN 202010060767A CN 111257890 A CN111257890 A CN 111257890A
Authority
CN
China
Prior art keywords
signal
spectrogram
sound wave
behavior
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010060767.9A
Other languages
English (en)
Inventor
王迎雪
刘弋锋
邹博超
谢海永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronic Science Research Institute of CTEC
Original Assignee
Electronic Science Research Institute of CTEC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronic Science Research Institute of CTEC filed Critical Electronic Science Research Institute of CTEC
Priority to CN202010060767.9A priority Critical patent/CN111257890A/zh
Publication of CN111257890A publication Critical patent/CN111257890A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/521—Constructional features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G01S7/5273—Extracting wanted echo signals using digital techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/534—Details of non-pulse systems
    • G01S7/536—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明提供一种跌倒行为识别方法及装置，用以解决相关技术中行为识别精度较低且相关技术无法在私人场所应用的问题。该方法包括：控制声波发射器发射声波信号；采集目标对所述声波信号的反射信号；对所述反射信号进行处理，得到所述反射信号的频谱图；将所述频谱图输入预设深度神经网络模型，得到与所述反射信号对应的行为类型，其中，所述预设深度神经网络模型根据声波反射信号的频谱图样本训练得到，所述频谱图样本包括所述目标执行至少两种类型的行为时对所述声波信号产生的反射信号的频谱图，所述行为类型至少包括跌倒行为以及非跌倒行为。本发明有效提高了行为识别的精度。

Description

一种跌倒行为识别方法及装置
技术领域
本发明涉及行为识别技术领域，尤其涉及一种跌倒行为识别方法及装置。
背景技术
随着社会老龄化的日趋严重，老年人健康问题需要被关注。跌倒行为往往是影响老年人健康的重要因素，老年人一旦发生跌倒，如果不能及时地被发现和救治，很可能会出现生命危险。借助跌倒行为识别系统可以对老年人的跌倒行为进行实时地预警，对保护老年人的生命安全起到重要作用。
目前，主流的跌倒行为识别是基于视频的方式。基于视频的跌倒行为识别采用计算机视觉技术、图像处理技术对视频采集设备获取到的用户跌倒行为的图像序列进行处理，进而对跌倒行为进行识别。基于视频的跌倒行为识别又包含以下四种，即基于模板匹配的方式、基于分类器的方式、基于人体结构的方式以及基于图像统计的方式。基于模板匹配的识别技术预先根据跌倒姿态建立大量的模板，然后对输入的视频序列进行匹配。基于分类器方式首先提取跌倒行为的特征，然后根据获得的特征选择相应的分类器进行分类。基于人体结构的方式是从图像序列中提取目标的外形、运动的特征等信息，然后根据以上信息采用半监督或者人工的方式识别跌倒行为。基于图像统计的方式直接对视频帧的底层信息进行统计分析，从而对视频段进行分析理解。
基于视频的跌倒行为识别系统存在一系列的缺点，如计算量大，识别范围有限，容易存在死角且受到光照、障碍物等的影响，数据存储时的空间复杂度大和处理时的时间复杂度大，在私人住所、宾馆、卫生间等场所不便使用，且识别率低等。
发明内容
本发明的主要目的在于提供一种跌倒行为识别方法及装置，以解决相关技术无法在私人住所、宾馆、卫生间等特殊场所使用，且行为识别精度较低的问题。
本发明提供了一种跌倒行为识别方法，包括：控制声波发射器发射声波信号；采集目标对所述声波信号的反射信号；对所述反射信号进行处理，得到所述反射信号的频谱图；将所述频谱图输入预设深度神经网络模型，得到与所述反射信号对应的行为类型，其中，所述预设深度神经网络模型根据声波反射信号的频谱图样本训练得到，所述频谱图样本包括所述目标执行至少两种类型的行为时对所述声波信号产生的反射信号的频谱图，所述行为类型至少包括跌倒行为以及非跌倒行为。
可选地，对所述反射信号进行处理，得到所述反射信号的频谱图，包括：对所述反射信号进行预处理，得到预处理后的信号；对预处理后的信号进行短时傅里叶变化；
对进行短时傅里叶变化后的信号进行取对数操作，得到与该信号对应的对数数据；
所述对数数据进行离散余弦变换，得到所述反射信号对应的频谱图。
可选地，对所述反射信号进行预处理，得到预处理后的信号，包括：在采集所述反射信号之后，对所述反射信号进行调制以及低通滤波；利用端点检测算法去除调制以及低通滤波后的信号的静音部分；通过预加重因子对去除静音部分后的信号进行预加重处理；对预加重处理后的信号进行分帧处理以及加窗处理，得到预处理后的信号。
可选地，所述方法还包括：获取与多种类型的行为对应的声波反射信号的频谱图样本，其中，所述所述声波反射信号是通过控制声波发射器发射声波信号，经行人反射后，由声波接收器采集得到；对所述声波反射信号的频谱图样本进行标签标注；对标注标签后的频谱图样本进行训练，得到所述预设深度神经网络模型。本发明还提供了一种跌倒行为识别装置，包括：控制模块，用于控制声波发射器发射声波信号；采集模块，用于采集目标对所述声波信号的反射信号；处理模块，用于对所述反射信号进行处理，得到所述反射信号的频谱图；确定模块，用于将所述频谱图输入预设深度神经网络模型，得到与所述反射信号对应的行为类型，其中，所述预设深度神经网络模型根据声波反射信号的频谱图样本训练得到，所述频谱图样本包括所述目标执行至少两种类型的行为时对所述声波信号产生的反射信号的频谱图，所述行为类型至少包括跌倒行为以及非跌倒行为。
可选地，所述处理模块，包括：第一处理单元，用于对所述反射信号进行预处理，得到预处理后的信号；第二处理单元，用于对预处理后的信号进行短时傅里叶变化；第三处理单元，用于对进行短时傅里叶变化后的信号进行取对数操作，得到与该信号对应的对数数据；对所述对数数据进行离散余弦变换，得到所述反射信号对应的频谱图。
可选地，所述第一处理单元用于：在采集所述反射信号之后，对所述反射信号进行调制以及低通滤波；利用端点检测算法去除调制以及低通滤波后的信号的静音部分；通过预加重因子对去除静音部分后的信号进行预加重处理；对预加重处理后的信号进行分帧处理以及加窗处理，得到预处理后的信号。
可选地，所述装置还包括：获取模块，用于获取与多种类型的行为对应的声波反射信号的频谱图样本，其中，所述所述声波反射信号是通过控制声波发射器发射声波信号，经行人反射后，由声波接收器采集得到；标注模块，用于对所述频谱图样本进行标签标注；训练模块，用于对分类后的频谱图样本进行训练，得到所述预设深度神经网络模型。
本发明有益效果如下：
本发明实施例的跌倒行为识别方法，采集目标对声波信号的反射信号，对该反射信号进行处理，得到该反射信号对应的频谱图，利用预设深度神经网络模型基于该反射信号对应的频谱图对目标的行为进行识别，其中，由于预设深度神经网络模型基于反射信号对应的频谱图样本进行训练得到，故可基于反射信号的频谱图有效地识别出目标行为，提高了行为识别的精度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据一示例性实施例示出的一种跌倒行为识别方法的流程图；
图2是根据一示例性实施例示出的一种反射信号频谱图获取方法的流程图；
图3是根据一示例性实施例示出的一种声学传感器的信号采集装置的示意图；
图4是根据一示例性实施例示出的通过声学传感器的信号采集装置实现行为跌倒识别方法的示意图；
图5是根据一示例性实施例示出的使用预设深度神经网络模型对用户跌倒行为进行识别的示意图；
图6是根据一示例性实施例示出的一种跌倒行为识别装置的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据一示例性实施例示出的一种跌倒行为识别方法的流程图，如图1所示，该方法包括：
步骤101：控制声波发射器发射声波信号；
在该步骤101中，可通过控制器控制声波发射器发射声波信号。
步骤102：采集目标对所述声波信号的反射信号；
在该步骤102中，目标对声波信号的反射信号同样为声学信号，故可通过控制器控制声波接收器接收反射信号。
其中，上述目标例如人，当人在声学传感器前行走时，可将声波信号进行反射，从而产生反射信号，基于此，通过多普勒效应可将人的步态转换为不同的声学信号，以便利用不同的声学信号对目标的不同行为进行识别。其中，声波的多普勒效应指在声源(声学传感器)与目标(人)之间有相对运动时，反射信号的频率有所改变，该频率的变化称之为频移。假设声波发射器发出的声波为一正弦信号，即s(t)＝Asin(2πft)，目标距离声学传感器的距离为R(t)，目标以v(t)的速度走近/远离声学传感器，由多普勒效应得知，声波接收器接收到的反射信号为：
Figure BDA0002374377420000051
其中，A′和c分别为反射系数和光速。当目标与声学传感器之间的角度为θ时，上述公式(1)可以表达为：
Figure BDA0002374377420000052
由于人的步态是由人的胳膊、脚、小腿等多部位的综合表征，因此当人走向/远离声学传感器时，考虑人的j个部位对步态的影响，则反射信号为：
Figure BDA0002374377420000053
由于每个人走路的速度、重心等都不同，因此由上述公式(3)得知，每个人的反射信号不同。故不同的反射信号可以反应不同人的步态，进而可以用来识别人的身份和/行为。
步骤103：对所述反射信号进行处理，得到所述反射信号的频谱图；
在步骤103中，对所述反射信号进行处理，得到所述反射信号的频谱图的处理流程可如图2所示，该处理可包括：对所述反射信号进行预处理，得到预处理后的信号；对预处理后的信号进行短时傅里叶变化；对进行短时傅里叶变化后的信号进行取对数操作，得到与该信号对应的对数数据；对所述对数数据进行离散余弦变换，得到所述反射信号对应的频谱图。其中，上述反射信号为声学信号，对该声学信号进行预处理例如对该声学信号进行滤波、调制等处理操作，旨在得到更优质的信号。
步骤104：将所述频谱图输入预设深度神经网络模型，得到与所述反射信号对应的行为类型，其中，所述预设深度神经网络模型根据声波反射信号的频谱图样本训练得到，所述频谱图样本包括所述目标执行至少两种类型的行为时对所述声波信号产生的反射信号的频谱图，所述行为类型至少包括跌倒行为以及非跌倒行为。
本发明实施例的跌倒行为识别方法，采集目标对声波信号的反射信号，对该反射信号进行处理，得到该反射信号对应的频谱图，利用预设深度神经网络模型基于该频谱图对目标的行为进行识别，其中，由于预设深度神经网络模型基于反射信号对应的频谱图样本进行训练得到，故可基于反射信号的频谱图有效地识别出目标行为，提高了行为识别的精度。
在一个例子中，本发明实施例的跌倒行为识别方法可通过基于声学传感器的信号采集装置实现，如图3所示，该装置可包括声波发射器、数模转换器、声波接收器以及计算机设备。声波发射器和声波接收器可为相同型号的声学传感器。例如，该声学传感器的中心频率为40kHz，灵敏度分别为-63dB和15dB，检测范围为0.5m-16.5m，输出声压为112dB。数模转换器可采用M-audio-M-track 8。通过声学传感器的信号采集装置实现上述行为识别方法如图4所示，可包括：首先，可通过Audacity软件生成采样率为96kHz、增益为20dB的正弦信号，即s(t)＝20sin(192πt)，该正弦信号的谐振频率为40kHz，最小频率和最大频率分别为38kHz和42kHz。随后正弦信号由计算机设备发送给数模转换设备M-audio-M-track 8，以将数字正弦信号转换为模拟信号。此后，转换后的模拟信号被发送给声波发射器，并由声波发射器以声波的形式发射出去。当目标在距离声波传感器0.5-15米的范围内行走时，声波将被目标反射，得到反射信号，反射信号被声波接收器接收，声波接收器将接收到的信号发送给数模转换设备M-audio-M-track 8。随后，M-audio-M-track 8将反射的模拟信号转换为数字反射信号，并将反射信号传输到计算机设备中。计算机设备可通过Audacity软件对所有数字反射信号(即，声学信号)以16位脉码调制(PCM)、波形音频文件格式的形式进行保存。上述信号信号采集装置可安装于墙壁上或固定设备上，无需目标佩戴或主动参与检测，且由于声波传感器的感知范围较大，故本发明实施例的跌倒行为识别方法的可识别范围较大。
在一种可实现方式中，所述对所述反射信号进行预处理，得到预处理后的信号，包括：在采集所述反射信号之后，对所述反射信号进行调制以及低通滤波；利用端点检测算法去除调制以及低通滤波后的信号的静音部分；通过预加重因子对去除静音部分后的信号进行预加重处理；对预加重处理后的信号进行分帧处理以及加窗处理，得到预处理后的信号。此处以上述例子中目标对声波发射器发射的声波信号的产生的反射信号为例进行说明，在对接收到反射信号进行调制并进行低通滤波后，可获得采样率为8kHz和16位精度的信号，调制后，信号的中心频率从40kHz变为2kHz。其次，利用端点检测算法来去除信号的静音部分。随后，用预加重因子对信号进行预加重处理，以加强信号的高频分量。此后，对预加重后的信号进行分帧和加窗处理。分帧处理后，信号每帧的长度可为40-64ms，即每帧中的样本总数为N＝320-512(采样频率Fs＝8kHz)。帧与帧之间的重叠是20-32ms。其中，在对信号进行加窗处理时，可采用汉明窗。
在一种可实现方式中，本发明实施例的行为识别方法还可包括上述深度神经网络模型的训练过程，基于此，行为识别方法还可包括：获取与多种类型的行为对应的声波反射信号的频谱图样本，其中，所述声波反射信号是通过控制声波发射器发射声波信号，经行人反射后，由声波接收器采集得到；例如，可获取人在声波发射器周围跌倒以及非跌倒时，人对声波信号产生的反射信号对应的频谱图；对所述频谱图样本进行标签标注，例如，可事先采集大量频谱图，按照这些频谱图对应的行为频谱图进行标签标注，每种行为对应一类频谱图，或者，还可简单将这些行为标注为为跌倒以及非跌倒两类；对分类后的频谱图样本进行训练，得到所述预设深度神经网络模型。例如可采用深度全序列卷积神经网络对分类后的频谱图样本进行训练，从而得到该神经网络模型。
图5是根据一示例性实施例示出的使用预设深度神经网络模型对目标行为进行识别的示意图。如图5所示，向预设深度神经网络模型输入目标对声波信号的反射信号的频谱图，该频谱图依次经过预设深度神经网络模型的池化层、卷积层、池化层以及全连接层后，最终输出与反射信号对应的行为类型。
在本申请实施例的跌倒行为识别方法中，在深度全序列卷积神经网络的输入端将声学信号(即上述经过预处理后的反射信号)的频谱图作为输入，利用一系列的卷积层和池化层对频谱图进行建模，得到预设神经网络模型。由于深度全序列卷积神经网络使用大量的卷积层对声学信号(即上述反射信号)的频谱图进行建模，更好地表达了声学信号的长时相关性，因此可以更深层次的发掘声学信号的特征，增强特征对目标步态信息的表达能力，从而大幅地提高跌倒行为的识别率。在对频谱图进行建模时，可使得每个卷积层使用3*3的小卷积核，并在多个卷积层之后再加上池化层，通过累积较多的卷积池化层对，从而保证了深度全序列卷积神经网络可以出色的表达声学信号的长时相关性，相比其他深度神经网络结构具有更佳的鲁棒性。在训练神经网络模型时，可通过迁移学习将一个预训练的深度模型应用到特定的跌倒行为识别任务，即在ImageNet大数据集上进行深度学习的模型预训练，将深度模型预训练的分层表示作为源模型，然后在一个小的跌倒行为训练集上学习高层表示以重构一个特定于跌倒行为识别任务的目标模型。该方案可以弥补数据不足带来的劣势，有望达到高的识别性能。行为识别过程可利用训练好神经网络模型以及测试集中的步态数据(即用户在声波发射器周围运动对声波产生的反射信号)对用户的跌倒行为进行识别。
图6是根据一示例性实施例示出的一种跌倒行为识别装置的框图，如图6所示，该装置60包括：
控制模块61，用于控制声波发射器发射声波信号；
采集模块62，用于采集目标对所述声波信号的反射信号；
处理模块63，用于对所述反射信号进行处理，得到所述反射信号的频谱图；
确定模块64，用于将所述频谱图输入预设深度神经网络模型，得到与所述反射信号对应的行为类型，其中，所述预设深度神经网络模型根据声波反射信号的频谱图样本训练得到，所述频谱图样本包括所述目标执行至少两种类型的行为时，对所述声波信号产生的反射信号的频谱图，所述行为类型至少包括跌倒行为以及非跌倒行为。
在一种可实现方式中，所述处理模块可包括：第一处理单元，用于对所述反射信号进行预处理，得到预处理后的信号；第二处理单元，用于对预处理后的信号进行短时傅里叶变化；第三处理单元，用于对进行短时傅里叶变化后的信号进行取对数操作，得到与该信号对应的对数数据；第四处理单元，用于对所述对数数据进行离散余弦变换，得到所述反射信号对应的频谱图。
可选地，所述第一处理单元可用于：在采集所述反射信号之后，对所述反射信号进行调制以及低通滤波；利用端点检测算法去除调制以及低通滤波后的信号的静音部分；通过预加重因子对去除静音部分后的信号进行预加重处理；对预加重处理后的信号进行分帧处理以及加窗处理，得到预处理后的信号。
可选地，所述行为识别装置还可包括：获取模块，用于获取与多种类型的行为对应的声波反射信号的频谱图样本，其中，所述所述声波反射信号是通过控制声波发射器发射声波信号，经行人反射后，由声波接收器采集得到；标注模块，用于对所述频谱图样本进行标签标注；训练模块，用于对分类后的频谱图样本进行训练，得到所述预设深度神经网络模型。以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (8)

1.一种跌倒行为识别方法，其特征在于，包括：
控制声波发射器发射声波信号；
采集目标对所述声波信号的反射信号；
对所述反射信号进行处理，得到所述反射信号的频谱图；
将所述频谱图输入预设深度神经网络模型，得到与所述反射信号对应的行为类型，其中，所述预设深度神经网络模型根据声波反射信号的频谱图样本训练得到，所述频谱图样本包括所述目标执行至少两种类型的行为时对所述声波信号产生的反射信号的频谱图，所述行为类型至少包括跌倒行为以及非跌倒行为。
2.根据权利要求1所述的方法，其特征在于，所述对所述反射信号进行处理，得到所述反射信号的频谱图，包括：
对所述反射信号进行预处理，得到预处理后的信号；
对预处理后的信号进行短时傅里叶变化；
对进行短时傅里叶变化后的信号进行取对数操作，得到与该信号对应的对数数据；
对所述对数数据进行离散余弦变换，得到所述反射信号对应的频谱图。
3.根据权利要求2所述的方法，其特征在于，对所述反射信号进行预处理，得到预处理后的信号，包括：
在采集所述反射信号之后，对所述反射信号进行调制以及低通滤波；
利用端点检测算法去除调制以及低通滤波后的信号的静音部分；
通过预加重因子对去除静音部分后的信号进行预加重处理；
对预加重处理后的信号进行分帧处理以及加窗处理，得到预处理后的信号。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
控制声波发射器发射声波信号；
获取所述声波信号的反射信号的频谱图样本；
对所述声波反射信号的频谱图样本进行标签标注；
对标签标注后的频谱图样本进行训练，得到所述预设深度神经网络模型。
5.一种跌倒行为识别装置，其特征在于，包括：
控制模块，用于控制声波发射器发射声波信号；
采集模块，用于采集目标对所述声波信号的反射信号；
处理模块，用于对所述反射信号进行处理，得到所述反射信号的频谱图；
确定模块，用于将所述频谱图输入预设深度神经网络模型，得到与所述反射信号对应的行为类型，其中，所述预设深度神经网络模型根据声波反射信号的频谱图样本训练得到，所述频谱图样本包括所述目标执行至少两种类型的行为时对所述声波信号产生的反射信号的频谱图，所述行为类型至少包括跌倒行为以及非跌倒行为。
6.根据权利要求5所述的装置，其特征在于，所述处理模块，包括：
第一处理单元，用于对所述反射信号进行预处理，得到预处理后的信号；
第二处理单元，用于对预处理后的信号进行短时傅里叶变化；
第三处理单元，用于对进行短时傅里叶变化后的信号进行取对数操作，得到与该信号对应的对数数据；
第四处理单元，用于对所述对数数据进行离散余弦变换，得到所述反射信号对应的频谱图。
7.根据权利要求6所述的装置，其特征在于，所述第一处理单元用于：
在采集所述反射信号之后，对所述反射信号进行调制以及低通滤波；
利用端点检测算法去除调制以及低通滤波后的信号的静音部分；
通过预加重因子对去除静音部分后的信号进行预加重处理；
对预加重处理后的信号进行分帧处理以及加窗处理，得到预处理后的信号。
8.根据权利要求5所述的装置，其特征在于，所述装置还包括：
获取模块，用于获取与多种类型的行为对应的声波反射信号的频谱图样本，其中，所述声波反射信号是通过控制声波发射器发射声波信号，经行人反射后，由声波接收器采集得到；
标注模块，用于对所述频谱图样本进行标签标注；
训练模块，用于对分类后的频谱图样本进行训练，得到所述预设深度神经网络模型。
CN202010060767.9A 2020-01-19 2020-01-19 一种跌倒行为识别方法及装置 Pending CN111257890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010060767.9A CN111257890A (zh) 2020-01-19 2020-01-19 一种跌倒行为识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010060767.9A CN111257890A (zh) 2020-01-19 2020-01-19 一种跌倒行为识别方法及装置

Publications (1)

Publication Number Publication Date
CN111257890A true CN111257890A (zh) 2020-06-09

Family

ID=70945352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010060767.9A Pending CN111257890A (zh) 2020-01-19 2020-01-19 一种跌倒行为识别方法及装置

Country Status (1)

Country Link
CN (1) CN111257890A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450537A (zh) * 2021-06-25 2021-09-28 北京小米移动软件有限公司 跌倒检测方法、装置、电子设备和存储介质
CN114863640A (zh) * 2021-02-03 2022-08-05 纬创资通股份有限公司 特征强化与数据扩增方法及其动作检测装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330462A (zh) * 2017-06-30 2017-11-07 大连理工大学 基于时频分析的手势识别方法及其装置
US20180064373A1 (en) * 2016-09-04 2018-03-08 Essence Smartcare Ltd. Detecting falls and near falls by ultrasound
CN108197575A (zh) * 2018-01-05 2018-06-22 中国电子科技集团公司电子科学研究院 一种基于目标检测和骨点检测的异常行为识别方法及装置
CN108614989A (zh) * 2017-12-20 2018-10-02 深圳大学 一种基于WiFi的老人智能监护方法、系统及介质
CN109087668A (zh) * 2018-08-31 2018-12-25 中国电子科技集团公司电子科学研究院 一种步态识别的方法及装置
CN109394229A (zh) * 2018-11-22 2019-03-01 九牧厨卫股份有限公司 一种跌倒检测方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180064373A1 (en) * 2016-09-04 2018-03-08 Essence Smartcare Ltd. Detecting falls and near falls by ultrasound
CN107330462A (zh) * 2017-06-30 2017-11-07 大连理工大学 基于时频分析的手势识别方法及其装置
CN108614989A (zh) * 2017-12-20 2018-10-02 深圳大学 一种基于WiFi的老人智能监护方法、系统及介质
CN108197575A (zh) * 2018-01-05 2018-06-22 中国电子科技集团公司电子科学研究院 一种基于目标检测和骨点检测的异常行为识别方法及装置
CN109087668A (zh) * 2018-08-31 2018-12-25 中国电子科技集团公司电子科学研究院 一种步态识别的方法及装置
CN109394229A (zh) * 2018-11-22 2019-03-01 九牧厨卫股份有限公司 一种跌倒检测方法、装置及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863640A (zh) * 2021-02-03 2022-08-05 纬创资通股份有限公司 特征强化与数据扩增方法及其动作检测装置
TWI774224B (zh) * 2021-02-03 2022-08-11 緯創資通股份有限公司 特徵強化與資料擴增方法及其動作偵測裝置
CN114863640B (zh) * 2021-02-03 2024-05-24 纬创资通股份有限公司 特征强化与数据扩增方法及其动作检测装置
CN113450537A (zh) * 2021-06-25 2021-09-28 北京小米移动软件有限公司 跌倒检测方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109767769B (zh) 一种语音识别方法、装置、存储介质及空调
CN108227903B (zh) 一种虚拟现实语言交互系统与方法
CN110069199B (zh) 一种基于智能手表的皮肤式手指手势识别方法
CN111227839B (zh) 一种行为识别方法及装置
CN110286774B (zh) 一种基于手腕运动传感器的手语识别方法
CN110415728A (zh) 一种识别情感语音的方法和装置
CN109473119B (zh) 一种声学目标事件监控方法
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
CN113566948A (zh) 机器人化煤机故障音频识别及诊断方法
CN111257890A (zh) 一种跌倒行为识别方法及装置
CN117762372A (zh) 一种多模态人机交互系统
CN111262637B (zh) 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法
CN116994600B (zh) 基于音频驱动角色口型的方法及系统
CN109087668A (zh) 一种步态识别的方法及装置
Song et al. Research on scattering transform of urban sound events detection based on self-attention mechanism
Marimuthu Speech recognition using Taylor-gradient Descent political optimization based Deep residual network
Segarceanu et al. Neural networks for automatic environmental sound recognition
CN107330462A (zh) 基于时频分析的手势识别方法及其装置
CN113221722A (zh) 语义信息获取方法及装置、电子设备、存储介质
Estrebou et al. Voice recognition based on probabilistic SOM
Shariff et al. Cw radar based silent speech interface using CNN
Shankar et al. Real-Time Pig Vocal Analysis for Early Respiratory Infection Study
Asskour et al. Design & Development Of Mapping Tool For The Blind Or Partially Sighted
Cosi Auditory modeling and neural networks
CN116612746B (zh) 一种基于人工智能在声学库中进行语音编码识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200609

RJ01 Rejection of invention patent application after publication