CN114898527A - 一种基于声音辅助的可穿戴式老人跌倒检测系统与方法 - Google Patents

一种基于声音辅助的可穿戴式老人跌倒检测系统与方法 Download PDF

Info

Publication number
CN114898527A
CN114898527A CN202111332584.9A CN202111332584A CN114898527A CN 114898527 A CN114898527 A CN 114898527A CN 202111332584 A CN202111332584 A CN 202111332584A CN 114898527 A CN114898527 A CN 114898527A
Authority
CN
China
Prior art keywords
falling
model
wearable
data
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111332584.9A
Other languages
English (en)
Inventor
潘巨龙
李艳丽
方堃
左正魏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202111332584.9A priority Critical patent/CN114898527A/zh
Publication of CN114898527A publication Critical patent/CN114898527A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Social Psychology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种基于声音辅助的可穿戴式老人跌倒检测方法。方法包括：基于声音辅助的人工智能AI离线跌倒检测训练模型、可穿戴终端中部署声音辅助跌倒检测算法和云端服务器监护告警三部分。系统完成跌倒目标确定、数据采集、数据预处理、AI跌倒模型、AI训练模型和代码转换等功能。旨在原有仅依靠加速度数据进行跌倒检测方法基础上，借助微处理器开发板Arduino Nano 33 BLE Sense麦克风，增加采集跌倒声音和背景噪音样本数据集，应用一个高度优化的微型化机器学习模型，在可穿戴设备终端上实现多数据源融合、具有更高识别率的老人跌倒智能检测系统，该系统运行在小于1MB存储空间的可穿戴式设备终端，最终完成老人跌倒信息告警通知，保障老人生命安全。

Description

一种基于声音辅助的可穿戴式老人跌倒检测系统与方法
技术领域
本发明涉及人工智能AI领域中基于声音辅助老人跌倒检测装置，尤其是一种基于声音辅助的可穿戴式老人跌倒检测系统与方法。
背景技术
根据第七次全国人口普查数据，我国65岁及以上人口比重达到13.50％。本发明源于微型化机器学习TinyML技术应用，TinyML是在毫瓦级功率的微处理器上，实现机器学习的方法、工具与技术。它连接了物联网设备，边缘计算和机器学习。Google公司的机器学习平台 TensorFlow，在单片机低功耗场景为TensorFlow Lite，模型代码由几百KB到几十MB左右；该模型适合可穿戴式终端进行在线跌倒检测，它适配于物联网、智能硬件、Arduino端侧实现老人跌倒检测的低功耗应用。
本发明从传统嵌入式物联网转换到人工智能AI在嵌入式物联网上部署应用，完成了在微处理器开发板Arduino Nano 33BLE Sense上进行基于微机器学习TinyML的跌倒检测算法部署。实现了在原有跌倒检测方法数据集基础上+跌倒声音和背景噪音样本的数据集，应用高度优化的微型化机器学习TinyML模型，实现一个实时运行只有几百KB大小的老人在线跌倒检测系统，将跌倒检测结果发送至绑定手机并完成跌倒信息的监护通知。
本发明提供了是一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，进一步改善了跌倒检测中耗能、跌倒检测精度低和误判和漏判等问题，实现了对检测目标的实时跟踪跌倒检测，在检测目标发生跌倒等意外情况时，能够及时发送消息至亲属或护理人员的手机端进行实时在线监护。因此本发明是一项极富挑战性的技术，主要亮点如下：
1.借助微处理器开发板Arduino Nano 33BLE Sense内置的麦克风，实现实时声音辅助的跌倒检测，降低现有加速度传感器获取数据在跌倒与非跌倒动作之间难以区分和容易造成误判和漏判的风险；
2.适配微处理器开发板Arduino Nano 33BLE Sense，从传统嵌入式物联网转换到人工智能AI在嵌入式物联网上部署应用，解决了低功耗与在线跌倒检测功能的实时性问题；
3.适配于微处理器开发板Arduino Nano 33BLE Sense，解决在可穿戴式终端进行在线跌倒识别，实现了移动端、低功耗应用；
4.硬件+软件+AI算法解决了跌倒算法对大量非跌倒数据造成的分类效果差和产生误报和漏报的问题。
发明内容
为了克服现有技术中的缺陷，实现以上所述发明的亮点。在原有加速度传感器跌倒检测系统的基础上，提供一种基于声音辅助的可穿戴式老人跌倒检测系统与方法。在终端Arduino Nano 33BLE Sense开发板实时采集跌倒声音，并对它侦测出来的老人跌倒数据进行判断，完成对老年人可穿戴终端设备进行跌倒检测和告警。本发明通过下述方案实现：一种基于声音辅助的可穿戴式老人跌倒检测系统与方法。该系统包括：AI离线训练跌倒声音检测模块、在线部署在端侧的基于Tiny ML的跌倒算法模块和AI告警监护模块。
所述AI离线跌倒声音检测训练在原有的加速度跌倒检测方法数据集基础上 +借助微处理器开发板Arduino Nano 33BLE Sense内置麦克风，采集数据并上传数据至机器学习平台，完成目标确定、数据集采集、数据集预处理、设计模型架构、训练模型和转换模型等阶段。
所述人工智能AI跌倒算法将微型化机器学习Tiny ML模型部署到微处理器开发板Arduino Nano 33BLE Sense上，进行在线跌倒检测和推理，借助微处理器开发板ArduinoNano 33BLE Sense实现声音辅助的实时跌倒检测。
所述AI实时监护模块将所述跌倒检测结果发送至告警模块完成监护通知。
所述一种基于声音辅助的可穿戴式老人跌倒检测系统与方法项目流程：
1.确定监护目标；
2.搜集数据；
3.数据预处理；
4.设计模型架构；
5.训练模型(考虑过拟合与欠拟合所产生的问题)；
6.基于Tiny ML的模型转换；
7.跌倒算法在线运行推断；
8.评估并排除故障。
所述的机器学习平台完成设计模型、特征工程、模型训练、模型测试与模型转换等一系列机器学习核心流程，所有数据先进行优化与量化预处理；并将微处理器开发板Arduino Nano 33BLE Sense与微型化机器学习平台连接到一体；重新在微处理器开发板Arduino Nano 33BLE Sense部署微型机器学习模型 TinyML，进行在线跌倒检测模型推理；借助微处理器开发板Arduino Nano 33 BLE Sense进行实时的声音辅助在线跌倒检测。
一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，包括以下步骤：
第一步：开发准备(硬件：微处理器开发板Arduino Nano 33BLE Sense；软件：Python 3，TensorFlow Lite；Arduino IDE等)；采集监护老人的跌倒声音和跌倒检测所需其他信号(如加速度)数据集。
第二步：人工智能AI机器学习平台训练；初始化训练数据、数据预处理、 Keras模型优化前后的参数选择、分类最后结果对比、模型转换、转换代码并生成二进制数据、完成测试流程(传感器数据采集、数据预处理，送到ML解释器、 ML模型预测分类、对预测的结果安装评判标准做出最终的判断)；该模型可以通过最小化以下目标函数来学习：
Figure RE-GDA0003748843150000031
其中L是损失函数，θ是网络参数，R(θ)是避免过拟合的正则化项；损失函数基于交叉熵：
Figure RE-GDA0003748843150000032
其中X是fcnn最后一个卷积层的输出(又名特征图)，sy表示标记为输入的集合类，fsim是用于测量的相似度函数两个输入之间的距离。
第三步：可穿戴式终端硬件部署；跌倒算法在离线测试完成后，重新在微处理器开发板Arduino Nano 33BLE Sense进行在线跌倒算法部署并进行跌倒检测及推理。
第四步：对所述对象完成实时的推理跌倒检测结果；借助微处理器开发板Arduino Nano 33BLE Sense实现声音辅助的实时跌倒检测。
第五步：将所述的跌倒检测结果以多种告警方式(短信或微信)发送至绑定的手机，完成跌倒信息的监护通知。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所使用的附图作简单的介绍。
图1一种基于声音辅助的可穿戴式老人跌倒检测系统与方法的框架图。
图2一种基于声音辅助的可穿戴式老人跌倒检测系统与方法的流程图。
图3一种基于声音辅助的可穿戴式老人跌倒检测系统与方法的功能示意图。
图4一种基于声音辅助的可穿戴式老人跌倒检测系统与方法的检测流程示意图。
图5某一跌倒声音的波形图。
图6某一跌倒声音的语谱图。
图7某一跌倒声音的梅尔频谱图。
具体实施方式
下面结合附图对本发明进行清楚、完整地描述，以下实施例有助于对本发明的理解，是比较好的应用实例，但不应看作是对本发明的限制，本领域在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，旨在原有跌倒检测方法数据集(如加速度)基础上+跌倒声音和背景噪音样本的数据集，应用一个高度优化的微型化机器学习TinyML模型，实现一个实时运行只有几百KB大小的老人跌倒检测系统，并完成跌倒告警通知。通过TensorFlow Lite在单片机低功耗应用适配Arduino Nano 33BLESense解决了节能与在线跌倒检测功能的增强问题，进一步提升识别率并降低误判和漏判情况。首先，对离线训练所需的跌倒声音数据集进行预处理。第一步，调用Python的方法获取训练集音频的波形图，跌倒声音的波形图如图5所示，波形图的横坐标是时间，纵坐标是振幅。第二步，对波形图实施短时傅里叶变换生成语谱图(也称声谱图)，其中短时傅里叶的数学定义为：
Figure RE-GDA0003748843150000051
在公式(3)中，x(n)为输入信号，w(n)是窗函数，该函数将时域信号转换为频域信号。因此，通过这一变换过程可以分析信号在时域与频域上的关系。在生成相对应的语谱图后(如图6所示)，音频的特征变得更加明显，从而实现对音频特征的提取，这将使机器学习模型的训练效果更好。在图6中，纵坐标代表的是频率，横坐标是帧数(即时间)，坐标点的颜色深浅代表的是声音能量的大小。
语谱图的特征比较明显，但语谱图中所包含的数据量通常比较大的，其中一部分并不是所需要的跌倒声音特征信息，为了从大量数据中筛选得到大小合适的声音数据特征，使用梅尔标度滤波器组将声音频谱变换为梅尔频谱，并将梅尔频谱图作为机器学习模型的训练样本，生成的梅尔频谱图如图7所示。在PC端使用TensorFlow Lite机器学习平台构建离线跌倒检测算法模型，并对模型进行训练。在模型训练完毕后，使用TensorFlowLite转换器将模型转换为适合可穿戴式终端使用模型，做好相关测试，并进一步生成二进制文件。
在完成了跌倒模型的训练后，将微处理器开发板Arduino Nano 33BLE Sense 与微型化机器学习平台TinyML连接到一体，完成一系列机器学习核心流程所有的优化与量化，降低现有传感器获取数据在跌倒与非跌倒动作间存在交集而容易造成误判和漏判的结果；其次在微处理器开发板Arduino Nano 33BLE Sense部署微机器学习模型，进行在线跌倒检测模型推理，解决可穿戴式终端节能与在线跌倒检测问题；借助微处理器开发板Arduino Nano 33BLE Sense实现实时的声音辅助跌倒检测，进一步提升跌倒识别率、降低误判和漏判情况，最后完成跌倒信息的监护通知。
所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，包括供电基础上之AI离线跌倒训练模块、可穿戴式终端的在线跌倒算法部署模块和实时监护模块。
所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，在电池供电基础上，跌倒算法在PC机上进行AI离线训练后，在可穿戴式终端上部署并进行在线跌倒检测和模型推理，最后通过所述实时监护模块，将跌倒检测结果发送至监护模块完成监护通知。
所述的在线跌倒算法训练，是在原有的跌倒检测数据集(如加速度)基础上，借助微处理器开发板Arduino Nano 33BLE Sense内置麦克风采集跌倒声音数据并进行在线跌倒检测。
所述的跌倒算法部署是将微型化机器学习模型重新部署回微处理器开发板Arduino Nano 33BLE Sense上；实时监护模块将跌倒检测结果发送至监护模块，完成跌倒信息的监护通知。
所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，包括确定目标、搜集数据集、设计模型架构、训练模型与转换模型的机器学习过程；通过定义级联跌倒分数进行学习；未知跌倒声音的跌倒分数A(x,θA)与计算出第K个所述跌倒声音mk的相似度分数，通过具有参数
Figure RE-GDA0003748843150000061
的跌倒声音检测S，当K-1个跌倒声音被记录时，定义异常跌倒为：
Figure RE-GDA0003748843150000062
其中
Figure RE-GDA0003748843150000063
r是特定的辅助声音检测装置。当监护对象发生跌倒行为发出跌倒声音mk时，B(x,θk)可以写成：
Figure RE-GDA0003748843150000064
在给定θk-1下,声音辅助的跌倒行为
Figure RE-GDA0003748843150000065
的训练,即使在k＝1时也满足所述公式。
所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，机器学习通过Keras框架实现；跌倒声音特征提取和数据预处理，完成训练神经网络。
所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，从跌倒事件和日常活动数据中提取特征后，对机器学习模型进行离线训练和评估；训练结束后，对模型的大小和效率进行优化。这通常会涉及到量化，通过降低模型权重和精度来得到较少占用的宝贵内存。
所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，离线训练模型会在计算机后台使用TensorFlow Keras API生成一个模型的Python实现。可以自定义深度学习网络的层，从而调整参数并添加反映在底层Keras模型中的新层；可以直接在界面中编辑训练代码，通过使用TensorFlow实用程序和Edge Impulse自身开源技术，训练后的模型会自动针对嵌入式部署进行优化。
所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，在将深度学习模型部署到微处理器开发板Arduino Nano 33BLE Sense的过程中，最常用的优化方法就是量化；Edge Impulse使用TensorFlow模型优化工具包来量化模型，从而将模型权重的精度从float32降低到int8，这样对准确性的影响最小；通过使用适配于微控制器的微处理器开发板Arduino Nano 33BLE Sense和模拟软件 Renode，Edge Impulse能够在将模型部署到微处理器开发板Arduino Nano 33BLE Sense后，提供模型延迟时间和内存用量的准确预估结果。
所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，它是硬件+ 软件+AI软件环境的集成，包括Python 3，TensorFlow Lite和Arduino IDE.创建 TensorFlow模型，TensorFlow数据集包括训练集、测试集和验证集三部分；训练集为50％数据，测试集为25％数据，验证集为25％数据，这个比例可以按需要调整。
所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，在线部署之前需进行模型转换，TensorFlow模型转换为TensorFlow Lite模型，TensorFlow Lite 在单片机低功耗应用适配Arduino(Arduino Nano 33BLE Sense)，加快运算速度操作和内存优化等一些方法；TensorFlow Lite模型会使得在线跌倒检测算法成为最有效的方式之一。
所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，在原跌倒检测方法数据集基础上，借助微处理器开发板Arduino Nano 33BLE Sense内置的麦克风采集数据，在终端上看到所述的微处理器开发板Arduino Nano 33BLE Sense开发板实时的对它声音辅助跌倒检测；在检测目标发生跌倒等意外情况时，能够及时发送消息至亲属或护理人员的手机端进行监护，完成监护通知。
本发明提供的所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，原有跌倒检测方法数据集基础上+跌倒声音和背景噪音辅助样本的数据集，应用一个高度优化的微型化机器学习模型，实现一个实时运行不足1MB大小的老人跌倒检测系统，并完成监护通知。
尽管已经对本发明的技术方案做了较为详细的阐述和列举，应当理解，对于本领域技术人员来说，对上述实施例做出修改或者采用等同的替代方案，这对本领域的技术人员而言是显而易见，任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

Claims (5)

1.一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，其特征在于：在个人计算机PC上进行人工智能AI跌倒算法的离线训练；可穿戴式终端上在线部署AI跌倒检测算法模块和云平台实施跌倒信息的监护通知系统。
所述基于声音辅助的可穿戴式老人跌倒检测系统及方法，首先在个人计算机PC上进行人工智能AI跌倒算法的离线训练，完成将所述AI跌倒算法部署到可穿戴式跌倒终端上，并进行模型的在线检测，最后通过所述云平台跌倒监护系统将跌倒检测结果通过短信或微信发送至绑定手机，完成对老人跌倒信息的监护通知。
所述AI训练的老人跌倒检测方法用公开数据集进行跌倒算法训练，借助微处理器开发板Arduino Nano 33BLE Sense内置麦克风采集跌倒声音数据并上传数据到微型化机器学习平台。
所述AI部署将微型化机器学习模型重新部署回微处理器开发板Arduino Nano 33BLESense上，进行跌倒算法的在线检测。
所述AI实时监护模块将跌倒检测结果发送至绑定手机完成跌倒信息的监护通知，完成跌倒告警。
2.根据权利要求1所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，其特征在于，完成老人跌倒检测目标、搜集跌倒和日常活动数据集、设计机器学习模型架构、训练模型与转换模型的机器学习过程；在PC机上进行离线跌倒模型建立和算法训练，TensorFlow Lite在单片机Arduino Nano 33BLE Sense上进行低功耗应用适配；运用TensorFlow Lite平台，配置到可穿戴式终端(微处理器开发板Arduino Nano 33BLESense)上实现在线跌倒检测。
3.根据权利要求2所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，其特征在于，AI跌倒算法首先在PC中运行TensorFlow，设计机器学习模型解决跌倒算法训练和快速推理过程，没有考虑可穿戴式模块的计算能力和功耗问题；而在微处理器ArduinoNano 33BLE Sense开发板上，需考虑该可穿戴式终端的低计算能力和节能问题；所述从搜集数据并确定跌倒检测目标、经过模型设计到训练推理，最后需解决模型可穿戴式终端中的CPU计算力不足和节能问题；将微处理器开发板Arduino Nano 33BLE Sense与微型化机器学习平台TensorFlow Lite连接到一体，在可穿戴式模块上在线部署基于TinyML的跌倒检测模型。
4.根据权利要求1所述的一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，其特征在于，在部署到Arduino Nano 33BLE Sense之前有一个机器学习模型测试流程，设备在每一阶段进行对错判断，编程过程中进行每一阶段测试，对于模型的每个过程(如模型识别、模型加载和模型计算等)，以及输入输出张量是否合理，每个环节都需进行判断，如果不合理就终止整个测试，重新回到开始设计阶段。
5.一种基于声音辅助的可穿戴式老人跌倒检测系统与方法，其特征在于，包括以下五个步骤：
第一步：开发准备(硬件：微处理器开发板Arduino Nano 33BLE Sense；软件：Python3，TensorFlow Lite；Arduino IDE)；监护老年人的声音捕获+跌倒检测所需其他信号如加速度等数据收集。
第二步：人工智能AI机器学习平台在PC机进行离线训练；初始化训练数据、跌倒数据预处理，模型优化的参数选择，跌倒检测结果对比，TinyML模型转换并生成二进制数据，完成测试流程(传感器采集数据，数据预处理，送到机器学习ML解释器，ML模型预测数据，对预测的数据做出最终的判断，设备响应ML的推理结果等)。
第三步：可穿戴终端的硬件部署；跌倒算法离线测试完成后，重新在微处理器开发板Arduino Nano 33BLE Sense上部署微机器学习模型TinyML，在可穿戴式终端上实现老人跌倒的在线检测。
第四步：对所述对象完成实时的推理并得到跌倒检测结果；借助微处理器开发板Arduino Nano 33BLE Sense的在线部署，实现声音对跌倒检测的实时辅助判断功能。
第五步：将所述的跌倒检测结果以多种告警方式(短信或微信)发送至绑定手机，完成跌倒信息的监护通知。
CN202111332584.9A 2021-11-11 2021-11-11 一种基于声音辅助的可穿戴式老人跌倒检测系统与方法 Pending CN114898527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111332584.9A CN114898527A (zh) 2021-11-11 2021-11-11 一种基于声音辅助的可穿戴式老人跌倒检测系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111332584.9A CN114898527A (zh) 2021-11-11 2021-11-11 一种基于声音辅助的可穿戴式老人跌倒检测系统与方法

Publications (1)

Publication Number Publication Date
CN114898527A true CN114898527A (zh) 2022-08-12

Family

ID=82714262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111332584.9A Pending CN114898527A (zh) 2021-11-11 2021-11-11 一种基于声音辅助的可穿戴式老人跌倒检测系统与方法

Country Status (1)

Country Link
CN (1) CN114898527A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376279A (zh) * 2022-08-17 2022-11-22 山东浪潮科学研究院有限公司 一种基于TinyML的低功耗智能辅助系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376279A (zh) * 2022-08-17 2022-11-22 山东浪潮科学研究院有限公司 一种基于TinyML的低功耗智能辅助系统
WO2024036958A1 (zh) * 2022-08-17 2024-02-22 山东浪潮科学研究院有限公司 一种基于TinyML的低功耗智能辅助系统

Similar Documents

Publication Publication Date Title
CN112885372B (zh) 电力设备故障声音智能诊断方法、系统、终端及介质
CN110047512B (zh) 一种环境声音分类方法、系统及相关装置
CN102163427B (zh) 一种基于环境模型的音频异常事件检测方法
CN102623009B (zh) 一种基于短时分析的异常情绪自动检测和提取方法和系统
CN109034046B (zh) 一种基于声学检测的电能表内异物自动识别方法
CN111325095A (zh) 基于声波信号的设备健康状态智能检测方法和系统
Dinkel et al. Voice activity detection in the wild via weakly supervised sound event detection
CN110570873A (zh) 声纹唤醒方法、装置、计算机设备以及存储介质
CN113566948A (zh) 机器人化煤机故障音频识别及诊断方法
CN114898527A (zh) 一种基于声音辅助的可穿戴式老人跌倒检测系统与方法
CN115098962A (zh) 一种基于隐半马尔夫模型的机械设备退化态下剩余寿命的预测方法
CN114974229A (zh) 基于电力现场作业音频数据提取异常行为的方法和系统
CN114999527A (zh) 一种变压器异常检测模型训练和部署方法及装置
CN115146842A (zh) 基于深度学习的多元时间序列趋势预测方法和系统
CN116746887B (zh) 一种基于音频的睡眠分期的方法、系统、终端及存储介质
CN1588535A (zh) 嵌入式语音识别系统的自动语音识别处理方法
CN111998936A (zh) 一种基于迁移学习的设备异音检测方法及系统
CN103400021A (zh) 基于重尾分布的kdsne水电机组噪声源检测方法
Nababan et al. Air Quality Prediction Based on Air Pollution Emissions in the City Environment Using XGBoost with SMOTE
CN114882906A (zh) 一种新型环境噪声识别方法及系统
CN117636909B (zh) 一种数据处理方法、装置、设备以及计算机可读存储介质
CN116612746B (zh) 一种基于人工智能在声学库中进行语音编码识别方法
CN113495974B (zh) 一种声音分类处理方法、装置、设备及介质
Zhang et al. A study of sound recognition algorithm for power plant equipment fusing MFCC and IMFCC features
Qiu et al. Fan sound fault detection algorithm based on the fusion of convolutional neural network and gated recurrent unit network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination