CN109846496A - 智能可穿戴设备情绪感知功能的硬件实现方法及组合 - Google Patents
智能可穿戴设备情绪感知功能的硬件实现方法及组合 Download PDFInfo
- Publication number
- CN109846496A CN109846496A CN201711235556.9A CN201711235556A CN109846496A CN 109846496 A CN109846496 A CN 109846496A CN 201711235556 A CN201711235556 A CN 201711235556A CN 109846496 A CN109846496 A CN 109846496A
- Authority
- CN
- China
- Prior art keywords
- layer
- neural network
- wearable device
- rhpnn
- ppg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
一种智能可穿戴设备情绪感知功能的硬件实现方法，包括如下步骤：PPG(photoplethysmography，光电体积描述)传感器和加速度计将采集到的PPG信号和加速度信号传输到FPGA(Field－Programmable Gate Array)芯片；FPGA芯片分别对PPG信号和加速度信号进行特征提取出心率、呼吸率、移动速度和移动频率4个物理量；将上述心率、呼吸率、移动速度和移动频率4个物理量输入基于概率的RHPNN(Robust Heteroscedastic Probabilistic Neural Network，鲁棒性异方差神经网络)神经网络，来实现对情绪的分类。本发明实时感知用户情绪的变化，及时提醒用户注意心理健康并调整工作状态，为用户心理健康提供保障的同时，还可以提高用户的工作效率。
Description
技术领域
本发明涉及智能可穿戴领域，尤其是一种智能可穿戴设备情绪感知功能的硬件实现方法及组合。
背景技术
随着移动通信技术的发展，移动互联网日益普及，传统互联网已经在向移动互联网迁移，智能可穿戴设备近年来发展的非常迅速。智能可穿戴设备是能直接穿戴在身上或以饰品、随身佩戴物品形态存在，集成了软件、硬件而具备了一定计算能力的新形态终端设备。可穿戴设备与FPGA似乎很难结合在一起，据市场情况来看，目前众多的可穿戴设备大多采用ARM架构的处理器，原因其一是该芯片体积较小，另一原因是在功耗上更容易做到最优解。而莱迪斯将可穿戴芯片的战场从ARM架构拉倒了FPGA中来，莱迪斯推出的一款用于低功耗消费类可穿戴设备设计的开发平台，基于iCE40 Ultra FPGA，具备大量传感器和外围设备，是用于各类可穿戴设备设计的理想平台。
心理和生理学提供的证据表明，生理反应与人的情感状态之间存在着极强的关联，同时由于生理信号直接受自主神经系统控制，基本不受人的主观影响，因而识别结果更加真实且说服力强。一个好的情绪状态，不仅可以保障人的心理健康，还可以提高人做事、工作的效率。
人工神经网络在智能控制、模式识别等领域中应用广泛，但是传统的基于通用处理器的软件实现方法存在两个主要问题：一是并行度低，计算速度无法满足现场的实时性需求；二是很多嵌入式应用对系统的稳定性、芯片的功率及尺寸都有较严苛的限制。
发明内容
为了克服上述缺陷，本发明提供一种智能可穿戴设备情绪感知功能的硬件实现方法及组合，所述智能可穿戴设备情绪感知功能的硬件实现方法及组合系通过穿戴在人身上的智能设备，采集人的多种体征信息并加以分析，计算得到人当前的情绪状态。
本发明为了解决其技术问题所采用的技术方案一是：一种智能可穿戴设备情绪感知功能的硬件实现方法，包括如下步骤：(1)PPG(photoplethysmography，光电体积描述)传感器和加速度计将采集到的PPG信号和加速度信号传输到FPGA(Field－ProgrammableGate Array)芯片；(2)FPGA芯片分别对PPG信号和加速度信号进行特征提取出心率、呼吸率、移动速度和移动频率4个物理量；(3)将上述心率、呼吸率、移动速度和移动频率4个物理量输入基于概率的RHPNN(Robust Heteroscedastic Probabilistic Neural Network，鲁棒性异方差神经网络)神经网络，来实现对情绪的分类。
作为本发明技术方案一的进一步改进，所述RHPNN神经网络具有4层前馈结构：
第一层输入层：输入4维向量心率、呼吸率、移动速度、移动频率；
第二层隐含层20个神经元，激励函数为高斯函数：
第三层求和层，4个加权求和器，把第二层的运算结果分四部分分别加权求和：
第四层输出层，加权比较第三层的4个和，输出分类结果。
作为本发明技术方案一的进一步改进，所述RHPNN神经网络用Ultra FPGA实现。
本发明为了解决其技术问题所采用的技术方案二是：一种智能可穿戴设备情绪感知功能的硬件实现组合，包括：PPG(photoplethysmography，光电体积描述)传感器、加速度计、FPGA(Field－Programmable Gate Array)芯片以及RHPNN(Robust HeteroscedasticProbabilistic Neural Network，鲁棒性异方差神经网络)神经网络，所述PPG传感器、加速度计以及RHPNN神经网络分别与FPGA芯片连接。
作为本发明技术方案二的进一步改进，所述RHPNN神经网络具有四层：第一层4个神经元用4个存储器来实现，存储输入的一个4维向量；第二层20个神经元，每个神经元都包含一个加权求和器、一个高斯函数查找表和一个运算结果存储器；第三层4个加权求和器，把第二层的运算结果分4部分加权求和，得出的结果输入第四层；第四层的是比较选择器，比较第三层的四个和，判断结果所对应的情绪状态。
本发明的有益效果是：本发明智能可穿戴设备情绪感知功能的硬件实现方法及组合通过采集4个物理量：心率、呼吸率、移动速度和移动频率作为神经网络算法的输入，其中心率和呼吸率可以从PPG(photoplethysmography，光电体积描述)信号中进行特征提取得到，移动速度和移动频率可从加速度信号中提取得到，用于情绪感知的神经网络主要包括输入层、隐含层、求和层和输出层，从而实时感知用户情绪的变化，及时提醒用户注意心理健康并调整工作状态，为用户心理健康提供保障的同时，还可以提高用户的工作效率。
附图说明
图1为本发明智能可穿戴设备情绪感知功能的硬件实现方法及组合的整体示意图。
图2为本发明智能可穿戴设备情绪感知功能的硬件实现方法及组合中神经网络的示意图。
具体实施方式
请参考图1和图2，本发明主要涉及一种智能可穿戴设备情绪感知功能的硬件实现方法，包括如下步骤：
(1)PPG(photoplethysmography，光电体积描述)传感器和加速度计将采集到的PPG信号和加速度信号传输到FPGA(Field－Programmable Gate Array)芯片；
(2)FPGA芯片分别对PPG信号和加速度信号进行特征提取出心率、呼吸率、移动速度和移动频率4个物理量；
(3)将上述心率、呼吸率、移动速度和移动频率4个物理量输入基于概率的RHPNN(Robust Heteroscedastic Probabilistic Neural Network，鲁棒性异方差神经网络)神经网络，来实现对情绪的分类。
请参考图2，所述RHPNN神经网络具有4层前馈结构：
第一层输入层：输入4维向量心率、呼吸率、移动速度、移动频率；
第二层隐含层20个神经元，激励函数为高斯函数：
第三层求和层，4个加权求和器，把第二层的运算结果分四部分分别加权求和：
第四层输出层，加权比较第三层的4个和，输出分类结果。
优选实施方式中，所述RHPNN神经网络用Ultra FPGA实现。
请参考图1和图2，本发明还涉及一种智能可穿戴设备情绪感知功能的硬件实现组合，包括：PPG(photoplethysmography，光电体积描述)传感器、加速度计、FPGA(Field－Programmable Gate Array)芯片以及RHPNN(Robust Heteroscedastic ProbabilisticNeural Network，鲁棒性异方差神经网络)神经网络，所述PPG传感器、加速度计以及RHPNN神经网络分别与FPGA芯片连接。
所述RHPNN神经网络具有四层：第一层4个神经元用4个存储器来实现，存储输入的一个4维向量；第二层20个神经元，每个神经元都包含一个加权求和器、一个高斯函数查找表和一个运算结果存储器；第三层4个加权求和器，把第二层的运算结果分4部分加权求和，得出的结果输入第四层；第四层的是比较选择器，比较第三层的四个和，判断结果所对应的情绪状态。
本发明通过采集4个物理量：心率、呼吸率、移动速度和移动频率作为神经网络算法的输入，其中心率和呼吸率可以从PPG信号中进行特征提取得到，移动速度和移动频率可从加速度信号中提取得到，用于情绪感知的神经网络主要包括输入层、隐含层、求和层和输出层，从而实时感知用户情绪的变化，及时提醒用户注意心理健康并调整工作状态，为用户心理健康提供保障的同时，还可以提高用户的工作效率。
Claims (5)
1.一种智能可穿戴设备情绪感知功能的硬件实现方法，其特征在于：包括如下步骤：
(1)PPG(photoplethysmography，光电体积描述)传感器和加速度计将采集到的PPG信号和加速度信号传输到FPGA(Field－Programmable Gate Array)芯片；
(2)FPGA芯片分别对PPG信号和加速度信号进行特征提取出心率、呼吸率、移动速度和移动频率4个物理量；
(3)将上述心率、呼吸率、移动速度和移动频率4个物理量输入基于概率的RHPNN(Robust Heteroscedastic Probabilistic Neural Network，鲁棒性异方差神经网络)神经网络，来实现对情绪的分类。
2.根据权利要求1所述的智能可穿戴设备情绪感知功能的硬件实现方法，其特征是：所述RHPNN神经网络具有4层前馈结构：
第一层输入层：输入4维向量心率、呼吸率、移动速度、移动频率；
第二层隐含层20个神经元，激励函数为高斯函数：
第三层求和层，4个加权求和器，把第二层的运算结果分四部分分别加权求和：
第四层输出层，加权比较第三层的4个和，输出分类结果。
3.根据权利要求1或2所述的智能可穿戴设备情绪感知功能的硬件实现方法，其特征是：所述RHPNN神经网络用Ultra FPGA实现。
4.一种智能可穿戴设备情绪感知功能的硬件实现组合，其特征在于：包括：PPG(photoplethysmography，光电体积描述)传感器、加速度计、FPGA(Field－ProgrammableGate Array)芯片以及RHPNN(Robust Heteroscedastic Probabilistic Neural Network，鲁棒性异方差神经网络)神经网络，所述PPG传感器、加速度计以及RHPNN神经网络分别与FPGA芯片连接。
5.根据权利要求4所述的智能可穿戴设备情绪感知功能的硬件实现组合，其特征是：所述RHPNN神经网络具有四层：第一层4个神经元用4个存储器来实现，存储输入的一个4维向量；第二层20个神经元，每个神经元都包含一个加权求和器、一个高斯函数查找表和一个运算结果存储器；第三层4个加权求和器，把第二层的运算结果分4部分加权求和，得出的结果输入第四层；第四层的是比较选择器，比较第三层的四个和，判断结果所对应的情绪状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711235556.9A CN109846496B (zh) | 2017-11-30 | 2017-11-30 | 智能可穿戴设备情绪感知功能的硬件实现方法及组合 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711235556.9A CN109846496B (zh) | 2017-11-30 | 2017-11-30 | 智能可穿戴设备情绪感知功能的硬件实现方法及组合 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109846496A true CN109846496A (zh) | 2019-06-07 |
| CN109846496B CN109846496B (zh) | 2022-06-10 |
Family
ID=66887829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711235556.9A Active CN109846496B (zh) | 2017-11-30 | 2017-11-30 | 智能可穿戴设备情绪感知功能的硬件实现方法及组合 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109846496B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705584A (zh) * | 2019-08-21 | 2020-01-17 | 深圳壹账通智能科技有限公司 | 情绪识别方法、装置、计算机装置及存储介质 |
| CN111797817A (zh) * | 2020-07-30 | 2020-10-20 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备及计算机可读存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130007083A1 (en) * | 2011-06-30 | 2013-01-03 | Nellcor Puritan Bennett Ireland | Systems and methods for computing continuous wavelet transform on a dedicated integrated circuit |
| CN104434064A (zh) * | 2014-11-26 | 2015-03-25 | 中国科学院计算技术研究所 | 一种心率和呼吸率信号处理与跟踪方法及其系统 |
| CN104905765A (zh) * | 2015-06-08 | 2015-09-16 | 四川大学华西医院 | 眼动跟踪中基于CamShift算法的FPGA实现方法 |
| US20150335250A1 (en) * | 2012-08-02 | 2015-11-26 | Accuvein, Inc. | Device for Detecting and Illuminating the Vasculature Using an FPGA |
| CN105119715A (zh) * | 2015-07-03 | 2015-12-02 | 合肥工业大学 | 一种基于重加密算法的fpga虚拟io片间互连数字电路 |
| CN105306703A (zh) * | 2015-09-30 | 2016-02-03 | 西安沧海网络科技有限公司 | 一种基于智能手机的情绪识别可穿戴装置 |
| CN105391843A (zh) * | 2015-09-28 | 2016-03-09 | 努比亚技术有限公司 | 终端设备、信息发布方法及信息发布系统 |
| CN105943015A (zh) * | 2016-06-04 | 2016-09-21 | 浙江大学 | 一种主动降噪的穿戴式心率变异性监测设备 |
| US20160378965A1 (en) * | 2015-06-26 | 2016-12-29 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling functions in the electronic apparatus using a bio-metric sensor |
| CN107036716A (zh) * | 2017-04-25 | 2017-08-11 | 中国科学院微电子研究所 | 一种自校准红外热电堆温度传感器及自校准方法 |
| CN107080527A (zh) * | 2017-02-23 | 2017-08-22 | 东南大学 | 一种可穿戴生命体征监测装置及精神状态监测方法 |
| CN107220293A (zh) * | 2017-04-26 | 2017-09-29 | 天津大学 | 基于情绪的文本分类方法 |
-
2017
- 2017-11-30 CN CN201711235556.9A patent/CN109846496B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130007083A1 (en) * | 2011-06-30 | 2013-01-03 | Nellcor Puritan Bennett Ireland | Systems and methods for computing continuous wavelet transform on a dedicated integrated circuit |
| US20150335250A1 (en) * | 2012-08-02 | 2015-11-26 | Accuvein, Inc. | Device for Detecting and Illuminating the Vasculature Using an FPGA |
| CN104434064A (zh) * | 2014-11-26 | 2015-03-25 | 中国科学院计算技术研究所 | 一种心率和呼吸率信号处理与跟踪方法及其系统 |
| CN104905765A (zh) * | 2015-06-08 | 2015-09-16 | 四川大学华西医院 | 眼动跟踪中基于CamShift算法的FPGA实现方法 |
| US20160378965A1 (en) * | 2015-06-26 | 2016-12-29 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling functions in the electronic apparatus using a bio-metric sensor |
| CN105119715A (zh) * | 2015-07-03 | 2015-12-02 | 合肥工业大学 | 一种基于重加密算法的fpga虚拟io片间互连数字电路 |
| CN105391843A (zh) * | 2015-09-28 | 2016-03-09 | 努比亚技术有限公司 | 终端设备、信息发布方法及信息发布系统 |
| CN105306703A (zh) * | 2015-09-30 | 2016-02-03 | 西安沧海网络科技有限公司 | 一种基于智能手机的情绪识别可穿戴装置 |
| CN105943015A (zh) * | 2016-06-04 | 2016-09-21 | 浙江大学 | 一种主动降噪的穿戴式心率变异性监测设备 |
| CN107080527A (zh) * | 2017-02-23 | 2017-08-22 | 东南大学 | 一种可穿戴生命体征监测装置及精神状态监测方法 |
| CN107036716A (zh) * | 2017-04-25 | 2017-08-11 | 中国科学院微电子研究所 | 一种自校准红外热电堆温度传感器及自校准方法 |
| CN107220293A (zh) * | 2017-04-26 | 2017-09-29 | 天津大学 | 基于情绪的文本分类方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705584A (zh) * | 2019-08-21 | 2020-01-17 | 深圳壹账通智能科技有限公司 | 情绪识别方法、装置、计算机装置及存储介质 |
| CN111797817A (zh) * | 2020-07-30 | 2020-10-20 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备及计算机可读存储介质 |
| CN111797817B (zh) * | 2020-07-30 | 2024-04-19 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109846496B (zh) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tang et al. | Layer-wise training convolutional neural networks with smaller filters for human activity recognition using wearable sensors | |
| CN107633207B (zh) | Au特征识别方法、装置及存储介质 | |
| CN105512624B (zh) | 一种人脸图像的笑脸识别方法及其装置 | |
| CN104881660B (zh) | 基于gpu加速的人脸表情识别及互动方法 | |
| CN110188701A (zh) | 基于人体关键节点预测的服饰识别方法、系统及终端 | |
| CN107392124A (zh) | 情绪识别方法、装置、终端及存储介质 | |
| CN109614925A (zh) | 服饰属性识别方法和装置、电子设备、存储介质 | |
| US11663792B2 (en) | Body fitted accessory with physics simulation | |
| US20240070986A1 (en) | External mesh with vertex attributes | |
| CN110610158A (zh) | 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统 | |
| CN111382714A (zh) | 图像检测方法、装置、终端及存储介质 | |
| WO2021004510A1 (zh) | 基于传感器的分离式部署的人体行为识别健康管理系统 | |
| CN109846496A (zh) | 智能可穿戴设备情绪感知功能的硬件实现方法及组合 | |
| Alharbi et al. | Synthetic sensor data for human activity recognition | |
| CN108875836A (zh) | 一种基于深度多任务学习的简单-复杂活动协同识别方法 | |
| Wu et al. | Intelligent clothing for automated recognition of human physical activities in free-living environment | |
| Yang et al. | Cross-modal federated human activity recognition via modality-agnostic and modality-specific representation learning | |
| Meng et al. | Health and wellness monitoring using intelligent sensing technique | |
| US20220351408A1 (en) | Detection device for detecting human-body orientation and detection method for detecting human-body orientation | |
| Wei | The application and development of artificial intelligence in smart clothing | |
| Zhang et al. | Attention-based Residual BiLSTM Networks for Human Activity Recognition | |
| Jablonsky et al. | Evaluating sensor placement and modality for activity recognition in active games | |
| CN113065924A (zh) | 一种用于衣物定制的数据输入系统 | |
| Wei et al. | A survey of facial expression recognition based on deep learning | |
| Deng et al. | AI-driven innovation in ethnic clothing design: an intersection of machine learning and cultural heritage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |