CN108245177A - 一种婴儿智能监护可穿戴设备及基于gmm-hmm-dnn的婴儿哭声识别方法 - Google Patents

一种婴儿智能监护可穿戴设备及基于gmm-hmm-dnn的婴儿哭声识别方法 Download PDF

Info

Publication number
CN108245177A
CN108245177A CN201810012629.6A CN201810012629A CN108245177A CN 108245177 A CN108245177 A CN 108245177A CN 201810012629 A CN201810012629 A CN 201810012629A CN 108245177 A CN108245177 A CN 108245177A
Authority
CN
China
Prior art keywords
vagitus
gmm
dnn
signal
hmm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810012629.6A
Other languages
English (en)
Other versions
CN108245177B (zh
Inventor
潘朝源
赵玮
邓时健
魏文舒
张云霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201810012629.6A priority Critical patent/CN108245177B/zh
Publication of CN108245177A publication Critical patent/CN108245177A/zh
Application granted granted Critical
Publication of CN108245177B publication Critical patent/CN108245177B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04Babies, e.g. for SIDS detection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种婴幼儿智能监护可穿戴设备及基于GMM‑HMM‑DNN的婴儿哭声识别方法,属于智能穿戴技术领域,包括婴儿哭声识别模块、主控模块、信号传送模块、人机交互显示模块,所述婴儿哭声识别模块的输出端与主控模块的输入端相连接,所述主控模块的输出端与信号传送模块的输入端相连接,信号传送模块通过无线传输模块与人机交互显示模块相连接。通过本发明公开的一种婴幼儿智能监护可穿戴设备及基于GMM‑HMM‑DNN的婴儿哭声识别方法可以很好的了解婴儿的需求,做到对婴儿的实时监护。

Description

一种婴儿智能监护可穿戴设备及基于GMM-HMM-DNN的婴儿哭 声识别方法
技术领域
本发明涉及智能穿戴技术领域,尤其指一种婴儿智能监护可穿戴设备及基于GMM-HMM-DNN的婴儿哭声识别方法。
背景技术
随着人们生活水平的提高,家庭生活中对于婴儿的监护要求也越来越高,现今对婴儿的呵护应当做到无微不至,因为婴儿不能去表达自己的情绪及各种需求,这对于年轻的父母来说是一种很大的挑战,基于这种情况,研究人员研发了相应的婴儿智能监护可穿戴设备来对婴儿进行实时监护。
参照申请号:CN201620107447.3公开号:CN205375104U一种用于婴儿监护的智能穿戴设备公开了一种用于婴儿监护的智能穿戴设备,智能穿戴设备可以完成婴儿生命体征,生理参数的监测,同时完成婴儿生活环境的实时监测和控制,为婴儿的健康成长营造一个良好、舒适的环境。用以解决目前对于婴儿居住环境以及身体状况不能实时了解,并及时改善婴儿居住环境的问题。婴儿智能监护可穿戴设备可以大大的降低父母的焦虑和紧张,通过信号采集模块准确地获取婴儿各类信号,并通过显示模块反映出婴儿状况。
上述技术方案虽然可以有效的检测婴儿的生活环境并且即时的进行调整,但是通常实际生活中,婴幼儿的诸多状态:饥渴、尿急或困倦,采用以上技术方案并不能检测到婴儿的这些状态,而科学研究表明:婴儿啼哭是婴儿与外界交互的重要方式,其声音也会因为情绪或需求的差异而有所不同,因此将婴儿哭声作为一种特殊的语音信号进行分析处理,并将不同的婴儿哭声进行分类可以做到对婴儿的情绪或需求精准化识别。
发明内容
本发明为了更好的实现婴儿的智能监护从而提供一种婴儿智能监护可穿戴设备及基于GMM-HMM-DNN的婴儿哭声识别方法。其能够实时采集婴儿哭声信号,取样分析得出婴儿哭声所表达的情绪或需求。
为实现上述目的,本发明采用以下技术方案:
一种婴儿智能监护可穿戴设备,包括依次相连接的婴儿哭声识别模块、主控模块、信号传送模块、人机交互显示模块。
其中婴儿哭声识别模块: 实时采集婴儿哭声信号,并对婴儿哭声信号进行处理,分析婴儿的情绪或需求,婴儿哭声识别模块包括婴儿哭声信号采集模块、婴儿哭声信号处理模块以及婴儿哭声信号判定模块,其中婴儿哭声信号采集模块实时对婴儿哭声进行采集,婴儿哭声信号处理模块将婴儿哭声信号采集模块输出的信号进行滤波等处理从而输出无杂音干扰的婴儿哭声信号,婴儿哭声信号判定模块对婴儿哭声信号处理模块输出的信号分析、比对,从而判断婴儿的情绪或需求;
主控模块:与婴儿哭声识别模块的输出端相连接,主控模块接收到婴儿哭声识别模块输出的信号后将该信号进行分析处理,最后传递给信号传送模块;
信号传送模块:与主控模块输出端相连,信号传送模块接收到主控模块输出的婴儿的情绪或需求信号后,将该信号传送至人机交互显示模块,由此远程监护人可从人机交互显示模块中了解婴儿的情绪或需求;
人机交互显示模块:与信号传送模块相连,人机交互显示模块收到信号传送模块输出的信号后,在监护人客户端显示屏上显示婴儿哭声对应的情绪或需求;
所述的人机交互显示模块包括控制子模块和显示子模块。
进一步的,所述婴儿智能监护可穿戴设备还包括心率监测模块,心率监测模块的输出端与主控模块的输入端相连,从而达到对婴幼儿的心率进行实时监测并反馈;
进一步的,所述信号传送模块优选的采用蓝牙模块进行信号传送;
进一步的,所述信号传送模块还设有远距离报警模块,当婴儿远离监护人一定安全范围时,蓝牙连接超过连接的最大距离时断开,此时立即触发报警信号,该信号经信号传送模块输出,在人机交互显示模块发出报警;
进一步的优选方案,所述监护人客户端显示屏模板为一智能手机。
本发明基于GMM-HMM-DNN的婴儿哭声识别方法通过以下步骤实现:
步骤一:采集婴儿哭声信号;
步骤二:将所述婴儿哭声采集信号进行VAD处理和预加重;
步骤三:使用移动窗函数将预加重后的信号进行分帧;
步骤四:将分帧信号通过Mel频率倒谱法获得原始特征MFCC;
步骤五:将分帧信号通过DNN进行标注提取Tandem特征;
步骤六:将提取得到的Tandem特征与原始特征MFCC进行拼接;
步骤七:使用PAC对合并后的特征进行压缩降维;
步骤八:使用GMM-HMM建立的声学模型对压缩降维后的特征进行婴儿哭声解码;
步骤九:根据解码搜索识别结果确定婴幼儿的状态:饥渴、尿急或困倦。
进一步的,将分帧信号通过DNN进行标注提取Tandem特征的步骤包括:
S1:将分帧信号作为DNN的输入;
S2:使用DBN预训练对DNN模型初始化,将DBN的权重作为由sigmoid神经元构成的DNN的初始权重;
S3:使用误差反向传播来进行DNN参数训练;
S4:使用softmax对DNN的输出特征进行处理,再取对数运算,以修正后验概率分布的偏斜型;
S5:使用KLT去除维之间的相关性并降低维数,仅保留对全局方差有贡献的特征分量,删除冗余的数据信号,将输出特征作为Tandem特征。
进一步的,使用DBN预训练对DNN模型初始化的步骤包括:
A:使用RBM期望值连续迭代获得DBN所有隐藏层权重的初始值;
B:使用wake-sleep算法对DBN进行精细调整;
C:在预训练结束后,添加一个随机初始化的softmax输出层,并用反向误差传播算法鉴别性地精细调整网络中的所有权重。
进一步的,根据所述压缩降维后的特征,通过GMM-HMM建立声学模型,其步骤包括:
1:采用GMM对降维压缩后特征进行建模;
2:采用HMM对GMM建模结果进行婴儿哭声识别。
进一步的,采用GMM对降维压缩后特征进行建模的步骤包括:
a:使用GMM对降维压缩后特征进行匹配,建立多元高斯分布模型;
b:采用EM算法对GMM模型中各参数变量进行估计;
进一步的,采用HMM对GMM建模结果进行婴儿哭声识别,其步骤包括:
A1:对用于训练的特征矢量进行K均值聚类分析得到码本元素;
A2:将所得码本元素和待识别的特征矢量进行矢量量化操作;
A3:对量化后的码本元素使用Baum-Welch算法训练HMM;
A4:对量化后待识别的特征矢量使用Viterbi算法计算各HMM模型的条件概率;
A5:取此概率最大者即为识别结果。
通过上述对本发明的描述可知其优点在于:通过实时监测婴儿的哭声并对哭声进行处理分析,根据哭声的不同从而检测到婴儿的不同心理需求,便于直观的让父母了解婴儿的心理状态和需求,实现了更加智能化的婴儿监护。
附图说明
图1为所述婴儿智能监护可穿戴设备的工作原理图。
图2为所述婴儿智能监护可穿戴设备的工作流程图。
图3为所述基于GMM-HMM-DNN的婴儿哭声识别方法的流程框架图。
具体实施方式
如图1所示,所述的一种婴儿智能监护可穿戴设备,包括婴儿哭声识别模块、主控模块、信号传送模块、心率监测模块以及人机交互显示模块,其中:
婴儿哭声识别模块:实时采集婴儿哭声信号,并对婴儿哭声信号进行处理,分析婴儿的情绪或需求,婴儿哭声识别模块包括婴儿哭声信号采集模块、婴儿哭声信号处理模块以及婴儿哭声信号判定模块,其中,婴儿哭声信号采集模块实时对婴儿的哭声信息进行采集,婴儿哭声信号处理模块将婴儿哭声信号采集模块输出的信号进行滤波等处理从而输出无杂音干扰的婴儿哭声信号,婴儿哭声信号判定模块采用所述的基于GMM-HMM-DNN的婴儿哭声识别方法对婴儿哭声信号处理模块输出的信号分析比对从而判断婴儿的情绪或需求,所述的基于GMM-HMM-DNN的婴儿哭声识别方法采用DSP实现;
主控模块:与婴儿哭声识别模块的输出端相连接,主控模块接收到婴儿哭声识别模块以及心率监测模块输出的信号后将该信号处理后传送给信号传送模块。该模块采用STM32F105互联型系列处理器,该处理器环境下,可以实现对婴儿哭声识别模块以及心率监测模块输出的信号进行处理和分析,并传送给信号传送模块;
信号传送模块,与主控模块输出端相连,信号传送模块接收到主控模块输出的信号后将该信号传送至人机交互显示模块。该模块采用低功耗蓝牙芯片CC2541对可穿戴设备和终端人机交互显示模块进行信号连接;
所述信号传送模块还设有远距离报警子模块,若婴儿远离监护人一定安全范围,立即触发报警信号,该信号经信号传送模块输出,在人机交互显示模块发出报警。该模块通过蓝牙连接断开信号驱动报警;
进一步的所述婴儿智能监护可穿戴设备还包括心率监测模块,心率监测模块与主控模块的输入端相连接,心率监测模块对婴幼儿的心率进行实时监测并反馈。所述心率监测模块采用ST188红外光电传感器采集心率脉动信号;
所述婴儿智能监护可穿戴设备还包括人机交互显示模块,人机交互显示模块与信号传送模块相连接,人机交互显示模块收到信号传送模块输出的信号后,在监护人终端显示屏显示婴儿对应情绪或需求;
所述人机交互显示模块包括显示控制子模块和显示子模块。其中显示控制子模块采用低功耗蓝牙芯片CC2541作为主控芯片驱动显示程序;显示子模块采用12864液晶模块(LCD)。
如图2所示,所述的一种婴儿智能监护可穿戴设备的工作流程如下所述:
1、婴儿智能监护可穿戴设备启动,系统初始化;
2、采集、处理婴儿哭声信号,同时采集心率脉动信号;
3、判定婴儿哭声信号识别婴儿的情绪或需求,同时处理心率脉动信号;
4、通过所述(3)中信号传送判断蓝牙连接是否断开:
若断开,驱动报警程序;
若未断开,监护人终端显示婴儿情绪或需求;
5、完成后返回,对系统初始化,再进行下一流程信号采集。
如图3所示,所述的基于GMM-HMM-DNN的婴儿哭声识别方法的流程图如下所述:
A 对所述哭声采集信号进行VAD处理和预加重;
B 使用移动窗函数将预加重后的信号进行分帧;
C 将分帧信号通过Mel频率倒谱法获得原始特征MFCC;
D 将分帧信号通过DNN进行标注提取Tandem特征;
E 将提取得到的Tandem特征与原始特征MFCC进行拼接;
F 使用PAC对合并后的特征进行压缩降维;
G 使用GMM-HMM建立的声学模型对压缩降维后的特征进行婴儿哭声解码;
H 根据解码搜索识别结果确定待婴幼儿的状态:饥渴、尿急或困倦。

Claims (11)

1.一种婴幼儿智能监护可穿戴设备,其特征在于:包括婴儿哭声识别模块、主控模块、信号传送模块、人机交互显示模块,所述婴儿哭声识别模块的输出端与主控模块的输入端相连接,所述主控模块的输出端与信号传送模块的输入端相连接,信号传送模块通过无线传输模块与人机交互显示模块相连接。
2.如权利要求1所述的一种婴幼儿智能监护可穿戴设备,其特征在于:还包括心率监测模块,所述心率监测模块的输出端与主控模块相连接。
3.如权利要求1所述的一种婴幼儿智能监护可穿戴设备,其特征在于:无线信号传送模块采用低功耗蓝牙芯片CC2541。
4.如权利要求1所述一种婴幼儿智能监护可穿戴设备,其特征在于:所述婴幼儿智能监护可穿戴设备为婴儿手环。
5.如权利要求1所述一种婴幼儿智能监护可穿戴设备,其特征在于:所述信号传送模块还设有远距离报警子模块,该模块通过蓝牙连接断开信号驱动报警。
6.一种基于GMM-HMM-DNN的婴儿哭声识别方法,其特征在于:
步骤一:采集婴儿哭声信号;
步骤二:将所述婴儿哭声采集信号进行VAD处理和预加重;
步骤三:使用移动窗函数将预加重后的信号进行分帧;
步骤四:将分帧信号通过Mel频率倒谱法获得原始特征MFCC;
步骤五:将分帧信号通过DNN进行标注提取Tandem特征;
步骤六:将提取得到的Tandem特征与原始特征MFCC进行拼接;
步骤七:使用PAC对合并后的特征进行压缩降维;
步骤八:使用GMM-HMM建立的声学模型对压缩降维后的特征进行婴儿哭声解码;
步骤九:根据解码搜索识别结果确定婴幼儿的状态:饥渴、尿急或困倦。
7.如权利要求5所述一种基于GMM-HMM-DNN的婴儿哭声识别方法,其特征在于:
将分帧信号通过DNN进行标注提取Tandem特征的步骤包括:
S1:将分帧信号作为DNN的输入;
S2:使用DBN预训练对DNN模型初始化,将DBN的权重作为由sigmoid神经元构成的DNN的初始权重;
S3:使用误差反向传播来进行DNN参数训练;
S4:使用softmax对DNN的输出特征进行处理,再取对数运算,以修正后验概率分布的偏斜型;
S5:使用KLT去除维之间的相关性并降低维数,仅保留对全局方差有贡献的特征分量,删除冗余的数据信号,将输出特征作为Tandem特征。
8.如权利要求6所述一种基于GMM-HMM-DNN的婴儿哭声识别方法,其特征在于:
使用DBN预训练对DNN模型初始化的步骤包括:
A:使用RBM期望值连续迭代获得DBN所有隐藏层权重的初始值;
B:使用wake-sleep算法对DBN进行精细调整;
C:在预训练结束后,添加一个随机初始化的softmax输出层,并用反向误差传播算法鉴别性地精细调整网络中的所有权重。
9.如权利要求5所述一种基于GMM-HMM-DNN的婴儿哭声识别方法,其特征在于:
通过GMM-HMM建立声学模型,其步骤包括:
1:采用GMM对降维压缩后特征进行建模;
2:采用HMM对GMM建模结果进行婴儿哭声识别。
10.如权利要求8所述一种基于GMM-HMM-DNN的婴儿哭声识别方法,其特征在于:
采用GMM对降维压缩后特征进行建模的步骤包括:
a:使用GMM对降维压缩后特征进行匹配,建立多元高斯分布模型;
b:采用EM算法对GMM模型中各参数变量进行估计。
11.如权利要求8所述一种基于GMM-HMM-DNN的婴儿哭声识别方法,其特征在于:
采用HMM对GMM建模结果进行婴儿哭声识别,其步骤包括:
A1:对用于训练的特征矢量进行K均值聚类分析得到码本元素;
A2:将所得码本元素和待识别的特征矢量进行矢量量化操作;
A3:对量化后的码本元素使用Baum-Welch算法训练HMM;
A4:对量化后待识别的特征矢量使用Viterbi算法计算各HMM模型的条件概率;
A5:取此概率最大者即为识别结果。
CN201810012629.6A 2018-01-05 2018-01-05 一种婴儿智能监护可穿戴设备及基于gmm-hmm-dnn的婴儿哭声识别方法 Expired - Fee Related CN108245177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810012629.6A CN108245177B (zh) 2018-01-05 2018-01-05 一种婴儿智能监护可穿戴设备及基于gmm-hmm-dnn的婴儿哭声识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810012629.6A CN108245177B (zh) 2018-01-05 2018-01-05 一种婴儿智能监护可穿戴设备及基于gmm-hmm-dnn的婴儿哭声识别方法

Publications (2)

Publication Number Publication Date
CN108245177A true CN108245177A (zh) 2018-07-06
CN108245177B CN108245177B (zh) 2021-01-01

Family

ID=62724940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810012629.6A Expired - Fee Related CN108245177B (zh) 2018-01-05 2018-01-05 一种婴儿智能监护可穿戴设备及基于gmm-hmm-dnn的婴儿哭声识别方法

Country Status (1)

Country Link
CN (1) CN108245177B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881284A (zh) * 2012-09-03 2013-01-16 江苏大学 非特定人语音情感识别方法及系统
CN204406058U (zh) * 2015-01-26 2015-06-17 福建邦信信息科技有限公司 儿童智能通讯支付手表
CN104715592A (zh) * 2013-12-12 2015-06-17 西安广融电气有限公司 移动终端防盗装置
CN105232051A (zh) * 2015-08-28 2016-01-13 华南理工大学 一种基于异常语音识别技术的儿童自主监测系统
CN105702250A (zh) * 2016-01-06 2016-06-22 福建天晴数码有限公司 语音识别方法和装置
CN105976812A (zh) * 2016-04-28 2016-09-28 腾讯科技(深圳)有限公司 一种语音识别方法及其设备
CN106601258A (zh) * 2016-12-12 2017-04-26 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于改进的lsda算法进行信道补偿的说话人识别方法
CN106920544A (zh) * 2017-03-17 2017-07-04 深圳市唯特视科技有限公司 一种基于深度神经网络特征训练的语音识别方法
CN107049278A (zh) * 2017-05-11 2017-08-18 赵可成 一种多参数识别婴儿啼哭声的装置
US20170340285A1 (en) * 2016-05-24 2017-11-30 Graco Children's Products Inc. Systems and methods for autonomously soothing babies

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881284A (zh) * 2012-09-03 2013-01-16 江苏大学 非特定人语音情感识别方法及系统
CN104715592A (zh) * 2013-12-12 2015-06-17 西安广融电气有限公司 移动终端防盗装置
CN204406058U (zh) * 2015-01-26 2015-06-17 福建邦信信息科技有限公司 儿童智能通讯支付手表
CN105232051A (zh) * 2015-08-28 2016-01-13 华南理工大学 一种基于异常语音识别技术的儿童自主监测系统
CN105702250A (zh) * 2016-01-06 2016-06-22 福建天晴数码有限公司 语音识别方法和装置
CN105976812A (zh) * 2016-04-28 2016-09-28 腾讯科技(深圳)有限公司 一种语音识别方法及其设备
US20170340285A1 (en) * 2016-05-24 2017-11-30 Graco Children's Products Inc. Systems and methods for autonomously soothing babies
CN106601258A (zh) * 2016-12-12 2017-04-26 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于改进的lsda算法进行信道补偿的说话人识别方法
CN106920544A (zh) * 2017-03-17 2017-07-04 深圳市唯特视科技有限公司 一种基于深度神经网络特征训练的语音识别方法
CN107049278A (zh) * 2017-05-11 2017-08-18 赵可成 一种多参数识别婴儿啼哭声的装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
包叶波: "基于深层神经网络的声学特征提取及其在LVCSR系统中的应用", 《中国博士学位论文全文数据库》 *

Also Published As

Publication number Publication date
CN108245177B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
US11810670B2 (en) Intelligent health monitoring
US9910298B1 (en) Systems and methods for a computerized temple for use with eyewear
US20180018985A1 (en) System and method for detecting repetitive speech
US10878818B2 (en) Methods and apparatus for silent speech interface
WO2017193497A1 (zh) 基于融合模型的智能化健康管理服务器、系统及其控制方法
CN113158727A (zh) 一种基于视频和语音信息的双模态融合情绪识别方法
CN112149638B (zh) 基于多模态生物特征的人员身份识别系统构建及使用方法
US20220037022A1 (en) Ensemble machine-learning models to detect respiratory syndromes
US20120053929A1 (en) Method and mobile device for awareness of language ability
CN107193382A (zh) 智能可穿戴设备以及自动利用传感器来配置能力的方法
CN107909023B (zh) 运动参数的识别方法、装置、终端及存储介质
KR20200126675A (ko) 전자 장치 및 이의 제어 방법
CN113239872B (zh) 事件识别方法、装置、设备及存储介质
CN114305325A (zh) 一种情绪检测方法和装置
Turan et al. Monitoring Infant's Emotional Cry in Domestic Environments Using the Capsule Network Architecture.
CN114724224A (zh) 一种用于医疗护理机器人的多模态情感识别方法
US20180240458A1 (en) Wearable apparatus and method for vocabulary measurement and enrichment
Ozseven Infant cry classification by using different deep neural network models and hand-crafted features
Singh et al. A facial and vocal expression based comprehensive framework for real-time student stress monitoring in an IoT-Fog-Cloud environment
Papapanagiotou et al. Self-supervised feature learning of 1d convolutional neural networks with contrastive loss for eating detection using an in-ear microphone
CN108245177A (zh) 一种婴儿智能监护可穿戴设备及基于gmm-hmm-dnn的婴儿哭声识别方法
Mallol-Ragolta et al. Outer product-based fusion of smartwatch sensor data for human activity recognition
Siantikos et al. A low-cost approach for detecting activities of daily living using audio information: A use case on bathroom activity monitoring
Tivatansakul et al. Healthcare system focusing on emotional aspect using augmented reality: Emotion detection by facial expression
CN113693601A (zh) 一种融合脑电波和生理信号的多感知智能人机交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210101

Termination date: 20220105