CN107886953A - 一种基于表情和语音识别的婴儿哭声翻译系统 - Google Patents

一种基于表情和语音识别的婴儿哭声翻译系统 Download PDF

Info

Publication number
CN107886953A
CN107886953A CN201711208964.5A CN201711208964A CN107886953A CN 107886953 A CN107886953 A CN 107886953A CN 201711208964 A CN201711208964 A CN 201711208964A CN 107886953 A CN107886953 A CN 107886953A
Authority
CN
China
Prior art keywords
expression
sob
vagitus
sample
harvester
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711208964.5A
Other languages
English (en)
Inventor
钟译漫
张科
张旭
王莹
杨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201711208964.5A priority Critical patent/CN107886953A/zh
Publication of CN107886953A publication Critical patent/CN107886953A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Abstract

本发明涉及语音、图像识别和人工智能领域，其公开了一种基于表情和语音识别的婴儿哭声翻译系统，准确的翻译婴儿所传递的信号，以便为婴儿提供更好的照顾。该系统包括哭声采集装置、哭声微处理器、样本哭声数据库、表情采集装置、表情处理器、样本表情数据库和哭声翻译模块；本发明通过同时采集婴儿啼哭时的哭声信号和表情信号，分别与数据库中的哭声样本特征和表情样本特征进行比对分析，获得可能性的哭声诊断结果和表情对应的意愿表达结果，然后进行融合分析判断，最终翻译出婴儿哭声表达的准确意思。

Description

一种基于表情和语音识别的婴儿哭声翻译系统
技术领域
本发明涉及语音、图像识别和人工智能领域，具体涉及一种基于表情和语音识别的婴儿哭声翻译系统。
背景技术
婴儿在尚不会语言表达的时候，只能通过哭声和表情来表达自己的意愿，哭泣声和不同的表情常常是表达婴儿意愿和需求的一种语言。可年轻且缺乏经验的父母一般都不能准确的知道宝宝为什么啼哭，常常弄错或者误解婴儿的需求，不能做到及时准确了解问题，特别是在婴儿有病不舒服的时候，错误或不及时的护理会延误治疗。有经验的父母也需要一段时间的摸索和试错，才能渐渐的理解婴儿不同的表情和哭声分别代表着什么样的意愿和需求。
因此，人们需要一种可以对婴儿的表情和哭声进行翻译的系统，能够准确的翻译婴儿所传递的信号，以便为婴儿提供更好的照顾。
发明内容
本发明所要解决的技术问题是：提出一种基于表情和语音识别的婴儿哭声翻译系统，准确的翻译婴儿所传递的信号，以便为婴儿提供更好的照顾。
本发明解决上述技术问题采用的技术方案是：
一种基于表情和语音识别的婴儿哭声翻译系统，包括哭声采集装置、哭声微处理器、样本哭声数据库、表情采集装置、表情处理器、样本表情数据库和哭声翻译模块；
所述哭声采集装置，用于采集婴儿哭声，将哭声信号转换为电压信号，进行去干扰处理后传输给哭声微处理器；
哭声微处理器，用于对哭声采集装置传输的信号进行预处理后进行特征提取，并与样本哭声数据库中的哭声样本特征数据进行比对分析，从而进行哭声初步诊断，将哭声初步诊断结果传输给哭声翻译模块；
样本哭声数据库，存储有海量婴儿哭声及其对应样本特征数据；
表情采集装置，用于采集婴儿啼哭时的表情，并转换为表情特征数据传输给表情处理器；
表情处理器，用于对表情采集装置传输的表情特征数据与样本表情数据库中的表情样本特征数据进行比对分析，从而获取表情对应的意愿表达结果并传输给哭声翻译模块；
样本表情数据库，存储有海量婴儿面部表情及其对应样本特征数据；
哭声翻译模块，用于将哭声初步诊断结果以及表情对应的意愿表达结果进行整合分析，翻译出婴儿哭声所表达的准确意思。
作为进一步优化，所述哭声翻译模块还用于将翻译出婴儿哭声所表达的准确意思通过屏幕显示方式和/或者语音提示方式输出给用户，并给出相应的护理建议。
作为进一步优化，所述哭声采集装置包括顺次相连的麦克风、声源采集模块和波形整形模块，其中，麦克风采集婴儿哭声，声源采集模块将婴儿哭声转为电压信号，波形整形模块对转换的电压信号去干扰处理。
作为进一步优化，所述对哭声采集装置传输的信号进行预处理包括通过傅里叶变换和频谱分析进行数据离散处理和排序处理。
作为进一步优化，所述表情采集装置在婴儿啼哭时自动启动表情采集功能，在哭声采集完成后自动停止表情采集功能，或者通过手动开启和关闭表情采集功能。
作为进一步优化，所述哭声微处理器还用于通过学习记忆和反馈自检功能不断训练和优化样本哭声数据库中的样本特征数据。
作为进一步优化，所述所述表情处理器还用于通过学习记忆和反馈自检功能不断训练和优化样本表情数据库中的样本特征数据。
作为进一步优化，所述表情采集装置包括摄像头。
本发明的有益效果是：
基于表情和语音的婴儿哭声翻译系统能更好的帮助成人判断婴儿的意愿和需求，相比单一根据表情或哭声来判断也更加准确，能使父母与宝宝更好的交流和沟通，可以帮助成人及时准确的了解宝宝的情绪和身体状况。
附图说明
图1为实施例中的基于表情和语音识别的婴儿哭声翻译系统示意图。
具体实施方式
本发明旨在提出一种基于表情和语音识别的婴儿哭声翻译系统，准确的翻译婴儿所传递的信号，以便为婴儿提供更好的照顾。在本发明中，通过同时采集婴儿啼哭时的哭声信号和表情信号，分别与数据库中的哭声样本特征和表情样本特征进行比对分析，获得可能性的哭声诊断结果和表情对应的意愿表达结果，然后进行融合分析判断，最终翻译出婴儿哭声表达的准确意思。
实施例：
如图1所示，本实施例中的基于表情和语音识别的婴儿哭声翻译系统包括哭声采集装置、哭声微处理器、样本哭声数据库、表情采集装置、表情处理器、样本表情数据库和哭声翻译模块；
在具体实现上，哭声采集装置中包含麦克风、声源采集电路和波形整形电路，用麦克风实现婴儿哭声的采集，用声源采集电路将声音转化为电压信号，然后用波形整形电路去掉干扰信号，最后将去干扰后的信号传入哭声微处理器中进行分析和提取特征。
哭声微处理器将哭声信息通过傅里叶变换和频谱分析进行数据离散和排序，然后再进行特征的提取，并结合样本哭声数据库中的特征数据进行比较分析，从而进行哭声初步诊断，此外，哭声微处理器还具备学习记忆和反馈自检功能，即不断学习婴儿哭声的特征数据存储至样本哭声数据库中，也根据大数据和人工智能算法对样本哭声数据库中的特征数据进行训练和优化，从而提高诊断准确性。
样本哭声数据库通过存储器存储有海量婴儿哭声及其对应样本特征数据，作为哭声微处理器的分析比对信息来源。
表情采集装置可以采用高清摄像头，用于采集婴儿啼哭时的表情，并转换为表情特征数据传输给表情处理器，为提高哭声翻译效率，本发明中的表情采集装置与哭声采集装置同步采集，如：在婴儿啼哭时自动启动表情采集功能，在哭声采集完成后自动停止表情采集功能，当然，也可以通过手动开启和关闭表情采集功能。
表情处理器中设置有表情分析模块和处理模块，通过采集到的表情特征与样本表情数据库中的数据特征值比对和分析，从而获取表情对应的可能的意愿表达结果。此外，表情处理器也具备学习记忆和反馈自检功能，即不断学习婴儿表情的特征数据存储至样本表情数据库中，也根据大数据和人工智能算法对样本表情数据库中的特征数据进行训练和优化，从而提高诊断准确性。
样本表情数据库，存储有海量婴儿面部表情及其对应样本特征数据，作为表情处理器的分析比对信息来源。
哭声翻译模块，用于将哭声初步诊断结果以及表情对应的意愿表达结果进行整合分析，翻译出婴儿哭声所表达的准确意思，整合分析的过程就是将二者结果融合，判断婴儿哭声所表达意愿最大可能性的过程，最后翻译结果通过输出设备(声音输出或显示输出)将结果传递给用户，并适当的给出护理建议，有效的帮助成人照顾号婴儿。

Claims (8)

1.一种基于表情和语音识别的婴儿哭声翻译系统，其特征在于，
包括：哭声采集装置、哭声微处理器、样本哭声数据库、表情采集装置、表情处理器、样本表情数据库和哭声翻译模块；
所述哭声采集装置，用于采集婴儿哭声，将哭声信号转换为电压信号，进行去干扰处理后传输给哭声微处理器；
哭声微处理器，用于对哭声采集装置传输的信号进行预处理后进行特征提取，并与样本哭声数据库中的哭声样本特征数据进行比对分析，从而进行哭声初步诊断，将哭声初步诊断结果传输给哭声翻译模块；
样本哭声数据库，存储有海量婴儿哭声及其对应样本特征数据；
表情采集装置，用于采集婴儿啼哭时的表情，并转换为表情特征数据传输给表情处理器；
表情处理器，用于对表情采集装置传输的表情特征数据与样本表情数据库中的表情样本特征数据进行比对分析，从而获取表情对应的意愿表达结果并传输给哭声翻译模块；
样本表情数据库，存储有海量婴儿面部表情及其对应样本特征数据；
哭声翻译模块，用于将哭声初步诊断结果以及表情对应的意愿表达结果进行整合分析，翻译出婴儿哭声所表达的准确意思。
2.如权利要求1所述的一种基于表情和语音识别的婴儿哭声翻译系统，其特征在于，所述哭声翻译模块还用于将翻译出婴儿哭声所表达的准确意思通过屏幕显示方式和/或者语音提示方式输出给用户，并给出相应的护理建议。
3.如权利要求1或2所述的一种基于表情和语音识别的婴儿哭声翻译系统，其特征在于，所述哭声采集装置包括顺次相连的麦克风、声源采集模块和波形整形模块，其中，麦克风采集婴儿哭声，声源采集模块将婴儿哭声转为电压信号，波形整形模块对转换的电压信号去干扰处理。
4.如权利要求1或2所述的一种基于表情和语音识别的婴儿哭声翻译系统，其特征在于，所述对哭声采集装置传输的信号进行预处理包括通过傅里叶变换和频谱分析进行数据离散处理和排序处理。
5.如权利要求1或2所述的一种基于表情和语音识别的婴儿哭声翻译系统，其特征在于，所述表情采集装置在婴儿啼哭时自动启动表情采集功能，在哭声采集完成后自动停止表情采集功能，或者通过手动开启和关闭表情采集功能。
6.如权利要求1或2所述的一种基于表情和语音识别的婴儿哭声翻译系统，其特征在于，所述哭声微处理器还用于通过学习记忆和反馈自检功能不断训练和优化样本哭声数据库中的样本特征数据。
7.如权利要求1或2所述的一种基于表情和语音识别的婴儿哭声翻译系统，其特征在于，所述所述表情处理器还用于通过学习记忆和反馈自检功能不断训练和优化样本表情数据库中的样本特征数据。
8.如权利要求1或2所述的一种基于表情和语音识别的婴儿哭声翻译系统，其特征在于，所述表情采集装置包括摄像头。
CN201711208964.5A 2017-11-27 2017-11-27 一种基于表情和语音识别的婴儿哭声翻译系统 Pending CN107886953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711208964.5A CN107886953A (zh) 2017-11-27 2017-11-27 一种基于表情和语音识别的婴儿哭声翻译系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711208964.5A CN107886953A (zh) 2017-11-27 2017-11-27 一种基于表情和语音识别的婴儿哭声翻译系统

Publications (1)

Publication Number Publication Date
CN107886953A true CN107886953A (zh) 2018-04-06

Family

ID=61775490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711208964.5A Pending CN107886953A (zh) 2017-11-27 2017-11-27 一种基于表情和语音识别的婴儿哭声翻译系统

Country Status (1)

Country Link
CN (1) CN107886953A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108806723A (zh) * 2018-05-21 2018-11-13 深圳市沃特沃德股份有限公司 婴儿语音识别方法及装置
CN109036451A (zh) * 2018-07-13 2018-12-18 深圳市小瑞科技股份有限公司 一种基于人工智能的同声翻译终端及其同声翻译系统
CN109065074A (zh) * 2018-09-25 2018-12-21 河南理工大学 一种婴儿语音声音翻译器
CN109065034A (zh) * 2018-09-25 2018-12-21 河南理工大学 一种基于声音特征识别的婴儿哭声翻译方法
CN109410985A (zh) * 2018-10-24 2019-03-01 山东科技大学 哭声智能翻译手表
CN109697991A (zh) * 2019-02-20 2019-04-30 厦门点圈科技有限公司 一种婴儿哭声翻译系统
CN110870760A (zh) * 2018-08-29 2020-03-10 北京洪泰同创信息技术有限公司 一种婴儿监护系统及婴儿监护方法
CN111261173A (zh) * 2020-01-10 2020-06-09 珠海格力电器股份有限公司 一种电器控制方法、装置、存储介质及电器
CN112967733A (zh) * 2021-02-26 2021-06-15 武汉星巡智能科技有限公司 智能识别婴儿哭声类别的方法及装置
CN113035229A (zh) * 2021-04-23 2021-06-25 西安马克医疗科技有限公司 基于婴幼儿形体特征的婴幼儿看管方法
EP3940698A1 (en) 2020-07-13 2022-01-19 Zoundream AG A computer-implemented method of providing data for an automated baby cry assessment
WO2023048680A1 (en) * 2021-09-21 2023-03-30 Yaniklar Numan A baby voice translation system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1564245A (zh) * 2004-04-20 2005-01-12 上海上悦通讯技术有限公司 婴儿哭声解读方法与装置
CN2816980Y (zh) * 2005-06-03 2006-09-13 王晓华 婴儿哭声指示器
US20120169895A1 (en) * 2010-03-24 2012-07-05 Industrial Technology Research Institute Method and apparatus for capturing facial expressions
CN104248442A (zh) * 2013-06-28 2014-12-31 昆山研达电脑科技有限公司 婴儿情绪分析装置及其实现方法
CN205487331U (zh) * 2015-12-10 2016-08-17 北京豆联科技有限公司 一种婴儿哭声处理装置及系统
CN105894039A (zh) * 2016-04-25 2016-08-24 京东方科技集团股份有限公司 情绪识别模型建立方法、情绪识别方法及装置、智能设备
CN106372604A (zh) * 2016-08-31 2017-02-01 北京光年无限科技有限公司 智能机器人检测负面情绪的方法及系统
CN106778657A (zh) * 2016-12-28 2017-05-31 南京邮电大学 基于卷积神经网络的新生儿疼痛表情分类方法
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1564245A (zh) * 2004-04-20 2005-01-12 上海上悦通讯技术有限公司 婴儿哭声解读方法与装置
CN2816980Y (zh) * 2005-06-03 2006-09-13 王晓华 婴儿哭声指示器
US20120169895A1 (en) * 2010-03-24 2012-07-05 Industrial Technology Research Institute Method and apparatus for capturing facial expressions
CN104248442A (zh) * 2013-06-28 2014-12-31 昆山研达电脑科技有限公司 婴儿情绪分析装置及其实现方法
CN205487331U (zh) * 2015-12-10 2016-08-17 北京豆联科技有限公司 一种婴儿哭声处理装置及系统
CN105894039A (zh) * 2016-04-25 2016-08-24 京东方科技集团股份有限公司 情绪识别模型建立方法、情绪识别方法及装置、智能设备
CN106372604A (zh) * 2016-08-31 2017-02-01 北京光年无限科技有限公司 智能机器人检测负面情绪的方法及系统
CN106778657A (zh) * 2016-12-28 2017-05-31 南京邮电大学 基于卷积神经网络的新生儿疼痛表情分类方法
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108806723A (zh) * 2018-05-21 2018-11-13 深圳市沃特沃德股份有限公司 婴儿语音识别方法及装置
CN109036451A (zh) * 2018-07-13 2018-12-18 深圳市小瑞科技股份有限公司 一种基于人工智能的同声翻译终端及其同声翻译系统
CN110870760A (zh) * 2018-08-29 2020-03-10 北京洪泰同创信息技术有限公司 一种婴儿监护系统及婴儿监护方法
CN109065074A (zh) * 2018-09-25 2018-12-21 河南理工大学 一种婴儿语音声音翻译器
CN109065034A (zh) * 2018-09-25 2018-12-21 河南理工大学 一种基于声音特征识别的婴儿哭声翻译方法
CN109065034B (zh) * 2018-09-25 2023-09-08 河南理工大学 一种基于声音特征识别的婴儿哭声翻译方法
CN109410985A (zh) * 2018-10-24 2019-03-01 山东科技大学 哭声智能翻译手表
CN109697991A (zh) * 2019-02-20 2019-04-30 厦门点圈科技有限公司 一种婴儿哭声翻译系统
CN111261173A (zh) * 2020-01-10 2020-06-09 珠海格力电器股份有限公司 一种电器控制方法、装置、存储介质及电器
WO2022012777A1 (en) 2020-07-13 2022-01-20 Zoundream Ag A computer-implemented method of providing data for an automated baby cry assessment
EP3940698A1 (en) 2020-07-13 2022-01-19 Zoundream AG A computer-implemented method of providing data for an automated baby cry assessment
CN112967733B (zh) * 2021-02-26 2023-08-08 武汉星巡智能科技有限公司 智能识别婴儿哭声类别的方法及装置
CN112967733A (zh) * 2021-02-26 2021-06-15 武汉星巡智能科技有限公司 智能识别婴儿哭声类别的方法及装置
CN113724730A (zh) * 2021-04-23 2021-11-30 西安马克医疗科技有限公司 一种图像获取婴幼儿形体特征的婴幼儿看管方法
CN113035229A (zh) * 2021-04-23 2021-06-25 西安马克医疗科技有限公司 基于婴幼儿形体特征的婴幼儿看管方法
WO2023048680A1 (en) * 2021-09-21 2023-03-30 Yaniklar Numan A baby voice translation system

Similar Documents

Publication Publication Date Title
CN107886953A (zh) 一种基于表情和语音识别的婴儿哭声翻译系统
CN104795067B (zh) 语音交互方法及装置
CN110516161B (zh) 一种推荐方法及装置
WO2017193497A1 (zh) 基于融合模型的智能化健康管理服务器、系统及其控制方法
CN103426438B (zh) 婴儿哭声分析方法及系统
CN111462841B (zh) 一种基于知识图谱的抑郁症智能诊断装置及系统
CN106709254A (zh) 一种医疗诊断机器人系统
CN108629313A (zh) 情绪调节方法、装置、系统以及计算机存储介质
CN108009490A (zh) 一种基于识别情绪的聊天机器人系统及该系统的判断方法
CN102824092A (zh) 一种窗帘的智能手势和语音控制系统及其控制方法
CN105808903A (zh) 一种生成健康报告的方法及装置
CN111759345B (zh) 基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置
CN107066514A (zh) 老年人的情绪识别方法和系统
CN114569132A (zh) 一种基于示教的婴儿训练系统
CN106372729B (zh) 用于心理分析的深度学习方法及装置
CN105701196A (zh) 面向智能机器人的音频处理方法和智能机器人
CN110379441A (zh) 一种基于对抗型人工智能网络的语音服务方法与系统
Qian et al. Deep wavelets for heart sound classification
Zlatintsi et al. Multimodal signal processing and learning aspects of human-robot interaction for an assistive bathing robot
CN104997582B (zh) 基于眼部和下颌肌电信号对智能假肢的控制装置及方法
Chen et al. Patient emotion recognition in human computer interaction system based on machine learning method and interactive design theory
CN110174948B (zh) 一种基于小波神经网络的语言智能辅助学习系统与方法
CN109584864A (zh) 图像处理装置和方法
CN109326348A (zh) 分析提示系统及方法
CN109995642A (zh) 一种自动生成快捷回复的方法及装置、即时通讯系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406

RJ01 Rejection of invention patent application after publication