CN108109622A - 一种早教机器人语音互动教育系统及方法 - Google Patents
一种早教机器人语音互动教育系统及方法 Download PDFInfo
- Publication number
- CN108109622A CN108109622A CN201711465995.9A CN201711465995A CN108109622A CN 108109622 A CN108109622 A CN 108109622A CN 201711465995 A CN201711465995 A CN 201711465995A CN 108109622 A CN108109622 A CN 108109622A
- Authority
- CN
- China
- Prior art keywords
- voice
- children
- reply
- database
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 27
- 230000036651 mood Effects 0.000 claims abstract description 31
- 230000008451 emotion Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 36
- 239000000284 extract Substances 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000010200 validation analysis Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 abstract description 3
- 230000002618 waking effect Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000009835 boiling Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Child & Adolescent Psychology (AREA)
- Toys (AREA)
Abstract
本发明公开了一种早教机器人语音互动教育系统及方法,涉及机器人语音互动领域,该装置包括监听单元、分类单元和处理单元。监听单元实时监听外部环境,获取外部环境发出的语音。分类单元将语音与预设的语音库进行比较,将语音分为:唤醒词、危险声音、陌生人声、儿童的语音。处理单元根据分类的结果进行处理。如果为唤醒词,则存储发出唤醒词的人后续发出的语音,根据语音进行回复;如果为危险声音或陌生人声,则向家长的终端发送告警信息;如果为儿童的语音,则将儿童的语音输入预设的语音情绪模型计算并分为正面情绪语音或负面情绪语音,如果为正面情绪语音则发送提示信息,如果为负面情绪语音则播放安抚语音并发送提示信息。
Description
技术领域
本发明涉及机器人语音互动领域,具体涉及一种早教机器人语音互动教育系统及方法。
背景技术
现有多种语音互动系统及装置的特点是通过监听语音并识别该语音使得系统或者装置能够自动理解用户的指令从而达到一些特定目的,如通过用户发出语音命令来通知终端设备,终端设备通过语音互动系统来使用语音对话来理解使用者意图,并使用相对应的信息或动作来完成用户的要求。系统和装置要点在响应与用户的意图相对应的正确信息为目标,以符合用户期望。
由此延伸出了语音互动系统或装置,其特色是用来帮助用户学习娱乐等作用的;其应用主要是通过用户所输入的语音来进行对话和响应或进行发音评量,以达到帮助用户认知学习和娱乐的目的。这些种类的语音互动系统或装置的实现也常常是以响应与用户的命令所对应的正确信息为目标来实施,其相应用户的命令的策略大概含有以下几个要点。
(1)以直接播放来传达信息,并通过不断重复来达到帮助用户认知学习以及娱乐目标;(2)使用可视化的信息,展现给用户,从而达到认知学习以及娱乐目标;(3)结合搭配计算机进行仿真或虚拟实境来探索或者娱乐;(4)以提问评量并返回成果以激励用户学习,。
儿童早教机器人通常使用上述要点中的前三种方式帮助家长促进辅助儿童学习,并陪伴儿童娱乐,并达到了一定的效果。因此,儿童早教机器人也收到越来越多的家庭的认可以及使用。中国专利公开号CN1581130A揭示了一种具语音辨识的交互式语言学习方法,包括:检索并播放语音声音数据;辨识输入练习声音信号产生语音辨识数据;比对两数据产生近似度值,并根据此近似度值来决定此语音声音数据的正确性。中国台湾专利证书号I1247249揭示了一种交互式智能型语言教学玩偶,利用因特网下载程序并以虚拟玩偶为人机接口,进行交互式智能型语言教学与导正。其教学玩偶进行语音辨识处理,并利用玩偶内或网络下载的标准语音数据库,实时判断儿童的发音是否正确并提供正确对话的导引。中国专利公开号CN 101064070A揭示了交互式智能型语言教学玩偶系统,其利用能网络连结及能语音辨识的智能型玩偶促进用户学习,玩偶作为系统前台,网络服务器作为后台储存相关的数据,提供一个适合儿童的自动化语言教学辅助系统。中国台湾专利证书号M244956揭示一种具有双向对话功能的语音玩具,其将麦克风、语音控制装置、播放器及相关装置固设于玩偶本体内,外界语词通过麦克风传输至语音控制装置,语音控制装置判断输入语词并依据输入语词发出指令,指令控制播放器播报时间或输出语词,或控制相关装置发光或驱动玩偶本体。
但是这些促进儿童学习的系统及方法仅仅将儿童作为主体进行考虑,并没有代入购买并使用这些系统以及方法的实际上是儿童的家长。这些系统和方法只能帮助家长对儿童进行教育,而在儿童处于负面情绪时并不能起到良好的安抚、陪伴作用。此外,家长在进行教育之前也并不知道儿童处于何种情绪,使得教育有时并没有达到预期效果。
发明内容
针对现有技术中存在的缺陷,本发明的目的在于提供一种早教机器人语音互动教育系统及方法,实时提示家长儿童周围的情况以及儿童的情绪,并与儿童进行语音互动。
为达到以上目的,本发明采取的技术方案是:
一种早教机器人语音互动教育系统,其特征在于,其包括:
监听单元,用于实时监听外部环境,并获取外部环境发出的语音;
分类单元,用于将所述语音与预设的语音库进行比较,根据所述比较将所述语音分为:唤醒词、危险声音、陌生人声、儿童的语音中的一种;
处理单元,用于根据所述分类的结果进行处理:
如果为唤醒词,则存储发出所述唤醒词的人后续发出的语音,根据所述语音进行回复;或者,
如果为危险声音,则向家长的终端发送告警信息;或者,
如果为儿童的语音,则将所述儿童的语音输入预设的语音情绪模型进行计算,根据计算结果将所述儿童的语音分为正面情绪语音或负面情绪语音,如果为正面情绪语音则发送提示信息给家长的终端,如果为负面情绪语音则播放安抚语音并发送提示信息给家长的终端。
在上述技术方案的基础上,如果为唤醒词,所述处理单元,包括:
身份确认子单元,用于将所述唤醒词与预设的身份数据库进行比较,判断发出所述唤醒词的用户是儿童或成人;
后续语音存储子单元,用于在确认身份之后,存储所述用户发出的后续语音;
提取子单元,用于将所述后续语音输入预设的声学模型和语言模型中进行计算,提取指令;
查找子单元,用于根据所述指令在指令回复数据库中查找获取所述指令的回复;
音频转换子单元,用于从预设的音频数据库中获取所述回复对应的音频信息;
播放子单元,用于播放所述音频信息。
在上述技术方案的基础上,所述提取子单元,包括:
儿童提取子单元,用于如果所述用户为儿童,将所述后续语音输入预设的儿童声学模型和儿童语言模型中进行计算,提取指令;或者,
成人提取子单元,用于如果所述用户为成人,将所述后续语音输入预设的成人声学模型和成人语言模型中进行计算,提取指令。
在上述技术方案的基础上,所述指令回复数据库包括本地回复数据库和云端回复数据库:查找子单元在根据所述指令在指令回复数据库中查找获取所述指令的回复时,如果所述本地回复数据库包含所述指令的回复,则完成所述查找,如果所述本地回复数据库不包含所述指令的回复,则在云端回复数据库查找所述指令的回复,从所述云端回复数据库中获取所述指令的回复。
在上述技术方案的基础上,还包括一开关,用于禁止分类单元将监听到的的语音分类至危险声音。
在上述技术方案的基础上,所述处理单元还包括灯光调节子单元,所述灯光调节子单元用于调节灯光的颜色。
7、一种早教机器人语音互动教育的方法,其特征在于:所述方法包括:
实时监听外部环境,并获取外部环境发出的语音;
将所述语音与预设的语音库进行比较,根据所述比较将所述语音分为:唤醒词、危险声音、儿童的语音中的一种;
如果为唤醒词,则存储发出所述唤醒词的人后续发出的语音,根据所述语音进行回复;或者,
如果为危险声音,则向家长的终端发送告警信息;或者,
如果为儿童的语音,则将所述儿童的语音输入预设的语音情绪模型进行计算,根据计算结果将所述儿童的语音分为正面情绪语音或负面情绪语音,如果为正面情绪语音则发送提示信息给家长的终端,如果为负面情绪语音则播放安抚语音并发送提示信息给家长的终端。
在上述技术方案的基础上,所述如果为唤醒词,则存储发出所述唤醒词的人后续发出的语音,根据所述语音进行回复具体为:
将所述唤醒词与预设的身份数据库进行比较,判断发出所述唤醒词的用户是儿童或成人;
在确认身份之后,存储所述用户发出的后续语音;
将所述后续语音输入预设的声学模型和语言模型进行计算,提取指令;
根据所述指令在指令回复数据库中查找所述指令的回复;
从预设的音频数据库中获取所述回复对应的音频信息;
播放所述音频信息。
在上述技术方案的基础上,所述将所述后续语音输入预设的声学模型和语言模型计算,提取指令具体为:
如果所述用户为儿童,将所述后续语音输入根据预设的儿童声学模型和儿童语言模型进行计算,提取指令;或者,
如果所述用户为成人,将所述后续语音输入根据预设的成人声学模型和成人语言模型进行计算,提取指令。
在上述技术方案的基础上,所述根据所述指令查找指令回复数据库获取所述指令的回复具体为:
根据所述指令在指令回复数据库中查找获取所述指令的回复时,如果所述本地回复数据库包含所述指令的回复,则完成所述查找,如果所述本地回复数据库不包含所述指令的回复,则在云端回复数据库查找所述指令的回复,从所述云端回复数据库中获取所述指令的回复。
与现有技术相比,本发明的优点在于:
(1)本发明一种早教机器人语音互动教育系统的监听模块能够实时监听儿童周围的声音,提醒家长儿童的状态及儿童语音中的情绪,并提示家长,在儿童处于负面情绪中时能够辅助家长对儿童进行安抚。
(2)本发明一种早教机器人语音互动教育系统及方法在检测到危险声音或者陌生人语音后,能够及时发送提示信息给家长,保护了儿童的安全。
(3)本发明一种早教机器人语音互动教育系统针对儿童和成人分别进行指令提取,保证本系统能够提取指令并回复儿童不成熟的语音。
(4)本发明一种早教机器人语音互动教育系统及方法设置本地回复数据库和云端回复数据库,能够应对用户更多、更广的指令要求
附图说明
图1为本发明一种早教机器人语音互动教育系统的结构示意图;
图2为本发明一种早教机器人语音互动教育系统处理模块各子单元的结构示意图;
图3为本发明一种早教机器人语音互动教育方法的流程图;
图4为本发明一种早教机器人语音互动教育方法包含关于唤醒词的具体处理方法的流程图。
图中:1-监听单元,2-分类单元,3-处理单元,30-身份确认子单元,31-后续语音存储子单元,32-提取子单元,33-查找子单元,34-音频转换子单元,35-播放子单元,36-儿童提取子单元,37-成人提取子单元。
具体实施方式
以下结合附图对本发明的实施例作进一步详细说明。
参见图1所示,本发明实施例提供一种早教机器人语音互动教育系统其包括监听单元1,分类单元2和处理单元3。
监听单元1能够实时监听外部环境,并获取外部环境发出的语音,在儿童使用嵌入了本系统的早教机器人时,早教机器人能够在陪伴儿童的同时实时获取儿童以及儿童附近环境的语音,为系统实时提供语音。
分类单元2能够将监听单元1获取的语音和预设的语音库进行比较。其语音库存储有用户设置的唤醒词以及预设的危险声音、和儿童的语音,其中唤醒词的设置可以由录音进行存储,也可以是向系统中输入文本信息,并转换为语音库中的语音;其危险声音可以使用前即已经存储好的声音,比如、沸腾的水声、工地的声音、汽车的声音等等等;其儿童的语音则可以由用户对儿童说话时进行录制建立个人声纹信息,并由语音库存储。语音库根据比较的结果将语音分为唤醒词、危险声音、儿童的语音的一种。分类单元2将监听模块获取的语音进行了分类,便于本系统针对不同的语音作出不同的反应。
处理单元3根据分类单元2的分类结果进处理单元3行处理:
其分类单元2的分类结果为唤醒词时,处理单元3存储发出唤醒词的人后续发出的声音,并根据所述语音进行回复;当用户希望能够和本系统进行互动时,可以通过发出唤醒词,使得分类单元2收到唤醒词并分类给处理单元3对用户的在唤醒词的后续语音进行回复,相比较于现有的使用按键应激回复,使用语音检测更加方便效率,且拟人度更高,儿童在使用嵌入了本系统的早教机器人娱乐和学习时候,能够获得更好的效果。
分类单元2的分类结果为危险声音时候,处理单元3向家长的终端发出告警信息;为了保证儿童在独自玩耍时,家长能够放心,本系统针对危险声音设置了提醒的功能,在儿童接近危险或者危险接近儿童时,如儿童走向马路、工地和爆竹时,或者汽车、说危险词语的陌生人、接近儿童的时候,家长能够及时了解儿童身边的情况,并尽早赶到儿童身边,防止了悲剧的发生,保障了儿童的安全。如危险的声音为陌生人声时,处理单元3向家长的终端发送告警信息;为了保证儿童在独自玩耍时,家长能够放心,本系统针对陌生人声设置了提醒的功能,使得儿童在可能受到陌生人的伤害之前能够及时警告儿童的家长,使得家长能够及时了解儿童身边的情况,从而赶到儿童身边保护儿童,保障了儿童的安全。优选的,本系统在危险声音为陌生人声时,储存该陌生人声并将陌生人声发送给家长和云端数据库,为后续可能出现的寻找儿童、案件调查等提供线索以及证据。
进一步的,本系统包括一开关模块,能够禁止分类单元2将监听语音获取的语音分类至危险声音。由于可能出现家长在儿童身旁、电视机播放出陌生人声音等等情况。此时本系统发出的告警信息无意义,开关模块可以通过检测如家长的声音并在一段时间内禁止分类单元2将监听语音获取的语音分类至危险声音或陌生人声,即通过开关模块关闭对应陌生人声的告警信息发送,方便家长控制本系统不发出骚扰性的告警信息,更加人性化。其开关模块实现开关的方式不限于检测家长的声音,也可以是按键开关供用户直接开关,也可以检测系统和家长是否处于同一个wifi内等等,包括本领域技术人员通过简单的替换、推导得出的即可。
分类单元2的分类结果为儿童的语音,则将该儿童的语音输入至预设的语音情绪模型进行计算,根据计算结果将所述儿童的语音分为正面情绪或负面情绪,如果计算结果为正面情绪,则向家长的终端发送提示信息,提示信息可以提醒家长儿童目前正处于正面情绪中,家长可以在收到提示后自行选择保持儿童当前状态,或者在儿童处于正面情绪中时陪伴儿童,或者在儿童处于正面情绪进行学习提高学习效率。如果计算结果为负面情绪,则播放安抚语音,并发送提示信息给家长的终端。其中安抚语音可以是舒缓或者高昂的音乐、动物的鸣叫、大人或小孩的声音等等,而发送至家长终端的提示信息,则提示家长儿童正处于负面情绪中,以使家长能够及时的在儿童处于负面情绪时候对儿童进行抚慰或者了解儿童产生负面情绪的原因,也可以提醒家长儿童正处于负面情绪中不再适合进行教育,需要对儿童进行适当的娱乐等安抚行为。通过对儿童的语音中的情绪分析,并对相应的情绪做出应对,方便家长得知儿童目前情绪状态;家长能够在得知了儿童的情绪状态后,能够更加细致的对儿童进行早教,也能够及时的陪伴、安抚儿童,儿童能够更高效的接收早教或更尽兴的玩耍。
如图2所示,为了儿童和家长能够更好的和早教机器人互动,本系统优选处理单元3包括身份确认子单元30、后续语音存储子单元31、提取子单元32、查找子单元33音频转换子单元34和播放子单元35。首先身份确认子单元30将该唤醒词的语音与预设的身份数据库进行比较,并判断发出唤醒词的用户是儿童或者成人;后续语音存储子单元31在发出唤醒词的人的身份被确认后,存储唤醒词后续语音;提取子单元32读取存储的后续语音并将后续语音输入预设的声学模型和语言模型中进行计算,提取后续语音中的指令;查找子单元33根据提取子单元32提取得到了指令,查找指令回复数据库,寻找和获得的指令匹配的回复;音频转换子单元34将该回复转换为音频信息并由播放子单元35将该音频信息播放出来。如唤醒词为“蛋仔”时,家长发出语音:“蛋仔,朗读《静夜思》”,身份确认子单元300将“蛋仔”的语音与预设的身份数据库进行比较,并判断发出唤醒词的用户是成人;后续语音存储子单元31在发出唤醒词的人的身份被确认后,存储唤醒词后续语音“朗读《静夜思》”;提取子单元32读取存储的后续语音“朗读《静夜思》”并将后续语音输入预设的声学模型和语言模型中进行计算,提取后续语音中的指令“朗读”和“静夜思”;查找子单元33根据提取子单元32提取得到了指令“朗读”和“静夜思”,查找指令回复数据库,寻找和获得的指令匹配的回复“床前明月光,疑是地上霜。举头望明月,低头思故乡”;音频转换子单元34将该回复转换为音频信息并由播放子单元35将该音频信息播放出来。在家长希望能够和早教机器人进行语音互动时,本系统设置能够通过识别唤醒词,并针对唤醒词的后续语音提取指令并执行,相对于通过按键等等需要操作的玩具更加方便,效率。传统的回复系统其只能回复已经存储预设好的音频数据,且通常仅仅只能存储几百条左右的音频数据。相较于传统的系统,本系统能够自主查找数据库获取更多数据该数据可以是文本数据,能够涵盖更多的回复内容,并以更多的形式进行表达;得到文本数据后再逐字/词D转换为音频回复,拟人度大大提高,在陪伴、娱乐进而教育儿童胜更加有效。
优选的指令提取子单元32包括儿童提取子单元36和成人提取子单元37。判断发出唤醒词的用户是儿童,则儿童提取子单元36将后续语音输入预设的儿童声学模型和儿童语音模型中进行计算,并提取指令;判断发出唤醒词的用户是成人,则成人提取子单元37将后续语音输入预设的成人声学模型和儿童语音模型中进行计算,并提取指令。由于儿童在会话中其语法等等还不成熟,为了更好地识别儿童指令等,优选设置针对儿童的提取子单元32,能够更好的针对儿童的语音提取指令。优选在提取儿童的指令后,以成人声学模型和成人语音模型调整为正常语序并复述内容,通过复述来教育儿童正常的表达方式达到更好教育效果。
为了能够应对更多的指令,优选指令回复数据库包括本地回复数据库和云端回复数据库。查找子单元33在根据所述指令在指令回复数据库中查找回去指令的回复时,如果本地回复数据库包括该指令的回复,则完成查找,如果本地回复数据库不包含指令的回复,则在云端回复数据库中查找,并获取云端回复数据库中的指令的回复。如指令为“朗读”“《静夜思》”,查找子单元33首先在本地回复数据库中查找是否储存有《静夜思》的诗词,如果有则发送给音频转换子单元34;如果本地回复数据库并未存储《静夜思》的诗词,则连接云端回复数据库,从云端回复数据库中查找《静夜思》的诗词并发送给音频转换子单元34。相较于现有的仅使用本地数据库回复相应操作的早教机器人,本系统的指令回复数据库包含本地回复数据库和云端回复数据库后,能够提供更广泛的数据资源,使得本系统能够“理解”并回复更多的儿童及成人发出的语音命令,更加的人性化。
进一步的,处理单元3还包括灯光调节子单元38,能够调节早教机器人的灯光的颜色,优选在播放子单元35播放音频信息时候,灯光调节子单元38随着播放调节灯光的颜色。儿童在灯光调节子单元38随着播放子单元35播放音频信息时候变换灯光颜色,使得儿童的注意力更加的集中,使得本系统的教育效果更好。
参见图3所示,本发明实施例提供一种早教机器人语音互动教育的方法,该方法包括:
实时监听外部环境,并获取外部环境发出的语音,为方法实时提供语音。
将该语音与预设的语音库进行比较,根据所述比较将所述语音分为:唤醒词、危险词、儿童的语音中的一种,便于本方法针对不同的语音作出不同的反应。
如果为唤醒词,则存储发出所述唤醒词的人后续发出的语音,根据所述语音进行回复这种方法的拟人度更高,能够获得更好的效果。
如果为危险声音,则向家长的终端发送告警信息,家长能够及时了解儿童身边的情况,并尽早赶到儿童身边,防止了悲剧的发生,保障了儿童的安全。
如果为儿童的语音,则将该儿童语音输入预设的语音情绪模型进行计算,根据计算结果将所述儿童的语音分为正面情绪语音或负面情绪语音,如果为正面情绪语音则发送提示信息给家长的终端,提示信息可以提醒家长儿童目前正处于正面情绪中。如果为负面情绪语音则播放安抚语音并发送提示信息给家长的终端。发送至家长终端的提示信息,提醒家长儿童正处于负面情绪中不再适合进行教育,需要对儿童进行适当的娱乐等安抚行为。本方法便于家长得知儿童目前状态是处于正面情绪还是负面情绪,使得家长能够在了解儿童的状态后,更加细致的对儿童进行早教,也能及时的陪伴、安抚儿童,儿童能够更高效的接收教育,也能够更尽兴的玩耍。
如图4所示,为了儿童和家长能够更好的和早教机器人互动,本方法优选对唤醒词进行的处理包括:
将该唤醒词的语音与预设的身份数据库进行比较,并判断发出唤醒词的用户是儿童或者成人;在发出唤醒词的人的身份被确认后,存储唤醒词后续语音;读取存储的后续语音并将后续语音输入预设的声学模型和语言模型中进行计算,提取后续语音中的指令;根据提取子单元32提取得到了指令,查找指令回复数据库,寻找和获得的指令匹配的回复;将该回复转换为音频信息并将该音频信息播放出来。本方法相对于通过按键等等需要操作的玩具更加方便,效率,相对于传统的只能回复已经存储好的音频数据,本方法能够自主查找数据库获取更多数据并转换为音频回复,拟人度更好,在陪伴、娱乐和教育儿童上更加有效。
优选的,上述将所述后续语音与预设的声学模型和语言模型进行比较,根据该比较获取后续语音对应的回复具体为:如果判断发出唤醒词的用户是儿童,则儿童提取子单元36将后续语音输入预设的儿童声学模型和儿童语音模型中进行计算,并提取指令;如果判断发出唤醒词的用户是成人,则成人提取子单元37将后续语音输入预设的成人声学模型和儿童语音模型中进行计算,并提取指令。
为了能够应对更多的指令,优选上述根据所述指令查找指令回复数据库获取所述指令的回复具体为:查找子单元33在根据所述指令在指令回复数据库中查找回去指令的回复时,如果本地回复数据库存储有对应的指令的回复,则完成查找,如果本地回复数据库未存储对应指令的回复,则在云端回复数据库中查找,并获取云端回复数据库中的指令的回复。相较于现有的仅使用本地数据库回复相应操作的早教机器人,本方法提供更广泛的数据资源,能够理解并回复更多的儿童及成人发出的语音命令,更加的人性化。
进一步的,本早教机器人语音互动教育方法还包括播放音频信息时还调节灯光的颜色。在播放音频信息时候变换灯光颜色,能够使得儿童的注意力更加的集中,使得本方法的教育效果更好。
本发明不仅局限于上述最佳实施方式,任何人在本发明的启示下都可得出其他各种形式的产品,但不论在其形状或结构上作任何变化,凡是具有与本发明相同或相近似的技术方案,均在其保护范围之内。
Claims (10)
1.一种早教机器人语音互动教育系统,其特征在于,其包括:
监听单元(1),用于实时监听外部环境,并获取外部环境发出的语音;
分类单元(2),用于将所述语音与预设的语音库进行比较,根据所述比较将所述语音分为:唤醒词、危险声音、陌生人声、儿童的语音中的一种;
处理单元(3),用于根据所述分类的结果进行处理:
如果为唤醒词,则存储发出所述唤醒词的人后续发出的语音,根据所述语音进行回复;或者,
如果为危险声音,则向家长的终端发送告警信息;或者,
如果为儿童的语音,则将所述儿童的语音输入预设的语音情绪模型进行计算,根据计算结果将所述儿童的语音分为正面情绪语音或负面情绪语音,如果为正面情绪语音则发送提示信息给家长的终端,如果为负面情绪语音则播放安抚语音并发送提示信息给家长的终端。
2.如权利要求1所述的早教机器人语音互动教育系统,其特征在于,如果为唤醒词,所述处理单元(3),包括:
身份确认子单元(30),用于将所述唤醒词与预设的身份数据库进行比较,判断发出所述唤醒词的用户是儿童或成人;
后续语音存储子单元(31),用于在确认身份之后,存储所述用户发出的后续语音;
提取子单元(32),用于将所述后续语音输入预设的声学模型和语言模型中进行计算,提取指令;
查找子单元(33),用于根据所述指令在指令回复数据库中查找获取所述指令的回复;
音频转换子单元(34),用于从预设的音频数据库中获取所述回复对应的音频信息;
播放子单元(35),用于播放所述音频信息。
3.如权利要求2所述的早教机器人语音互动教育系统,其特征在于,所述提取子单元(32),包括:
儿童提取子单元(36),用于如果所述用户为儿童,将所述后续语音输入预设的儿童声学模型和儿童语言模型中进行计算,提取指令;或者,
成人提取子单元(37),用于如果所述用户为成人,将所述后续语音输入预设的成人声学模型和成人语言模型中进行计算,提取指令。
4.如权利要求2所述的早教机器人语音互动教育系统,其特征在于,所述指令回复数据库包括本地回复数据库和云端回复数据库:查找子单元(33)在根据所述指令在指令回复数据库中查找获取所述指令的回复时,如果所述本地回复数据库包含所述指令的回复,则完成所述查找,如果所述本地回复数据库不包含所述指令的回复,则在云端回复数据库查找所述指令的回复,从所述云端回复数据库中获取所述指令的回复。
5.如权利要求1所述的早教机器人语音互动教育系统,其特征在于:其还包括一开关,用于禁止分类单元将监听到的的语音分类至危险声音。
6.如权利要求2所述的早教机器人语音互动教育系统,其特征在于,所述处理单元(3)还包括灯光调节子单元(38),所述灯光调节子单元(38)用于调节灯光的颜色。
7.一种早教机器人语音互动教育的方法,其特征在于:所述方法包括:
实时监听外部环境,并获取外部环境发出的语音;
将所述语音与预设的语音库进行比较,根据所述比较将所述语音分为:唤醒词、危险声音、儿童的语音中的一种;
如果为唤醒词,则存储发出所述唤醒词的人后续发出的语音,根据所述语音进行回复;或者,
如果为危险声音,则向家长的终端发送告警信息;或者,
如果为儿童的语音,则将所述儿童的语音输入预设的语音情绪模型进行计算,根据计算结果将所述儿童的语音分为正面情绪语音或负面情绪语音,如果为正面情绪语音则发送提示信息给家长的终端,如果为负面情绪语音则播放安抚语音并发送提示信息给家长的终端。
8.一种如权利要求7所述的早教机器人语音互动教育方法,其特征在于,所述如果为唤醒词,则存储发出所述唤醒词的人后续发出的语音,根据所述语音进行回复具体为:
将所述唤醒词与预设的身份数据库进行比较,判断发出所述唤醒词的用户是儿童或成人;
在确认身份之后,存储所述用户发出的后续语音;
将所述后续语音输入预设的声学模型和语言模型进行计算,提取指令;
根据所述指令在指令回复数据库中查找所述指令的回复;
从预设的音频数据库中获取所述回复对应的音频信息;
播放所述音频信息。
9.一种如权利要求8所述的早教机器人语音互动教育方法,其特征在于,所述将所述后续语音输入预设的声学模型和语言模型计算,提取指令具体为:
如果所述用户为儿童,将所述后续语音输入根据预设的儿童声学模型和儿童语言模型进行计算,提取指令;或者,
如果所述用户为成人,将所述后续语音输入根据预设的成人声学模型和成人语言模型进行计算,提取指令。
10.一种如权利要求8所述的早教机器人语音互动教育方法,其特征在于,所述根据所述指令查找指令回复数据库获取所述指令的回复具体为:
根据所述指令在指令回复数据库中查找获取所述指令的回复时,如果所述本地回复数据库包含所述指令的回复,则完成所述查找,如果所述本地回复数据库不包含所述指令的回复,则在云端回复数据库查找所述指令的回复,从所述云端回复数据库中获取所述指令的回复。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711465995.9A CN108109622A (zh) | 2017-12-28 | 2017-12-28 | 一种早教机器人语音互动教育系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711465995.9A CN108109622A (zh) | 2017-12-28 | 2017-12-28 | 一种早教机器人语音互动教育系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108109622A true CN108109622A (zh) | 2018-06-01 |
Family
ID=62214309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711465995.9A Pending CN108109622A (zh) | 2017-12-28 | 2017-12-28 | 一种早教机器人语音互动教育系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108109622A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108877357A (zh) * | 2018-06-21 | 2018-11-23 | 广东小天才科技有限公司 | 一种基于家教机的交互方法及家教机 |
CN108922550A (zh) * | 2018-07-04 | 2018-11-30 | 全童科教(东莞)有限公司 | 一种采用摩斯声码控制机器人移动的方法及系统 |
CN109039647A (zh) * | 2018-07-19 | 2018-12-18 | 深圳乐几科技有限公司 | 终端及其口语学习方法 |
CN109521932A (zh) * | 2018-11-06 | 2019-03-26 | 斑马网络技术有限公司 | 语音控件显示处理方法、装置、车辆、存储介质及设备 |
CN109616109A (zh) * | 2018-12-04 | 2019-04-12 | 北京蓦然认知科技有限公司 | 一种语音唤醒方法、装置及系统 |
CN110164411A (zh) * | 2018-07-18 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种语音交互方法、设备及存储介质 |
CN110363278A (zh) * | 2019-07-23 | 2019-10-22 | 广东小天才科技有限公司 | 一种亲子互动方法、机器人、服务器及亲子互动系统 |
CN111161723A (zh) * | 2019-12-12 | 2020-05-15 | 广州奥睿智能科技有限公司 | 基于语音识别的多模态大屏交互的方法及装置 |
CN111553171A (zh) * | 2020-04-09 | 2020-08-18 | 北京小米松果电子有限公司 | 语料处理方法、装置及存储介质 |
CN111552708A (zh) * | 2020-04-21 | 2020-08-18 | 武汉理工大学 | 基于自然语言处理的港口智能检索系统 |
CN112420078A (zh) * | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | 一种监听方法、装置、存储介质及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030216917A1 (en) * | 2002-05-15 | 2003-11-20 | Ryuji Sakunaga | Voice interaction apparatus |
CN105550961A (zh) * | 2015-10-31 | 2016-05-04 | 东莞酷派软件技术有限公司 | 一种监护方法及装置 |
CN105761720A (zh) * | 2016-04-19 | 2016-07-13 | 北京地平线机器人技术研发有限公司 | 一种基于语音属性分类的交互系统及其方法 |
CN106205117A (zh) * | 2016-07-20 | 2016-12-07 | 广东小天才科技有限公司 | 一种安全隐患提醒方法及装置 |
CN106302987A (zh) * | 2016-07-28 | 2017-01-04 | 乐视控股(北京)有限公司 | 一种音频推荐方法及设备 |
CN106384478A (zh) * | 2016-11-30 | 2017-02-08 | 南京小脚印网络科技有限公司 | 声纹识别设备及使用其保护儿童的方法 |
-
2017
- 2017-12-28 CN CN201711465995.9A patent/CN108109622A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030216917A1 (en) * | 2002-05-15 | 2003-11-20 | Ryuji Sakunaga | Voice interaction apparatus |
CN105550961A (zh) * | 2015-10-31 | 2016-05-04 | 东莞酷派软件技术有限公司 | 一种监护方法及装置 |
CN105761720A (zh) * | 2016-04-19 | 2016-07-13 | 北京地平线机器人技术研发有限公司 | 一种基于语音属性分类的交互系统及其方法 |
CN106205117A (zh) * | 2016-07-20 | 2016-12-07 | 广东小天才科技有限公司 | 一种安全隐患提醒方法及装置 |
CN106302987A (zh) * | 2016-07-28 | 2017-01-04 | 乐视控股(北京)有限公司 | 一种音频推荐方法及设备 |
CN106384478A (zh) * | 2016-11-30 | 2017-02-08 | 南京小脚印网络科技有限公司 | 声纹识别设备及使用其保护儿童的方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108877357A (zh) * | 2018-06-21 | 2018-11-23 | 广东小天才科技有限公司 | 一种基于家教机的交互方法及家教机 |
CN108922550A (zh) * | 2018-07-04 | 2018-11-30 | 全童科教(东莞)有限公司 | 一种采用摩斯声码控制机器人移动的方法及系统 |
CN110164411A (zh) * | 2018-07-18 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种语音交互方法、设备及存储介质 |
CN109039647A (zh) * | 2018-07-19 | 2018-12-18 | 深圳乐几科技有限公司 | 终端及其口语学习方法 |
CN109521932A (zh) * | 2018-11-06 | 2019-03-26 | 斑马网络技术有限公司 | 语音控件显示处理方法、装置、车辆、存储介质及设备 |
CN109616109A (zh) * | 2018-12-04 | 2019-04-12 | 北京蓦然认知科技有限公司 | 一种语音唤醒方法、装置及系统 |
CN110363278A (zh) * | 2019-07-23 | 2019-10-22 | 广东小天才科技有限公司 | 一种亲子互动方法、机器人、服务器及亲子互动系统 |
CN111161723A (zh) * | 2019-12-12 | 2020-05-15 | 广州奥睿智能科技有限公司 | 基于语音识别的多模态大屏交互的方法及装置 |
CN111553171A (zh) * | 2020-04-09 | 2020-08-18 | 北京小米松果电子有限公司 | 语料处理方法、装置及存储介质 |
CN111553171B (zh) * | 2020-04-09 | 2024-02-06 | 北京小米松果电子有限公司 | 语料处理方法、装置及存储介质 |
CN111552708A (zh) * | 2020-04-21 | 2020-08-18 | 武汉理工大学 | 基于自然语言处理的港口智能检索系统 |
CN112420078A (zh) * | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | 一种监听方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108109622A (zh) | 一种早教机器人语音互动教育系统及方法 | |
CN108000526B (zh) | 用于智能机器人的对话交互方法及系统 | |
CN107030691B (zh) | 一种看护机器人的数据处理方法及装置 | |
CN107203953B (zh) | 一种基于互联网、表情识别和语音识别的教学系统及其实现方法 | |
US20180277117A1 (en) | Method and Apparatus for Speech Interaction with Children | |
CN105304080B (zh) | 语音合成装置及方法 | |
De Villiers et al. | Early language | |
US20180133900A1 (en) | Embodied dialog and embodied speech authoring tools for use with an expressive social robot | |
CN109036388A (zh) | 一种基于对话设备的智能语音交互方法 | |
MacWhinney | Language development | |
Savage-Rumbaugh | A new look at ape language: Comprehension of vocal speech and syntax | |
CN105894873A (zh) | 一种面向智能机器人的儿童教学方法和装置 | |
CN101357269A (zh) | 一种智能玩具及其使用方法 | |
KR102152500B1 (ko) | 발달장애 아동 언어치료 방법 및 장치 | |
CN101105894A (zh) | 多功能语言学习机 | |
CN109461435A (zh) | 一种面向智能机器人的语音合成方法及装置 | |
CN108052250A (zh) | 基于多模态交互的虚拟偶像演绎数据处理方法及系统 | |
Cox | Now You're Talking: Human Conversation from the Neanderthals to Artificial Intelligence | |
CN105575384A (zh) | 一种根据用户水平自动调整播放资源的方法、装置及设备 | |
Moore et al. | Vocal interactivity in-and-between humans, animals, and robots | |
Zamuner et al. | A phonological, lexical, and phonetic analysis of the new words that young children imitate | |
CN112463108B (zh) | 语音交互处理方法、装置、电子设备及存储介质 | |
Frye | Child-directed speech in Qaqet: A language of East New Britain, Papua New Guinea | |
WO2019190817A1 (en) | Method and apparatus for speech interaction with children | |
CN109741643A (zh) | 面向文本大数据的词语处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180601 |
|
RJ01 | Rejection of invention patent application after publication |