CN103428293A - 交互式3d语音服务系统 - Google Patents

交互式3d语音服务系统 Download PDF

Info

Publication number
CN103428293A
CN103428293A CN2013103639879A CN201310363987A CN103428293A CN 103428293 A CN103428293 A CN 103428293A CN 2013103639879 A CN2013103639879 A CN 2013103639879A CN 201310363987 A CN201310363987 A CN 201310363987A CN 103428293 A CN103428293 A CN 103428293A
Authority
CN
China
Prior art keywords
voice
module
interactive
expression
service system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013103639879A
Other languages
English (en)
Inventor
张国祥
罗霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRENOVATOR LAB (SUZHOU) Co Ltd
Original Assignee
CRENOVATOR LAB (SUZHOU) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRENOVATOR LAB (SUZHOU) Co Ltd filed Critical CRENOVATOR LAB (SUZHOU) Co Ltd
Priority to CN2013103639879A priority Critical patent/CN103428293A/zh
Publication of CN103428293A publication Critical patent/CN103428293A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明涉及一种交互式3D语音服务系统，包括用户终端和服务器，其中，所述用户终端，用于采集用户的表情和语音并上传给所述服务器；所述服务器，用于接收和处理所述表情和语音，生成3D虚拟人物视频并发送给所述用户终端。本发明基于语音识别技术和3D虚拟人物技术，将其与电视机、家庭智能设备、移动智能终端等结合，通过采集用户的表情和语音，并根据该语音提取关键词，通过搜索得到与关键词对应的结果，并将该表情和语音赋予在3D虚拟人物模型上，形成3D虚拟人物视频并发送给用户终端，由用户终端播放和显示，完成用户的需求。

Description

交互式3D语音服务系统
技术领域
本发明涉及一种服务系统，尤其涉及一种交互式3D语音服务系统。
背景技术
    在家庭中，由于网络电视可提供给用户的内容资源过多，有时为了收看一些特定的节目，不得不在大量的节目单中找寻，浪费了大量的时间，造成使用上的不便；另外，在很多公众场合，设置了一些用于信息查询的终端，其一般是由触摸屏和电脑一起构成，由用户通过触摸来进行查询或者用鼠标、键盘来查询，不能直接通过会话来进行信息查询，这对一些手部不灵活的人造成了很大的不便，使得服务缺乏人性化。
发明内容
本发明克服了现有技术的不足，提供一种使用便捷、反应快速的交互式3D语音服务系统。
为达到上述目的，本发明采用的技术方案为：一种交互式3D语音服务系统，包括用户终端和服务器，其中，
所述用户终端，用于采集用户的表情和语音并上传给所述服务器；
所述服务器，用于接收、处理所述表情和语音，生成3D虚拟人物视频并发送给所述用户终端。
本发明一个较佳实施例中，交互式3D语音服务系统进一步包括所述用户终端包括摄像模块、语音模块和播放模块。
本发明一个较佳实施例中，交互式3D语音服务系统进一步包括所述服务器包括表情接收模块、语音接收模块、表情处理模块、语音处理模块、搜索模块、数据库、表情重现模块和语音重现模块。
本发明一个较佳实施例中，交互式3D语音服务系统进一步包括所述语音处理模块包括语音转文字模块和文字转语音模块。
本发明一个较佳实施例中，交互式3D语音服务系统进一步包括所述搜索模块根据所述语音转文字模块提取的关键词在所述数据库中进行搜索。
本发明一个较佳实施例中，交互式3D语音服务系统进一步包括所述搜索模块根据所述语音转文字模块提取的关键词通过连接无线网络进行搜索。
本发明一个较佳实施例中，交互式3D语音服务系统进一步包括所述搜索的结果反馈给所述文字转语音模块。
本发明一个较佳实施例中，交互式3D语音服务系统进一步包括所述用户终端还包括将所述表情和语音发送给所述服务器的上传模块。
本发明一个较佳实施例中，交互式3D语音服务系统进一步包括所述上传模块通过无线网络将所述表情和语音发送给所述服务器。
本发明解决了背景技术中存在的缺陷，本发明基于语音识别技术和3D虚拟人物技术，将其与电视机、家庭智能设备、移动智能终端等结合，通过采集用户的表情和语音，并根据该语音提取关键词，通过搜索得到与关键词对应的结果，并将该表情和语音赋予在3D虚拟人物模型上，形成3D虚拟人物视频并发送给用户终端，由用户终端播放和显示，完成用户的需求。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的优选实施例的结构框图；
图中：2、用户终端，4、服务器，6、摄像装置，8、语音模块，10、上传模块，12、播放模块，14、表情接收模块，16、语音接收模块，18、表情处理模块，20、语音处理模块，22、搜索模块，24、数据库，26、表情重现模块，28、语音重新模块，30、语音转文字模块，32、文字转语音模块，34、3D虚拟人模型。
具体实施方式
现在结合附图和实施例对本发明作进一步详细的说明，这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，一种交互式3D语音服务系统，包括用户终端2和服务器4。其中，用户终端2为智能电视机、电脑、智能手机、银行终端、医院终端等，用于采集用户的表情和语音并上传给服务器4；服务器4，用于接收、处理表情和语音，生成3D虚拟人物视频并发送给用户终端2。
本发明优选用户终端2包括摄像模块6、语音模块8、上传模块10和播放模块12。摄像模块6为摄像头，用于采集用户的表情；语音模块8为麦克风，用于采集用户的语音；上传模块10通过无线网络将采集的表情和语音发送给服务器4，该无线网络可以为红外、微波、WIFI或3G网络；播放模块12用于播放服务器4传送的3D虚拟人物视频。
服务器4包括表情接收模块14、语音接收模块16、表情处理模块18、语音处理模块20、搜索模块22、数据库24、表情重现模块26和语音重现模块28。其中，表情处理模块18用于将用户的表情分割成由若干个单一五官或脸部肌肉位置组成的表情记录；语音处理模块20包括语音转文字模块30和文字转语音模块32，用于将用户的语音转换成文字和将文字转换成用户的语音；搜索模块22根据语音转文字模块30提取的文字形式的关键词在数据库24中进行搜索；或者当数据库24内所存储的内容没有与关键词匹配的内容时，搜索模块22根据语音转文字模块30提取的文字形式的关键词通过连接无线网络进行搜索；搜索的结果反馈给文字转语音模块32，将搜索到的文字形式的结果转换成语音。
本发明的交互式3D语音服务系统在使用时，用户通过语音和表情向用户终端发送需求，如用户到达一个医院，需要寻找眼科医生的相关信息，则只需要说“我眼睛疼”，用户终端2的摄像模块6和语音模块8采集用户的表情和语音并上传至服务器4，服务器4通过3D建模软件制作出3D虚拟人模型34，语音处理模块20的语音转文字模块30提取语音的“眼睛”关键词并转换为文字形式，通过搜索模块22在数据库24内或通过连接无线网络进行搜索，将眼科医生的相关信息传送给文字转语音模块32，表情处理模块18将表情分割成由若干个单一五官或脸部肌肉位置组成的表情记录，例如眨眼、眼睛睁大、嘴巴鼓起等，文字转语音模块32将搜索的结果转换成用户的语音，再通过表情重现模块26和语音重现模块28在3D虚拟人模型34上重现用户的表情和语音，3D虚拟人模型34会做与用户相同的表情，同时说出“眼科医生在三楼305室”，形成3D虚拟人物视频，最后发送给用户终端2，由播放模块12播放。
以上依据本发明的理想实施例为启示，通过上述的说明内容，相关人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定技术性范围。

Claims (9)

1.一种交互式3D语音服务系统，其特征在于，包括用户终端和服务器，其中，
所述用户终端，用于采集用户的表情和语音并上传给所述服务器；
所述服务器，用于接收、处理所述表情和语音，生成3D虚拟人物视频并发送给所述用户终端。
2.根据权利要求1所述的交互式3D语音服务系统，其特征在于：所述用户终端包括摄像模块、语音模块和播放模块。
3.根据权利要求2所述的交互式3D语音服务系统，其特征在于：所述服务器包括表情接收模块、语音接收模块、表情处理模块、语音处理模块、搜索模块、数据库、表情重现模块和语音重现模块。
4.根据权利要求3所述的交互式3D语音服务系统，其特征在于：所述语音处理模块包括语音转文字模块和文字转语音模块。
5.根据权利要求4所述的交互式3D语音服务系统，其特征在于：所述搜索模块根据所述语音转文字模块提取的关键词在所述数据库中进行搜索。
6.根据权利要求4所述的交互式3D语音服务系统，其特征在于：所述搜索模块根据所述语音转文字模块提取的关键词通过连接无线网络进行搜索。
7.根据权利要求5或6所述的交互式3D语音服务系统，其特征在于：所述搜索的结果反馈给所述文字转语音模块。
8.根据权利要求2所述的交互式3D语音服务系统，其特征在于：所述用户终端还包括将所述表情和语音发送给所述服务器的上传模块。
9.根据权利要求7所述的交互式3D语音服务系统，其特征在于：所述上传模块通过无线网络将所述表情和语音发送给所述服务器。
CN2013103639879A 2013-08-19 2013-08-19 交互式3d语音服务系统 Pending CN103428293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013103639879A CN103428293A (zh) 2013-08-19 2013-08-19 交互式3d语音服务系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013103639879A CN103428293A (zh) 2013-08-19 2013-08-19 交互式3d语音服务系统

Publications (1)

Publication Number Publication Date
CN103428293A true CN103428293A (zh) 2013-12-04

Family

ID=49652457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013103639879A Pending CN103428293A (zh) 2013-08-19 2013-08-19 交互式3d语音服务系统

Country Status (1)

Country Link
CN (1) CN103428293A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506944A (zh) * 2014-11-12 2015-04-08 科大讯飞股份有限公司 基于电视场景及语音助手的语音交互辅助方法及系统
CN104754112A (zh) * 2013-12-31 2015-07-01 中兴通讯股份有限公司 用户信息获取方法及移动终端
CN106531149A (zh) * 2016-12-07 2017-03-22 腾讯科技（深圳）有限公司 信息处理方法及装置
CN106710590A (zh) * 2017-02-24 2017-05-24 广州幻境科技有限公司 基于虚拟现实环境的具有情感功能的语音交互系统及方法
CN107065586A (zh) * 2017-05-23 2017-08-18 中国科学院自动化研究所 交互式智能家庭服务系统及方法
CN107948673A (zh) * 2017-12-14 2018-04-20 南京美桥信息科技有限公司 一种可视智能演播方法及系统
CN108922530A (zh) * 2018-07-23 2018-11-30 广州维纳斯家居股份有限公司 智能升降桌会议记录方法、装置、智能升降桌及存储介质
CN109951504A (zh) * 2017-12-20 2019-06-28 广东欧珀移动通信有限公司 信息推送方法、装置、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145289A (zh) * 2007-09-13 2008-03-19 上海交通大学 基于代理技术的远程教育环境中语音答疑系统
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
US20110218664A1 (en) * 2010-03-04 2011-09-08 Belinda Luna Zeng Fashion design method, system and apparatus
CN102819315A (zh) * 2012-07-23 2012-12-12 中兴通讯股份有限公司 一种3d人机交互方法及系统
CN103179437A (zh) * 2013-03-15 2013-06-26 苏州跨界软件科技有限公司 虚拟人物视频录制及播放系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145289A (zh) * 2007-09-13 2008-03-19 上海交通大学 基于代理技术的远程教育环境中语音答疑系统
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
US20110218664A1 (en) * 2010-03-04 2011-09-08 Belinda Luna Zeng Fashion design method, system and apparatus
CN102819315A (zh) * 2012-07-23 2012-12-12 中兴通讯股份有限公司 一种3d人机交互方法及系统
CN103179437A (zh) * 2013-03-15 2013-06-26 苏州跨界软件科技有限公司 虚拟人物视频录制及播放系统和方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754112A (zh) * 2013-12-31 2015-07-01 中兴通讯股份有限公司 用户信息获取方法及移动终端
CN104506944A (zh) * 2014-11-12 2015-04-08 科大讯飞股份有限公司 基于电视场景及语音助手的语音交互辅助方法及系统
CN104506944B (zh) * 2014-11-12 2018-09-21 科大讯飞股份有限公司 基于电视场景及语音助手的语音交互辅助方法及系统
CN106531149A (zh) * 2016-12-07 2017-03-22 腾讯科技（深圳）有限公司 信息处理方法及装置
CN106531149B (zh) * 2016-12-07 2018-02-23 腾讯科技（深圳）有限公司 信息处理方法及装置
CN106710590A (zh) * 2017-02-24 2017-05-24 广州幻境科技有限公司 基于虚拟现实环境的具有情感功能的语音交互系统及方法
CN106710590B (zh) * 2017-02-24 2023-05-30 广州幻境科技有限公司 基于虚拟现实环境的具有情感功能的语音交互系统及方法
CN107065586A (zh) * 2017-05-23 2017-08-18 中国科学院自动化研究所 交互式智能家庭服务系统及方法
CN107065586B (zh) * 2017-05-23 2020-02-07 中国科学院自动化研究所 交互式智能家庭服务系统及方法
CN107948673A (zh) * 2017-12-14 2018-04-20 南京美桥信息科技有限公司 一种可视智能演播方法及系统
CN109951504A (zh) * 2017-12-20 2019-06-28 广东欧珀移动通信有限公司 信息推送方法、装置、终端及存储介质
CN108922530A (zh) * 2018-07-23 2018-11-30 广州维纳斯家居股份有限公司 智能升降桌会议记录方法、装置、智能升降桌及存储介质

Similar Documents

Publication Publication Date Title
CN103428293A (zh) 交互式3d语音服务系统
CN104410883B (zh) 一种移动可穿戴非接触式交互系统与方法
JP6668245B2 (ja) 文脈情報に基づいて検索結果を生成するための方法、システム、および媒体
CN103730116A (zh) 在智能手表上实现智能家居设备控制的系统及其方法
CN109614628A (zh) 一种基于智能硬件的翻译方法与翻译系统
CN108922450B (zh) 在房屋虚拟三维空间中讲房内容自动播放控制方法及装置
US10088901B2 (en) Display device and operating method thereof
WO2020135161A1 (zh) 视频播放跳转方法、系统及计算机可读存储介质
CN107330418B (zh) 一种机器人系统
CN108345385A (zh) 虚拟陪跑人物建立与交互的方法及装置
CN104007826A (zh) 基于脸部动作识别技术的视频控制方法和系统
CN103414720A (zh) 交互式3d语音服务方法
CN105338390A (zh) 智能电视控制系统
CN103546790A (zh) 基于移动终端与互动电视语言交互的方法及系统
WO2022078167A1 (zh) 互动视频的创建方法、装置、设备及可读存储介质
KR20200097637A (ko) 시뮬레이션 모래상자 시스템
US20180027090A1 (en) Information processing device, information processing method, and program
CN107809654A (zh) 电视机系统及电视机控制方法
CN105590280A (zh) 一种应用于移动设备的学习系统
CN104506944B (zh) 基于电视场景及语音助手的语音交互辅助方法及系统
CN104606882A (zh) 一种体感游戏互动方法及系统
CN107862071A (zh) 生成会议记录的方法和装置
CN106407287A (zh) 一种推送多媒体资源的方法及系统
CN103995822A (zh) 一种终端及信息搜索方法
CN103269445B (zh) 智能电视系统控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20131204

RJ01 Rejection of invention patent application after publication