CN109460148A - 一种vr语音交互系统及其交互方法 - Google Patents
一种vr语音交互系统及其交互方法 Download PDFInfo
- Publication number
- CN109460148A CN109460148A CN201811247120.6A CN201811247120A CN109460148A CN 109460148 A CN109460148 A CN 109460148A CN 201811247120 A CN201811247120 A CN 201811247120A CN 109460148 A CN109460148 A CN 109460148A
- Authority
- CN
- China
- Prior art keywords
- voice
- terminal device
- module
- interactive system
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 9
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 9
- 239000011521 glass Substances 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000007654 immersion Methods 0.000 abstract description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- UGDGKPDPIXAUJL-UHFFFAOYSA-N ethyl n-[4-[benzyl(2-phenylethyl)amino]-2-(4-ethylphenyl)-1h-imidazo[4,5-c]pyridin-6-yl]carbamate Chemical compound N=1C(NC(=O)OCC)=CC=2NC(C=3C=CC(CC)=CC=3)=NC=2C=1N(CC=1C=CC=CC=1)CCC1=CC=CC=C1 UGDGKPDPIXAUJL-UHFFFAOYSA-N 0.000 description 1
- 150000003003 phosphines Chemical class 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明实施例公开了一种VR语音交互系统及其交互方法，涉及虚拟现实技术领域。所述VR语音交互系统包括VR终端设备、VR控制器和云端处理模块，所述VR终端设备通过无线网络与云端处理模块进行通讯，所述VR控制器通过蓝牙与VR终端设备进行数据传输，所述云端处理模块包括彼此之间进行数据传输的VR数据库、语音识别模块、交互控制模块和合成模块。本发明能够解决现有VR应用在语音方面的交互性较差的问题，具有很强的沉浸感和代入感。
Description
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种VR语音交互系统及其交互方法。
背景技术
VR技术是人类视觉交互技术上的重大突破，人类认知世界不再受“眼见为实”的限制。近年来Google,Facebook等平台厂商和高通等芯片厂商持续推动VR设备的普及，VR技术在视频，教育，旅游等各行业得到越来越深入的应用。VR技术相对传统的PC和手机最大的特点是沉浸感。从物理心理学的角度，沉浸感来自三个方面：3D场景带来的视觉真实性；用户自身代入感的真实性；用户和虚拟世界交互的真实性。
然而，目前市场中的VR应用以视频播放、VR控制手柄点选和射击类游戏居多，由于用户佩戴VR头盔后隔离了手眼视觉协调，相比传统的键盘、鼠标和触屏操作，VR应用的输入受到很大限制，影响了VR的交互性。
发明内容
本发明的目的在于提供一种VR语音交互系统及其交互方法，用以解决现有VR应用再语音方面的交互性较差的问题。
为实现上述目的，本发明实施例提供一种VR语音交互系统，所述VR语音交互系统包括VR终端设备、VR控制器和云端处理模块，所述VR终端设备通过无线网络与云端处理模块进行通讯，所述VR控制器通过蓝牙与VR终端设备进行数据传输，所述云端处理模块包括彼此之间进行数据传输的VR数据库、语音识别模块、交互控制模块和合成模块。
作为优选的技术方案，所述VR终端设备具有多种设备形态，包括VR一体机或VR眼镜与计算机组合设备或VR眼镜与手机终端组合设备。
作为优选的技术方案，所述VR终端设备包括互相通信的处理器、语音采集模块和语音存储模块，所述处理器包括中央处理器和图形处理器。
提供一种VR语音交互系统的交互方法，所述交互方法包括：启动VR终端设备将VR数据库中的虚拟人物和内容加载至虚拟空间；操作者手持VR控制器，通过按住VR控制器上的虚拟按键，开始语音输入；语音采集模块对语音信息进行采集并存储在语音存储模块中；操作者松开VR控制器上的虚拟按键，结束语音输入；云端处理模块对语音存储模块中的语音进行识别、交互和合成并生成反馈信息；云端处理模块将反馈信息发送至VR终端设备；VR终端设备根据反馈信息控制虚拟人物向操作者完成语音和表情反馈。
作为优选的技术方案，所述交互方法还包括：所述VR控制器通过蓝牙将虚拟按键的动态信息传输给中央处理器，所述中央处理器通过对虚拟坐标的检测和有限状态机的变换生成控制事件，再通过控制事件驱动系统中麦克风的开启和关闭，进而实现语音信息传输的开始和结束。
作为优选的技术方案，所述中央处理器根据语音信息的输入状态和接收时间实现人机对话的话轮控制逻辑，包括人机对话中的抢话机制。
作为优选的技术方案，所述云端处理模块的合成模块对语音信息的语气和内容进行合成后与VR数据库中相对应的语气和内容进行比对，最终生成符合情景的对话语音内容和虚拟人物表情反馈信息，最后传输给VR终端设备。
作为优选的技术方案，所述VR终端设备接收到对话语音内容和虚拟人物表情反馈信息后，通过中央处理器和图形处理器的处理控制虚拟人物实现对应语音内容和表情的展现。
本发明实施例具有如下优点：
(1)本发明能够使用户在VR内自由发起语音输入，效率高；
(2)本发明通过用户控制语音输入的开始和结束点，提供了清晰的反馈，满足用户隐私保护需求；
(3)本发明可以获得清晰的语音输入边界，降低了语音数据处理负担，能实现例如人机对话中的抢话机制等更复杂的话轮控制逻辑。
(4)本发明符合用户对VR语音输入操作模式的直观认识，很容易被操作者接受。
附图说明
图1为本发明实施例1提供的一种VR语音交互系统的交互方法流程示意图。
图2为本发明实施例1提供的一种VR语音交互系统的结构示意图。
图中：云端处理模块1、VR终端设备2、VR控制器3、中央处理器4、图形处理器5、语音采集模块6、语音存储模块7、VR眼镜8、VR数据库9、语音识别模块10、交互控制模块11、合成模块12。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
实施例1
本实施例提供一种VR语音交互系统，包括VR终端设备2、VR控制器3和云端处理模块1，VR终端设备2通过无线网络与云端处理模块1进行通讯，VR控制器3通过蓝牙与VR终端设备2进行数据传输，云端处理模块1包括彼此之间进行数据传输的VR数据库9、语音识别模块10、交互控制模块11和合成模块12。其中，VR终端设备2具有多种设备形态，如VR一体机，VR眼镜8与计算机组合设备，VR眼镜8与手机终端组合设备，即具有相同的处理功能和虚拟显示功能的组合设备均落在本发明所述的VR终端设备2范围中。
进一步地，VR终端设备2包括互相通信的处理器、语音采集模块6和语音存储模块7，处理器包括中央处理器4和图形处理器5，用于对数据和图形的处理，语音采集模块6用于实现对语音信息的采集，并对语音信息的输入点、结束点、内容和语气进行检测等。语音存储模块7用于存储语音数据。VR控制器3用于承载虚拟按键，便于操控虚拟空间里的位置坐标，且能够检测虚拟按键的位置信息并传递给VR终端设备2的中央处理器4进行计算。VR眼镜8用于将虚拟空间里的内容呈现给使用者。
本实施例提供一种VR语音交互系统的交互方法，包括：启动VR终端设备2将VR数据库9中的虚拟人物和内容加载至虚拟空间即VR眼睛的可视范围；操作者手持VR控制器3，按住VR控制器3上的虚拟按键，开始语音输入；语音采集模块6对语音信息进行采集并存储在语音存储模块7中；操作者松开VR控制器3上的虚拟按键，结束语音输入；云端处理模块1对语音存储模块7中的语音进行识别、交互和合成并生成反馈信息；云端处理模块1将反馈信息发送至VR终端设备2；VR终端设备2根据反馈信息控制虚拟人物向操作者完成语音和表情反馈。
其中，VR控制器3通过蓝牙将虚拟按键的动态信息传输给中央处理器4，中央处理器4通过对虚拟坐标的检测和有限状态机的变换生成控制事件，再通过控制事件驱动系统中麦克风的开启和关闭，进而实现语音信息传输的开始和结束，此方法能够使操作者完成自由输入语音的控制。
另外，云端处理模块1能够通过合成模块12对语音信息的语气和内容进行合成，并与VR数据库9中的语气和内容进行比对，最终生成符合情景的对话内容和表情反馈信息，并传输给VR终端设备2，VR终端设备2接收到对话语音内容和虚拟人物表情反馈信息后，通过中央处理器4和图形处理器5的处理控制虚拟人物实现对应语音内容和表情的展现，完成一次交互。
进一步地，交互控制模块11用于处理人机交互的数据，实现使用者与虚拟人物的交互，完成虚拟计算。中央处理器4根据语音信息的输入状态和接收时间实现人机对话的话轮控制逻辑，包括人机对话中的抢话机制，此方法能够具有更高的代入感，使操作者具有更好的使用体验。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (8)
1.一种VR语音交互系统，其特征在于，所述VR语音交互系统包括VR终端设备(2)、VR控制器(3)和云端处理模块(1)，所述VR终端设备(2)通过无线网络与云端处理模块(1)进行通讯，所述VR控制器(3)通过蓝牙与VR终端设备(2)进行数据传输，所述云端处理模块(1)包括彼此之间进行数据传输的VR数据库(9)、语音识别模块(10)、交互控制模块(11)和合成模块(12)。
2.如权利要求1所述的一种VR语音交互系统，其特征在于，所述VR终端设备(2)具有多种设备形态，包括VR一体机或VR眼镜(8)与计算机组合设备或VR眼镜(8)与手机终端组合设备。
3.如权利要求1所述的一种VR语音交互系统，其特征在于，所述VR终端设备(2)包括互相通信的处理器、语音采集模块(6)和语音存储模块(7)，所述处理器包括中央处理器(4)和图形处理器(5)。
4.如权利要求1-3任一所述的一种VR语音交互系统的交互方法，其特征在于，所述交互方法包括：
启动VR终端设备(2)将VR数据库(9)中的虚拟人物和内容加载至虚拟空间；
操作者手持VR控制器(3)，通过按住VR控制器(3)上的虚拟按键，开始语音输入；
语音采集模块(6)对语音信息进行采集并存储在语音存储模块(7)中；
操作者松开VR控制器(3)上的虚拟按键，结束语音输入；
云端处理模块(1)对语音存储模块(7)中的语音进行识别、交互和合成并生成反馈信息；
云端处理模块(1)将反馈信息发送至VR终端设备(2)；
VR终端设备(2)根据反馈信息控制虚拟人物向操作者完成语音和表情反馈。
5.如权利要求4所述的一种VR语音交互系统的交互方法，其特征在于，所述交互方法还包括：所述VR控制器(3)通过蓝牙将虚拟按键的动态信息传输给中央处理器(4)，所述中央处理器(4)通过对虚拟坐标的检测和有限状态机的变换生成控制事件，再通过控制事件驱动系统中麦克风的开启和关闭，进而实现语音信息传输的开始和结束。
6.如权利要求5所述的一种VR语音交互系统的交互方法，其特征在于，所述中央处理器(4)根据语音信息的输入状态和接收时间实现人机对话的话轮控制逻辑，包括人机对话中的抢话机制。
7.如权利要求4所述的一种VR语音交互系统的交互方法，其特征在于，所述云端处理模块(1)的合成模块(12)对语音信息的语气和内容进行合成后与VR数据库(9)中相对应的语气和内容进行比对，最终生成符合情景的对话语音内容和虚拟人物表情反馈信息，最后传输给VR终端设备(2)。
8.如权利要求7所述的一种VR语音交互系统的交互方法，其特征在于，所述VR终端设备(2)接收到对话语音内容和虚拟人物表情反馈信息后，通过中央处理器(4)和图形处理器(5)的处理控制虚拟人物实现对应语音内容和表情的展现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811247120.6A CN109460148A (zh) | 2018-10-24 | 2018-10-24 | 一种vr语音交互系统及其交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811247120.6A CN109460148A (zh) | 2018-10-24 | 2018-10-24 | 一种vr语音交互系统及其交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109460148A true CN109460148A (zh) | 2019-03-12 |
Family
ID=65608325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811247120.6A Pending CN109460148A (zh) | 2018-10-24 | 2018-10-24 | 一种vr语音交互系统及其交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109460148A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106710590A (zh) * | 2017-02-24 | 2017-05-24 | 广州幻境科技有限公司 | 基于虚拟现实环境的具有情感功能的语音交互系统及方法 |
| CN107562201A (zh) * | 2017-09-08 | 2018-01-09 | 网易（杭州）网络有限公司 | 定向交互方法、装置、电子设备及存储介质 |
-
2018
- 2018-10-24 CN CN201811247120.6A patent/CN109460148A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106710590A (zh) * | 2017-02-24 | 2017-05-24 | 广州幻境科技有限公司 | 基于虚拟现实环境的具有情感功能的语音交互系统及方法 |
| CN107562201A (zh) * | 2017-09-08 | 2018-01-09 | 网易（杭州）网络有限公司 | 定向交互方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 《亚洲户外》编写组: "《户外场景营销宝典》", 31 January 2018, 上海：东方出版中心 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6700463B2 (ja) | ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法 | |
| CN106873767B (zh) | 一种虚拟现实应用的运行控制方法和装置 | |
| WO2020203999A1 (ja) | コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム | |
| US20190297304A1 (en) | Group video communication method and network device | |
| WO2015188614A1 (zh) | 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜 | |
| CN103812761B (zh) | 用于使用增强现实提供社交网络服务的设备和方法 | |
| CN114365197A (zh) | 在具有多个物理参与者的环境中放置虚拟内容 | |
| WO2022105846A1 (zh) | 虚拟对象显示方法及装置、电子设备、介质 | |
| WO2022252866A1 (zh) | 一种互动处理方法、装置、终端及介质 | |
| CN205507687U (zh) | 头戴式虚拟现实设备及虚拟现实系统 | |
| CN110677610A (zh) | 一种视频流控制方法、视频流控制装置及电子设备 | |
| JP2022087111A (ja) | ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行されるプログラムおよび方法ならびに情報処理装置 | |
| CN108012195A (zh) | 一种直播方法、装置及其电子设备 | |
| CN108513090B (zh) | 群组视频会话的方法及装置 | |
| CN106658146A (zh) | 基于虚拟现实的弹幕方法 | |
| CN114945949A (zh) | 化身显示装置、化身显示系统、化身显示方法以及化身显示程序 | |
| US20220417490A1 (en) | Information processing system, information processing method, and information processing program | |
| CN107070784A (zh) | 一种基于WebGL和VR技术的3D即时通讯系统 | |
| CN109460148A (zh) | 一种vr语音交互系统及其交互方法 | |
| WO2021002353A1 (ja) | ゲームシステム、処理方法及び情報記憶媒体 | |
| CN113350801A (zh) | 模型处理方法、装置、存储介质及计算机设备 | |
| CN106200923A (zh) | 一种虚拟现实系统的控制方法和装置 | |
| WO2020235346A1 (ja) | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 | |
| TWI839830B (zh) | 混合現實交互方法、裝置、電子設備及介質 | |
| US20230315385A1 (en) | Methods for quick message response and dictation in a three-dimensional environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190312 |
|
| RJ01 | Rejection of invention patent application after publication |