CN107998658A - Vr游戏中实现3d角色口型语音聊天系统及方法 - Google Patents

Vr游戏中实现3d角色口型语音聊天系统及方法 Download PDF

Info

Publication number
CN107998658A
CN107998658A CN201711251238.1A CN201711251238A CN107998658A CN 107998658 A CN107998658 A CN 107998658A CN 201711251238 A CN201711251238 A CN 201711251238A CN 107998658 A CN107998658 A CN 107998658A
Authority
CN
China
Prior art keywords
mouth
speaks
voice
audio data
role
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711251238.1A
Other languages
English (en)
Inventor
刘刚
田超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Snail Digital Technology Co Ltd
Original Assignee
Suzhou Snail Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Snail Digital Technology Co Ltd filed Critical Suzhou Snail Digital Technology Co Ltd
Priority to CN201711251238.1A priority Critical patent/CN107998658A/zh
Publication of CN107998658A publication Critical patent/CN107998658A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
    • A63F2300/572—Communication between players during game play of non game information, e.g. e-mail, chat, file transfer, streaming of audio and streaming of video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种VR游戏中实现3D角色表情口型语音聊天的系统及方法，包括：采集模块，其通过VR装置的语音输入设备采集原始音频数据；编码模块，其用于对所述原始音频数据进行数据压缩编码处理；传输模块，其将经过压缩编码处理的音频数据通过服务器转发给其他用户；解码模块，其将接收到的压缩编码音频数据进行解压、解码，还原成原始音频数据；虚拟用户角色口型变化模块，其根据原始音频数据，控制3D虚拟用户角色的口型实时变化；以及播放模块，用于将原始音频数据输出至VR装置的播放设备。使用户在听到其他用户声音的同时能看到游戏中虚拟角色口型变化，更真实地体验到距离感以及距离对声音的影响，使用户在视觉和听觉方面有更加真实的VR游戏体验。

Description

VR游戏中实现3D角色口型语音聊天系统及方法
技术领域
本发明涉及数据处理技术领域，特别是涉及一种VR游戏中实现3D角色表情口型语音聊天的系统及方法。
背景技术
在传统大型多人在线（Massively Multiplayer Online）游戏中，用户之间进行交流时大多采用文本聊天或者外挂语音聊天两种方式。这种情况下，用户通常将键盘、鼠标以及显示器用作输入输出设备，因此在用户体验方面基本没有问题。但在多人在线的VR游戏中玩家都是戴头盔的同时使用手柄来进行游戏体验，因此在这种VR游戏过程中无法实现或者很难实现传统的打字聊天。此外，通过上述文本聊天和外挂语音聊天无法给VR游戏玩家提供基于虚拟现实的真实的游戏体验。而且，VR设备本身对话筒和听筒的支持很完善、使用也很方便，因此在VR游戏中采用语音聊天方式是首选。因此，迫切需要研发一种根据VR游戏中语音聊天的语音数据驱动用户口型变化，同时基于用户间3D位置的改变而动态改变声音的大小的VR游戏中使用的语音聊天系统及方法。
发明内容
为了解决现有技术存在的不足，本发明的目的在于提供一种VR游戏中实现3D角色表情口型语音聊天的系统及方法，在多人在线VR游戏中，根据VR游戏中语音聊天的语音数据驱动用户口型变化，同时基于用户间3D位置的改变而动态改变声音的大小。
为实现上述目的，本发明提供的VR游戏中实现3D角色表情口型语音聊天的系统，包括：
采集模块，其通过VR装置的语音输入设备采集原始音频数据；
编码模块，其用于对所述原始音频数据进行数据压缩编码处理；
传输模块，其将经过压缩编码处理的音频数据通过服务器转发给其他用户；
解码模块，其将接收到的压缩编码音频数据进行解压、解码，还原成原始音频数据；
虚拟用户角色口型变化模块，其根据原始音频数据，控制3D虚拟用户角色的口型实时变化；以及
播放模块，用于将原始音频数据输出至VR装置的播放设备。
所述虚拟用户角色口型变化模块，进一步包括：声贝模块和动画模块，其中，
所述声贝模块，用于根据原始音频数据，计算出声贝的数值；
所述动画模块，其根据实时声贝数值的变化，驱动3D虚拟用户角色口型的每帧移动位置。
进一步地，所述VR游戏中实现3D角色表情口型语音聊天的系统还包括：缩放模块，其中，
所述缩放模块，其根据3D虚拟用户的位置信息控制播放声音的大小。
进一步地，所述缩放模块，其根据3D虚拟用户的位置信息，通过预设的衰减模型算法计算和处理，控制播放声音的大小。
更进一步地，所述采集模块，其将VR装置的语音输入设备输入的模拟信号转换为原始PCM音频数据。
为实现上述目的，本发明提供的VR游戏中实现3D角色表情口型语音聊天的方法，包括：
采集原始音频数据；
将原始音频数据进行数据压缩编码处理；
将经过数据压缩编码处理的音频数据，通过网络传输到服务器，再通过服务器广播给VR游戏场景中所有的用户；
对数据压缩编码处理的音频数据进行解压、解码处理，还原为原始音频数据；
对原始音频数据进行数据处理，使3D虚拟用户角色的口型实时变化；以及
对音频数据进行语音播放。
所述采集原始音频数据的步骤，进一步包括，
将VR装置的语音输入设备输入的模拟信号转换为原始PCM音频数据的步骤。
所述原始音频数据进行数据处理，使3D虚拟用户角色的口型实时变化的步骤，进一步包括，
将解码后的原始音频数据拆分为声道数据，针对每个声道数据进行采样运算后，做加权平均运算出一个数值的步骤；以及
采用变形目标动画方式，在客户端每帧渲染的过程中通过转换的具体数值，调整3D虚拟用户角色嘴上的变形目标数值实现声音驱动口型大小变化的步骤。
进一步地，在所述对音频数据进行语音播放的步骤之前，还包括：采用虚幻引擎的衰减系统调整距离算法参数，通过设置有效半径进行自然衰减模拟，对音频数据进行3D语音距离缩放的步骤。
更进一步地，所述将原始音频数据进行数据压缩编码处理的步骤，包括，对原始音频数据采用AAC音频编码方式。
本发明的一种VR游戏中实现3D角色表情口型语音聊天的系统及方法，将语音聊天的音频数据转换成驱动3D虚拟用户角色口型变化的参数，同时根据3D虚拟用户角色的位置信息对声音进行缩放。本发明让用户在听到其他用户的声音的同时能看到游戏中的3D虚拟用户角色的口型变化，VR体验效果更真实。此外，让用户在VR游戏中更真实地体验到距离感以及距离对声音的影响，3D虚拟用户角色走得越近，声音越清晰，相反距离越远，声音越小，使用户在听觉上拥有更加真实的VR游戏体验。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的VR游戏中实现3D角色表情口型语音聊天的系统框图；
图2为根据本发明另一实施例的VR游戏中实现3D角色表情口型语音聊天的系统的框图；
图3为依据本发明VR游戏中实现3D角色表情口型语音聊天的方法的流程图；
图4为依据本发明另一实施例的VR游戏中实现3D角色表情口型语音聊天的方法的流程图；
图5为示出根据声贝数值的3D角色口型上变化的效果图；
图6为示出本发明在3D位置产生声音衰减的配置效果图；
图7为示出依据变形目标值变化的从原始模型至变形模型的均匀变形的效果图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为根据本发明的VR游戏中实现3D角色表情口型语音聊天的系统的框图，如图1所示，本发明的VR游戏中实现3D角色表情口型语音聊天的系统100，包括：采集模块110、编码模块120、传输模块130、解码模块140、虚拟用户角色口型变化模块150、播放模块160。
采集模块110，用于通过VR装置的语音输入设备采集原始音频数据。
所述VR装置的语音输入设备一般是VR装置自带的话筒。
编码模块120，用于对采集的原始音频数据进行数据压缩编码处理。
传输模块130，用于将经过数据压缩编码处理的音频数据通过服务器转发给其他用户。
解码模块140，用于将接收到的压缩音频数据通过音频解码算法进行数据解码还原。
虚拟用户角色口型变化模块150，用于对原始音频数据进行数据处理，使3D虚拟用户角色的口型实时变化；
播放模块160，用于将音频数据输出至VR装置的播放设备。
所述VR装置的播放设备一般是VR装置自带的耳机。
进一步地，所述虚拟用户角色口型变化模块150包括：声贝模块1501和动画模块1502，其中，
声贝模块1501，用于根据原始音频数据，计算出声贝的数值。
动画模块1502，用于根据实时声贝数值的变化，驱动3D虚拟用户角色口型的每帧移动位置。
由此，用户可以在听到其他用户的声音的同时看到游戏中3D虚拟角色的口型变化，因此VR游戏的体验效果更佳。
图2为根据本发明另一实施例的VR游戏中实现3D角色表情口型语音聊天的系统的框图，如图2所示，所述VR游戏中实现3D角色表情口型语音聊天的系统100还包括：缩放模块170，其中，
缩放模块170，用于根据3D虚拟用户的位置信息，并通过预设的衰减模型算法计算和处理声音的大小。
该声音数据传输至播放模块后，播放模块就将该声音数据输出给VR装置的播放设备。
由此，用户在VR游戏中更真实地体验到距离感以及距离对声音的影响，3D虚拟角色走得越近，声音就越清晰，相反距离越远，声音就越小。
进一步地，所述采集模块利用脉冲编码调制（PCM）将通过VR装置的语音输入设备输入的模拟信号转换为数字信号，从而生成原始PCM音频数据。
PCM（Pulse Code Modulation）称为脉冲编码调制。PCM未经过任何编码和压缩处理，属于无损压缩。与模拟信号相比，通过PCM转换的数字信号不易受传统系统的杂波及失真影响。动态范围宽，音质也相当不错。
图3为依据本发明VR游戏中实现3D角色表情口型语音聊天的方法的流程图，下面将参考图3，对本发明的VR游戏中实现3D角色表情口型语音聊天的方法进行详细描述。
在步骤S310中，通过采样模块110采集VR装置的语音输入设备输入的原始音频数据。
其中，原始音频数据可为原始PCM音频数据，且为了获得更高的语音质量以及有助于后期数据的处理采用了高的48000HZ的采样率和16bit的采集精度，即使用了48000HZ16bit stereo参数。
在步骤S320中，使用编码模块120将原始音频数据采用音频编码方式进行数据压缩编码处理。
具体地，使用编码模块120通过最有利于数据处理的压缩算法AAC对原始PCM音频数据进行数据压缩编码处理，通过调整不同的参数在保障音质的还原度的前提下，尽量提升压缩比减少数据量以便更快地通过网络进行传输。
在步骤S330中，使用传输模块130将经过压缩编码处理的音频数据，通过网络传输到服务器，再通过服务器广播给VR游戏场景中所有的用户。
具体地，传输模块130将压缩好的AAC音频数据通过网络传输到服务器，并通过服务器140广播给VR游戏场景中的所有的用户时，为了获得更高的传输效率和更低的网络延时在该网络传输过程中采用UDP协议进行数据传输。
但是UDP协议本身在数据传输方面不可靠，在互联网上传输数据时容易出现乱序、丢包等情况。为了解决这类问题，可以在传输模块130采用冗余传输、缓存排序、有限跳变等方案。
在步骤S340中，使用解码模块140将从服务器接收到的音频数据，采用与编码模块相同的音频编码方式的参数进行解码，由此有效还原原始音频数据。
具体地，使用解码模块140同样采用AAC算法参数进行解码，从而实现原始PCM音频数据的有效还原。
在步骤S350中，使用虚拟用户角色口型变化模块150对解码后的原始音频数据进行数据处理，使3D虚拟用户角色的口型实时变化。
具体地，所述虚拟用户口型变化模块150包括：声贝模块1501和动画模块1502，其中，步骤S350进一步包括：
使用声贝模块1501把解码后的原始PCM音频数据拆分为声道数据，针对每个声道数据进行采样运算后，做加权平均运算出一个数值的步骤；以及
使用动画模块1502采用变形目标动画（Morph target animation）方式，在客户端每帧渲染的过程中通过转换的具体数值，调整3D虚拟用户角色嘴上的变形目标（Morph target）数值实现声音驱动口型大小变化的步骤。
在步骤S360中，使用播放模块160对音频数据进行语音播放。
图4为依据本发明另一实施例的VR游戏中实现3D角色表情口型语音聊天的方法的流程图，参考图4,，该方法还包括：步骤S370，该步骤在缩放模块170中采用虚幻引擎（Unreal Engine）的衰减（Attenuation）系统调整距离算法（Distance Algorithm）参数，通过设置有效半径进行自然衰减模拟。其中，使用播放模块160对音频数据进行语音播放的步骤S360具体为，把经过3D距离缩放后的音频数据使用播放模块进行语音播放。
图5为示出根据声贝数值的3D角色口型上变化的效果图，如图5所示，3D角色的口型随上述步骤S350算出的数值的不同而发生相应变化。
图6为示出本发明在3D位置产生声音衰减的配置效果图；
图6为示出本发明在3D位置产生声音衰减的配置效果图。
如图6所示，缩放模块170具体通过以下方式实现自然衰减模拟。即在虚拟引擎的衰减系统中距离算法（Distance Algorithm）参数选择自然声（natural sound），同时衰减形状（Attenuation Shape）参数选择球形（Sphere），由此设置有效半径从而进行自然衰减模拟。
图7为示出依据变形目标（Morph target）数值变化的从原始模型至变形模型的均匀变形的效果图。
如图7所示，在步骤S352中，变形目标动画的实现方法为：在3D软件中在主角模型拓扑线保持不变的情况下通过调整顶点的位置来实现表情的变化。通过原始模型和变形模型来产生变形目标动画，是一个从0到1的值变化过程。当Morph target值为0时显示原始模型，值为1时显示变形模型，从0到1均匀变形。并且，图5中，Morph target值由左向右分别为0、0.3、0.6、1。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种VR游戏中实现3D角色表情口型语音聊天的系统，其特征在于，包括：
采集模块，其通过VR装置的语音输入设备采集原始音频数据；
编码模块，其用于对所述原始音频数据进行数据压缩编码处理；
传输模块，其将经过压缩编码处理的音频数据通过服务器转发给其他用户；
解码模块，其将接收到的压缩编码音频数据进行解压、解码，还原成原始音频数据；
虚拟用户角色口型变化模块，其根据原始音频数据，控制3D虚拟用户角色的口型实时变化；以及
播放模块，用于将原始音频数据输出至VR装置的播放设备。
2.根据权利要求1所述的VR游戏中实现3D角色表情口型语音聊天的系统，其特征在于，
所述虚拟用户角色口型变化模块，进一步包括：声贝模块和动画模块，
其中，
所述声贝模块，用于根据原始音频数据，计算出声贝的数值；
所述动画模块，其根据实时声贝数值的变化，驱动3D虚拟用户角色口型的每帧移动位置。
3.根据权利要求1或2所述的VR游戏中实现3D角色表情口型语音聊天的系统，其特征在于，所述系统，还包括：缩放模块，其中，
所述缩放模块，其根据3D虚拟用户的位置信息控制播放声音的大小。
4.根据权利要求3所述的VR游戏中实现3D角色表情口型语音聊天的系统，其特征在于，所述缩放模块，其根据3D虚拟用户的位置信息，通过预设的衰减模型算法计算和处理，控制播放声音的大小。
5.根据权利要求1或2所述的VR游戏中实现3D角色表情口型语音聊天的系统，其特征在于，
所述采集模块，其将VR装置的语音输入设备输入的模拟信号转换为原始PCM音频数据。
6.一种VR游戏中实现3D角色表情口型语音聊天的方法，包括：
采集原始音频数据；
将原始音频数据进行数据压缩编码处理；
将经过数据压缩编码处理的音频数据，通过网络传输到服务器，再通过服务器广播给VR游戏场景中所有的用户；
对数据压缩编码处理的音频数据进行解压、解码处理，还原为原始音频数据；
对原始音频数据进行数据处理，使3D虚拟用户角色的口型实时变化；以及
对音频数据进行语音播放。
7.根据权利要求6所述的VR游戏中实现3D角色表情口型语音聊天的方法，其特征在于，所述采集原始音频数据的步骤，进一步包括，
将VR装置的语音输入设备输入的模拟信号转换为原始PCM音频数据的步骤。
8.根据权利要求6所述的VR游戏中实现3D角色表情口型语音聊天的方法，其特征在于，所述原始音频数据进行数据处理，使3D虚拟用户角色的口型实时变化的步骤，进一步包括，
将解码后的原始音频数据拆分为声道数据，针对每个声道数据进行采样运算后，做加权平均运算出一个数值的步骤；以及
采用变形目标动画方式，在客户端每帧渲染的过程中通过转换的具体数值，调整3D虚拟用户角色嘴上的变形目标数值实现声音驱动口型大小变化的步骤。
9.根据权利要求6所述的VR游戏中实现3D角色表情口型语音聊天的方法，其特征在于，在所述对音频数据进行语音播放的步骤之前，还包括：采用虚幻引擎的衰减系统调整距离算法参数，通过设置有效半径进行自然衰减模拟，对音频数据进行3D语音距离缩放的步骤。
10.根据权利要求6所述VR游戏中实现3D角色表情口型语音聊天的方法，其特征在于，所述将原始音频数据进行数据压缩编码处理的步骤，包括，对原始音频数据采用AAC音频编码方式。
CN201711251238.1A 2017-12-01 2017-12-01 Vr游戏中实现3d角色口型语音聊天系统及方法 Withdrawn CN107998658A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711251238.1A CN107998658A (zh) 2017-12-01 2017-12-01 Vr游戏中实现3d角色口型语音聊天系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711251238.1A CN107998658A (zh) 2017-12-01 2017-12-01 Vr游戏中实现3d角色口型语音聊天系统及方法

Publications (1)

Publication Number Publication Date
CN107998658A true CN107998658A (zh) 2018-05-08

Family

ID=62056227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711251238.1A Withdrawn CN107998658A (zh) 2017-12-01 2017-12-01 Vr游戏中实现3d角色口型语音聊天系统及方法

Country Status (1)

Country Link
CN (1) CN107998658A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108771864A (zh) * 2018-05-17 2018-11-09 东莞市华睿电子科技有限公司 一种双vr设备参与虚拟游戏pk前的虚拟场景配置方法
CN109064532A (zh) * 2018-06-11 2018-12-21 上海咔咖文化传播有限公司 动画角色自动口型生成方法及装置
WO2022089167A1 (zh) * 2020-10-30 2022-05-05 腾讯科技（深圳）有限公司 虚拟视频的直播方法、装置、设备及可读存储介质
CN115430156A (zh) * 2022-08-16 2022-12-06 中国联合网络通信集团有限公司 游戏期间的呼叫方法、呼叫装置及主叫用户终端
WO2023098332A1 (zh) * 2021-12-01 2023-06-08 腾讯科技（深圳）有限公司 一种音频处理方法、装置、设备、介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742006A (zh) * 2009-12-28 2010-06-16 山东大学 一种基于嵌入式Linux的语音聊天客户端及其实现方法
CN106023983A (zh) * 2016-04-27 2016-10-12 广东欧珀移动通信有限公司 基于虚拟现实vr场景的多用户语音交互方法以及装置
CN106485774A (zh) * 2016-12-30 2017-03-08 当家移动绿色互联网技术集团有限公司 基于语音实时驱动人物模型的表情和姿态的方法
CN106710590A (zh) * 2017-02-24 2017-05-24 广州幻境科技有限公司 基于虚拟现实环境的具有情感功能的语音交互系统及方法
US20170289209A1 (en) * 2016-03-30 2017-10-05 Sony Computer Entertainment Inc. Server-based sound mixing for multiuser voice chat system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742006A (zh) * 2009-12-28 2010-06-16 山东大学 一种基于嵌入式Linux的语音聊天客户端及其实现方法
US20170289209A1 (en) * 2016-03-30 2017-10-05 Sony Computer Entertainment Inc. Server-based sound mixing for multiuser voice chat system
CN106023983A (zh) * 2016-04-27 2016-10-12 广东欧珀移动通信有限公司 基于虚拟现实vr场景的多用户语音交互方法以及装置
CN106485774A (zh) * 2016-12-30 2017-03-08 当家移动绿色互联网技术集团有限公司 基于语音实时驱动人物模型的表情和姿态的方法
CN106710590A (zh) * 2017-02-24 2017-05-24 广州幻境科技有限公司 基于虚拟现实环境的具有情感功能的语音交互系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108771864A (zh) * 2018-05-17 2018-11-09 东莞市华睿电子科技有限公司 一种双vr设备参与虚拟游戏pk前的虚拟场景配置方法
CN108771864B (zh) * 2018-05-17 2021-08-10 北京热带雨林互动娱乐有限公司 一种双vr设备参与虚拟游戏pk前的虚拟场景配置方法
CN109064532A (zh) * 2018-06-11 2018-12-21 上海咔咖文化传播有限公司 动画角色自动口型生成方法及装置
CN109064532B (zh) * 2018-06-11 2024-01-12 深圳市卡扑动漫设计有限公司 动画角色自动口型生成方法及装置
WO2022089167A1 (zh) * 2020-10-30 2022-05-05 腾讯科技（深圳）有限公司 虚拟视频的直播方法、装置、设备及可读存储介质
US11882319B2 (en) 2020-10-30 2024-01-23 Tencent Technology (Shenzhen) Company Limited Virtual live video streaming method and apparatus, device, and readable storage medium
WO2023098332A1 (zh) * 2021-12-01 2023-06-08 腾讯科技（深圳）有限公司 一种音频处理方法、装置、设备、介质及程序产品
CN115430156A (zh) * 2022-08-16 2022-12-06 中国联合网络通信集团有限公司 游戏期间的呼叫方法、呼叫装置及主叫用户终端

Similar Documents

Publication Publication Date Title
CN107998658A (zh) Vr游戏中实现3d角色口型语音聊天系统及方法
CN106710590B (zh) 基于虚拟现实环境的具有情感功能的语音交互系统及方法
CN107911644A (zh) 基于虚拟人脸表情进行视频通话的方法及装置
US20080144794A1 (en) Spatial Audio Teleconferencing
WO2023098332A1 (zh) 一种音频处理方法、装置、设备、介质及程序产品
CN108074431B (zh) 一种应用vr技术演讲实训的系统及方法
CN103369289A (zh) 一种视频模拟形象的通信方法和装置
CN112543342B (zh) 虚拟视频直播处理方法及装置、存储介质、电子设备
JP2006510249A (ja) モバイルビデオ通信用アバターデータベース
US20110028215A1 (en) Video Game System with Mixing of Independent Pre-Encoded Digital Audio Bitstreams
JP2007244901A (ja) プレーヤが口頭でコミュニケーションできるようにする方法及び口頭のコミュニケーションを可能にするシステム
JP2008500573A (ja) メッセージを変更するための方法及びシステム
CN108234735A (zh) 一种媒体显示方法及终端
CN105895107A (zh) 通过变换插值进行音频分组丢失隐藏
CN111081270B (zh) 一种实时音频驱动的虚拟人物口型同步控制方法
CN1115531A (zh) 同时话音-数字通信中应用的声音调节
CN108446027A (zh) 一种多个虚拟角色同时互动表演的控制系统及其控制方法
CN109451329A (zh) 混音处理方法及装置
JP2005322125A (ja) 情報処理システム、情報処理方法、プログラム
CN109120947A (zh) 一种直播间的语音私聊方法及客户端
CN106792133A (zh) 虚拟现实服务器、视频数据传输方法及系统
JP2014167517A (ja) 会話提供システム、ゲーム提供システム、会話提供方法、ゲーム提供方法及びプログラム
CN113299306B (zh) 回声消除方法、装置、电子设备及计算机可读存储介质
CN108965904A (zh) 一种直播间的音量调节方法及客户端
CN112954243A (zh) 一种无线耳机直播系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180508

WW01 Invention patent application withdrawn after publication