CN109166090A - 基于声纹的增强现实处理方法、装置和存储介质 - Google Patents

基于声纹的增强现实处理方法、装置和存储介质 Download PDF

Info

Publication number
CN109166090A
CN109166090A CN201810985792.0A CN201810985792A CN109166090A CN 109166090 A CN109166090 A CN 109166090A CN 201810985792 A CN201810985792 A CN 201810985792A CN 109166090 A CN109166090 A CN 109166090A
Authority
CN
China
Prior art keywords
information
user
vocal print
print feature
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810985792.0A
Other languages
English (en)
Inventor
姚淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810985792.0A priority Critical patent/CN109166090A/zh
Publication of CN109166090A publication Critical patent/CN109166090A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明提供一种基于声纹的增强现实处理方法、装置和存储介质，该方法包括：获取终端发送的用户的声音信息；根据用户的声音信息，获取用户的增强现实AR信息；向终端发送用户的AR信息，以使终端将用户的AR信息与当前显示的图像融合，并显示融合后的图像。本发明提供了一种采用用户的声音信息获取AR信息的方法，提高了用户体验，增加了趣味性。

Description

基于声纹的增强现实处理方法、装置和存储介质
技术领域
本发明涉及增强现实技术领域，尤其涉及一种基于声纹的增强现实处理方法、装置和存储介质。
背景技术
增强现实(AR)技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
现有技术中，通常是根据图像中的场景信息、位置信息等获取图像对应的AR信息。这种获取AR信息的方式需要输入图像，趣味性低。
发明内容
本发明提供一种基于声纹的增强现实处理方法、装置和存储介质，采用用户的声音信息获取AR信息的方法，提高了用户体验，增加了趣味性。
本发明的第一方面提供基于声纹的增强现实处理方法，包括：
获取终端发送的用户的声音信息；
根据所述用户的声音信息，获取所述用户的增强现实AR信息；
向所述终端发送所述用户的AR信息，以使所述终端将所述用户的AR信息与当前显示的图像融合，并显示融合后的图像。
可选的，所述根据所述用户的声音信息，获取所述用户的增强现实AR信息，包括：
根据所述用户的声音信息，提取所述用户的声纹特征信息；
根据所述用户的声纹特征信息，获取所述用户的AR信息。
可选的，所述根据所述用户的声纹特征信息，获取所述用户的AR信息，包括：
根据所述用户的声纹特征信息，在预设声纹特征信息集中查找与所述用户的声纹特征信息对应的AR信息，所述预设声纹特征信息集包括预设声纹特征信息，以及，与所述预设声纹特征信息对应的AR信息；
将与所述用户的声纹特征信息对应的AR信息作为所述用户的AR信息。
可选的，所述根据所述用户的声纹特征信息，获取所述用户的增强现实AR信息，包括：
若所述预设声纹特征信息集中不包含有与所述用户的声纹特征信息匹配的预设声纹特征信息时，向所述终端发送注册请求消息，所述注册请求消息用于触发所述终端显示注册界面；
接收所述终端发送的注册响应消息，所述注册响应消息用于指示所述终端同意进行注册；
根据所述用户的声纹特征信息，在所述声纹特征信息集中添加所述用户的声纹特征信息，以及，与所述用户的声纹特征信息对应的AR信息，以完成注册；
将与所述用户的声纹特征信息对应的AR信息作为所述用户的AR信息。
可选的，所述根据所述用户的声纹特征信息，在所述声纹特征信息集中添加所述用户的声纹特征信息，以及，与所述用户的声纹特征信息对应的AR信息，包括：
根据所述用户的声纹特征信息，获取所述用户的属性信息；
根据所述用户的属性信息和预设的AR信息集，获取与所述用户的属性信息对应的AR信息，所述预设的AR信息集包括预设属性信息，以及，与所述预设属性信息对应的AR信息；
将所述用户的声纹特征信息，以及，所述用户的属性信息对应的AR信息添加到所述声纹特征信息集中。
可选的，所述用户的属性信息包括所述用户的年龄阶段、性别或情绪中的一种或多种。
可选的，所述第一AR信息为游戏场景所包括的AR信息。
可选的，所述当前显示的图像为第一视频中的图像。
可选的，所述第一视频为所述终端拍摄的当前场景视频。
本发明的第二方面提供一种基于声纹的增强现实处理方法，包括：
向服务器发送用户的声音信息；
接收所述服务器发送的所述用户的增强现实AR信息，所述用户的AR信息是所述服务器根据所述用户的声音信息获取的；
将所述用户的AR信息与当前显示的图像融合，并显示融合后的图像。
可选的，所述用户的AR信息是由所述服务器根据所述用户的声纹特征信息，在预设声纹特征信息集中查找的、与所述用户的声纹特征信息对应的AR信息，所述预设声纹特征信息集包括预设声纹特征信息，以及，与所述预设声纹特征信息对应的AR信息。
可选的，所述方法还包括：
若所述预设声纹特征信息集中不包含有与所述用户的声纹特征信息匹配的预设声纹特征信息时，接收所述服务器发送的注册请求消息；
显示注册界面，所述注册界面包括第一控件，所述第一控件为触发所述终端向所述服务器发送注册响应消息所对应的控件；
根据所述用户对所述第一控件的操作，向所述服务器发送注册响应消息，所述注册响应消息用于指示所述服务器根据所述用户的声纹特征信息，在所述声纹特征信息集中添加所述用户的声纹特征信息，以及，与所述用户的声纹特征信息对应的AR信息，以完成注册，所述预设声纹特征信息集包括预设声纹特征信息，以及，与所述预设声纹特征信息对应的AR信息。
可选的，所述用户的AR信息为游戏场景所包括的AR信息。
可选的，所述当前显示的图像为第一视频中的图像。
可选的，所述第一视频为所述终端拍摄的当前场景视频。
本发明的第三方面提供一种于声纹的增强现实处理装置，包括：
声音信息获取模块，用于获取终端发送的用户的声音信息；
AR信息获取模块，用于根据所述用户的声音信息，获取所述用户的增强现实AR信息；
AR信息发送模块，用于向所述终端发送所述用户的AR信息，以使所述终端将所述用户的AR信息与当前显示的图像融合，并显示融合后的图像。
本发明的第四方面提供一种于声纹的增强现实处理装置，包括：
声音信息发送模块，用于向服务器发送用户的声音信息；
AR信息接收模块，用于接收所述服务器发送的所述用户的增强现实AR信息，所述用户的AR信息是所述服务器根据所述用户的声音信息获取的；
融合模块，用于将所述用户的AR信息与当前显示的图像融合，并显示融合后的图像。
本发明的第五方面提供一种于声纹的增强现实处理装置，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述基于声纹的增强现实处理装置上述的基于声纹的增强现实处理方法。
本发明的第六方面提供一种于声纹的增强现实处理装置，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述基于声纹的增强现实处理装置上述的基于声纹的增强现实处理方法。
本发明的第七方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现上述基于声纹的增强现实处理方法。
本发明的第八方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现上述基于声纹的增强现实处理方法。
本发明提供一种基于声纹的增强现实处理方法、装置和存储介质，该方法包括：该方法包括：获取终端发送的用户的声音信息；根据用户的声音信息，获取用户的增强现实AR信息；向终端发送用户的AR信息，以使终端将用户的AR信息与当前显示的图像融合，并显示融合后的图像。本发明提供了一种采用用户的声音信息获取AR信息的方法，提高了用户体验，增加了趣味性。
附图说明
图1为本发明提供的声纹的增强现实处理方法适用的系统架构示意图；
图2为本发明提供的基于声纹的增强现实处理方法的信令流程示意图一；
图3为本发明提供的基于声纹的增强现实处理方法的信令流程示意图二；
图4为本发明提供的基于声纹的增强现实处理方法中终端界面变化示意图一；
图5为本发明提供的基于声纹的增强现实处理方法的信令流程示意图三；
图6为本发明提供的基于声纹的增强现实处理方法中终端界面变化示意图二；
图7为本发明提供的一基于声纹的增强现实处理装置的结构示意图一；
图8为本发明提供的一基于声纹的增强现实处理装置的结构示意图二；
图9为本发明提供的另一基于声纹的增强现实处理装置的结构示意图一；
图10为本发明提供的另一基于声纹的增强现实处理装置的结构示意图二；
图11为本发明提供的另一基于声纹的增强现实处理装置的结构示意图三。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的声纹的增强现实处理方法适用的系统架构示意图，本发明提供的基于声纹的增强现实处理方法适用于如下场景中，如图1所示，该应用场景中包括：服务器和终端。本发明中的服务器可以为声纹的增强现实处理方法的执行主体，而终端为采集用户声音信息，以及，显示用户的AR信息的终端。
其中，本发明中的终端可以但不限于为移动终端或者固定终端。具体的移动终端可以为智能手机、PAD等具有采集用户声音信息，以及，具有显示功能的移动设备。固定终端可以是台式计算机、游戏机等具有采集用户声音信息，以及，具有显示功能的固定设备。
图2为本发明提供的基于声纹的增强现实处理方法的信令流程示意图一，图2从服务器和终端进行交互的角度对本发明提供的基于声纹的增强现实处理方法进行说明。如图2所示，本实施例提供的基于声纹的增强现实处理方法可以包括：
S101，终端向服务器发送用户的声音信息。
本实施例中，终端可通过现有技术中的声音采集信息获取用户的声音信息，用户的声音信息可以是具有文字内容的声音信息，也可以是用户发出的不具有文字内容的声音信息。
终端获取用户的声音信息的一触发场景可以是：用户打开终端，终端上显示登陆界面，此时终端提醒用户发出声音以使终端获取用户的声音信息。示例性的，用户打开终端，终端上显示密码界面，现有技术中用户一般通过输入特定的密码获取输入用户的指纹信息使得终端打开，即使得终端解锁。本实施例中，终端上显示密码界面时，终端显示相应的标识已提醒用户录入声音信息。
终端获取用户的声音信息的又一触发场景可以是：用户打开终端上安装的任一应用程序APP，终端上显示该APP登陆界面，此时终端提醒用户发出声音以使终端获取用户的声音信息，进而使得用户登录该APP。示例性的，用户A游戏应用程序，终端上显示登录界面，现有技术中用户一般通过输入用户账号以对应的用户密码以登录该APP。本实施例中，终端上显示登录界面时，终端显示相应的标识已提醒用户录入声音信息。
S102，服务器获取终端发送的用户的声音信息。
在终端获取用户的声音信息后，向服务器发送用户的声音信息。
S103，服务器根据用户的声音信息，获取用户的增强现实AR信息。
本实施例中，服务器中可以预先存储有预设声纹特征信息集，该预设声纹特征信息集包括有预设声纹特征信息，以及，与预设声纹特征信息对应的AR信息。由于不同用户的声纹特征是相对唯一的，声纹不仅具有特定性，而且有相对稳定性的特点。无论用户是故意模仿他人声音和语气，还是耳语轻声讲话，即使模仿得惟妙惟肖，其声纹却始终不相同。
该预设声纹特征信息集中存储的预设声纹特征信息可以是已注册用户对应的声纹特征信息，具体的，该声纹特征信息可以为用户的声纹特征对应的声波频谱。预设声纹特征信息在预设声纹特征信息集中均具有对应的AR信息，该AR信息可以是用户在注册时由用户自定义的AR信息，也可以是服务器在用户注册时根据用户的声纹特征信息生成的AR信息。具体的服务器根据用户的声纹特征信息生成AR信息的方式可以是：服务器中预先存储有AR信息模型，该AR信息模型是由多个声纹特征信息进行训练获取的，该AR信息模型用于表示声纹特征信息与AR信息的对应关系，当服务器获取用户的声音信息后，将用户声音信息中的声纹特征信息输入至该AR信息模型中，生成用户的声音信息对应的AR信息。
在服务器获取用户的声音信息后，根据用户声音信息中的声纹特征信息，在预设声纹特征信息集中查找与该用户的声纹特征信息匹配的预设声纹特征信息，将该预设声纹特征信息对应的AR信息确定为用户的AR信息。
示例性的，服务器中存储有已注册用户为A用户、B用户和C用户，以及，A用户的声纹特征信息、B用户的声纹特征信息和C用户的声纹特征信息分别对应的AR信息分别为三维猫的AR影像、三维狗的AR影像和三维兔的AR影像；当服务器根据终端发送的用户的声音信息，确定用户的声音信息中的声纹特征信息为A用户的声纹特征信息，便将三维猫的AR影像确定为用户的AR信息。
本实施例中，服务器中可以预先存储有AR信息模型，该AR信息模型是由多个声纹特征信息进行训练获取的，该AR信息模型用于表示声纹特征信息与AR信息的对应关系，当服务器获取用户的声音信息后，将用户声音信息中的声纹特征信息输入至该AR信息模型中，直接生成用户的声音信息对应的AR信息。
示例性的，当服务器根据终端发送的用户的声音信息，提取用户的声音信息中的声纹特征信息，将该声纹特征信息输入至AR信息模型，直接生成该声纹特征信息对应的AR信息，如三维猫的AR影像，便确定该生成的三维猫的AR影像为用户的AR信息。
S104，服务器向终端发送用户的AR信息。
本实施例中，在服务器获取用户的AR信息之后，便将该用户的AR信息发送给终端，具体的，该AR信息可以是文字、图像、视频中的一种或者多种组合。
S105，终端接收服务器发送的用户的AR信息。
终端接收到服务器发送的用户的AR信息后，可以在终端上显示该AR信息。
一方面，在终端登录的场景中，用户成功登陆后，终端界面上会显示该AR信息已提醒用户登陆成功；另一方面，在终端上安装的APP登录的场景中，用户成功登陆后，终端界面上会显示该AR信息已提醒用户登陆成功。
S106，终端将用户的AR信息与当前显示的图像融合，并显示融合后的图像。
终端获取用户的AR信息后，可以与终端上当前显示的图像融合，并显示融合后的图像，其中，该终端上当前显示的图像可以终端上预存的图像，也可以是视频中的一张图像，该视频可以是终端中预存的视频，也可以是终端拍摄的当前场景视频，示例性的，在终端获取用户的声音信息时，即可获取当前场景视频，该当前场景视频中的每一帧画面为一张图像，终端可以将AR信息与当前显示的图像融合，向用户显示该融合后的图像。
本实施例提供一种基于声纹的增强现实处理方法、装置和存储介质，该方法包括：获取终端发送的用户的声音信息；根据用户的声音信息，获取用户的增强现实AR信息；向终端发送用户的AR信息，以使终端将用户的AR信息与当前显示的图像融合，并显示融合后的图像。本实施例提供了一种采用用户的声音信息获取AR信息的方法，提高了用户体验，增加了趣味性。
下面结合图3对本发明提供的基于声纹的增强现实处理方法进行进一步说明，图3为本发明提供的基于声纹的增强现实处理方法的信令流程示意图二，如图3所示，本实施例提供的基于声纹的增强现实处理方法可以包括：
S201，终端向服务器发送用户的声音信息。
S202，服务器获取终端发送的用户的声音信息，提取用户的声纹特征信息。
服务器获取终端发送的用户的声音信息后，可以提取用户的声音信息对应的声纹特征信息，具体的，本实施例中的声纹特征信息可以为声波频谱，服务器提取声纹特征信息的具体方式可以与现有技术中提取声纹特征信息的方式相同，在此不做赘述。
S203，服务器根据用户的声纹特征信息，获取用户的AR信息。
本实施例中，服务器中预先存储有预设声纹特征信息集，该预设声纹特征信息集包括预设声纹特征信息，以及，与预设声纹特征信息对应的AR信息。在服务器获取用户的声纹特征信息后，在该预设声纹特征信息集中查找与用户的声纹特征信息对应的AR信息，并将与用户的声纹特征信息对应的AR信息作为用户的AR信息。
其中，用户的AR信息为游戏场景所包括的AR信息。
示例性的，本实施例提供的方法的应用场景为用户登录游戏应用程序的场景，该用户为已注册用户，服务器中的预设声纹特征信息集中存储有该用户的声纹特征信息，以及，与该用户的声纹特征信息对应的AR信息，该AR信息为游戏场景所包括的AR信息，如AR游戏人物角色，以及AR游戏环境等。在服务器根据用户的声纹特征信息，在预设声纹特征信息集中查询有该声纹特征信息时，将该声纹特征信息对应的AR信息确定为用户的AR信息。
S204，服务器向终端发送用户的AR信息。
S205，终端接收服务器发送的用户的AR信息。
S206，终端将用户的AR信息与当前显示的图像融合，并显示融合后的图像。
本实施例中，当前显示的图像为第一视频中的图像，具体的，该第一视频为终端拍摄的当前场景视频，示例性的，在终端获取用户的声音信息时，即可获取当前场景视频，该当前场景视频中的每一帧画面为一张图像，具体的，终端可使用终端上设置的摄像头或者其他视频采集装置获取当前场景视频。
在获取当前场景视频后，终端可以根据时间对应关系，将AR信息与当前场景视频中的图像融合，向用户显示该融合后的图像。
图4为本发明提供的基于声纹的增强现实处理方法中终端界面变化示意图一，如图4所示，在用户登录游戏应用程序时，终端显示该登陆界面，如图4中的界面301所示，此时，终端获取并向服务器发送用户的声音信息，具体的，本实施例中，在终端的登陆界面上可以设置采集用户的声音信息控件，用户可以通过一直按压该声音信息控件获取用户的声音信息，也可以通过先按压一下该声音信息控件开始采集用户的声音信息，用户讲话完成后再按压一次该声音信息控件完成该用户的声音信息的采集。本实施例中对终端如何获取用户的声音信息不做具体限制。
服务器根据用户的声音信息中的声纹特征信息，获取该声纹特征信息对应的AR信息，终端将该AR信息与当前场景视频中的图像融合，向用户显示该融合后的图像。如图4中的界面302所示，用户的AR信息为其对应的游戏人物处于游戏场景中的AR信息，当前场景视频的图像时用户的人脸图像，因此，在终端的界面上显示该融合后的图像。
本实施例中的S201、S204-S205中的具体实施方式可以参照上述实施例中的S101、S104-S105中的相关描述，在此不做赘述。
本实施例中，由服务器根据用户的声音信息，提取的用户的声纹特征信息，在预设声纹特征信息集中查找与用户的声纹特征信息对应的AR信息，其中，该预设声纹特征信息集包括预设声纹特征信息，以及，与预设声纹特征信息对应的AR信息。本实施例提供的基于声纹的增强现实处理方法能够使得服务器根据预先存储的预设声纹特征信息以及与预设声纹特征信息对应的AR信息获取用户的AR信息，使得本实施例通过用户的声音信息能够获取对应的AR信息，提高了用户体验，且本实施例中终端将当前用户所处的场景视频与AR信息融合，增加了趣味性。
下面结合图5对本发明提供的基于声纹的增强现实处理方法进行进一步说明，图5为本发明提供的基于声纹的增强现实处理方法的信令流程示意图三，如图5所示，本实施例提供的基于声纹的增强现实处理方法可以包括：
S401，终端向服务器发送用户的声音信息。
S402，服务器获取终端发送的用户的声音信息，提取用户的声纹特征信息。
S403，若预设声纹特征信息集中不包含有与用户的声纹特征信息匹配的预设声纹特征信息时，服务器向终端发送注册请求消息。
当服务器获取用户的声音信息中的声纹特征信息，在预设声纹特征信息集中查询，若该预设声纹特征信息集中不包含有与用户的声纹特征信息匹配的预设声纹特征信息时，服务器确定该用户为新用户，向终端发送注册请求消息，该注册请求消息用于触发终端显示注册界面。
S404，终端接收服务器发送的注册请求消息。
S405，终端显示注册界面，注册界面包括第一控件。
图6为本发明提供的基于声纹的增强现实处理方法中终端界面变化示意图二，如图6中的界面501所示，在用户登录游戏应用程序时，终端显示用户登陆界面，本实施例中，在终端的登陆界面上可以设置采集用户的声音信息控件，用户可以通过一直按压该声音信息控件获取用户的声音信息，也可以通过先按压一下该声音信息控件开始采集用户的声音信息，用户讲话完成后再按压一次该声音信息控件完成该用户的声音信息的采集。
服务器根据获取的用户的声音信息中的声纹特征信息，在预设声纹特征信息集中查询，若该预设声纹特征信息集中不包含有与用户的声纹特征信息匹配的预设声纹特征信息时，服务器向终端发送注册请求消息，该注册请求消息用于触发终端显示注册界面，具体的，该终端的注册界面如图6中的界面502所示，该界面中显示有“是否注册”的文字，且在该界面上具有“是”或“否”的选择控件。其中，注册界面包括第一控件，第一控件为触发所述终端向所述服务器发送注册响应消息所对应的控件，该示例中第一控件为“是”的选择控件。具体的，本实施例中的注册界面还包括第二控件，第二控件为结束注册的控件，该示例中第二控件为“否”的选择控件。
S406，终端根据用户的操作，向服务器发送注册响应消息。
当用户按压选择控件“是”时，触发终端向服务器发送注册响应消息，该注册响应消息用于指示终端同意进行注册，该注册响应消息也用于指示服务器根据用户的声纹特征信息，在声纹特征信息集中添加用户的声纹特征信息，以及，与用户的声纹特征信息对应的AR信息，以完成注册，预设声纹特征信息集包括预设声纹特征信息，以及，与预设声纹特征信息对应的AR信息。
S407，服务器接收终端发送的注册响应消息。
S408，服务器根据用户的声纹特征信息，在声纹特征信息集中添加用户的声纹特征信息，以及，与用户的声纹特征信息对应的AR信息，以完成注册。
本实施例中，声纹特征信息集中并未存储该用户的声纹特征信息，以及，与该声纹特征信息对应的AR信息。具体的，服务器根据用户的声纹特征信息，获取用户的属性信息；根据用户的属性信息和预设的AR信息集，获取与用户的属性信息对应的AR信息，预设的AR信息集包括预设属性信息，以及，与预设属性信息对应的AR信息；将用户的声纹特征信息，以及，用户的属性信息对应的AR信息添加到声纹特征信息集中。
本实施例中，用户的属性信息包括用户的年龄阶段、性别或情绪中的一种或多种。
示例性的，服务器根据用户的声纹特征信息，获取用户的属性信息为：15-20岁的女性，情绪为高兴，服务器根据预设的AR信息集，为该用户推送对应的AR信息；具体的，该预设的AR信息集中存储有多个属性，以及与属性对应的AR信息。
如用户的户的属性信息为：15-20岁的女性，情绪为高兴，获取与该属性信息匹配的AR信息，如美少女AR人物以及对应的可爱类型的AR人物场景。还在声纹特征信息集中添加该用户的声纹特征信息，以及，与用户的声纹特征信息对应的AR信息，以完成注册。
S409，服务器将与用户的声纹特征信息对应的AR信息作为用户的AR信息。
服务器将根据预设的AR信息集确定的AR信息，即用户的声纹特征信息对应的AR信息作为用户的AR信息。
S410，服务器向终端发送用户的AR信息。
S411，终端接收服务器发送的用户的AR信息。
S412，终端将用户的AR信息与当前显示的图像融合，并显示融合后的图像。
在用户完成注册，获取对应的AR信息之后，终端将该AR信息与当前显示的图像融合，并显示融合后的图像，如图6中的界面503所示，当前显示的图像为该用户的人脸图像。
本实施例中的S401-S402、S410-S412中的具体实施方式可以参照上述实施例中的S201-S202、S204-S206中的相关描述，在此不做赘述。
本实施例中，若预设声纹特征信息集中不包含有与用户的声纹特征信息匹配的预设声纹特征信息时，向终端发送注册请求消息，根据用户的声纹特征信息，获取用户的属性信息，还根据预设的AR信息集，获取与用户的属性信息对应的AR信息，使得未注册过的用户可以顺利注册获取与用户的声纹特征信息对应的AR信息，完成注册，且将该AR信息发送给终端，使得终端将当前用户所处的场景视频与AR信息融合，增加了趣味性。
图7为本发明提供的一基于声纹的增强现实处理装置的结构示意图一，如图7所示，该基于声纹的增强现实处理装置600包括：声音信息获取模块601、AR信息获取模块602和AR信息发送模块603。
声音信息获取模块601，用于获取终端发送的用户的声音信息。
AR信息获取模块602，用于根据用户的声音信息，获取用户的增强现实AR信息。
AR信息发送模块603，用于向终端发送用户的AR信息，以使终端将用户的AR信息与当前显示的图像融合，并显示融合后的图像。
本实施例提供的基于声纹的增强现实处理装置与上述基于声纹的增强现实处理方法实现的原理和技术效果类似，在此不作赘述。
可选的，AR信息获取模块602，具体用于根据用户的声音信息，提取用户的声纹特征信息；根据用户的声纹特征信息，获取用户的AR信息。
可选的，AR信息获取模块602，具体用于根据用户的声纹特征信息，在预设声纹特征信息集中查找与用户的声纹特征信息对应的AR信息，预设声纹特征信息集包括预设声纹特征信息，以及，与预设声纹特征信息对应的AR信息；将与用户的声纹特征信息对应的AR信息作为用户的AR信息。
可选的，AR信息获取模块602，还用于若预设声纹特征信息集中不包含有与用户的声纹特征信息匹配的预设声纹特征信息时，向终端发送注册请求消息，注册请求消息用于触发终端显示注册界面；接收终端发送的注册响应消息，注册响应消息用于指示终端同意进行注册；根据用户的声纹特征信息，在声纹特征信息集中添加用户的声纹特征信息，以及，与用户的声纹特征信息对应的AR信息，以完成注册；将与用户的声纹特征信息对应的AR信息作为用户的AR信息。
可选的，AR信息获取模块602，还具体用于根据用户的声纹特征信息，获取用户的属性信息；根据用户的属性信息和预设的AR信息集，获取与用户的属性信息对应的AR信息，预设的AR信息集包括预设属性信息，以及，与预设属性信息对应的AR信息；将用户的声纹特征信息，以及，用户的属性信息对应的AR信息添加到声纹特征信息集中。
可选的，用户的属性信息包括用户的年龄阶段、性别或情绪中的一种或多种。
可选的，用户的AR信息为游戏场景所包括的AR信息。
可选的，当前显示的图像为第一视频中的图像。
可选的，第一视频为终端拍摄的当前场景视频。
图8为本发明提供的一基于声纹的增强现实处理装置的结构示意图二，如图8所示，该基于声纹的增强现实处理装置700包括：存储器701和至少一个处理器702。
存储器701，用于存储程序指令。
处理器702，用于在程序指令被执行时实现本实施例中的基于声纹的增强现实处理方法，具体实现原理可参见上述实施例，本实施例此处不再赘述。
该基于声纹的增强现实处理装置700还可以包括及输入/输出接口703。
输入/输出接口703可以包括独立的输出接口和输入接口，也可以为集成输入和输出的集成接口。其中，输出接口用于输出数据，输入接口用于获取输入的数据，上述输出的数据为上述方法实施例中输出的统称，输入的数据为上述方法实施例中输入的统称。
本发明还提供一种可读存储介质，可读存储介质中存储有执行指令，当基于声纹的增强现实处理装置的至少一个处理器执行该执行指令时，当计算机执行指令被处理器执行时，实现上述实施例中的基于声纹的增强现实处理方法。
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。基于声纹的增强现实处理装置的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得基于声纹的增强现实处理装置实施上述的各种实施方式提供的基于声纹的增强现实处理方法。
图9为本发明提供的另一基于声纹的增强现实处理装置的结构示意图一，如图9所示，该基于声纹的增强现实处理装置800包括：声音信息发送模块801、AR信息接收模块802和融合模块803。
声音信息发送模块801，用于向服务器发送用户的声音信息；
AR信息接收模块802，用于接收服务器发送的用户的增强现实AR信息，用户的AR信息是服务器根据用户的声音信息获取的；
融合模块803，用于将用户的AR信息与当前显示的图像融合，并显示融合后的图像。
本实施例提供的基于声纹的增强现实处理装置与上述基于声纹的增强现实处理方法实现的原理和技术效果类似，在此不作赘述。
可选的，图10为本发明提供的另一基于声纹的增强现实处理装置的结构示意图二，如图10所示，该基于声纹的增强现实处理装置800还包括：注册请求消息接收模块804、显示模块805和注册响应消息发送模块806。
注册请求消息接收模块804，用于若预设声纹特征信息集中不包含有与用户的声纹特征信息匹配的预设声纹特征信息时，接收服务器发送的注册请求消息。
显示模块805，用于显示注册界面，注册界面包括第一控件，第一控件为触发终端向服务器发送注册响应消息所对应的控件。
注册响应消息发送模块806，用于根据用户对第一控件的操作，向服务器发送注册响应消息，注册响应消息用于指示服务器根据用户的声纹特征信息，在声纹特征信息集中添加用户的声纹特征信息，以及，与用户的声纹特征信息对应的AR信息，以完成注册，预设声纹特征信息集包括预设声纹特征信息，以及，与预设声纹特征信息对应的AR信息。
可选的，用户的AR信息是由服务器根据用户的声纹特征信息，在预设声纹特征信息集中查找的、与用户的声纹特征信息对应的AR信息，预设声纹特征信息集包括预设声纹特征信息，以及，与预设声纹特征信息对应的AR信息。
可选的，用户的AR信息为游戏场景所包括的AR信息。
可选的，当前显示的图像为第一视频中的图像。
可选的，第一视频为终端拍摄的当前场景视频。
图11为本发明提供的另一基于声纹的增强现实处理装置的结构示意图三，如图11所示，该基于声纹的增强现实处理装置900包括：存储器901和至少一个处理器902。
存储器901，用于存储程序指令。
处理器902，用于在程序指令被执行时实现本实施例中的基于声纹的增强现实处理方法，具体实现原理可参见上述实施例，本实施例此处不再赘述。
该基于声纹的增强现实处理装置900还可以包括及输入/输出接口903。
输入/输出接口903可以包括独立的输出接口和输入接口，也可以为集成输入和输出的集成接口。其中，输出接口用于输出数据，输入接口用于获取输入的数据，上述输出的数据为上述方法实施例中输出的统称，输入的数据为上述方法实施例中输入的统称。
本发明还提供一种可读存储介质，可读存储介质中存储有执行指令，当基于声纹的增强现实处理装置的至少一个处理器执行该执行指令时，当计算机执行指令被处理器执行时，实现上述实施例中的基于声纹的增强现实处理方法。
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。基于声纹的增强现实处理装置的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得基于声纹的增强现实处理装置实施上述的各种实施方式提供的基于声纹的增强现实处理方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述网络设备或者终端设备的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (21)

1.一种基于声纹的增强现实处理方法，其特征在于，包括：
获取终端发送的用户的声音信息；
根据所述用户的声音信息，获取所述用户的增强现实AR信息；
向所述终端发送所述用户的AR信息，以使所述终端将所述用户的AR信息与当前显示的图像融合，并显示融合后的图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述用户的声音信息，获取所述用户的增强现实AR信息，包括：
根据所述用户的声音信息，提取所述用户的声纹特征信息；
根据所述用户的声纹特征信息，获取所述用户的AR信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述用户的声纹特征信息，获取所述用户的AR信息，包括：
根据所述用户的声纹特征信息，在预设声纹特征信息集中查找与所述用户的声纹特征信息对应的AR信息，所述预设声纹特征信息集包括预设声纹特征信息，以及，与所述预设声纹特征信息对应的AR信息；
将与所述用户的声纹特征信息对应的AR信息作为所述用户的AR信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述用户的声纹特征信息，获取所述用户的AR信息，包括：
若所述预设声纹特征信息集中不包含有与所述用户的声纹特征信息匹配的预设声纹特征信息时，向所述终端发送注册请求消息，所述注册请求消息用于触发所述终端显示注册界面；
接收所述终端发送的注册响应消息，所述注册响应消息用于指示所述终端同意进行注册；
根据所述用户的声纹特征信息，在所述声纹特征信息集中添加所述用户的声纹特征信息，以及，与所述用户的声纹特征信息对应的AR信息，以完成注册；
将与所述用户的声纹特征信息对应的AR信息作为所述用户的AR信息。
5.根据权利要求4所述的方法，其特征在于，所述根据所述用户的声纹特征信息，在所述声纹特征信息集中添加所述用户的声纹特征信息，以及，与所述用户的声纹特征信息对应的AR信息，包括：
根据所述用户的声纹特征信息，获取所述用户的属性信息；
根据所述用户的属性信息和预设的AR信息集，获取与所述用户的属性信息对应的AR信息，所述预设的AR信息集包括预设属性信息，以及，与所述预设属性信息对应的AR信息；
将所述用户的声纹特征信息，以及，所述用户的属性信息对应的AR信息添加到所述声纹特征信息集中。
6.根据权利要求5所述的方法，其特征在于，所述用户的属性信息包括所述用户的年龄阶段、性别或情绪中的一种或多种。
7.根据权利要求1所述的方法，其特征在于，所述用户的AR信息为游戏场景所包括的AR信息。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述当前显示的图像为第一视频中的图像。
9.根据权利要求8所述的方法，其特征在于，所述第一视频为所述终端拍摄的当前场景视频。
10.一种基于声纹的增强现实处理方法，其特征在于，包括：
向服务器发送用户的声音信息；
接收所述服务器发送的所述用户的增强现实AR信息，所述用户的AR信息是所述服务器根据所述用户的声音信息获取的；
将所述用户的AR信息与当前显示的图像融合，并显示融合后的图像。
11.根据权利要求10所述的方法，其特征在于，所述用户的AR信息是由所述服务器根据所述用户的声纹特征信息，在预设声纹特征信息集中查找的、与所述用户的声纹特征信息对应的AR信息，所述预设声纹特征信息集包括预设声纹特征信息，以及，与所述预设声纹特征信息对应的AR信息。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
若所述预设声纹特征信息集中不包含有与所述用户的声纹特征信息匹配的预设声纹特征信息时，接收所述服务器发送的注册请求消息；
显示注册界面，所述注册界面包括第一控件，所述第一控件为触发所述终端向所述服务器发送注册响应消息所对应的控件；
根据所述用户对所述第一控件的操作，向所述服务器发送注册响应消息，所述注册响应消息用于指示所述服务器根据所述用户的声纹特征信息，在所述声纹特征信息集中添加所述用户的声纹特征信息，以及，与所述用户的声纹特征信息对应的AR信息，以完成注册，所述预设声纹特征信息集包括预设声纹特征信息，以及，与所述预设声纹特征信息对应的AR信息。
13.根据权利要求10所述的方法，其特征在于，所述用户的AR信息为游戏场景所包括的AR信息。
14.根据权利要求10-13任一项所述的方法，其特征在于，所述当前显示的图像为第一视频中的图像。
15.根据权利要求14所述的方法，其特征在于，所述第一视频为所述终端拍摄的当前场景视频。
16.一种基于声纹的增强现实处理装置，其特征在于，包括：
声音信息获取模块，用于获取终端发送的用户的声音信息；
AR信息获取模块，用于根据所述用户的声音信息，获取所述用户的增强现实AR信息；
AR信息发送模块，用于向所述终端发送所述用户的AR信息，以使所述终端将所述用户的AR信息与当前显示的图像融合，并显示融合后的图像。
17.一种基于声纹的增强现实处理装置，其特征在于，包括：
声音信息发送模块，用于向服务器发送用户的声音信息；
AR信息接收模块，用于接收所述服务器发送的所述用户的增强现实AR信息，所述用户的AR信息是所述服务器根据所述用户的声音信息获取的；
融合模块，用于将所述用户的AR信息与当前显示的图像融合，并显示融合后的图像。
18.一种基于声纹的增强现实处理装置，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述基于声纹的增强现实处理装置执行权利要求1-9任一项所述的方法。
19.一种基于声纹的增强现实处理装置，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述基于声纹的增强现实处理装置执行权利要求10-15任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现权利要求1-9任一项所述的方法。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现权利要求10-15任一项所述的方法。
CN201810985792.0A 2018-08-28 2018-08-28 基于声纹的增强现实处理方法、装置和存储介质 Pending CN109166090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810985792.0A CN109166090A (zh) 2018-08-28 2018-08-28 基于声纹的增强现实处理方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810985792.0A CN109166090A (zh) 2018-08-28 2018-08-28 基于声纹的增强现实处理方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN109166090A true CN109166090A (zh) 2019-01-08

Family

ID=64896956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810985792.0A Pending CN109166090A (zh) 2018-08-28 2018-08-28 基于声纹的增强现实处理方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN109166090A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020449A (zh) * 2016-05-06 2016-10-12 广东欧珀移动通信有限公司 一种虚拟现实的交互方法及装置
CN106789953A (zh) * 2016-11-30 2017-05-31 宇龙计算机通信科技(深圳)有限公司 一种数据处理方法和ar设备
CN106782569A (zh) * 2016-12-06 2017-05-31 深圳增强现实技术有限公司 一种基于声纹注册的增强现实方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020449A (zh) * 2016-05-06 2016-10-12 广东欧珀移动通信有限公司 一种虚拟现实的交互方法及装置
CN106789953A (zh) * 2016-11-30 2017-05-31 宇龙计算机通信科技(深圳)有限公司 一种数据处理方法和ar设备
CN106782569A (zh) * 2016-12-06 2017-05-31 深圳增强现实技术有限公司 一种基于声纹注册的增强现实方法及装置

Similar Documents

Publication Publication Date Title
CN106101747B (zh) 一种弹幕内容处理方法及应用服务器、用户终端
CN105009556B (zh) 用于交互式远程通信中的增强响应的意图引擎
US20130005481A1 (en) Method and server system
US8688042B2 (en) Communication system, computer-readable storage medium having stored thereon information processing program, information processing method, information processing apparatus, and information processing system
CN109039671A (zh) 群组消息显示方法、装置、终端及存储介质
CN114244816B (zh) 同步通信方法、终端及可读存储介质
CN105824799B (zh) 一种信息处理方法、设备和终端设备
CN106202071A (zh) 账户信息获取的方法、终端、服务器和系统
JP6069870B2 (ja) 親密度算出方法、親密度算出プログラムおよび親密度算出装置
US20150120824A1 (en) Communications Method, Client, and Terminal
CN108159700B (zh) 生成验证码的方法、装置、存储介质、处理器及终端
WO2016203805A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN107809654A (zh) 电视机系统及电视机控制方法
CN111643900A (zh) 一种展示画面控制方法、装置、电子设备和存储介质
CN102694896B (zh) 用以存储通信号码的方法、终端及系统
CN110188364B (zh) 基于智能眼镜的翻译方法、设备及计算机可读存储介质
CN101888439A (zh) 一种基于卡通形象整体化显示的手机装置及其方法
CN106027303B (zh) 一种征信特征获取方法及其设备
CN105797375A (zh) 一种跟随用户脸部表情改变角色模型表情的方法和终端
CN105376143B (zh) 一种识别发送者身份的方法及装置
CN105138950B (zh) 一种拍照方法及用户终端
CN109166090A (zh) 基于声纹的增强现实处理方法、装置和存储介质
JP2005078590A (ja) 顔照合システム
CN112820265B (zh) 一种语音合成模型训练方法和相关装置
JP2014063407A (ja) 恋愛チェッカーシステム、サーバー用プログラム、クライアント端末用プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190108