CN103780612A - 数据处理方法和电子设备 - Google Patents

数据处理方法和电子设备 Download PDF

Info

Publication number
CN103780612A
CN103780612A CN201410026154.8A CN201410026154A CN103780612A CN 103780612 A CN103780612 A CN 103780612A CN 201410026154 A CN201410026154 A CN 201410026154A CN 103780612 A CN103780612 A CN 103780612A
Authority
CN
China
Prior art keywords
data
user
electronic equipment
content data
corresponding relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410026154.8A
Other languages
English (en)
Other versions
CN103780612B (zh
Inventor
王红光
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201410026154.8A priority Critical patent/CN103780612B/zh
Publication of CN103780612A publication Critical patent/CN103780612A/zh
Application granted granted Critical
Publication of CN103780612B publication Critical patent/CN103780612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一种数据处理方法和电子设备。该数据处理方法应用于第一电子设备中,所述方法包括:根据第一触发启动第一内容数据的播放;获取与第二电子设备的第二用户对应的第二音频数据,其中所述第二电子设备与所述第一电子设备间具有数据传输通路,且在所述第二电子设备中根据所述第一触发启动与所述第一内容数据相同的第二内容数据的播放,并且所述第二电子设备采集的第二采集数据和所述第二电子设备播放的所述第二内容数据之间具有第一对应关系,所述第二采集数据和所述第二音频数据对应;根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据,使得所述第二音频数据与所述第一内容数据具有第二对应关系。

Description

数据处理方法和电子设备
技术领域
本申请涉及数据处理方法和电子设备。
背景技术
随着电子设备和互联网技术的发展,极大了便利了消费者的生活。例如,用户可以进行远程视频通信。更进一步地,用户还可以在远程视频通信中一起进行卡拉OK等娱乐活动。然而,一起唱歌需要较强的声音同步处理,才能保证双方在一起的感觉。在实际使用中,因为双方网络条件不同、延迟不同、丢包不同等原因,难以做到声音同步,失去了在一起唱歌的体验。
为此,期望提供一种数据处理方法和电子设备,其能够有效地控制音频数据的输出,从而使得来自另一设备的用户的音频数据与本地电子设备中的内容播放的对应关系与该另一设备中该用户的音频采集数据和该另一电子设备中内容播放的对应关系匹配,从而真实再现该另一设备的用户的音频数据输出状态,大大地提高用户体验。。
发明内容
根据本发明的一个实施例,提供了一种数据处理方法,应用于第一电子设备中,所述方法包括:
根据第一触发启动第一内容数据的播放;
获取与第二电子设备的第二用户对应的第二音频数据,其中所述第二电子设备与所述第一电子设备间具有数据传输通路,且在所述第二电子设备中根据所述第一触发启动与所述第一内容数据相同的第二内容数据的播放,并且所述第二电子设备采集的第二采集数据和所述第二电子设备播放的所述第二内容数据之间具有第一对应关系,所述第二采集数据和所述第二音频数据对应;
根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据,使得所述第二音频数据与所述第一内容数据具有第二对应关系,所述第一对应关系与所述第二对应关系匹配。
优选地,获取与第二电子设备的第二用户对应的第二音频数据包括:
接收从所述第二电子设备传输的、通过所述第二电子设备中的音频获取单元获取的所述第二用户的所述第二采集数据;或
获取所述第二用户的声纹模型,并且根据所述第二用户的声纹模型生成第二用户的第二模拟数据。
优选地,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二采集数据。
优选地,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二模拟数据。
优选地,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地选择性地输出所述第二用户的第二采集数据或所述第二用户的第二模拟数据。
优选地,所述方法还包括:
通过所述第一电子设备中的音频获取单元获取所述第一电子设备的第一用户的第一音频数据,所述第一音频数据和所述第一内容数据之间具有第三对应关系;
根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据。
优选地,获取与第二电子设备的第二用户对应的第二音频数据包括:
接收从所述第二电子设备传输的、通过所述第二电子设备中的音频获取单元获取的所述第二用户的第二采集数据;或
获取所述第二用户的声纹模型,并且根据所述第二用户的声纹模型生成第二用户的第二模拟数据。
优选地,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据。
优选地,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二模拟数据。
优选地,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据和所述第二用户的第二模拟数据中的一个。
优选地,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据还包括:
在启动第一内容数据的播放时同步地输出所述第一音频数据和所述第二用户的第二模拟数据,并且在经过预定时间段之后,同步地输出所述第一音频数据和所述第二用户的第二采集数据。
优选地,在经过预定时间段之后,同步地输出所述第一音频数据和所述第二用户的第二采集数据还包括:
控制所述第一内容数据的播放参数,使得在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。
优选地,在经过预定时间段之后,同步地输出所述第一音频数据和所述第二用户的第二采集数据还包括:
在第一电子设备中缓存在所述预定时间段内接收的所述第二用户的第二采集数据;
控制所述第一内容数据的播放参数,使得所述第一电子设备中所述第一内容数据的播放时间比所述第二电子设备中所述第二内容数据的播放晚预定时间段,以便在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。
优选地,在第一电子设备中缓存在所述预定时间段内接收的所述第二用户的第二采集数据还包括:
检查接收的所述第二用户的第二采集数据的完整性;
当检查结果指示接收的所述第二用户的第二采集数据不完整时,请求第二电子设备重新发送丢失的所述第二用户的第二采集数据;
在第一电子设备中缓存完整的所述第二用户的第二采集数据。
优选地,启动第一内容数据的播放还包括:
当所述第一电子设备和服务器之间的网络连接状况满足第一预定条件时,开始从服务器下载与所述第一内容数据对应的播放文件,并且启动所述第一内容数据的播放;或者
当所述第一电子设备和服务器之间的网络连接状况满足第二预定条件时,开始从服务器下载与所述第一内容数据对应的播放文件,在第一电子设备中缓存所述第一内容数据,并且启动已缓存的所述第一内容数据的播放;或者
读取本地存储器中存储的与所述第一内容数据对应的播放文件,并且启动所述第一内容数据的播放。
优选地,获取所述第二用户的声纹模型还包括:
从服务器获取所述第二用户的声纹模型,其中在服务器中预先存储有所述第二用户的声纹模型;或者
从服务器获取所述第二用户的声纹模型,其中在服务器中根据在启动所述第一内容数据的播放之前获得的所述第二用户的声音建立所述第二用户的声纹模型。
优选地,所述方法还包括:
在所述第一内容数据的播放结束之后,存储所述第一内容数据、所述第二音频数据和所述第二采集数据;
检测启动所述第一内容数据的回放的第一操作;
在检测到第一操作之后,用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
优选地,用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据还包括:
检测所述第一内容数据的播放期间输出的所述第二用户的第二模拟数据;
用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
优选地,用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据还包括:
检测所述第一内容数据的播放期间输出的所述第二用户的第二模拟数据;
清除检测到的所述第二用户的第二模拟数据;
用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
优选地,所述方法还包括:
将所述第一音频数据发送给第二电子设备或服务器,使得第二电子设备能够根据所述第三对应关系执行控制,以便与所述第二内容数据相对应地输出所述第一音频数据。
优选地,所述方法还包括:
在启动第一内容数据的播放之前,与所述第二电子设备建立视频通话连接;
在与所述第二电子设备建立视频通话连接成功之后,根据第二操作,选择要播放的所述第一内容数据。
优选地,所述方法还包括:
至少在启动第一内容数据的播放之后,显示界面包括至少三个区域,其中第一显示区域与所述第一电子设备对应,第二显示区域与所述第二电子设备对应,并且第三显示区域与播放的所述第一内容数据对应。
优选地,所述第一内容数据包括背景图像数据和/或背景声音数据,并且所述第一音频数据和第二音频数据包括语音数据。
根据本发明另一实施例,提供了一种电子设备,包括:
播放单元,配置用于根据第一触发启动第一内容数据的播放;
数据获取单元,配置用于获取与第二电子设备的第二用户对应的第二音频数据,其中所述第二电子设备与所述第一电子设备间具有数据传输通路,且在所述第二电子设备中根据所述第一触发启动与所述第一内容数据相同的第二内容数据的播放,并且所述第二电子设备采集的第二采集数据和所述第二电子设备播放的所述第二内容数据之间具有第一对应关系,所述第二采集数据和所述第二音频数据对应;
音频输出控制单元,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据,使得所述第二音频数据与所述第一内容数据具有第二对应关系,所述第一对应关系与所述第二对应关系匹配。
优选地,所述数据获取单元进一步配置用于:
接收从所述第二电子设备传输的、通过所述第二电子设备中的音频获取单元获取的所述第二用户的所述第二采集数据;或
获取所述第二用户的声纹模型,并且根据所述第二用户的声纹模型生成第二用户的第二模拟数据。
优选地,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二采集数据。
优选地,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二模拟数据。
优选地,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地选择性地输出所述第二用户的第二采集数据或所述第二用户的第二模拟数据。
优选地,所述电子设备还包括:
音频获取单元,配置用于获取所述电子设备的第一用户的第一音频数据,所述第一音频数据和所述第一内容数据之间具有第三对应关系;
其中,所述音频输出控制单元进一步配置用于根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据。
优选地,所述数据获取单元进一步配置用于:
接收从所述第二电子设备传输的、通过所述第二电子设备中的音频获取单元获取的所述第二用户的第二采集数据;或
获取所述第二用户的声纹模型,并且根据所述第二用户的声纹模型生成第二用户的第二模拟数据。
优选地,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据。
优选地,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二模拟数据。
优选地,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据和所述第二用户的第二模拟数据中的一个。
优选地,所述音频输出控制单元进一步配置用于:
在启动第一内容数据的播放时同步地输出所述第一音频数据和所述第二用户的第二模拟数据,并且在经过预定时间段之后,同步地输出所述第一音频数据和所述第二用户的第二采集数据。
优选地,所述音频输出控制单元进一步配置用于:
控制所述第一内容数据的播放参数,使得在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。
优选地,所述电子设备,还包括:
存储器,用于存储各种数据;
其中,所述音频输出控制单元进一步配置用于:
在所述存储器中缓存在所述预定时间段内接收的所述第二用户的第二采集数据;
控制所述第一内容数据的播放参数,使得所述电子设备中所述第一内容数据的播放时间比所述第二电子设备中所述第二内容数据的播放晚预定时间段,以便在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。
优选地,所述音频输出控制单元进一步配置用于:
检查接收的所述第二用户的第二采集数据的完整性;
当检查结果指示接收的所述第二用户的第二采集数据不完整时,请求第二电子设备重新发送丢失的所述第二用户的第二采集数据;
在电子设备中缓存完整的所述第二用户的第二采集数据。
优选地,所述播放单元进一步配置用于:
当所述电子设备和服务器之间的网络连接状况满足第一预定条件时,开始从服务器下载与所述第一内容数据对应的播放文件,并且启动所述第一内容数据的播放;或者
当所述电子设备和服务器之间的网络连接状况满足第二预定条件时,开始从服务器下载与所述第一内容数据对应的播放文件,在电子设备中缓存所述第一内容数据,并且启动已缓存的所述第一内容数据的播放;或者
读取本地存储器中存储的与所述第一内容数据对应的播放文件,并且启动所述第一内容数据的播放。
优选地,所述音频输出控制单元进一步配置用于:
从服务器获取所述第二用户的声纹模型,其中在服务器中预先存储有所述第二用户的声纹模型;或者
从服务器获取所述第二用户的声纹模型,其中在服务器中根据在启动所述第一内容数据的播放之前获得的所述第二用户的声音建立所述第二用户的声纹模型。
优选地,所述音频输出控制单元进一步配置用于:
在所述第一内容数据的播放结束之后,存储所述第一内容数据、所述第二音频数据和所述第二采集数据;
检测启动所述第一内容数据的回放的第一操作;
在检测到第一操作之后,用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
优选地,所述音频输出控制单元进一步配置用于:
检测所述第一内容数据的播放期间输出的所述第二用户的第二模拟数据;
用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
优选地,所述音频输出控制单元进一步配置用于:
检测所述第一内容数据的播放期间输出的所述第二用户的第二模拟数据;
清除检测到的所述第二用户的第二模拟数据;
用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
优选地,所述电子设备还包括:
发送单元,配置用于将所述第一音频数据发送给第二电子设备或服务器,使得第二电子设备能够根据所述第三对应关系执行控制,以便与所述第二内容数据相对应地输出所述第一音频数据。
优选地,所述电子设备还包括:
视频通话单元,配置用于在启动第一内容数据的播放之前,与所述第二电子设备建立视频通话连接;
选择单元,配置用于在与所述第二电子设备建立视频通话连接成功之后,根据第二操作,选择要播放的所述第一内容数据。
优选地,所述播放单元还包括:
显示单元,配置用于至少在启动第一内容数据的播放之后,显示包括至少三个区域的界面,其中第一显示区域与所述电子设备对应,第二显示区域与所述第二电子设备对应,并且第三显示区域与播放的所述第一内容数据对应。
优选地,所述第一内容数据包括背景图像数据和/或背景声音数据,并且所述第一音频数据和第二音频数据包括语音数据。
因此,根据本发明实施例的数据处理方法和电子设备,能够有效地控制音频数据的输出,从而使得来自另一设备的用户的音频数据与本地电子设备中的内容播放的对应关系与该另一设备中该用户的音频采集数据和该另一电子设备中内容播放的对应关系匹配,从而真实再现该另一设备的用户的音频数据输出状态,大大地提高用户体验。
附图说明
图1是图示根据本发明实施例的数据处理方法的示意图;
图2是图示根据本发明实施例的数据处理方法的流程图;以及
图3是图示根据本发明实施例的电子设备的功能配置框图。
具体实施方式
以下将参考附图详细描述本发明的各实施例。
<第一实施例>
图1是图示根据本发明实施例的数据处理方法的示意图。如图1所示,根据本发明的数据处理方法应用于第一电子设备100中。在该实施例中,第一电子设备100和第二电子设备200都具有显示单元、音频输出单元、音频数据获取单元(如麦克风)、图像获取单元、通信单元、控制单元等等。
第一电子设备100和第二电子设备200通过通信单元建立数据传输通道。此外,在该实施例中,假设第一电子设备100的第一用户和第二电子设备200的第二用户已经建立视频通话连接,并且准备好一起唱卡拉OK。
在该实施例中,假设第一电子设备100的用户在与第二电子设备200建立视频通话连接成功之后,通过视频通话应用中的菜单选项,选择要一起演唱的一首歌曲(即,第一内容数据),并且开始播放该选择的歌曲。
此时,如图2所示,在启动第一内容数据的播放之后,在第一电子设备100和第二电子设备200的显示单元上的显示界面包括至少三个区域,其中第一显示区域与所述第一电子设备100对应,第二显示区域与所述第二电子设备100对应,并且第三显示区域与播放的歌曲对应。
具体地,第一显示区域显示通过第一电子设备100的图像获取单元获取的图像,例如,第一电子设备100的第一用户的图像。第二显示区域显示通过第二电子设备200的图像获取单元获取的图像,例如,第二电子设备200的第二用户的图像。第三显示区域显示播放的歌曲的背景图像等。
现在结合图2详细描述根据本发明的数据处理方法。
图2是描述根据本发明第一实施例的数据处理方法的流程图。根据本发明第一实施例的数据处理方法可以应用于电子设备中,该电子设备可以是任何电子设备,只要它能够播放视频/音频内容。例如该电子设备可以是电视机、个人计算机、移动电子设备等等。
如图2所示,根据本发明实施例的数据处理方法应用于第一电子设备中,该数据处理方法100包括:
步骤S101:根据第一触发启动第一内容数据的播放;
步骤S102:获取与第二电子设备的第二用户对应的第二音频数据,其中所述第二电子设备与所述第一电子设备间具有数据传输通路,且在所述第二电子设备中根据所述第一触发启动与所述第一内容数据相同的第二内容数据的播放,并且所述第二电子设备采集的第二采集数据和所述第二电子设备播放的所述第二内容数据之间具有第一对应关系,所述第二采集数据和所述第二音频数据对应;
步骤S103:根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据,使得所述第二音频数据与所述第一内容数据具有第二对应关系,所述第一对应关系与所述第二对应关系匹配。
具体来说,在步骤S101中,第一电子设备100的用户例如通过触摸显示单元上显示的启动按钮,启动第一内容数据的播放。
随后,在步骤S102中,获取与第二电子设备200的第二用户对应的第二音频数据。也就是说,为了实现一起唱卡拉OK的功能,在步骤S102中需要获得第二用户的第二音频数据。
需要注意的是,因为所述第二电子设备200与所述第一电子设备100间具有数据传输通路(如,通过因特网、Wi-Fi、3G/4G网络、局域网等的网络连接),所以第一电子设备100和第二电子设备200能够直接地或通过服务器传输数据。
另外,在所述第二电子设备中,根据第一电子设备100的用户触摸显示单元上的启动按钮获得触发,从而启动与所述第一内容数据相同的第二内容数据的播放。也就是说,当第一用户触摸启动按钮时,第二电子设备中几乎同时启动相同歌曲的部分,例如与第一电子设备中的歌曲的播放开始时间小于预定阈值,例如500毫秒。
此时,所述第二电子设备的音频数据获取单元(如麦克风)开始采集第二用户的音频数据以获得第二采集数据。因为第二用户是按照显示单元上显示的歌曲的歌词进行演唱,所以此时采集的第二采集数据和所述第二电子设备播放的所述第二内容数据之间具有第一对应关系。所述第一内容和第二内容数据是具有预定时间长度的播放内容,所述第一对应关系是以该预定时间长度为基准,将获取第二采集数据的时间与该基准中的时间进行对应所获得的对应关系。例如,第二内容数据是一首3分钟长度的歌曲,第二用户演唱的每个字对应于3分钟中的固定时间点,在第二电子设备中可以通过将采集每个字的声音的时间点和该3分钟中的时间对应以获得第一对应关系,从而将第二采集数据和该歌曲对应。也就是说,该第一对应关系可以指示第二用户在演唱歌曲时的真实状况。
例如,如图1所示,当第二电子设备的音频获取单元采集第二用户唱画面中显示的“一”时的时间点对应于该首歌曲的第20秒,当第二电子设备的音频获取单元采集第二用户唱画面中显示的“二”时的时间点对应于该首歌曲的第22秒,当第二电子设备的音频获取单元采集第二用户唱画面中显示的“三”时的时间点对应于该首歌曲的第25秒。
此外,需要注意的是,第一电子设备获得的第二电子设备的第二用户的第二音频不一定是第二用户的真实声音。如上所述,因为存在网络延迟、数据丢包等,第二用户的第二采集数据(真实声音)不一定能够实时地传输到第一电子设备,从而与第一内容数据的播放对应地输出。因此,所述第二采集数据和所述第二音频数据具有特定对应关系。
因此,在一个实施例中,获取与第二电子设备的第二用户对应的第二音频数据包括:接收从所述第二电子设备传输的、通过所述第二电子设备中的音频获取单元获取的所述第二用户的所述第二采集数据。
在该实施例中,假定第一电子设备和第二电子设备之间的网络连接状况非常好,数据传输没有延迟,此时,获取与第二电子设备的第二用户对应的第二音频数据就是获得第二用户的真实音频数据。
在另一个实施例中,获取与第二电子设备的第二用户对应的第二音频数据包括:获取所述第二用户的声纹模型,并且根据所述第二用户的声纹模型生成第二用户的第二模拟数据。
在该实施例中,假定第一电子设备和第二电子设备之间的网络连接状况不好,数据传输出现较大延迟,此时,获取与第二电子设备的第二用户对应的第二音频数据就是获得第二用户的模拟音频数据。也就是说,根据第二用户的声纹模型生成的模拟数据。
然后,在步骤S103中,在第一电子设备中,根据第二电子设备中确定的所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据,使得所述第二音频数据与所述第一内容数据具有第二对应关系,所述第一对应关系与所述第二对应关系匹配。
例如,如图1所示,在第一电子设备中,在与画面中显示的“一”的时间点对应的该首歌曲的第20秒处,输出第二音频数据中的“一”,在与画面中显示的“二”的时间点对应的该首歌曲的第22秒处,输出第二音频数据中的“二”,在与画面中显示的“三”的时间点对应的该首歌曲的第25秒处,输出第二音频数据中的“三”。
也就是说,在该步骤S103中,在第一电子设备中为了还原第二用户演唱歌曲时的真实状态,根据确定的第一对应关系,与第一内容数据相对应地输出所述第二音频数据,使得所述第二音频数据与所述第一内容数据具有第二对应关系,所述第一对应关系与所述第二对应关系匹配。也就是说,随着第一内容数据的播放,在相应的每个时间点输出第二用户的第二音频数据。该音频数据可以是第二用户的真实音频数据,也可以是根据第二用户的声纹模型生成的模拟音频数据。在该实施例中,所述第一对应关系与所述第二对应关系匹配例如可以是相同的对应关系,或者所述第一对应关系与所述第二对应关系之间的差小于预定阈值,例如,200-300毫秒。
因此,通过根据本发明实施例的数据处理方法,因为利用在第二电子设备中确定的第一对应关系进行控制,从而在第一电子设备中与内容数据对应地输出第二电子设备的第二用户的音频数据(包括真实声音和模拟声音),使得所述第二音频数据与所述第一内容数据具有第二对应关系,所述第一对应关系与所述第二对应关系匹配,所以可以解决由于网络状况、延迟状况、丢包等导致的声音不同步地问题,保证了本地声音听觉同步,从而提高用户体验。
具体地,为了与所述第一内容数据相对应地输出所述第二音频数据,在第一电子设备中还需要检测所述第一电子设备和所述第二电子设备之间的网络连接状况。
如上所述,在一个实施例中,当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二采集数据。例如,检测结果指示网络连接状态良好,第二用户的第二采集数据能够在预定时间阈值内(例如,500毫秒)传输到第一电子设备,此时,可以输出第二用户的真实声音。
在另一实施例中,当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二模拟数据。例如,检测结果指示网络连接状态不好,第二用户的第二采集数据不能够在预定时间阈值内(例如,500毫秒)传输到第一电子设备,此时,可以输出第二用户的模拟声音。
在另一实施例中,当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地选择性地输出所述第二用户的第二采集数据或所述第二用户的第二模拟数据。例如,检测结果指示网络连接状态在一段时间内良好在另一段时间内不好,则在网络连接状态好的时间段内输出第二用户的真实声音,并且在网络连接状态不好的时间段内输出第二用户的模拟声音。
因此,通过检测网络状况并根据网络状况控制第二用户的真实音频和模拟音频的输出,可以有效地确定什么时候可以输出第二用户的真实音频,什么时候可以输出第二用户的模拟音频,从而可以解决由于网络状况、延迟状况、丢包等导致的声音不同步地问题,保证了本地声音听觉同步。
在一个实施例中,如果演唱的歌曲是合唱歌曲,则通过所述第一电子设备中的音频获取单元获取所述第一电子设备的第一用户的第一音频数据,所述第一音频数据和所述第一内容数据之间具有第三对应关系。例如,第一用户演唱的每个字对应于歌曲中的固定时间点,在第一电子设备中可以通过采集每个声音的时间点和歌曲的背景画面播放的时间点,将第一用户的第一音频数据和歌曲对应。也就是说,该第三对应关系指示第一用户在演唱歌曲时的真实状况。
然后,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据。也就是说,根据合唱歌曲的进行,当轮到第一用户唱歌时,输出第一用户的音频数据,当轮到第二用户唱歌时,输出第二用户的音频数据,当轮到第一用户和第二用户合唱时,同时输出第一用户和第二用户的音频数据。
因此,通过根据第一电子设备中的第三对应关系和第二电子设备中的第一对应关系执行控制,可以在用户进行合唱时,有效地确定什么时候可以输出第二用户的音频数据,从而可以解决由于网络状况、延迟状况、丢包等导致的声音不同步地问题,保证了本地声音听觉同步。
需要注意的是,与上面描述的实施例相同,在进行合唱时,也需要检测所述第一电子设备和所述第二电子设备之间的网络连接状况。
当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据。例如,检测结果指示网络连接状态良好,第二用户的第二采集数据能够在预定时间阈值内(例如,500毫秒)传输到第一电子设备,此时,在轮到第二用户歌唱时,可以输出第二用户的真实声音。
当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二模拟数据。例如,检测结果指示网络连接状态不好,第二用户的第二采集数据不能够在预定时间阈值内(例如,500毫秒)传输到第一电子设备,此时,在轮到第二用户歌唱时,可以输出第二用户的模拟声音。
当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据和所述第二用户的第二模拟数据中的一个。例如,检测结果指示网络连接状态在一段时间内良好在另一段时间内不好,则在轮到第二用户歌唱时,在网络连接状态好的时间段内输出第二用户的真实声音,并且在网络连接状态不好的时间段内输出第二用户的模拟声音。
此外,在一个实施例中,还可以在启动第一内容数据的播放时同步地输出所述第一音频数据和所述第二用户的第二模拟数据,并且在经过预定时间段之后,同步地输出所述第一音频数据和所述第二用户的第二采集数据。
在该实施例中,例如,假设合唱歌曲开始的第一句需要第一用户和第二用户合唱,然而,因为第二用户的音频数据传递到第一电子设备必然存在延迟,因此,为了保证二者声音同步,可以在开始一段时间输出第二用户的模拟数据,并且在经过预定时间段之后,再同步地输出第一用户的第一音频数据和第二用户的第二采集数据。
为此,可以控制所述第一内容数据的播放参数,使得在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。
例如,在一个实施例中,可以在第一电子设备中缓存在所述预定时间段内接收的所述第二用户的第二采集数据,然后,控制所述第一内容数据的播放参数,使得所述第一电子设备中所述第一内容数据的播放时间比所述第二电子设备中所述第二内容数据的播放晚预定时间段,以便在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。例如,可以控制第一电子设备中的第一内容数据的播放速度,使得第一内容数据的播放速度稍慢于第二电子设备中的播放速度,该播放速度的减慢可以控制在人的感知范围内。或者,可以暂停第一电子设备的第一内容数据的播放预定时间段,该预定时间段小于人的感知范围(如200-300毫秒)。因此,通过控制第一内容数据的播放参数,可以实现第一用户和第二用户的演唱的同步,减少第一电子设备和第二电子设备之间由于网络等原因导致的不同步。
因此,通过控制第一电子设备中的内容数据的播放参数,可以保证即使在存在网络状况、延迟状况、丢包等导致的声音不同步地的情况下,第二电子设备的第二用户的音频数据能够与第一电子设备的第一用户的音频数据同步,从而保证了本地声音听觉同步。
此外,在第一电子设备中缓存在所述预定时间段内接收的所述第二用户的第二采集数据时,还可以检查接收的所述第二用户的第二采集数据的完整性。也就是说,检查从第二电子设备传输的数据是否出现丢包等情况。当检查结果指示接收的所述第二用户的第二采集数据不完整时,请求第二电子设备重新发送丢失的所述第二用户的第二采集数据。然后,在第一电子设备中缓存完整的所述第二用户的第二采集数据。
另外,需要注意的是,在第一电子设备和第二电子设备中播放的相同的第一和第二内容数据可以通过各种方式获得。例如,当所述第一电子设备和服务器之间的网络连接状况满足第一预定条件(网络连接状况良好)时,可以开始从服务器下载与所述第一内容数据对应的播放文件,并且启动所述第一内容数据的播放。也就是说,当第一电子设备与服务器之间的网络连接状况良好时,可以直接从服务器下载要播放的歌曲,并且在点击播放开始按钮后,直接从服务器下载并开始在线播放。
然而,当所述第一电子设备和服务器之间的网络连接状况满足第二预定条件(网络连接状况不好)时,开始从服务器下载与所述第一内容数据对应的播放文件,在第一电子设备中缓存所述第一内容数据,并且启动已缓存的所述第一内容数据的播放。也就是说,当第一电子设备与服务器之间的网络连接状况不好时,不能在点击播放开始按钮后,直接从服务器下载并开始播放。此时,需要从服务器下载要播放的歌曲,并且在下载完成或完成一部分后开始播放。
当然,也可以不考虑与服务器之间的网络连接状况,直接从服务器下载,并且在下载完成后播放。
在另一实施例中,如果在第一电子设备的本地存储器中存储有第一内容数据,则可以读取本地存储器中存储的与所述第一内容数据对应的播放文件,并且启动所述第一内容数据的播放。此时,可以询问第二电子设备侧是否具有该第一内容数据。如果第二电子设备没有该内容数据,则发送该第一内容数据给第二设备。然后,在第二电子设备反馈接收成功后,第一电子设备和第二电子设备启动播放。
另外,可以以多种方式获取所述第二用户的声纹模型。例如,可以从服务器获取所述第二用户的声纹模型,其中在服务器中预先存储有所述第二用户的声纹模型。例如,第二用户可以在服务器中预先存储了声纹模型或者在服务器中注册时由服务器识别并存储了第二用户的声纹模型。这样,在需要利用第二用户的声纹模型生成模拟声音时,可以快速有效地生成模拟声音。
或者,可以从服务器获取所述第二用户的声纹模型,其中在服务器中根据在启动所述第一内容数据的播放之前获得的所述第二用户的声音建立所述第二用户的声纹模型。例如,当与第二电子设备的第二用户建立视频通话时,可以采集第二用户的声音并且识别第二用户的声纹模型。这样,这样,在需要利用第二用户的声纹模型生成模拟声音时,可以获得第二用户当前的声音,从而有效地生成表示第二用户最近状态的模拟声音。
此外,根据本发明实施例的数据处理方法,还可以在所述第一内容数据的播放结束之后,存储所述第一内容数据、所述第二音频数据和所述第二采集数据。该数据可以存储在第一电子设备的存储器中,也可以存储在服务器中。
然后,当检测启动所述第一内容数据的回放的第一操作时,例如第一用户希望回放该演唱的歌曲时,可以操作显示屏幕上的回放按钮。在检测到第一操作之后,用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。此时,回放的歌曲就是第二用户真实声音演唱的歌曲。
在一个实施例中,可以用第二用户的真实声音替换歌曲演唱过程中出现的模拟声音,从而听到第二用户完整的演唱过程。此时,如果第二用户在演唱过程中有一句或几句歌词没有演唱,则仍然保留对应的模拟声音。
在另一个实施例中,如果只想听到第二用户的真实演唱过程,则可以检测所述第一内容数据的播放期间输出的所述第二用户的第二模拟数据,清除检测到的所述第二用户的第二模拟数据;用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。此时,不保留第二用户没唱部分的模拟声音。
因此,在由于网络状况、延迟状况、丢包等而需要输出第二用户的模拟声音的情况下,在回放时通过用第二用户的真实声音替换模拟声音,可以获得第二用户用真实声音演唱的歌曲,提高了用户的体验。
相应地,根据本发明实施例的数据处理方法还可以将所述第一音频数据发送给第二电子设备或服务器,使得第二电子设备能够根据所述第三对应关系执行控制,以便与所述第二内容数据相对应地输出所述第一音频数据。
也就是说,可以将第一用户的音频数据发送给第二电子设备或服务器,使得在第二电子设备侧也可以还原第一用户的真实演唱过程。
需要注意的是,本实施例中的第一内容数据可以包括背景图像数据和/或背景声音数据,并且所述第一音频数据和第二音频数据包括语音数据。当然,所述第一音频数据和第二音频数据也可以包括第一用户和第二用户演奏乐器等输出的音频数据。
因此,根据本发明实施例的数据处理方法,能够有效地控制音频数据的输出,从而使得来自另一设备的用户的音频数据与本地电子设备中的内容播放的对应关系与该另一设备中该用户的音频采集数据和该另一电子设备中内容播放的对应关系匹配,从而真实再现该另一设备的用户的音频数据输出状态,大大地提高用户体验。
<第二实施例>
下面,将参考图3描述根据本发明实施例的电子设备的功能配置。
根据本发明实施例的电子设备300包括:
播放单元301,配置用于根据第一触发启动第一内容数据的播放;
数据获取单元302,配置用于获取与第二电子设备的第二用户对应的第二音频数据,其中所述第二电子设备与所述第一电子设备间具有数据传输通路,且在所述第二电子设备中根据所述第一触发启动与所述第一内容数据相同的第二内容数据的播放,并且所述第二电子设备采集的第二采集数据和所述第二电子设备播放的所述第二内容数据之间具有第一对应关系,所述第二采集数据和所述第二音频数据对应;
音频输出控制单元303,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据,使得所述第二音频数据与所述第一内容数据具有第二对应关系,所述第一对应关系与所述第二对应关系匹配。
在一个实施例中,所述播放单元301例如包括显示单元和音频输出单元。显示单元例如包括液晶显示器、CRT显示器、LED显示器等等。音频输出单元例如包括扬声器等。
优选地,所述数据获取单元302进一步配置用于:
接收从所述第二电子设备传输的、通过所述第二电子设备中的音频获取单元获取的所述第二用户的所述第二采集数据;或
获取所述第二用户的声纹模型,并且根据所述第二用户的声纹模型生成第二用户的第二模拟数据。
优选地,所述音频输出控制单元303进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二采集数据。
优选地,所述音频输出控制单元303进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二模拟数据。
优选地,所述音频输出控制单元303进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地选择性地输出所述第二用户的第二采集数据或所述第二用户的第二模拟数据。
优选地,所述的电子设备还包括:
音频获取单元304,配置用于获取所述电子设备的第一用户的第一音频数据,所述第一音频数据和所述第一内容数据之间具有第三对应关系;
其中,所述音频输出控制单元303进一步配置用于根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据。
所述音频获取单元304例如包括麦克风等。
优选地,所述数据获取单元302进一步配置用于:
接收从所述第二电子设备传输的、通过所述第二电子设备中的音频获取单元获取的所述第二用户的第二采集数据;或
获取所述第二用户的声纹模型,并且根据所述第二用户的声纹模型生成第二用户的第二模拟数据。
优选地,所述音频输出控制单元303进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据。
优选地,所述音频输出控制单元303进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二模拟数据。
优选地,所述音频输出控制单元303进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据和所述第二用户的第二模拟数据中的一个。
优选地,所述音频输出控制单元303进一步配置用于:
在启动第一内容数据的播放时同步地输出所述第一音频数据和所述第二用户的第二模拟数据,并且在经过预定时间段之后,同步地输出所述第一音频数据和所述第二用户的第二采集数据。
优选地,所述音频输出控制单元303进一步配置用于:
控制所述第一内容数据的播放参数,使得在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。
优选地,所述电子设备还包括:
存储器305,用于存储各种数据;
其中,所述音频输出控制单元303进一步配置用于:
在所述存储器中缓存在所述预定时间段内接收的所述第二用户的第二采集数据;
控制所述第一内容数据的播放参数,使得所述电子设备中所述第一内容数据的播放时间比所述第二电子设备中所述第二内容数据的播放晚预定时间段,以便在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。
优选地,所述音频输出控制单元303进一步配置用于:
检查接收的所述第二用户的第二采集数据的完整性;
当检查结果指示接收的所述第二用户的第二采集数据不完整时,请求第二电子设备重新发送丢失的所述第二用户的第二采集数据;
在电子设备中缓存完整的所述第二用户的第二采集数据。
优选地,所述播放单元301进一步配置用于:
当所述电子设备和服务器之间的网络连接状况满足第一预定条件时,开始从服务器下载与所述第一内容数据对应的播放文件,并且启动所述第一内容数据的播放;或者
当所述电子设备和服务器之间的网络连接状况满足第二预定条件时,开始从服务器下载与所述第一内容数据对应的播放文件,在电子设备中缓存所述第一内容数据,并且启动已缓存的所述第一内容数据的播放;或者
读取本地存储器中存储的与所述第一内容数据对应的播放文件,并且启动所述第一内容数据的播放。
优选地,所述音频输出控制单元303进一步配置用于:
从服务器获取所述第二用户的声纹模型,其中在服务器中预先存储有所述第二用户的声纹模型;或者
从服务器获取所述第二用户的声纹模型,其中在服务器中根据在启动所述第一内容数据的播放之前获得的所述第二用户的声音建立所述第二用户的声纹模型。
优选地,所述音频输出控制单元303进一步配置用于:
在所述第一内容数据的播放结束之后,存储所述第一内容数据、所述第二音频数据和所述第二采集数据;
检测启动所述第一内容数据的回放的第一操作;
在检测到第一操作之后,用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
优选地,所述音频输出控制单元303进一步配置用于:
检测所述第一内容数据的播放期间输出的所述第二用户的第二模拟数据;
用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
优选地,所述音频输出控制单元303进一步配置用于:
检测所述第一内容数据的播放期间输出的所述第二用户的第二模拟数据;
清除检测到的所述第二用户的第二模拟数据;
用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
优选地,所述电子设备还包括:
发送单元306,配置用于将所述第一音频数据发送给第二电子设备或服务器,使得第二电子设备能够根据所述第三对应关系执行控制,以便与所述第二内容数据相对应地输出所述第一音频数据。
优选地,所述电子设备还包括:
视频通话单元307,配置用于在启动第一内容数据的播放之前,与所述第二电子设备建立视频通话连接;
选择单元308,配置用于在与所述第二电子设备建立视频通话连接成功之后,根据第二操作,选择要播放的所述第一内容数据。
优选地,所述播放单元301还包括:
显示单元,配置用于至少在启动第一内容数据的播放之后,显示包括至少三个区域的界面,其中第一显示区域与所述电子设备对应,第二显示区域与所述第二电子设备对应,并且第三显示区域与播放的所述第一内容数据对应。
优选地,所述第一内容数据包括背景图像数据和/或背景声音数据,并且所述第一音频数据和第二音频数据包括语音数据。
因此,根据本发明实施例电子设备,能够有效地控制音频数据的输出,从而使得来自另一设备的用户的音频数据与本地电子设备中的内容播放的对应关系与该另一设备中该用户的音频采集数据和该另一电子设备中内容播放的对应关系匹配,从而真实再现该另一设备的用户的音频数据输出状态,大大地提高用户体验。
需要注意的是,在图示根据各个实施例的电子设备时仅仅示出了其功能单元,并没有具体描述各个功能单元的连接关系,本领域技术人员可以理解的是,各个功能单元可以通过总线、内部连接线等等适当地连接,这样的连接对于本领域技术人员来说是熟知的。
需要说明的是,在本说明书中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后,还需要说明的是,上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理,而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现,当然也可以全部通过硬件来实施。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (39)

1.一种数据处理方法,应用于第一电子设备中,所述方法包括:
根据第一触发启动第一内容数据的播放;
获取与第二电子设备的第二用户对应的第二音频数据,其中所述第二电子设备与所述第一电子设备间具有数据传输通路,且在所述第二电子设备中根据所述第一触发启动与所述第一内容数据相同的第二内容数据的播放,并且所述第二电子设备采集的第二采集数据和所述第二电子设备播放的所述第二内容数据之间具有第一对应关系,所述第二采集数据和所述第二音频数据对应;
根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据,使得所述第二音频数据与所述第一内容数据具有第二对应关系,所述第一对应关系与所述第二对应关系匹配。
2.如权利要求1所述的方法,其中,获取与第二电子设备的第二用户对应的第二音频数据包括:
接收从所述第二电子设备传输的、通过所述第二电子设备中的音频获取单元获取的所述第二用户的所述第二采集数据;或
获取所述第二用户的声纹模型,并且根据所述第二用户的声纹模型生成第二用户的第二模拟数据。
3.如权利要求2所述的方法,其中,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二采集数据。
4.如权利要求2所述的方法,其中,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二模拟数据。
5.如权利要求2所述的方法,其中,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地选择性地输出所述第二用户的第二采集数据或所述第二用户的第二模拟数据。
6.如权利要求1所述的方法,还包括:
通过所述第一电子设备中的音频获取单元获取所述第一电子设备的第一用户的第一音频数据,所述第一音频数据和所述第一内容数据之间具有第三对应关系;
根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据。
7.如权利要求6所述的方法,其中,获取与第二电子设备的第二用户对应的第二音频数据包括:
接收从所述第二电子设备传输的、通过所述第二电子设备中的音频获取单元获取的所述第二用户的第二采集数据;或
获取所述第二用户的声纹模型,并且根据所述第二用户的声纹模型生成第二用户的第二模拟数据。
8.如权利要求7所述的方法,其中,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据。
9.如权利要求7所述的方法,其中,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二模拟数据。
10.如权利要求7所述的方法,其中,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据还包括:
检测所述第一电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据和所述第二用户的第二模拟数据中的一个。
11.如权利要求10所述的方法,其中根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据还包括:
在启动第一内容数据的播放时同步地输出所述第一音频数据和所述第二用户的第二模拟数据,并且在经过预定时间段之后,同步地输出所述第一音频数据和所述第二用户的第二采集数据。
12.如权利要求11所述的方法,其中在经过预定时间段之后,同步地输出所述第一音频数据和所述第二用户的第二采集数据还包括:
控制所述第一内容数据的播放参数,使得在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。
13.如权利要求12所述的方法,其中在经过预定时间段之后,同步地输出所述第一音频数据和所述第二用户的第二采集数据还包括:
在第一电子设备中缓存在所述预定时间段内接收的所述第二用户的第二采集数据;
控制所述第一内容数据的播放参数,使得所述第一电子设备中所述第一内容数据的播放时间比所述第二电子设备中所述第二内容数据的播放晚预定时间段,以便在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。
14.如权利要求13所述的方法,其中,在第一电子设备中缓存在所述预定时间段内接收的所述第二用户的第二采集数据还包括:
检查接收的所述第二用户的第二采集数据的完整性;
当检查结果指示接收的所述第二用户的第二采集数据不完整时,请求第二电子设备重新发送丢失的所述第二用户的第二采集数据;
在第一电子设备中缓存完整的所述第二用户的第二采集数据。
15.如权利要求1所述的方法,其中,启动第一内容数据的播放还包括:
当所述第一电子设备和服务器之间的网络连接状况满足第一预定条件时,开始从服务器下载与所述第一内容数据对应的播放文件,并且启动所述第一内容数据的播放;或者
当所述第一电子设备和服务器之间的网络连接状况满足第二预定条件时,开始从服务器下载与所述第一内容数据对应的播放文件,在第一电子设备中缓存所述第一内容数据,并且启动已缓存的所述第一内容数据的播放;或者
读取本地存储器中存储的与所述第一内容数据对应的播放文件,并且启动所述第一内容数据的播放。
16.如权利要求2所述的方法,其中获取所述第二用户的声纹模型还包括:
从服务器获取所述第二用户的声纹模型,其中在服务器中预先存储有所述第二用户的声纹模型;或者
从服务器获取所述第二用户的声纹模型,其中在服务器中根据在启动所述第一内容数据的播放之前获得的所述第二用户的声音建立所述第二用户的声纹模型。
17.如权利要求4、5、9或10所述的方法,还包括:
在所述第一内容数据的播放结束之后,存储所述第一内容数据、所述第二音频数据和所述第二采集数据;
检测启动所述第一内容数据的回放的第一操作;
在检测到第一操作之后,用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
18.如权利要求17所述的方法,其中,用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据还包括:
检测所述第一内容数据的播放期间输出的所述第二用户的第二模拟数据;
用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
19.如权利要求17所述的方法,其中,用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据还包括:
检测所述第一内容数据的播放期间输出的所述第二用户的第二模拟数据;
清除检测到的所述第二用户的第二模拟数据;
用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
20.如权利要求6所述的方法,还包括:
将所述第一音频数据发送给第二电子设备或服务器,使得第二电子设备能够根据所述第三对应关系执行控制,以便与所述第二内容数据相对应地输出所述第一音频数据。
21.如权利要求1所述的方法,还包括:
在启动第一内容数据的播放之前,与所述第二电子设备建立视频通话连接;
在与所述第二电子设备建立视频通话连接成功之后,根据第二操作,选择要播放的所述第一内容数据。
22.如权利要求1所述的方法,还包括:
至少在启动第一内容数据的播放之后,显示界面包括至少三个区域,其中第一显示区域与所述第一电子设备对应,第二显示区域与所述第二电子设备对应,并且第三显示区域与播放的所述第一内容数据对应。
23.如权利要求1所述的方法,其中,所述第一内容数据包括背景图像数据和/或背景声音数据,并且所述第一音频数据和第二音频数据包括语音数据。
24.一种电子设备,包括:
播放单元,配置用于根据第一触发启动第一内容数据的播放;
数据获取单元,配置用于获取与第二电子设备的第二用户对应的第二音频数据,其中所述第二电子设备与所述第一电子设备间具有数据传输通路,且在所述第二电子设备中根据所述第一触发启动与所述第一内容数据相同的第二内容数据的播放,并且所述第二电子设备采集的第二采集数据和所述第二电子设备播放的所述第二内容数据之间具有第一对应关系,所述第二采集数据和所述第二音频数据对应;
音频输出控制单元,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二音频数据,使得所述第二音频数据与所述第一内容数据具有第二对应关系,所述第一对应关系与所述第二对应关系匹配。
25.如权利要求14所述的电子设备,其中,所述数据获取单元进一步配置用于:
接收从所述第二电子设备传输的、通过所述第二电子设备中的音频获取单元获取的所述第二用户的所述第二采集数据;或
获取所述第二用户的声纹模型,并且根据所述第二用户的声纹模型生成第二用户的第二模拟数据。
26.如权利要求25所述的电子设备,其中,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二采集数据。
27.如权利要求25所述的电子设备,其中,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地输出所述第二用户的第二模拟数据。
28.如权利要求25所述的电子设备,其中,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系执行控制,以便与所述第一内容数据相对应地选择性地输出所述第二用户的第二采集数据或所述第二用户的第二模拟数据。
29.如权利要求24所述的电子设备,还包括:
音频获取单元,配置用于获取所述电子设备的第一用户的第一音频数据,所述第一音频数据和所述第一内容数据之间具有第三对应关系;
其中,所述音频输出控制单元进一步配置用于根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二音频数据。
30.如权利要求29所述的电子设备,其中,所述数据获取单元进一步配置用于:
接收从所述第二电子设备传输的、通过所述第二电子设备中的音频获取单元获取的所述第二用户的第二采集数据;或
获取所述第二用户的声纹模型,并且根据所述第二用户的声纹模型生成第二用户的第二模拟数据。
31.如权利要求30所述的电子设备,其中,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第一预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据。
32.如权利要求30所述的电子设备,其中,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第二预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二模拟数据。
33.如权利要求30所述的电子设备,其中,所述音频输出控制单元进一步配置用于:
检测所述电子设备和所述第二电子设备之间的网络连接状况;
当检测结果指示网络连接状况满足第三预定条件时,根据所述第一对应关系和所述第三对应关系执行控制,以便与所述第一内容数据对应地选择性地输出所述第一音频数据和/或所述第二用户的第二采集数据和所述第二用户的第二模拟数据中的一个。
34.如权利要求33所述的电子设备,其中,所述音频输出控制单元进一步配置用于:
在启动第一内容数据的播放时同步地输出所述第一音频数据和所述第二用户的第二模拟数据,并且在经过预定时间段之后,同步地输出所述第一音频数据和所述第二用户的第二采集数据。
35.如权利要求34所述的电子设备,其中,所述音频输出控制单元进一步配置用于:
控制所述第一内容数据的播放参数,使得在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。
36.如权利要求35所述的电子设备,还包括:
存储器,用于存储各种数据;
其中,所述音频输出控制单元进一步配置用于:
在所述存储器中缓存在所述预定时间段内接收的所述第二用户的第二采集数据;
控制所述第一内容数据的播放参数,使得所述电子设备中所述第一内容数据的播放时间比所述第二电子设备中所述第二内容数据的播放晚预定时间段,以便在预定时间段之后同步地输出所述第一音频数据和已经缓存的所述第二用户的第二采集数据。
37.如权利要求27、28、32或33所述的电子设备,其中,所述音频输出控制单元进一步配置用于:
在所述第一内容数据的播放结束之后,存储所述第一内容数据、所述第二音频数据和所述第二采集数据;
检测启动所述第一内容数据的回放的第一操作;
在检测到第一操作之后,用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
38.如权利要求37所述的电子设备,其中,所述音频输出控制单元进一步配置用于:
检测所述第一内容数据的播放期间输出的所述第二用户的第二模拟数据;
用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
39.如权利要求37所述的电子设备,其中,所述音频输出控制单元进一步配置用于:
检测所述第一内容数据的播放期间输出的所述第二用户的第二模拟数据;
清除检测到的所述第二用户的第二模拟数据;
用所述第二用户的第二采集数据替换检测到的所述第二用户的第二模拟数据。
CN201410026154.8A 2014-01-21 2014-01-21 数据处理方法和电子设备 Active CN103780612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410026154.8A CN103780612B (zh) 2014-01-21 2014-01-21 数据处理方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410026154.8A CN103780612B (zh) 2014-01-21 2014-01-21 数据处理方法和电子设备

Publications (2)

Publication Number Publication Date
CN103780612A true CN103780612A (zh) 2014-05-07
CN103780612B CN103780612B (zh) 2018-01-23

Family

ID=50572442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410026154.8A Active CN103780612B (zh) 2014-01-21 2014-01-21 数据处理方法和电子设备

Country Status (1)

Country Link
CN (1) CN103780612B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107318175A (zh) * 2017-08-23 2017-11-03 上海摩软通讯技术有限公司 无线音频再现装置及其配对方法
CN112752142A (zh) * 2020-08-26 2021-05-04 腾讯科技(深圳)有限公司 配音数据处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055397A1 (en) * 1996-07-17 2001-12-27 American Technology Corporation Parametric virtual speaker and surround-sound system
CN101118743A (zh) * 2007-07-12 2008-02-06 深圳市融合视讯科技有限公司 一种远程互动卡拉ok系统的创建及使用方法
CN101174409A (zh) * 2006-10-24 2008-05-07 诺基亚公司 提供多种歌词卡拉ok系统的系统、方法、设备
CN101272570A (zh) * 2008-04-28 2008-09-24 北京中星微电子有限公司 一种实现网络卡拉ok的方法及便携式设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055397A1 (en) * 1996-07-17 2001-12-27 American Technology Corporation Parametric virtual speaker and surround-sound system
CN101174409A (zh) * 2006-10-24 2008-05-07 诺基亚公司 提供多种歌词卡拉ok系统的系统、方法、设备
CN101118743A (zh) * 2007-07-12 2008-02-06 深圳市融合视讯科技有限公司 一种远程互动卡拉ok系统的创建及使用方法
CN101272570A (zh) * 2008-04-28 2008-09-24 北京中星微电子有限公司 一种实现网络卡拉ok的方法及便携式设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107318175A (zh) * 2017-08-23 2017-11-03 上海摩软通讯技术有限公司 无线音频再现装置及其配对方法
CN112752142A (zh) * 2020-08-26 2021-05-04 腾讯科技(深圳)有限公司 配音数据处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN103780612B (zh) 2018-01-23

Similar Documents

Publication Publication Date Title
CN107396137B (zh) 在线互动的方法、装置及系统
CN105872253B (zh) 一种直播声音处理方法及移动终端
KR101975431B1 (ko) 콘텐츠 항목 표시 시스템, 방법 및 기기
CN109243444B (zh) 语音交互方法、设备及计算机可读存储介质
CN104091423B (zh) 一种信号传输方法及家庭点歌系统
CN106210755B (zh) 一种播放直播视频的方法、装置和系统
CN105072146B (zh) 一种音乐信息的共享方法及装置
CN104170011A (zh) 用于移动装置上的卡拉ok的方法及系统
EP3382707B1 (en) Audio file re-recording method, device and storage medium
CN110390925B (zh) 人声与伴奏同步方法、终端、蓝牙设备及存储介质
CN104091596A (zh) 一种乐曲识别方法、系统和装置
CN113672748B (zh) 多媒体信息播放方法及装置
CN106887244B (zh) 音频切换方法及装置
CN109756767A (zh) 预览数据播放方法、装置及存储介质
WO2013020387A1 (zh) 声控变换手机应用动态显示效果的方法及装置
CN105099795A (zh) 抖动缓冲器水平估计
CN105766001A (zh) 用于使用任意触发的音频处理的系统和方法
CN110675848A (zh) 音频处理方法、装置及存储介质
CN109862430A (zh) 多媒体播放方法及终端设备
CN106484856A (zh) 音频播放方法及装置
CN106782459B (zh) 基于移动终端应用程序的钢琴自动演奏控制系统及方法
CN103581308A (zh) 音乐播放系统及方法
CN110599989A (zh) 音频处理方法、装置及存储介质
CN110428798B (zh) 人声与伴奏同步方法、蓝牙设备、终端及存储介质
CN113676761B (zh) 一种多媒体资源播放方法、装置及主控设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant