CN111901675B - 多媒体数据播放方法、装置、计算机设备及存储介质 - Google Patents

多媒体数据播放方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111901675B
CN111901675B CN202010670467.2A CN202010670467A CN111901675B CN 111901675 B CN111901675 B CN 111901675B CN 202010670467 A CN202010670467 A CN 202010670467A CN 111901675 B CN111901675 B CN 111901675B
Authority
CN
China
Prior art keywords
multimedia data
language
data
terminal
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010670467.2A
Other languages
English (en)
Other versions
CN111901675A (zh
Inventor
刘艳峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010670467.2A priority Critical patent/CN111901675B/zh
Publication of CN111901675A publication Critical patent/CN111901675A/zh
Application granted granted Critical
Publication of CN111901675B publication Critical patent/CN111901675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data

Abstract

本申请实施例公开了一种多媒体数据播放方法、装置、计算机设备及存储介质,属于计算机技术领域。该方法包括:接收终端发送的播放指令,播放指令携带终端登录的用户标识,播放指令由终端检测到对第一多媒体数据的触发操作时发送,响应于第一多媒体数据所属的第一语种与用户标识对应的第二语种不同,获取属于第二语种的第二多媒体数据,向终端发送第二多媒体数据,由终端播放第二多媒体数据,实现了自动播放与用户语种相匹配的多媒体数据。在此过程中,用户仅需执行对第一多媒体数据的触发操作,即可自动播放第二多媒体数据,无需用户手动搜索第二多媒体数据,也无需用户手动选择播放第二多媒体数据,因此简化了用户的操作,提高了操作效率。

Description

多媒体数据播放方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种多媒体数据播放方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的快速发展,播放多媒体数据已成为用户休闲状态下常用的一种娱乐形式。但是,多媒体数据的语种有限,而不同用户可能使用不同的语种,例如中文、英文、韩文等,如果用户使用的语种与多媒体数据的语种不同,会导致用户观看多媒体数据不便。
以电影为例,若某一电影为英文版本,则当使用中文的用户想要观看该电影时,需要手动将英文版本的电影切换为中文版本的电影,操作较为繁琐。
发明内容
本申请实施例提供了一种多媒体数据播放方法、装置、计算机设备及存储介质,可以使播放多媒体数据的操作更加简便。所述技术方案如下:
一方面,提供了一种多媒体数据播放方法,所述方法包括:
接收终端发送的播放指令,所述播放指令携带所述终端登录的用户标识,所述播放指令由所述终端检测到对第一多媒体数据的触发操作时发送;
响应于所述第一多媒体数据所属的第一语种与所述用户标识对应的第二语种不同,获取第二多媒体数据,所述第二多媒体数据属于所述第二语种;
向所述终端发送所述第二多媒体数据,所述终端用于播放所述第二多媒体数据。
可选地,所述接收终端发送的播放指令之前,所述方法还包括:
接收所述终端采集的用户数据和所述终端登录的用户标识,所述用户数据包括用户图像数据或用户音频数据中的至少一项;
对所述用户数据进行语种识别,得到所述用户数据对应的第二语种;
将所述第二语种与所述用户标识对应存储。
可选地,所述接收终端发送的播放指令之前,所述方法还包括:
对所述第一多媒体数据进行语种识别,得到所述第一多媒体数据所属的第一语种;
将所述第一语种与所述第一多媒体数据对应存储。
可选地,所述方法还包括:
响应于所述第一语种与所述第二语种不同,且所述用户标识不满足所述语种转换条件,向所述终端发送所述第一多媒体数据。
可选地,所述接收终端发送的播放指令之后,所述方法还包括:
响应于所述第一语种与所述第二语种相同,向所述终端发送所述第一多媒体数据。
另一方面,提供了另一种多媒体数据播放方法,所述方法包括:
响应于对第一多媒体数据的触发操作,向服务器发送播放指令,所述播放指令携带终端登录的用户标识;
接收所述服务器发送的第二多媒体数据,所述第二多媒体数据属于所述第二语种;
播放所述第二多媒体数据;
其中,所述服务器用于响应于所述第一多媒体数据所属的第一语种与所述用户标识对应的第二语种不同,返回所述第二多媒体数据。
可选地,所述响应于对第一多媒体数据的触发操作,向服务器发送播放指令之前,所述方法还包括:
在登录所述用户标识的情况下采集用户数据,所述用户数据包括用户图像数据或用户音频数据中的至少一项;
将所述用户数据和所述用户标识发送给所述服务器,所述服务器用于对所述用户数据进行语种识别,得到所述用户数据对应的第二语种,将所述第二语种与所述用户标识对应存储。
另一方面,提供了一种多媒体数据播放装置,所述装置包括:
播放指令接收模块,用于接收终端发送的播放指令,所述播放指令携带所述终端登录的用户标识,所述播放指令由所述终端检测到对第一多媒体数据的触发操作时发送;
数据获取模块,用于响应于所述第一多媒体数据所属的第一语种与所述用户标识对应的第二语种不同,获取第二多媒体数据,所述第二多媒体数据属于所述第二语种;
数据发送模块,用于向所述终端发送所述第二多媒体数据,所述终端用于播放所述第二多媒体数据。
可选地,所述装置还包括:
数据接收模块,用于接收所述终端采集的用户数据和所述终端登录的用户标识,所述用户数据包括用户图像数据或用户音频数据中的至少一项;
语种识别模块,用于对所述用户数据进行语种识别,得到所述用户数据对应的第二语种;
存储模块,用于将所述第二语种与所述用户标识对应存储。
可选地,所述语种识别模块,还用于对所述第一多媒体数据进行语种识别,得到所述第一多媒体数据所属的第一语种;
存储模块,还用于将所述第一语种与所述第一多媒体数据对应存储。
可选地,所述数据获取模块,包括:
语种转换单元,用于响应于所述第一语种与所述第二语种不同,且数据库中不包括与所述第一多媒体数据对应且属于所述第二语种的多媒体数据,对所述第一多媒体数据进行语种转换,得到所述第二多媒体数据。
可选地,所述第一多媒体数据包括图像数据和属于所述第一语种的第一音频数据,所述语种转换单元,用于:
对所述第一音频数据进行语种转换,得到第二音频数据,所述第二音频数据属于所述第二语种;
将所述图像数据和所述第二音频数据进行合成处理,得到所述第二多媒体数据。
可选地,所述语种转换单元,用于:对所述第一文本数据进行语种转换,得到第二文本数据,所述第二文本数据属于所述第二语种;
将所述图像数据、所述第二音频数据和所述第二文本数据进行合成处理,得到所述第二多媒体数据。
可选地,所述语种转换单元,用于:提取所述第一音频数据的声纹特征;
根据所述声纹特征对所述第一音频数据进行语种转换,得到包含所述声纹特征的所述第二音频数据。
可选地,所述数据获取模块,包括:
第一数据获取单元,用于响应于所述第一语种与所述第二语种不同,且所述用户标识满足语种转换条件,获取所述第二多媒体数据;
所述语种转换条件包括:所述用户标识的历史操作记录中不包括语种恢复操作,或者,所述用户标识的历史操作记录中语种恢复操作的执行次数不大于参考次数;所述语种恢复操作是:为登录所述用户标识的终端下发所述第二语种的多媒体数据后,又恢复为所述第一语种的多媒体数据的操作。
可选地,所述数据发送模块,用于:响应于所述第一语种与所述第二语种不同,且所述用户标识不满足所述语种转换条件,向所述终端发送所述第一多媒体数据。
可选地,所述数据获取模块,包括:
第二数据获取单元,用于响应于所述第一语种与所述第二语种不同,获取数据库中与所述第一多媒体数据对应且属于所述第二语种的所述第二多媒体数据。
可选地,所述数据发送模块,用于响应于所述第一语种与所述第二语种相同,向所述终端发送所述第一多媒体数据。
可选地,所述装置还包括:
恢复指令接收模块,用于接收所述终端发送的语种恢复指令;
所述数据发送模块,还用于向所述终端发送所述第一多媒体数据,所述终端用于将播放的所述第二多媒体数据切换为所述第一多媒体数据。
另一方面,提供了另一种多媒体数据播放装置,所述装置包括:
播放指令发送模块,用于响应于对第一多媒体数据的触发操作,向服务器发送播放指令,所述播放指令携带终端登录的用户标识;
数据接收模块,用于接收所述服务器发送的第二多媒体数据,所述第二多媒体数据属于所述第二语种;
数据播放模块,用于播放所述第二多媒体数据;
其中,所述服务器用于响应于所述第一多媒体数据所属的第一语种与所述用户标识对应的第二语种不同,返回所述第二多媒体数据。
可选地,所述装置还包括:
用户数据采集模块,用于在登录所述用户标识的情况下采集用户数据,所述用户数据包括用户图像数据或用户音频数据中的至少一项;
数据发送模块,用于将所述用户数据和所述用户标识发送给所述服务器,所述服务器用于对所述用户数据进行语种识别,得到所述用户数据对应的第二语种,将所述第二语种与所述用户标识对应存储。
可选地,所述装置还包括:
恢复指令发送模块,用于响应于对所述第二多媒体数据的语种恢复请求,向所述服务器发送语种恢复指令;
所述数据接收模块,还用于接收所述服务器发送的所述第一多媒体数据;
所述数据播放模块,还用于将播放的所述第二多媒体数据切换为所述第一多媒体数据。
另一方面,提供了一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行以实现如上述方面所述的多媒体数据播放方法中所执行的操作。
另一方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行以实现如上述方面所述的多媒体数据播放方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如上述方面所述的多媒体数据播放方法中所执行的操作。
另一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机程序代码,所述计算机程序代码存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取所述计算机程序代码,处理器执行所述计算机程序代码,使得所述计算机设备实现如上述方面所述的多媒体数据播放方法中所执行的操作。
本申请实施例提供的方法中,用户在终端触发了对第一多媒体数据的播放后,由于第一多媒体数据为第一语种,与用户使用的第二语种不同,因此为了避免用户在观看时出现语言不通的问题,可以由服务器提供第一多媒体数据对应的、属于第二语种的第二多媒体数据,由终端播放该第二多媒体数据,从而实现了自动播放与用户语种相匹配的多媒体数据。在此过程中,用户仅需执行对第一多媒体数据的触发操作,即可自动播放第二多媒体数据,无需用户手动搜索第二多媒体数据,也无需用户手动选择播放第二多媒体数据,因此简化了用户的操作,提高了操作效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图。
图2是本申请实施例提供的一种多媒体数据播放方法的流程图。
图3是本申请实施例提供的另一种多媒体数据播放方法的流程图。
图4是本申请实施例提供的另一种多媒体数据播放方法的流程图。
图5是本申请实施例提供的另一种多媒体数据播放方法的流程图。
图6是本申请实施例提供的另一种多媒体数据播放方法的流程图。
图7是本申请实施例提供的一种多媒体数据播放装置的结构示意图。
图8是本申请实施例提供的另一种多媒体数据播放装置的结构示意图。
图9是本申请实施例提供的另一种多媒体数据播放装置的结构示意图。
图10是本申请实施例提供的另一种多媒体数据播放装置的结构示意图。
图11是本申请实施例提供的一种终端的结构示意图。
图12是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一多媒体数据称为第二多媒体数据,且类似地,可将第二多媒体数据称为第一多媒体数据。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术包括传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术包括计算机视觉技术、语音处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步地说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术(AutomaticSpeech Recognition,ASR)和语音合成技术(Text To Speech,TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为被看好的人机交互方式之一。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
以下将基于人工智能技术对本申请实施例提供的多媒体数据播放方法进行说明。
图1是本申请实施例提供的一种实施环境的示意图,参见图1,该实施环境包括:终端101和服务器102。可选地,终端101是智能手机、平板电脑、笔记本电脑、台式计算机、智能电视、智能音箱或者智能手表等,但并不局限于此。可选地,服务器102是独立的物理服务器,或者是多个物理服务器构成的服务器集群或者分布式系统,或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地,终端101以及服务器102通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在本申请实施例中,终端101用于采集用户数据以及播放多媒体数据,服务器102用于为终端101提供需要播放的多媒体数据。并且服务器102还用于对用户数据和多媒体数据进行语种识别以及对多媒体数据进行语种转换。可选地,终端101中安装多媒体数据播放应用,该服务器102用于为该多媒体数据播放应用提供服务,终端101通过该多媒体数据播放应用与服务器102进行交互,实现自动播放用户所属语种的多媒体数据。
本申请实施例提供的多媒体数据播放方法,可应用于用户播放不同语种的多媒体数据的场景下。
例如,中文用户播放英文电影的场景:
某一用户使用中文,终端采集该用户的用户数据,并将用户数据和用户账号对应发送给服务器,服务器对该用户数据进行语种识别,从而确定该用户使用的语种为中文。后续当用户想要观看某一电影时,若服务器查询到该电影的原声为英文版本,而用户使用的语种为中文,则服务器自动将英文版本的电影进行语种转换,得到中文版本的电影,并在终端上播放该中文版本的电影,从而避免了电影的语种与用户使用的语种不同而带来的不便。
图2是本申请实施例提供的一种多媒体数据播放方法的流程图。本申请实施例的执行主体为服务器,参见图2,该方法包括:
201、接收终端发送的播放指令。
服务器与终端建立通信连接,由服务器为终端提供服务。本申请实施例中,通过服务器与终端的交互,来实现对多媒体数据的播放。
当用户想要在终端上播放第一多媒体数据时,在终端上执行对该第一多媒体数据的触发操作,终端检测到对该第一多媒体数据的触发操作,确定终端登录的用户标识,将携带该用户标识的播放指令发送给服务器,由服务器接收终端发送的播放指令。该播放指令用于指示播放第一多媒体数据。
202、响应于第一多媒体数据所属的第一语种与用户标识对应的第二语种不同,获取第二多媒体数据。
服务器接收到播放指令时,在数据库中查询该播放指令对应的第一多媒体数据所属的第一语种,以及播放指令中的用户标识对应的第二语种,响应于该第一语种与第二语种不同,则服务器获取属于第二语种的第二多媒体数据。
其中,语种是指语言的类型,如汉语、英语、韩语和法语等。多媒体数据中会涉及到语言,因此多媒体数据都有自己所属的语种。例如,多媒体数据中包括属于英语的音频数据,则该多媒体数据所属的语种为英语。例如,多媒体数据中包括属于法语的文本数据,则该多媒体数据所属的语种为法语。
其中,第一多媒体数据属于第一语种,第二多媒体数据属于第二语种,该第二多媒体数据与第一多媒体数据相对应。该第一多媒体数据与第二多媒体数据所表示的内容相同,区别在于:第一多媒体数据使用第一语种来进行表示,第二多媒体数据使用第二语种来进行表示。例如,电影A对应有属于不同语种的多个多媒体数据,其中多个多媒体数据中包括属于英语的第一多媒体数据,以及属于汉语的第二多媒体数据。
203、向终端发送第二多媒体数据。
服务器将获取的第二多媒体数据发送给终端,终端接收到该第二多媒体数据,即可播放该第二多媒体数据。
本申请实施例提供的方法中,用户在终端触发了对第一多媒体数据的播放后,由于第一多媒体数据为第一语种,与用户使用的第二语种不同,因此为了避免用户在观看时出现语言不通的问题,可以由服务器提供第一多媒体数据对应的、属于第二语种的第二多媒体数据,由终端播放第二多媒体数据,从而实现了自动播放与用户语种相匹配的多媒体数据。在此过程中,用户仅需执行对第一多媒体数据的触发操作,即可自动播放第二多媒体数据,无需用户手动搜索第二多媒体数据,也无需用户手动选择播放第二多媒体数据,因此简化了用户的操作,提高了操作效率。
图3是本申请实施例提供的另一种多媒体数据播放方法的流程图。本申请实施例的执行主体为终端,参见图3,该方法包括:
301、响应于对第一多媒体数据的触发操作,向服务器发送播放指令。
服务器与终端建立通信连接,由服务器为终端提供服务。本申请实施例中,通过服务器与终端的交互,来实现对多媒体数据的播放。
当用户想要在终端上播放第一多媒体数据时,在终端上执行对该第一多媒体数据的触发操作,终端检测到对该第一多媒体数据的触发操作,确定登录的用户标识,将携带该用户标识的播放指令发送给服务器,由服务器接收终端发送的播放指令。该播放指令用于指示播放第一多媒体数据。
302、接收服务器发送的第二多媒体数据。
服务器接收到该播放指令,则响应于第一多媒体数据所属的第一语种与用户标识对应的第二语种不同,获取属于第二语种的第二多媒体数据,向终端返回该第二多媒体数据,则终端接收服务器发送的该第二多媒体数据。
303、播放第二多媒体数据。
本申请实施例提供的方法中,用户在终端触发了对第一多媒体数据的播放后,由于第一多媒体数据为第一语种,与用户使用的第二语种不同,因此为了避免用户在观看时出现语言不通的问题,可以由服务器提供第一多媒体数据对应的、属于第二语种的第二多媒体数据,由终端播放第二多媒体数据,从而实现了自动播放与用户语种相匹配的多媒体数据。在此过程中,用户仅需执行对第一多媒体数据的触发操作,即可自动播放第二多媒体数据,无需用户手动搜索第二多媒体数据,也无需用户手动选择播放第二多媒体数据,因此简化了用户的操作,提高了操作效率。
图4是本申请实施例提供的另一种多媒体数据播放方法的流程图。本申请实施例的交互主体为终端和服务器,参见图4,该方法包括:
401、服务器对第一多媒体数据进行语种识别,得到第一多媒体数据所属的第一语种,将第一语种与第一多媒体数据对应存储。
服务器获取到第一多媒体数据后,对该第一多媒体数据进行语种识别,得到该第一多媒体数据所属的第一语种,则服务器将该第一语种与第一多媒体数据对应存储于数据库中。其中,第一多媒体数据属于第一语种是指,第一多媒体数据中的音频数据所使用的语种为第一语种,或者第一多媒体数据中的文本数据所使用的语种为第一语种。
可选地,服务器对第一多媒体数据进行识别,确定第一多媒体数据中包括音频数据,则对第一多媒体数据中的音频数据进行语种识别,得到该音频数据所属的第一语种。可选地,服务器对第一多媒体数据进行识别,确定第一多媒体数据中包括文本数据,则对第一多媒体数据中的文本数据进行语种识别,得到该文本数据所属的第一语种。
可选地,服务器采用基于卷积神经网络的语种识别方法对第一多媒体数据进行语种识别,或者采用基于支持向量机(Support Vectormachine,SVM)的语种识别方法对第一多媒体数据进行语种识别,或者服务器采用其他的语种识别方法对第一多媒体数据进行语种识别,本申请实施例对此不做限定。
可选地,该第一多媒体数据由运营人员上传至服务器中,或者由服务器从其他设备中下载得到,或者由其他设备上传至服务器中,本申请实施例对此不做限定。可选地,该第一多媒体数据为已经制作完成的完整的多媒体数据,或者该第一多媒体数据为直播过程中的直播数据流,本申请实施例对此不做限定。
本申请实施例仅以服务器将第一语种与第一多媒体数据对应存储于数据库为例进行说明,而服务器获取到其他多媒体数据时,也执行步骤401中的操作,因此,数据库中会包括多个多媒体数据以及每个多媒体数据所属的语种。并且,该数据库中的每个多媒体数据还可能存在该多媒体数据对应的、属于其他语种的其他多媒体数据。其中,任两个多媒体数据相互对应是指这两个多媒体数据的内容相同。
可选地,为了区分不同的多媒体数据,每个多媒体数据对应有数据标识,且相互对应的多媒体数据具有相同的数据标识。
可选地,为了区分属于不同语种的多媒体数据,具有相同数据标识的多个多媒体数据,还分别具有不同的语种标识,通过语种标识来表示多媒体数据所属的语种。
在数据库中包括多个数据标识。可选地,每个数据标识对应一个多媒体数据,或者每个数据标识对应多个多媒体数据。在一个数据标识对应多个多媒体数据的情况下,该多个多媒体数据所属的语种不同,也即是,一个数据标识对应多个属于不同语种的多媒体数据。
可选地,具有相同数据标识的多个多媒体数据中,包括原始多媒体数据,该原始多媒体数据为服务器从其他设备中下载得到的,或者该原始多媒体数据为运营人员或者其他设备上传至该服务器中的。而多个多媒体数据中,原始多媒体数据对应的其他多媒体数据为服务器根据该原始多媒体数据进行语种转换得到的多媒体数据。
402、终端在登录用户标识的情况下采集用户数据。
用户标识用于表示用户的身份,可选地,用户标识为用户在终端中注册的用户账号,包括用户姓名、用户手机号、邮箱账号、用户昵称、用户编号或者身份证号中的至少一项。
用户数据包括用户图像数据或用户音频数据中的至少一项,其中用户图像数据是指包括用户画面的数据,用户音频数据是指包括用户语音的数据。可选地,若用户数据包括用户图像数据,则该用户数据为用户的照片等;若用户数据包括用户音频数据,则该用户数据为用户的录音等;若用户数据包括用户图像数据和用户音频数据,则该用户数据为用户的录像等。
由于终端在登录用户标识的情况下采集用户数据,则该用户数据为该用户标识对应的用户的数据,因此该用户数据与该用户标识对应。
在一种可能实现方式中,终端安装有多媒体数据播放应用。终端在多媒体数据播放应用中检测到登录用户标识时,则显示数据采集界面,该数据采集界面中包括数据采集选项,该数据采集选项用于采集用户数据。若用户允许终端采集自己的用户数据,则触发对该数据采集选项,终端检测到对该数据采集选项的触发操作,则采集该用户的用户数据。
可选地,终端配置有摄像头,摄像头用于采集图像。终端检测到对数据采集选项的触发操作,采用摄像头进行拍摄,得到包括用户画面的用户图像数据,作为用户数据。可选地,终端配置有麦克风,麦克风用于采集声音。终端检测到对数据采集选项的触发操作,采用麦克风进行录音,得到包括用户语音的用户音频数据,作为用户数据。可选地,终端检测到对数据采集选项的触发操作,采用摄像头进行拍摄,同时采用麦克风进行录音,得到包括用户画面和用户语音的用户视频数据,作为用户数据。
可选地,终端与摄像头连接。终端检测到对数据采集选项的触发操作,向摄像头发送拍摄指令,摄像头接收到拍摄指令,进行拍摄,得到包括用户画面的用户图像数据,将用户图像数据上传给终端,终端接收用户图像数据,作为用户数据。可选地,终端与麦克风连接。终端检测到对数据采集选项的触发操作,向麦克风发送录音指令,麦克风接收到录音指令,进行录音,得到包括用户语音的用户音频数据,将用户音频数据上传给终端,终端接收用户音频数据,作为用户数据。可选地,终端连接有摄像头和麦克风,终端检测到对数据采集选项的触发操作,向摄像头和麦克风发送数据采集指令,摄像头和麦克风接收到数据采集指令,摄像头进行拍摄得到用户图像数据,将用户图像数据上传给终端,麦克风进行录音得到用户音频数据,将用户音频数据上传给终端。终端对用户图像数据和用户音频数据进行处理,得到包括用户画面和用户语音的用户视频数据,作为用户数据。
可选地,终端在数据采集界面中显示提示用户输入语音的提示信息,以便提示用户输入语音,从而完成对用户音频数据的采集。
可选地,触发操作包括单击操作、双击操作、滑动操作或者长按操作等。
403、终端将用户数据和用户标识发送给服务器。
当终端在登录用户标识的情况下获取到用户数据,则将该用户数据与用户标识发送给服务器,由服务器对用户数据和用户标识进行处理。
404、服务器接收终端采集的用户数据和终端登录的用户标识,对用户数据进行语种识别,得到用户数据对应的第二语种,将第二语种与用户标识对应存储。
服务器接收到终端发送的用户数据和用户标识,则对该用户数据进行语种识别,得到该用户数据对应的第二语种,由于该用户数据与该用户标识对应,因此该第二语种即为该用户标识对应的用户所使用的语种,则服务器将该第二语种与该用户标识对应存储于数据库中。
可选地,该用户数据为用户图像数据,则服务器在用户图像数据中提取用户的面部特征,基于用户的面部特征确定用户使用的第二语种。可选地,该用户数据为用户音频数据,则服务器在用户音频数据中提取用户的语言特征,基于用户的语言特征确定用户使用的第二语种。
可选地,服务器基于文本、图片或者声音等检测,基于大数据样本库(包括用户图像和声纹特征等),对用户数据识别,识别用户对应的语种。或者,服务器采用基于卷积神经网络的语种识别方法对用户数据进行语种识别,或者采用基于支持向量机的语种识别方法对用户数据进行语种识别,或者服务器基于机器学习识别用户的语种,或者服务器采用其他的语种识别方法对用户数据进行语种识别,本申请实施例对此不做限定。
需要说明的是,本申请实施例仅以先执行步骤401,再执行步骤402-404为例进行说明,在另一实施例中,步骤401在终端执行步骤402-403的过程中执行,或者在终端执行步骤402-403之后且服务器执行步骤404之前执行,或者在服务器执行步骤404之后执行,仅需保证上述步骤401是在下述步骤407之前执行即可。
需要说明的是,本申请实施例中,服务器将第一语种与第一多媒体数据对应存储于数据库中,将第二语种与用户标识对应存储于数据库中。可选地,存储多媒体数据的数据库与存储用户标识的数据库为同一个数据库,或者存储多媒体数据的数据库与存储用户标识的数据库为不同的数据库。
405、终端响应于对第一多媒体数据的触发操作,向服务器发送播放指令。
当用户想要观看第一多媒体数据时,在终端上执行对第一多媒体数据的触发操作,终端响应于对该第一多媒体数据的触发操作,确定终端登录的用户标识,将携带该用户标识的播放指令发送给服务器,该播放指令用于指示播放第一多媒体数据。
在一种可能实现方式中,终端安装有多媒体数据播放应用,多媒体数据播放应用的界面中显示第一多媒体数据的播放链接,该播放链接可以以文字或者卡片等形式来显示。当用户想要观看该第一多媒体数据时,执行对第一多媒体数据的播放链接的触发操作,则终端响应于对第一多媒体数据的播放链接的触发操作,确定登录的用户标识,向服务器发送携带该用户标识的播放指令。可选地,该播放指令携带第一多媒体数据的数据标识。
可选地,显示播放链接的界面为多媒体数据播放应用的主界面,该主界面是指启动多媒体数据播放界面时显示的界面。或者,显示播放链接的界面为推荐界面,该推荐界面中包括多媒体数据播放应用推荐的多媒体数据的播放链接。或者,显示播放链接的界面为分享界面,该分享界面包括该用户的好友分享的多媒体数据的播放链接。或者,显示播放链接的界面为多媒体数据播放应用中的其他界面,本申请实施例对此不做限定。
406、服务器接收终端发送的播放指令。
407、服务器响应于第一多媒体数据所属的第一语种与用户标识对应的第二语种不同,获取第二多媒体数据。
服务器接收到播放指令时,在数据库中查询该播放指令对应的第一多媒体数据所属的第一语种,以及播放指令中的用户标识对应的第二语种,由于第一多媒体数据属于第一语种,想要观看该第一多媒体数据的用户使用第二语种,如果第一语种与第二语种不同,则该用户在观看该第一多媒体数据时会不便于理解该第一多媒体数据。则服务器响应于该第一语种与第二语种不同,获取属于第二语种的第二多媒体数据。该第二多媒体数据是与第一多媒体数据对应的多媒体数据,第二多媒体数据所表示的内容与第一多媒体数据所表示的内容相同,只是第一多媒体数据使用第一语种来表示,第二多媒体数据使用第二语种来表示。
在一种可能实现方式中,上述步骤407包括:服务器响应于第一语种与第二语种不同,获取数据库中与第一多媒体数据对应且属于第二语种的第二多媒体数据。
服务器确定第一语种与第二语种不同时,在数据库中查询与第一多媒体数据对应的且属于第二语种的多媒体数据。如果服务器在数据库中查询到与第一多媒体数据对应的且属于第二语种的第二多媒体数据,则服务器直接获取数据库中的第二多媒体数据,而无需对第一多媒体数据进行语种转换。
在另一种可能实现方式中,上述步骤407包括:服务器响应于第一语种与第二语种不同,且数据库中不包括与第一多媒体数据对应且属于第二语种的多媒体数据,对第一多媒体数据进行语种转换,得到第二多媒体数据。
服务器确定第一语种与第二语种不同时,在数据库中查询与第一多媒体数据对应的且属于第二语种的多媒体数据。如果服务器没有在数据库中查询到属于第二语种的该多媒体数据,说明数据库中未存储与第一多媒体数据对应的且属于第二语种的多媒体数据。则服务器获取属于第一语种的第一多媒体数据,对该第一多媒体数据进行语种转换,得到第二多媒体数据,该第二多媒体数据所属的语种为第二语种。
可选地,进行语种转换的步骤包括:第一多媒体数据包括图像数据和属于第一语种的第一音频数据。则服务器对该第一音频数据进行语种转换,得到属于第二语种的第二音频数据,将图像数据和第二音频数据进行合成处理,得到第二多媒体数据。
服务器对第一多媒体数据进行处理,得到第一多媒体数据中的图像数据和第一音频数据,该图像数据不涉及语种,而该第一音频数据属于第一语种,因此使用第二语种的用户不便于理解属于第一语种的第一音频数据,则服务器对第一音频数据进行语种转换,得到第二音频数据,该第二音频数据所属的语种为第二语种,因此用户便于理解该第二音频数据。服务器将图像数据和该第二音频数据进行合成处理,得到属于第二语种的第二多媒体数据。
例如,电影中仅包括英文配音,而不包括字幕。则服务器将电影中的英文配音进行语种转换,得到中文配音。将中文配音和原电影中的视频帧进行合成处理,得到具有中文配音的电影。
可选地,进行语种转换的步骤包括:第一多媒体数据包括图像数据和属于第一语种的第一音频数据。则服务器对该第一音频数据进行语种转换,得到属于第二语种的第二音频数据,对第二音频数据进行语音转文本的处理,得到属于第二语种的文本数据,将图像数据、第二音频数据和文本数据进行合成处理,得到第二多媒体数据。
例如,电影中仅包括英文配音,而不包括字幕。则服务器将电影中的英文配音进行语种转换,得到中文配音,并将中文配音进行语音转文本的处理,得到中文字幕,将中文配音、中文字幕和原电影中的视频帧进行合成处理,得到具有中文配音和中文字幕的电影。
可选地,进行语种转换的步骤包括:第一多媒体数据包括图像数据、属于第一语种的第一音频数据和属于第一语种的第一文本数据。对第一音频数据进行语种转换,得到第二音频数据,第二音频数据属于第二语种;对第一文本数据进行语种转换,得到第二文本数据,第二文本数据属于第二语种;将图像数据、第二音频数据和第二文本数据进行合成处理,得到第二多媒体数据。
服务器对第一多媒体数据进行处理,得到第一多媒体数据中的图像数据、第一音频数据和第一文本数据,该图像数据不涉及语种,而该第一音频数据属于第一语种,该第一文本数据也属于第一语种,因此使用第二语种的用户不便于理解属于第一语种的第一音频数据和第一文本数据,则服务器对第一音频数据进行语种转换,得到第二音频数据,该第二音频数据所属的语种为第二语种,对第一文本数据进行语种转换,得到第二文本数据,该第二文本数据所属的语种为第二语种,因此用户便于理解该第二音频数据和第二文本数据。服务器将图像数据、第二音频数据和第二文本数据进行合成处理,得到属于第二语种的第二多媒体数据。
以第一多媒体数据为英文版本的电影为例,则该图像数据为电影中的视频帧,该第一音频数据为电影中的英文配音,该第一文本数据为电影中的英文字幕。则服务器对电影进行语种转换是指,将电影中的英文配音进行语种转换,得到中文配音,将电影中的英文字幕进行语种转换,得到中文字幕。将中文配音、中文字幕和原电影中的视频帧进行合成处理,即可得到该英文版本的电影所对应的中文版本的电影。
可选地,第一多媒体数据包括图像数据、属于第一语种的第一音频数据和属于第一语种的第一文本数据,对第一音频数据进行语种转换,得到第二音频数据,第二音频数据属于第二语种,而不再对第一文本数据进行语种转换,将图像数据、第二音频数据和第一文本数据进行合成处理,得到第二多媒体数据。
例如,电影包括英文配音和英文字幕,则服务器将电影中的英文配音进行语种转换,得到中文配音。将中文配音、原电影中的英文字幕和原电影中的视频帧进行合成处理,得到具有中文配音和英文字幕的电影。
可选地,进行语种转换的步骤包括:服务器提取第一音频数据的声纹特征,根据声纹特征对第一音频数据进行语种转换,得到包含声纹特征的第二音频数据。
其中,服务器获取到第一多媒体数据时,对第一多媒体数据进行处理得到第一多媒体数据中的第一音频数据,对第一音频数据进行声纹识别,得到第一音频数据的声纹特征。例如,服务器提取第一音频数据的频谱特征,将第一音频数据的频谱特征输入到声纹提取模型中,由声纹提取模型输出第一音频数据对应的声纹特征。声纹是指携带有言语信息的声波频谱,声纹特征可以是指表征声波频谱的声纹标志信息,该声纹特征能够对不同人声的音色进行区分。声纹识别是一种生物识别技术,也叫说话人识别,是一种通过声音判别说话人身份的技术。
可选地,服务器采用基于声纹特征的语音合成技术,来实现根据声纹特征对第一音频数据进行语种转换,得到包含声纹特征的第二音频数据,从而使得新生成的第二音频数据与原始的第一音频数据的声纹特征相同,根据该第二音频数据合成第二多媒体数据,使得第二多媒体数据对应的声纹特征与第一多媒体数据对应的声纹特征相同。由于用户想要观看的为第一多媒体数据,而为了使播放的多媒体数据所属的语种与用户使用的语种相同,服务器将属于第一语种的第一多媒体数据转换为属于第二语种的第二多媒体数据。因此转换后的第二多媒体数据,虽然所属的语种与第一多媒体数据所属的语种不同,但是保留了该第一多媒体数据的声纹特征,因此第二多媒体数据中的音色和音调等特征,与原始的第一多媒体数据的音色和音调等特征是一致的,使得转换得到的第二多媒体数据更加自然,且与第一多媒体数据更加贴切,避免了由于语种转换而导致音频数据播放效果过于突兀的问题,有利于提升用户的观看体验。
可选地,服务器对第一多媒体数据进行语种转换,得到第二多媒体数据之后,将该第二多媒体数据与第一多媒体数据对应存储于数据库中。后续需要播放第二多媒体数据时,直接在数据库中获取即可。
在另一种可能实现方式中,上述步骤407包括:服务器响应于第一语种与第二语种不同,且用户标识满足语种转换条件,获取第二多媒体数据。
其中,语种转换条件包括:用户标识的历史操作记录中不包括语种恢复操作,或者,用户标识的历史操作记录中语种恢复操作的执行次数不大于参考次数。可选地,参考次数由服务器自行设置,例如,参考次数为1次或者3次等。
服务器确定第一语种与第二语种不同之后,查询该用户标识对应的历史操作记录,在该历史操作记录中查询语种恢复操作,如果历史操作记录中不包括语种恢复操作,则获取第二多媒体数据。或者,服务器确定第一语种与第二语种不同之后,查询该用户标识对应的历史操作记录,在该历史操作记录中查询语种恢复操作,如果历史操作记录中的语种恢复操作的执行次数不大于参考次数,则获取第二多媒体数据。
其中,语种恢复操作是:为登录用户标识的终端下发第二语种的多媒体数据后,又恢复为第一语种的多媒体数据的操作。当使用第二语种的用户想要观看某一多媒体数据,而该多媒体数据所属的语种为第一语种,且第一语种和第二语种不同时,服务器为了便于用户理解多媒体数据,则将该多媒体数据对应的第二语种的多媒体数据下发给登录对应的用户标识的终端,由终端播放该第二语种的多媒体数据。当终端播放该第二语种的多媒体数据之后,如果该用户不想观看第二语种的多媒体数据,而是想观看原始的、属于第一语种的多媒体数据,则用户可以触发语种恢复请求,使终端向服务器发送语种恢复指令,则服务器将第一语种的多媒体数据下发给终端,使终端中播放的第二语种的多媒体数据恢复为第一语种的多媒体数据。
上述过程即为执行一次语种恢复操作,该语种恢复操作可以反映用户的播放习惯,确定该用户想要播放原始的、属于第一语种的多媒体数据,而不是想要播放与自己所属的第二语种匹配的多媒体数据。并且,服务器会根据终端的执行情况生成用户标识对应的历史操作记录,终端执行语种恢复操作后,服务器将语种恢复操作存储于该历史操作记录中,以便后续查询。
因此,当用户标识的历史操作记录中包括语种恢复操作,或者语种恢复操作的执行次数大于参考次数时,可以认为该用户标识对应的用户虽然使用第二语种,但是该用户更倾向于观看第一语种的多媒体数据,则服务器不执行获取属于第二语种的第二多媒体数据的操作,而是执行获取第一多媒体数据的操作。而当用户标识的历史操作记录中不包括语种恢复操作,或者语种恢复操作的执行次数不大于参考次数时,为了使得播放的多媒体数据便于用户理解,服务器获取属于第二语种的第二多媒体数据,后续下发该第二多媒体数据。
408、服务器向终端发送第二多媒体数据。
在一种可能实现方式中,多媒体数据包括多个播放时间点,每个播放时间点对应一组数据,播放时间点是以每个时间点与起始时间点的差值来表示的,例如时长为2小时的视频数据,播放起始时间点为0,播放结束时间点为2小时,播放起始时间点和播放结束时间点之间可以以秒为单位,划分出多个播放时间点,每两个不同的播放时间点之间的差值为从第一个播放时间点,播放到第二个播放时间点的播放时长。则服务器在发送第二多媒体数据时,以参考时长为单位,从第二多媒体数据的起始时间点开始,按照播放顺序,每次将该第二多媒体数据中的、该参考时长的数据片段发送给终端,供终端进行播放,并在终端播放过程中继续将之后的参考时长的数据片段发送给终端,直至将完整的第二多媒体数据发送完成。可选地,参考时长由服务器自行设置,例如参考时长为5秒、10秒或者1分钟等。
可选地,将第一多媒体数据转换为第二多媒体数据的过程中,服务器以参考时长为单位,从第一多媒体数据的起始时间点开始,按照第一多媒体数据的播放顺序,每次将该第一多媒体数据中的、该参考时长的数据片段进行语种转换,并将转换得到的数据片段发送给终端,供终端进行播放,并在终端播放过程中继续将第一多媒体数据中的、之后的参考时长的数据片段进行语种转换,直至将完整的第一多媒体数据转换成第二多媒体数据,并将完整的第二多媒体数据发送完成。
可选地,该第一多媒体数据为服务器中存储的多媒体数据,或者该第一多媒体数据为服务器实时获取的直播数据流。在第一多媒体数据为直播数据流的情况下,服务器实时对获取到的直播数据流进行语种转换,并同步将转换得到的直播数据流发送给终端。其中,转换得到的直播数据流即为第二多媒体数据。
在另一种可能实现方式中,服务器直接将完整的第二多媒体数据发送给服务器。或者,服务器直接将完整的第一多媒体数据进行语种转换,得到完整的第二多媒体数据,并将完整的第二多媒体数据直接发送给终端。
409、终端接收服务器发送的第二多媒体数据,播放第二多媒体数据。
在一种可能实现方式中,终端接收到服务器发送的第二多媒体数据,显示多媒体数据播放界面,在该多媒体数据播放界面中播放该第二多媒体数据。
图5是本申请实施例提供的另一种多媒体数据播放方法的流程图,参见图5,播放多媒体数据的过程包括:
501、用户打开终端中安装的多媒体数据播放应用;
502、终端检测到多媒体数据播放应用开启,则打开终端中配置的摄像头和麦克风;
503、终端通过摄像头拍摄用户图像数据,通过麦克风录制用户音频数据;
504、终端将用户图像数据和用户音频数据发送给服务器;
505、服务器对用户图像数据和用户音频数据进行识别,得到用户对应的第二语种;
506、终端向服务器发送对第一多媒体数据的播放指令;
507、服务器对第一多媒体数据进行语种转换,生成第二多媒体数据,该第二多媒体数据属于第二语种;
508、服务器将第二多媒体数据发送给终端;
509、终端播放该第二多媒体数据。
图5中的流程图仅以终端配置摄像头和麦克风为例进行说明。可选地,该摄像头和麦克风不是终端中配置的,而是与终端连接的摄像头和麦克风。
图6是本申请实施例提供的另一种多媒体数据播放方法的流程图,参见图6,播放多媒体数据的过程包括:
601、运营人员将第一多媒体数据上传至服务器中;
602、服务器对第一多媒体数据进行语种识别,识别到第一多媒体数据属于第一语种,将第一语种与第一多媒体数据对应存储于云数据库中;
603、用户打开终端中安装的多媒体数据播放应用;
604、终端检测到多媒体数据播放应用开启,则打开终端中配置的摄像头和麦克风;
605、终端通过摄像头拍摄用户图像数据,通过麦克风录制用户音频数据;
606、终端将用户图像数据和用户音频数据发送给服务器;
607、服务器对用户图像数据和用户音频数据进行识别,得到用户对应的第二语种;
608、终端向服务器发送对第一多媒体数据的播放指令,播放指令中携带用户标识;
609、服务器从云数据库中查询第一语种和第二语种是否相同,其中第一多媒体数据属于第一语种,用户标识对应第二语种;
610、如果第一语种和第二语种不同,则服务器查询云数据库中是否存在第一多媒体数据对应的第二语种的多媒体数据,如果不存在第二语种的多媒体数据,则执行下述步骤611,如果存在第二语种的多媒体数据,则执行下述步骤612;
611、服务器对第一多媒体数据进行语种转换,生成属于第二语种的第二多媒体数据;
612、服务器将该第二语种的多媒体数据发送给终端;
613、终端播放该第二语种的多媒体数据。
本申请实施例提供的方法,终端能够显示具有同一数据标识的属于不同语种的多个多媒体数据。而如果当前显示的界面中仅包括属于第一语种的第一多媒体数据,用户触发对第一多媒体数据的触发操作,即可自动播放与用户所属语种相匹配的第二多媒体数据,无需用户手动搜索第二多媒体数据,也无需用户手动选择播放第二多媒体数据,使得播放多媒体数据的操作更加简便。
例如,终端显示英文版本的电影,则使用中文的用户想要观看该电影,直接触发该英文版本的电影,即可自动播放中文版本的电影,无需用户搜索中文版本的电影,也无需用户手动将英文版本的电影切换为中文版本的电影,简化了用户操作,提高了操作效率。
需要说明的是,本申请仅说明了第一语种与第二语种不同时,服务器向终端发送属于第二语种的第二多媒体数据,终端播放第二多媒体数据的过程。
在另一实施例中,服务器响应于第一语种与第二语种不同,且用户标识不满足语种转换条件,向终端发送第一多媒体数据,终端接收第一多媒体数据,播放该第一多媒体数据。其中,该语种转换条件与上述步骤407中的语种转换条件相同,在此不再一一赘述。用户标识不满足语种转换条件,可以认为用户更倾向于观看第一语种的多媒体数据,则服务器直接获取属于第一语种的第一多媒体数据,并发送给终端,由终端播放该第一多媒体数据,不再执行为了使播放的多媒体数据所属的语种与用户使用的语种相同,而播放第二多媒体数据的步骤。
在另一实施例中,服务器响应于第一语种与第二语种相同,获取第一多媒体数据,向终端发送第一多媒体数据,终端接收第一多媒体数据,播放该第一多媒体数据。服务器接收到播放指令时,在数据库中查询该播放指令对应的第一多媒体数据所属的第一语种,以及播放指令中的用户标识对应的第二语种,如果第一语种与第二语种相同,则并不会存在用户不便于理解第一多媒体数据的问题,则服务器直接获取该属于第一语种的第一多媒体数据,并发送给终端,由终端播放该第一多媒体数据。
410、终端响应于对第二多媒体数据的语种恢复请求,向服务器发送语种恢复指令。
由于用户执行的是对第一多媒体数据的触发操作,用户想要观看的是第一多媒体数据,为了使播放的多媒体数据所属的语种与用户使用的语种相同,服务器自动将第一多媒体数据对应的第二多媒体数据发送给终端播放。因此,当终端播放该第二多媒体数据之后,可能存在该用户不想观看第二多媒体数据,而是想观看第一多媒体数据的情况。则用户执行对该第二多媒体数据的语种恢复请求的触发操作,则终端响应于该语种恢复请求,向服务器发送语种恢复指令,该语种恢复指令携带用户标识,该语种恢复指令用于指示服务器将终端中播放的第二多媒体数据恢复为第一多媒体数据。
在一种可能实现方式中,终端显示多媒体数据播放界面,在该多媒体数据播放界面中播放该第二多媒体数据。其中,多媒体数据播放界面中包括语种恢复选项。当用户想要将播放的第二多媒体数据切换为第一多媒体数据时,则用户执行对该语种恢复选项的触发操作,终端响应于对该语种恢复选项的触发操作,向服务器发送该语种恢复指令。
411、服务器接收终端发送的语种恢复指令,向终端发送第一多媒体数据。
服务器接收到终端发送的语种恢复指令,则获取第二多媒体数据对应的第一多媒体数据,向终端发送该第一多媒体数据。
412、终端接收服务器发送的第一多媒体数据,将播放的第二多媒体数据切换为第一多媒体数据。
终端接收到第一多媒体数据,则将当前播放的第二多媒体数据切换为第一多媒体数据。
需要说明的是,本申请实施例仅说明了终端播放第二多媒体数据之后,向服务器发送语种恢复指令,从而将播放第二多媒体数据恢复为播放第一多媒体数据。在另一实施例中,用户还可以自行选择播放哪个语种的多媒体数据。
其中,服务器确定数据库中还存储有与第一多媒体数据对应的多个其他多媒体数据,确定该多个其他多媒体数据所属的语种,并将该第一多媒体数据所属的语种以及多个其他多媒体数据所属的语种,发送给终端。终端在多媒体数据播放界面中播放第二多媒体数据,其中该多媒体数据播放界面中还包括多个语种,多个语种包括第一多媒体数据和多个其他多媒体数据所属的语种,用户可以选择自己想要观看的、目标语种的多媒体数据。则终端响应于对多个语种中的目标语种的触发操作,向服务器发送携带目标语种的语种切换指令。服务器接收到语种切换指令,则在第一多媒体数据和多个其他多媒体数据中获取属于目标语种的目标多媒体数据,将该目标多媒体数据发送给终端。终端接收服务器发送的目标多媒体数据,将播放的第二多媒体数据切换为目标多媒体数据。
本申请实施例提供的方法中,用户在终端触发了对第一多媒体数据的播放后,由于第一多媒体数据为第一语种,与用户使用的第二语种不同,因此为了避免用户在观看时出现语言不通的问题,可以由服务器提供第一多媒体数据对应的、属于第二语种的第二多媒体数据,由终端播放第二多媒体数据,从而实现了自动播放与用户语种相匹配的多媒体数据。在此过程中,用户仅需执行对第一多媒体数据的触发操作,即可自动播放第二多媒体数据,无需用户手动搜索第二多媒体数据,也无需用户手动选择播放第二多媒体数据,因此简化了用户的操作,提高了操作效率。
并且,对属于第一语种的音频数据进行语种转换,得到属于第二语种的音频数据,实现了通过服务器自动对音频数据进行语种转换,无需通过人工配音来获取其他语种的音频数据。对属于第一语种的文本数据进行语种转换,得到属于第二语种的文本数据,实现了通过服务器自动对文本数据进行语种转换,无需通过人工翻译字幕来获取其他语种的文本数据。因此本申请实施例提供的方法,能够节省人力和时间,使得语种转换更加智能化,提高了对多媒体数据进行语种转换的效率。
并且,由于根据声纹特征对第一音频数据进行语种转换得到第二音频数据,因此第二多媒体数据,保留了第一多媒体数据的声纹特征,第二多媒体数据中的音色和音调等特征,与原始的第一多媒体数据的音色和音调等特征是一致的,使得第二多媒体数据更加自然,且与第一多媒体数据更加贴切,避免了由于语种转换而导致音频数据播放效果过于突兀的问题,有利于提升用户的观看体验。
并且,即使数据库中不包括与第一多媒体数据对应且属于第二语种的多媒体数据,也可以对第一多媒体数据进行实时地语种转换,从而得到属于第二语种的第二多媒体数据,可以避免由于数据库中缺乏属于第二语种的多媒体数据,导致无法播放的情况。
并且,当终端播放第二多媒体数据后,若用户想要恢复播放第一多媒体数据,还可以触发语种恢复指令,将播放的第二多媒体数据切换为第一多媒体数据,提高了播放多媒体数据的灵活性,满足了用户的不同语种的需求。
并且,语种恢复操作可以反映用户的播放习惯,因此根据用户执行过的语种恢复操作,能够确定该用户想要播放原始的第一多媒体数据,还是想要播放与自己的语种相匹配的第二多媒体数据,从而根据用户的播放习惯,确定为用户播放第一多媒体数据还是第二多媒体数据,能够根据用户习惯来满足用户的不同语种的需求。
图7是本申请实施例提供的一种多媒体数据播放装置的结构示意图。参见图7,该装置包括:
播放指令接收模块701,用于接收终端发送的播放指令,播放指令携带终端登录的用户标识,播放指令由终端检测到对第一多媒体数据的触发操作时发送;
数据获取模块702,用于响应于第一多媒体数据所属的第一语种与用户标识对应的第二语种不同,获取第二多媒体数据,第二多媒体数据属于第二语种;
数据发送模块703,用于向终端发送第二多媒体数据,终端用于播放第二多媒体数据。
可选地,参见图8,装置还包括:
数据接收模块704,用于接收终端采集的用户数据和终端登录的用户标识,用户数据包括用户图像数据或用户音频数据中的至少一项;
语种识别模块705,用于对用户数据进行语种识别,得到用户数据对应的第二语种;
存储模块706,用于将第二语种与用户标识对应存储。
可选地,参见图8,语种识别模块705,还用于对第一多媒体数据进行语种识别,得到第一多媒体数据所属的第一语种;
存储模块706,还用于将第一语种与第一多媒体数据对应存储。
可选地,参见图8,数据获取模块702,包括:
语种转换单元712,用于响应于第一语种与第二语种不同,且数据库中不包括与第一多媒体数据对应且属于第二语种的多媒体数据,对第一多媒体数据进行语种转换,得到第二多媒体数据。
可选地,参见图8,第一多媒体数据包括图像数据和属于第一语种的第一音频数据,语种转换单元712,用于:
对第一音频数据进行语种转换,得到第二音频数据,第二音频数据属于第二语种;
将图像数据和第二音频数据进行合成处理,得到第二多媒体数据。
可选地,参见图8,语种转换单元712,用于:对第一文本数据进行语种转换,得到第二文本数据,第二文本数据属于第二语种;
将图像数据、第二音频数据和第二文本数据进行合成处理,得到第二多媒体数据。
可选地,参见图8,语种转换单元712,用于:提取第一音频数据的声纹特征;
根据声纹特征对第一音频数据进行语种转换,得到包含声纹特征的第二音频数据。
可选地,参见图8,数据获取模块702,包括:
第一数据获取单元722,用于响应于第一语种与第二语种不同,且用户标识满足语种转换条件,获取第二多媒体数据;
语种转换条件包括:用户标识的历史操作记录中不包括语种恢复操作,或者,用户标识的历史操作记录中语种恢复操作的执行次数不大于参考次数;语种恢复操作是:为登录用户标识的终端下发第二语种的多媒体数据后,又恢复为第一语种的多媒体数据的操作。
可选地,参见图8,数据发送模块703,用于:响应于第一语种与第二语种不同,且用户标识不满足语种转换条件,向终端发送第一多媒体数据。
可选地,参见图8,数据获取模块702,包括:
第二数据获取单元732,用于响应于第一语种与第二语种不同,获取数据库中与第一多媒体数据对应且属于第二语种的第二多媒体数据。
可选地,参见图8,数据发送模块703,用于响应于第一语种与第二语种相同,向终端发送第一多媒体数据。
可选地,参见图8,装置还包括:
恢复指令接收模块707,用于接收终端发送的语种恢复指令;
数据发送模块703,还用于向终端发送第一多媒体数据,终端用于将播放的第二多媒体数据切换为第一多媒体数据。
需要说明的是:上述实施例提供的多媒体数据播放装置在播放多媒体数据时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的多媒体数据播放装置与多媒体数据播放方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例提供的装置,用户在终端触发了对第一多媒体数据的播放后,由于第一多媒体数据为第一语种,与用户使用的第二语种不同,因此为了避免用户在观看时出现语言不通的问题,可以由服务器提供第一多媒体数据对应的、属于第二语种的第二多媒体数据,由终端播放第二多媒体数据,从而实现了自动播放与用户语种相匹配的多媒体数据。在此过程中,用户仅需执行对第一多媒体数据的触发操作,即可自动播放第二多媒体数据,无需用户手动搜索第二多媒体数据,也无需用户手动选择播放第二多媒体数据,因此简化了用户的操作,提高了操作效率。
并且,对属于第一语种的音频数据进行语种转换,得到属于第二语种的音频数据,实现了通过服务器自动对音频数据进行语种转换,无需通过人工配音来获取其他语种的音频数据。对属于第一语种的文本数据进行语种转换,得到属于第二语种的文本数据,实现了通过服务器自动对文本数据进行语种转换,无需通过人工翻译字幕来获取其他语种的文本数据。因此本申请实施例提供的方法,能够节省人力和时间,使得语种转换更加智能化,提高了对多媒体数据进行语种转换的效率。
并且,由于根据声纹特征对第一音频数据进行语种转换得到第二音频数据,因此第二多媒体数据,保留了第一多媒体数据的声纹特征,第二多媒体数据中的音色和音调等特征,与原始的第一多媒体数据的音色和音调等特征是一致的,使得第二多媒体数据更加自然,且与第一多媒体数据更加贴切,避免了由于语种转换而导致音频数据播放效果过于突兀的问题,有利于提升用户的观看体验。
并且,即使数据库中不包括与第一多媒体数据对应且属于第二语种的多媒体数据,也可以对第一多媒体数据进行实时地语种转换,从而得到属于第二语种的第二多媒体数据,可以避免由于数据库中缺乏属于第二语种的多媒体数据,导致无法播放的情况。
并且,当终端播放第二多媒体数据后,若用户想要恢复播放第一多媒体数据,还可以触发语种恢复指令,将播放的第二多媒体数据切换为第一多媒体数据,提高了播放多媒体数据的灵活性,满足了用户的不同语种的需求。
并且,语种恢复操作可以反映用户的播放习惯,因此根据用户执行过的语种恢复操作,能够确定该用户想要播放原始的第一多媒体数据,还是想要播放与自己的语种相匹配的第二多媒体数据,从而根据用户的播放习惯,确定为用户播放第一多媒体数据还是第二多媒体数据,能够根据用户习惯来满足用户的不同语种的需求。
图9是本申请实施例提供的另一种多媒体数据播放装置的结构示意图。参见图9,该装置包括:
播放指令发送模块901,用于响应于对第一多媒体数据的触发操作,向服务器发送播放指令,播放指令携带终端登录的用户标识;
数据接收模块902,用于接收服务器发送的第二多媒体数据,第二多媒体数据属于第二语种;
数据播放模块903,用于播放第二多媒体数据;
其中,服务器用于响应于第一多媒体数据所属的第一语种与用户标识对应的第二语种不同,返回第二多媒体数据。
可选地,参见图10,装置还包括:
用户数据采集模块904,用于在登录用户标识的情况下采集用户数据,用户数据包括用户图像数据或用户音频数据中的至少一项;
数据发送模块905,用于将用户数据和用户标识发送给服务器,服务器用于对用户数据进行语种识别,得到用户数据对应的第二语种,将第二语种与用户标识对应存储。
可选地,参见图10,装置还包括:
恢复指令发送模块906,用于响应于对第二多媒体数据的语种恢复请求,向服务器发送语种恢复指令;
数据接收模块902,还用于接收服务器发送的第一多媒体数据;
数据播放模块903,还用于将播放的第二多媒体数据切换为第一多媒体数据。
需要说明的是:上述实施例提供的多媒体数据播放装置在播放多媒体数据时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的多媒体数据播放装置与多媒体数据播放方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例提供的装置,用户在终端触发了对第一多媒体数据的播放后,由于第一多媒体数据为第一语种,与用户使用的第二语种不同,因此为了避免用户在观看时出现语言不通的问题,可以由服务器提供第一多媒体数据对应的、属于第二语种的第二多媒体数据,由终端播放第二多媒体数据,从而实现了自动播放与用户语种相匹配的多媒体数据。在此过程中,用户仅需执行对第一多媒体数据的触发操作,即可自动播放第二多媒体数据,无需用户手动搜索第二多媒体数据,也无需用户手动选择播放第二多媒体数据,因此简化了用户的操作,提高了操作效率。
并且,对属于第一语种的音频数据进行语种转换,得到属于第二语种的音频数据,实现了通过服务器自动对音频数据进行语种转换,无需通过人工配音来获取其他语种的音频数据。对属于第一语种的文本数据进行语种转换,得到属于第二语种的文本数据,实现了通过服务器自动对文本数据进行语种转换,无需通过人工翻译字幕来获取其他语种的文本数据。因此本申请实施例提供的方法,能够节省人力和时间,使得语种转换更加智能化,提高了对多媒体数据进行语种转换的效率。
并且,由于根据声纹特征对第一音频数据进行语种转换得到第二音频数据,因此第二多媒体数据,保留了第一多媒体数据的声纹特征,第二多媒体数据中的音色和音调等特征,与原始的第一多媒体数据的音色和音调等特征是一致的,使得第二多媒体数据更加自然,且与第一多媒体数据更加贴切,避免了由于语种转换而导致音频数据播放效果过于突兀的问题,有利于提升用户的观看体验。
并且,即使数据库中不包括与第一多媒体数据对应且属于第二语种的多媒体数据,也可以对第一多媒体数据进行实时地语种转换,从而得到属于第二语种的第二多媒体数据,可以避免由于数据库中缺乏属于第二语种的多媒体数据,导致无法播放的情况。
并且,当终端播放第二多媒体数据后,若用户想要恢复播放第一多媒体数据,还可以触发语种恢复指令,将播放的第二多媒体数据切换为第一多媒体数据,提高了播放多媒体数据的灵活性,满足了用户的不同语种的需求。
并且,语种恢复操作可以反映用户的播放习惯,因此根据用户执行过的语种恢复操作,能够确定该用户想要播放原始的第一多媒体数据,还是想要播放与自己的语种相匹配的第二多媒体数据,从而根据用户的播放习惯,确定为用户播放第一多媒体数据还是第二多媒体数据,能够根据用户习惯来满足用户的不同语种的需求。
图11示出了本申请一个示例性实施例提供的终端1100的结构示意图。终端1100可以用于执行上述多媒体数据播放方法中终端所执行的步骤。
通常,终端1100包括有:处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1101可以集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1101还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1102中的非暂态的计算机可读存储介质用于存储至少一条程序代码,该至少一条程序代码用于被处理器1101所具有以实现本申请中方法实施例提供的多媒体数据播放方法。
在一些实施例中,终端1100还可选包括有:外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。可选地,外围设备包括:射频电路1104、显示屏1105、摄像头组件1106和音频电路1107中的至少一种。
外围设备接口1103可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中,处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上;在一些其他实施例中,处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1104包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1104还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1105用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时,显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时,显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1105可以为一个,设置在终端1100的前面板;在另一些实施例中,显示屏1105可以为至少两个,分别设置在终端1100的不同表面或呈折叠设计;在另一些实施例中,显示屏1105可以是柔性显示屏,设置在终端1100的弯曲表面上或折叠面上。甚至,显示屏1105还可以设置成非矩形的不规则图形,也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1106用于采集图像或视频。可选地,摄像头组件1106包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端1100的前面板,后置摄像头设置在终端1100的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1101进行处理,或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1107还可以包括耳机插孔。
在一些实施例中,终端1100还包括有一个或多个传感器1108。该一个或多个传感器1108包括但不限于:压力传感器1109和指纹传感器1110。
压力传感器1109设置在终端1100的侧边框和/或显示屏1105的下层。当压力传感器1109设置在终端1100的侧边框时,可以检测用户对终端1100的握持信号,由处理器1101根据压力传感器1109采集的握持信号进行左右手识别或快捷操作。当压力传感器1109设置在显示屏1105的下层时,由处理器1101根据用户对显示屏1105的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1110用于采集用户的指纹,由处理器1101根据指纹传感器1110采集到的指纹识别用户的身份,或者,由指纹传感器1110根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1101授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1110可以被设置在终端1100的正面、背面或侧面。当终端1100上设置有物理按键或厂商Logo时,指纹传感器1110可以与物理按键或厂商标志集成在一起。
本领域技术人员可以理解,图11中示出的结构并不构成对终端1100的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图12是本申请实施例提供的一种服务器的结构示意图,该服务器1200可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)1201和一个或一个以上的存储器1202,其中,所述存储器1202中存储有至少一条程序代码,所述至少一条程序代码由所述处理器1201加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器1200可以用于执行上述多媒体数据播放方法中服务器所执行的步骤。
本申请实施例还提供了一种服务器,该服务器包括处理器和存储器,存储器中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的多媒体数据播放方法。
本申请实施例还提供了一种终端,该终端包括处理器和存储器,存储器中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的多媒体数据播放方法。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的多媒体数据播放方法。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取计算机程序代码,处理器执行计算机程序代码,使得计算机设备实现如上述方面所述的多媒体数据播放方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (14)

1.一种多媒体数据播放方法,其特征在于,所述方法包括:
接收终端发送的播放指令,所述播放指令携带所述终端登录的用户标识,所述播放指令由所述终端检测到对第一多媒体数据的触发操作时发送;
响应于所述第一多媒体数据所属的第一语种与所述用户标识对应的第二语种不同,且所述用户标识满足语种转换条件,获取第二多媒体数据,所述第二多媒体数据与所述第一多媒体数据所表示的内容相同,且所述第一多媒体数据中的第一音频数据属于所述第一语种,所述第二多媒体数据中的第二音频数据属于所述第二语种;
向所述终端发送所述第二多媒体数据,所述终端用于播放所述第二多媒体数据;
其中,所述语种转换条件包括:所述用户标识的历史操作记录中不包括语种恢复操作,或者,所述用户标识的历史操作记录中语种恢复操作的执行次数不大于参考次数;所述语种恢复操作是:为登录所述用户标识的终端下发所述第二语种的多媒体数据后,又恢复为所述第一语种的多媒体数据的操作。
2.根据权利要求1所述的方法,其特征在于,所述响应于所述第一多媒体数据所属的第一语种与所述用户标识对应的第二语种不同,且所述用户标识满足语种转换条件,获取第二多媒体数据,包括:
响应于所述第一语种与所述第二语种不同,且所述用户标识满足所述语种转换条件,且数据库中不包括与所述第一多媒体数据对应且属于所述第二语种的多媒体数据,对所述第一多媒体数据进行语种转换,得到所述第二多媒体数据。
3.根据权利要求2所述的方法,其特征在于,所述第一多媒体数据包括图像数据和所述第一音频数据,所述对所述第一多媒体数据进行语种转换,得到所述第二多媒体数据,包括:
对所述第一音频数据进行语种转换,得到所述第二音频数据;
将所述图像数据和所述第二音频数据进行合成处理,得到所述第二多媒体数据。
4.根据权利要求3所述的方法,其特征在于,所述第一多媒体数据还包括属于所述第一语种的第一文本数据,所述方法还包括:
对所述第一文本数据进行语种转换,得到第二文本数据,所述第二文本数据属于所述第二语种;
所述将所述图像数据和所述第二音频数据进行合成处理,得到所述第二多媒体数据,包括:将所述图像数据、所述第二音频数据和所述第二文本数据进行合成处理,得到所述第二多媒体数据。
5.根据权利要求3所述的方法,其特征在于,所述对所述第一音频数据进行语种转换,得到所述第二音频数据,包括:
提取所述第一音频数据的声纹特征;
根据所述声纹特征对所述第一音频数据进行语种转换,得到包含所述声纹特征的所述第二音频数据。
6.根据权利要求1所述的方法,其特征在于,所述响应于所述第一多媒体数据所属的第一语种与所述用户标识对应的第二语种不同,且所述用户标识满足语种转换条件,获取第二多媒体数据,包括:
响应于所述第一语种与所述第二语种不同,且所述用户标识满足所述语种转换条件,获取数据库中与所述第一多媒体数据对应且属于所述第二语种的所述第二多媒体数据。
7.根据权利要求1所述的方法,其特征在于,所述向所述终端发送所述第二多媒体数据之后,所述方法还包括:
接收所述终端发送的语种恢复指令;
向所述终端发送所述第一多媒体数据,所述终端用于将播放的所述第二多媒体数据切换为所述第一多媒体数据。
8.一种多媒体数据播放方法,其特征在于,所述方法包括:
响应于对第一多媒体数据的触发操作,向服务器发送播放指令,所述第一多媒体数据中的第一音频数据属于第一语种,所述播放指令携带终端登录的用户标识;
接收所述服务器发送的第二多媒体数据,所述第二多媒体数据与所述第一多媒体数据所表示的内容相同,且所述第二多媒体数据中的第二音频数据属于第二语种;
播放所述第二多媒体数据;
其中,所述服务器用于响应于所述第一语种与所述用户标识对应的所述第二语种不同,且所述用户标识满足语种转换条件,返回所述第二多媒体数据;
其中,所述语种转换条件包括:所述用户标识的历史操作记录中不包括语种恢复操作,或者,所述用户标识的历史操作记录中语种恢复操作的执行次数不大于参考次数;所述语种恢复操作是:为登录所述用户标识的终端下发所述第二语种的多媒体数据后,又恢复为所述第一语种的多媒体数据的操作。
9.根据权利要求8所述的方法,其特征在于,所述播放所述第二多媒体数据之后,所述方法还包括:
响应于对所述第二多媒体数据的语种恢复请求,向所述服务器发送语种恢复指令;
接收所述服务器发送的所述第一多媒体数据;
将播放的所述第二多媒体数据切换为所述第一多媒体数据。
10.一种多媒体数据播放装置,其特征在于,所述装置包括:
播放指令接收模块,用于接收终端发送的播放指令,所述播放指令携带所述终端登录的用户标识,所述播放指令由所述终端检测到对第一多媒体数据的触发操作时发送;
数据获取模块,用于响应于所述第一多媒体数据所属的第一语种与所述用户标识对应的第二语种不同,且所述用户标识满足语种转换条件,获取第二多媒体数据,所述第二多媒体数据与所述第一多媒体数据所表示的内容相同,且所述第一多媒体数据中的第一音频数据属于所述第一语种,所述第二多媒体数据中的第二音频数据属于所述第二语种;
数据发送模块,用于向所述终端发送所述第二多媒体数据,所述终端用于播放所述第二多媒体数据;
其中,所述语种转换条件包括:所述用户标识的历史操作记录中不包括语种恢复操作,或者,所述用户标识的历史操作记录中语种恢复操作的执行次数不大于参考次数;所述语种恢复操作是:为登录所述用户标识的终端下发所述第二语种的多媒体数据后,又恢复为所述第一语种的多媒体数据的操作。
11.一种多媒体数据播放装置,其特征在于,所述装置包括:
播放指令发送模块,用于响应于对第一多媒体数据的触发操作,向服务器发送播放指令,所述第一多媒体数据中的第一音频数据属于第一语种,所述播放指令携带终端登录的用户标识;
数据接收模块,用于接收所述服务器发送的第二多媒体数据,所述第二多媒体数据与所述第一多媒体数据所表示的内容相同,且所述第二多媒体数据中的第二音频数据属于第二语种;
数据播放模块,用于播放所述第二多媒体数据;
其中,所述服务器用于响应于所述第一语种与所述用户标识对应的所述第二语种不同,且所述用户标识满足语种转换条件,返回所述第二多媒体数据;
其中,所述语种转换条件包括:所述用户标识的历史操作记录中不包括语种恢复操作,或者,所述用户标识的历史操作记录中语种恢复操作的执行次数不大于参考次数;所述语种恢复操作是:为登录所述用户标识的终端下发所述第二语种的多媒体数据后,又恢复为所述第一语种的多媒体数据的操作。
12.一种服务器,其特征在于,所述服务器包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如权利要求1至7任一所述的多媒体数据播放方法。
13.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如权利要求8至9任一所述的多媒体数据播放方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现如权利要求1至7任一所述的多媒体数据播放方法,或者实现如权利要求8至9任一所述的多媒体数据播放方法。
CN202010670467.2A 2020-07-13 2020-07-13 多媒体数据播放方法、装置、计算机设备及存储介质 Active CN111901675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010670467.2A CN111901675B (zh) 2020-07-13 2020-07-13 多媒体数据播放方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010670467.2A CN111901675B (zh) 2020-07-13 2020-07-13 多媒体数据播放方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111901675A CN111901675A (zh) 2020-11-06
CN111901675B true CN111901675B (zh) 2021-09-21

Family

ID=73192467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010670467.2A Active CN111901675B (zh) 2020-07-13 2020-07-13 多媒体数据播放方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111901675B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105704579A (zh) * 2014-11-27 2016-06-22 南京苏宁软件技术有限公司 媒体播放中实时自动翻译字幕的方法和系统
CN108962220A (zh) * 2018-07-26 2018-12-07 北京小米移动软件有限公司 多媒体文件播放场景下的文本显示方法及装置
CN109119063A (zh) * 2018-08-31 2019-01-01 腾讯科技(深圳)有限公司 视频配音生成方法、装置、设备及存储介质
CN110516266A (zh) * 2019-09-20 2019-11-29 张启 视频字幕自动翻译方法、装置、存储介质及计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743120B2 (en) * 2007-04-30 2017-08-22 Yahoo Holdings, Inc. System and method for video conversations
CN103281683B (zh) * 2013-06-08 2016-08-17 网易(杭州)网络有限公司 一种发送语音消息的方法及装置
US9214156B2 (en) * 2013-08-06 2015-12-15 Nuance Communications, Inc. Method and apparatus for a multi I/O modality language independent user-interaction platform
CN110798743A (zh) * 2018-08-02 2020-02-14 腾讯科技(深圳)有限公司 视频播放方法、装置及计算机可读存储介质
US10565320B1 (en) * 2018-09-28 2020-02-18 International Business Machines Corporation Dynamic multilingual speech recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105704579A (zh) * 2014-11-27 2016-06-22 南京苏宁软件技术有限公司 媒体播放中实时自动翻译字幕的方法和系统
CN108962220A (zh) * 2018-07-26 2018-12-07 北京小米移动软件有限公司 多媒体文件播放场景下的文本显示方法及装置
CN109119063A (zh) * 2018-08-31 2019-01-01 腾讯科技(深圳)有限公司 视频配音生成方法、装置、设备及存储介质
CN110516266A (zh) * 2019-09-20 2019-11-29 张启 视频字幕自动翻译方法、装置、存储介质及计算机设备

Also Published As

Publication number Publication date
CN111901675A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN110572711B (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN110503959B (zh) 语音识别数据分发方法、装置、计算机设备及存储介质
CN110572716B (zh) 多媒体数据播放方法、装置及存储介质
CN105635452A (zh) 移动终端及其联系人标识方法
CN112261481B (zh) 互动视频的创建方法、装置、设备及可读存储介质
CN112257552B (zh) 图像处理方法、装置、设备及存储介质
US20230368461A1 (en) Method and apparatus for processing action of virtual object, and storage medium
CN111739517A (zh) 语音识别方法、装置、计算机设备及介质
CN111491123A (zh) 视频背景处理方法、装置及电子设备
CN112115282A (zh) 基于搜索的问答方法、装置、设备及存储介质
CN112068762A (zh) 应用程序的界面显示方法、装置、设备及介质
CN111339938A (zh) 信息交互方法、装置、设备及存储介质
CN113490010A (zh) 基于直播视频的互动方法、装置、设备及存储介质
CN110493635B (zh) 视频播放方法、装置及终端
CN111935516A (zh) 音频文件的播放方法、装置、终端、服务器及存储介质
CN114302160B (zh) 信息显示方法、装置、计算机设备及介质
CN111432245A (zh) 多媒体信息的播放控制方法、装置、设备及存储介质
CN112148899A (zh) 多媒体推荐方法、装置、设备及存储介质
CN112423011A (zh) 消息回复方法、装置、设备及存储介质
CN111901675B (zh) 多媒体数据播放方法、装置、计算机设备及存储介质
CN112423008B (zh) 直播方法、装置、终端、服务器以及存储介质
CN111416955B (zh) 一种视频通话方法及电子设备
CN115129932A (zh) 视频片段的确定方法、装置、设备及存储介质
CN110277105B (zh) 消除背景音频数据的方法、装置和系统
CN111368103B (zh) 多媒体数据播放方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant