CN113938723B - 弹幕的播放方法、装置及设备 - Google Patents

弹幕的播放方法、装置及设备 Download PDF

Info

Publication number
CN113938723B
CN113938723B CN202010609985.3A CN202010609985A CN113938723B CN 113938723 B CN113938723 B CN 113938723B CN 202010609985 A CN202010609985 A CN 202010609985A CN 113938723 B CN113938723 B CN 113938723B
Authority
CN
China
Prior art keywords
barrage
target
voice
characters
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010609985.3A
Other languages
English (en)
Other versions
CN113938723A (zh
Inventor
肖彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen Mobvoi Beijing Information Technology Co Ltd
Original Assignee
Volkswagen Mobvoi Beijing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Mobvoi Beijing Information Technology Co Ltd filed Critical Volkswagen Mobvoi Beijing Information Technology Co Ltd
Priority to CN202010609985.3A priority Critical patent/CN113938723B/zh
Publication of CN113938723A publication Critical patent/CN113938723A/zh
Application granted granted Critical
Publication of CN113938723B publication Critical patent/CN113938723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

本公开提供了一种弹幕的播放方法、装置及设备,其中,弹幕的播放方法,包括:获取终端采集到的第一语音对应的文字以及所述第一语音的起始时间以及结束时间;根据所述起始时间、所述结束时间以及弹幕在用户界面上的移动速率确定弹幕在用户界面上的目标位移;根据所述目标位移确定所述弹幕中文字的目标字号;按照所述目标字号的目标字号的尺寸基于所述文字生成弹幕;将所述弹幕发送至第一目标终端,以使所述第一目标终端以所述移动速率在用户界面上移动呈现所述弹幕。

Description

弹幕的播放方法、装置及设备
技术领域
本公开涉及互联网技术领域,尤其涉及一种弹幕的播放方法、装置及设备。
背景技术
目前,基于行车安全考虑,车载智能设备尚未引入视频直播(以下简称直播)功能。但随着自动驾驶智能化技术的逐步完善,行车过程中对用户的注意力的要求将随之降低,用户将会有更多的精力投入与载智能设备的交互中,例如,用户可通过弹幕与其他用户进行互动。但鉴于行车过程中用户还需对驾驶情况保有一定的注意力,而目前弹幕信息的输入及播放形式较为单一,故,如何将用户想表达的内容形成弹幕,以及以何种方式播放弹幕是目前亟待解决的问题。
发明内容
有鉴于此,本公开提出一种弹幕的播放方法、装置及设备,以解决相关技术中弹幕信息的输入及播放形式较为单一的问题。
根据本公开的第一个方面,提供了一种弹幕的播放方法,包括:获取终端采集到的第一语音对应的文字以及所述第一语音的起始时间以及结束时间;根据所述起始时间、所述结束时间以及弹幕在用户界面上的移动速率确定弹幕在用户界面上的目标位移;根据所述目标位移确定所述弹幕中的文字的目标字号;按照所述目标字号的尺寸基于所述文字生成弹幕;将所述弹幕发送至第一目标终端,以使所述第一目标终端以所述移动速率在用户界面上移动呈现所述弹幕。
可选的,所述方法还包括:获取来自第二目标终端的语音播报弹幕的请求;确定已显示在所述第二目标终端的用户界面上且未开始移动的目标弹幕;将所述目标弹幕中的文字转换为第二语音,将所述第二语音发送至所述第二目标终端,以使所述第二目标终端在用户界面上移动呈现所述目标弹幕的时间段内,以语音的形式播报所述目标弹幕中的文字。
可选的,开始移动呈现所述目标弹幕的时间与开始播报所述文字的时间一致,结束移动呈现所述目标弹幕的时间与结束播报所述文字的时间一致。
可选的,所述弹幕中的文字的目标字号与所述弹幕在用户界面上的目标位移呈正相关关系。
根据本公开的第二个方面,提供了一种弹幕的播放方法,包括:获取第一语音,记录所述第一语音的起始时间以及结束时间;对所述第一语音进行语义识别,得到与所述第一语音对应的文字;当所述文字满足预设条件时,将所述文字、所述起始时间以及所述结束时间发送至服务器;接收所述服务器发送的弹幕,其中,所述弹幕中的文字的目标字号是根据所述起始时间、所述结束时间以及弹幕在用户界面上的移动速率确定的;以所述移动速率在用户界面上移动呈现所述弹幕。
可选的,所述方法还包括:获取语音播报弹幕的请求;根据所述语音播报弹幕的请求获取第二语音,其中,所述第二语音由目标弹幕中的文字转换得到,所述目标弹幕为在已呈现在用户界面上且未开始移动的弹幕;在所述用户界面上移动呈现所述目标弹幕的时间段内,播报所述第二语音。
根据本公开的第三个方面,提供了一种弹幕的播放装置,包括:第一获取模块,用于获取终端采集到的第一语音对应的文字以及所述第一语音的起始时间以及结束时间;第一确定模块,用于根据所述起始时间、所述结束时间以及弹幕在用户界面上的移动速率确定弹幕在用户界面上的目标位移;第二确定模块,用于根据所述目标位移确定所述弹幕中的文字的目标字号;生成模块,用于按照所述目标字号的尺寸基于所述文字生成弹幕;第一发送模块,用于将所述弹幕发送至第一目标终端,以使所述第一目标终端以所述移动速率在用户界面上移动呈现所述弹幕。
可选的,所述装置还包括:第二获取模块,用于获取来自第二目标终端的语音播报弹幕的请求;第三确定模块,用于确定已显示在所述第二目标终端的用户界面上且未开始移动的目标弹幕;第二发送模块,用于将所述目标弹幕中的文字转换为第二语音,将所述第二语音发送至所述第二目标终端,以使所述第二目标终端在用户界面上移动呈现所述目标弹幕的时间段内,以语音的形式播报所述目标弹幕中的文字。
可选的,开始移动呈现所述目标弹幕的时间与开始播报所述文字的时间一致,结束移动呈现所述目标弹幕的时间与结束播报所述文字的时间一致。
可选的,所述弹幕中的文字的目标字号与所述弹幕在用户界面上的目标位移呈正相关关系。
根据本公开的第四个方面,提供了一种弹幕的播放装置,包括:第三获取模块,用于获取第一语音,记录所述第一语音的起始时间以及结束时间;识别模块,用于对所述第一语音进行语义识别,得到与所述第一语音对应的文字;第三发送模块,用于当所述文字满足预设条件时,将所述文字、所述起始时间以及所述结束时间发送至服务器;第一接收模块,用于接收所述服务器发送的弹幕,其中,所述弹幕中的文字的目标字号是根据所述起始时间、所述结束时间以及弹幕在用户界面上的移动速率确定的;呈现模块,用于以所述移动速率在用户界面上移动呈现所述弹幕。
可选地,所述装置还包括:第四获取模块,用于获取语音播报弹幕的请求;第五获取模块,用于根据所述语音播报弹幕的请求获取第二语音,其中,所述第二语音由目标弹幕中的文字转换得到,所述目标弹幕为在已呈现在用户界面上且未开始移动的弹幕;播报模块,用于在所述用户界面上移动呈现所述目标弹幕的时间段内,播报所述第二语音。
根据本公开的第五个方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本公开第一个方面以及第二个方面所述的任一种弹幕的播放方法。
从上面所述可以看出,本公开提供的弹幕的播放方法,根据将采集到的语音的起始时间以及结束时间确定即将展示的弹幕在用户界面上的位移,根据该位移确定出弹幕中的文字的大小,避免了弹幕的展示与接收语音的时序不一致的问题,确保了弹幕的展示与接收到的该弹幕对应的语音在时间上的一致性,以及,展示的各弹幕之间的时间间隔,与接收到的语音的时间间隔也是一致的。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本公开一个或多个实施例示出的弹幕的播放方法的流程图;
图2是根据本公开一个或多个实施例示出的弹幕的示意图;
图3是根据本公开一个或多个实施例示出的弹幕的示意图;
图4是根据本公开一个或多个实施例的一种播放弹幕的方法的流程图;
图5是根据本公开一个或多个实施例示出的弹幕的示意图;
图6是根据本公开一个或多个实施例示出的一种弹幕的播放装置的框图;
图7是根据本公开一个或多个实施例示出的一种弹幕的播放装置的框图;
图8是根据本公开一个或多个实施例示出的一种电子设备的框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。
本公开的一个或多个实施例提供了一种弹幕的播放方法,该方法例如可以应用于车载智能设备中,鉴于在车载智能设备上输入文字的不便,因此,可基于用户发出的语音形成弹幕。图1是本公开一个或多个实施例提供的弹幕的播放方法的流程图,该方法可由服务器执行,如图1所示,该方法包括:
步骤101:获取终端采集到的第一语音对应的文字以及所述第一语音的起始时间以及结束时间;
可选的,车载智能设备(为上述终端的一个示例)采用用户发出的第一语音,对第一语音进行语义识别,得到与第一语音对应的文字,在该文字对应于车载智能设备上开启的直播时,可将该文字以及第一语音的起始时间以及结束时间发送至服务器,其中,第一语音的起始时间例如可以是车载智能设备开始接收到第一语音的时刻,第一语音的结束时间例如可以是车载智能设备接收第一语音结束的时刻。
步骤102:根据所述起始时间、所述结束时间以及弹幕在用户界面上的移动速率确定弹幕在用户界面上的目标位移;
例如,可将第一语音的结束时间减去第一语音的起始时间,得到的时长作为弹幕在用户界面上移动的时长,假设系统预先设置了弹幕以一固定移动速率在用户界面上移动显示,则将计算得到的时长与该移动速率相乘,即可得到上述目标位移。
步骤103:根据所述目标位移确定所述弹幕中的文字的目标字号;
可选的,服务器中可预存有字号、弹幕位移以及时间的关系函数F,该关系函数例如可以表示为Y/t=F(X),该式中Y表示弹幕位移、X表示字号、t表示弹幕在用户界面上移动的时长,F(X)例如可以与语音播报的速率和/或弹幕在用户界面上的移动速率成正相关关系。基于该关系函数,将步骤102中确定出的目标位移,以及时长带入该关系函数,再根据F(X)与语音播报速率和移动速率之间的关系,可确定出目标字号。
步骤104:按照所述目标字号的尺寸基于所述文字生成弹幕;
例如,在步骤103中确定出的文字对应的字号越大在用户界面上呈现的字母中该文字的尺寸越大。
步骤105:将所述弹幕发送至第一目标终端,以使所述第一目标终端以所述移动速率在用户界面上移动呈现所述弹幕。
例如,服务器在接收到某一车载智能设备发送的针对某一直播间的评论数据(该评论数据可包括上述第一语音)后,存储该评论后,在数据表中查询当前时间戳下处于该直播间的智能车载设备,其中,各智能车载设备对应一个用户账户,某一用户账户在当前直播间处于在线状态,可认为,该用户账户对应的智能车载设备处于当前直播间。可将这些处于当前直播间的智能车载设备确定为第一目标终端,根据这些智能车载设备的账户ID,将弹幕发送至这些设备上。
需要说明的是,在将某一车载智能设备上传的评论数据同步到处于相同直播间的车载智能设备之前,由于在同步过程中会存在延时,因此,在同步之前,需要检查各车载智能设备是否还停留在当前直播间,如仍停留在当前直播间,则返回弹幕发送成功指令,如某一车载智能设备离开当前直播间,则返回弹幕发送失败的指令。
本公开一个或多个实施例的弹幕的播放方法,根据将采集到的语音的起始时间以及结束时间确定即将展示的弹幕在用户界面上的位移,根据该位移确定出弹幕中的文字的大小,避免了弹幕的展示与接收语音的时序不一致的问题,确保了弹幕的展示与接收到的该弹幕对应的语音在时间上的一致性,以及,展示的各弹幕之间的时间间隔,与接收到的语音的时间间隔也是一致的。
在本公开的一个或多个实施例中,上述弹幕的播放方法还可包括:获取来自第二目标终端的语音播报弹幕的请求;例如,第二目标终端的用户发出类似“收听评论”或“播报弹幕”的语音时,终端通过语义识别,得到语义识别结果,将语义识别结果发送至服务器,服务器根据该语义识别结果,确定第二目标终端需收听弹幕内容。
确定已显示在所述第二目标终端的用户界面上且未开始移动的目标弹幕;
例如,如图2所示,紧靠用户界面最左端的弹幕(如图2中被虚线框出的弹幕)可以被认为是刚显示在用户界面上,还未开始移动的目标弹幕。
将所述目标弹幕中的文字转换为第二语音,将所述第二语音发送至所述第二目标终端,以使所述第二目标终端在所述用户界面上移动呈现所述目标弹幕的时间段内,以语音的形式播报所述目标弹幕中的文字。
例如,服务器可以基于TTS(从文本到语音)将目标弹幕中的文字转换为第二语音。
在获取到基于弹幕的语音播报请求后,以语音的形式播报弹幕内容,可使得不便于查看弹幕内容的用户听到弹幕对应的内容,降低了弹幕对用户产生的视觉干扰,进一步提高了用户体验。
在本公开的一个或多个实施例中,开始移动呈现所述目标弹幕的时间与开始播报所述文字的时间一致,结束移动呈现所述目标弹幕的时间与结束播报所述文字的时间一致,基于此,可实现当目标弹幕在屏幕上移动展示的同时,以语音的形式播报弹幕内容,可使得用户在注视目标弹幕的同时,听到该弹幕对应的语音,使得用户的体验更佳。
在本公开的一个或多个实施例中,其中,所述弹幕中的文字的目标字号与所述弹幕在用户界面上的目标位移呈正相关关系。例如,如图3所示,弹幕在用户界面上的位移可以等于弹幕的长度,图3中虚线框内的弹幕即为移动后的弹幕。故,弹幕在用户界面上的位移可等于弹幕中的文字的宽度加上各文字之间的间隔。
图4是根据本公开一个或多个实施例的一种播放弹幕的方法的流程图,该方法可由终端执行,例如可由车载智能设备执行,如图4所示,该方法包括:
步骤401:获取第一语音,记录所述第一语音的起始时间以及结束时间;
例如,车载智能设备可通过车辆中的声学传感器,例如,可通过麦克风阵列或独立的麦克风,对用户发出的语音进行采集。
步骤402:对所述第一语音进行语义识别,得到与所述第一语音对应的文字;
例如,车载智能设备可通过ASR(Automatic Speech Recognition,自动语音识别技术)对采集到的用户输入的自然语言进行语义识别,得到对应的文字。又或者,车载智能设备还可通过总线结构将采集到的第一语音发送至云端语音识别引擎,通过该引擎对用户输入的自然语言进行识别,并得到对应的文字。
可选的,在对文本进行语义分析时,需要进行分词,取针对评论的关键词作为特征词,并分别将各特征词在语义分析模型中进行分析,采样训练,以在不同的干扰状态,例如,车辆静态、车速大于80km/h行驶状态、开窗状态、空调打开状态以及有其他人声干扰状态下,通过声源定位,消除回声,指代消解等手段,提升评论关键词识别的正确率。
步骤403:当所述文字满足预设条件时,将所述文字、所述起始时间以及所述结束时间发送至服务器;
例如,可与服务器建立一条数据交互链路,该数据交互链路可支持车载智能设备传输的文本数据、语音内容以及语音对应的起始时间和结束时间。当车载智能设备识别到向指定直播间发出的评论数据时,例如“你推广的商品质量挺好的”,可识别出用户发出的该语音是针对直播的,这时,可记录直播间的ID,记录语音的起始时间以及结束时间,通过数据交互链路将这些数据传输到服务器。
例如,在进行语义识别时,可进行分词,得到关键词,将关键词输入预先训练好的神经网络模型,对该关键词进行打分,以确定该关键词所属的语句是对当前直播间的评论的概率,当该概率大于一阈值时,确定关键词满足预设条件。又或者,预选设置了对应于直播应用的多组关键词,在当前识别到的关键词命中某一组关键词时,确定关键词满足预设条件。
步骤404:接收所述服务器发送的弹幕,其中,所述弹幕中的文字的目标字号是根据所述起始时间、所述结束时间以及弹幕在用户界面上的移动速率确定的;
其中,目标字号的确定方式已在上文进行了详细描述,此处不再赘述。
步骤405:以所述移动速率在用户界面上移动呈现所述弹幕。
例如,在呈现弹幕时,根据服务器中预设的弹幕推送逻辑,可每次向车载智能设备推送播放时长达预设时长,例如,2分钟的弹幕,这样可保证用户在0:00分钟说出的评论和在01:00分钟说出的评论,均可通过语音完整的被播报出来,其中,假设系统处理及同步数据的时间为1分钟。车载智能设备接到推送数据后,将弹幕展示在车载智能设备的屏幕上,同时弹幕开始移动,移动速度恒定。如图5所示,弹幕按时间戳的先后顺序进行展示,弹幕的起始时间在最前的展示在屏幕中上位置,起始时间之后的的弹幕依次展示在第二排、第三排,以此类推,当到达第一条弹幕的终止时间后,下一条弹幕则回到第一排展示。如图5所示,所有落在第一条弹幕的起始时间和终止时间内的弹幕,均向下排,第一条弹幕结束后,与其时间帧没有交集的下一条起始时间最近的弹幕作为第一排展示,以此类推。
在本公开的一个或多个实施例中,上述弹幕的播放方法还可包括:获取语音播报弹幕的请求;例如,可以通过对用户发出的语音进行语义识别得到播报弹幕的请求,或者,还可以是响应于用户点击显示屏上的播报弹幕的虚拟按键来获得播报弹幕的请求。根据所述语音播报弹幕的请求获取第二语音,其中,所述第二语音由目标弹幕中的文字转换得到,所述目标弹幕为在已呈现在用户界面上且未开始移动的弹幕;例如,可将语音播报请求发送至服务器,由服务器确定目标弹幕,并将目标弹幕中的文字转换为第二语音,或者,还可以由车载智能设备根据语音播报请求,确定目标弹幕,并将目标弹幕中的文字转换为第二语音。在所述用户界面上移动呈现所述目标弹幕的时间段内,播报所述第二语音。
在本公开的一个或多个实施例中,在所述用户界面上移动呈现所述目标弹幕的时间段内,播报所述第二语音,包括:
根据在所述用户界面移动呈现所述目标弹幕的时间段,调整所述第二语音的播报速度,以使开始移动呈现所述目标弹幕的时间与开始播报所述文字的时间一致,结束移动呈现所述目标弹幕的时间与结束播报所述文字的时间一致
需要说明的是,在本公开的一个或多个实施例中,终端在获取语音播报弹幕的请求之后,还可由终端将目标弹幕中的文字转换为第二语音,例如,终端可通过TTS将目标弹幕中的文字转换为第二语音,从而播报第二语音。
图6是根据本公开一个或多个实施例示出的一种弹幕的播放装置的框图,如图6所示,该装置60包括:
第一获取模块61,用于获取终端采集到的第一语音对应的文字以及所述第一语音的起始时间以及结束时间;
第一确定模块62,用于根据所述起始时间、所述结束时间以及弹幕在用户界面上的移动速率确定弹幕在用户界面上的目标位移;
第二确定模块63,用于根据所述目标位移确定所述弹幕中的文字的目标字号;
生成模块64,用于按照所述目标字号的尺寸基于所述文字生成弹幕;
第一发送模块65,用于将所述弹幕发送至第一目标终端,以使所述第一目标终端以所述移动速率在用户界面上移动呈现所述弹幕。
在本公开的一个或多个实施例中,所述装置还可包括:第二获取模块,用于获取来自第二目标终端的语音播报弹幕的请求;第三确定模块,用于确定已显示在所述第二目标终端的用户界面上且未开始移动的目标弹幕;第二发送模块,用于将所述目标弹幕中的文字转换为第二语音,将所述第二语音发送至所述第二目标终端,以使所述第二目标终端在所述用户界面上移动呈现所述目标弹幕的时间段内,以语音的形式播报所述目标弹幕中的文字。
在本公开的一个或多个实施例中,开始移动呈现所述目标弹幕的时间可与开始播报所述文字的时间一致,结束移动呈现所述目标弹幕的时间可与结束播报所述文字的时间一致。
在本公开的一个或多个实施例中,所述弹幕中的文字的目标字号可与所述弹幕在用户界面上的目标位移呈正相关关系。
图7是根据本公开一个或多个实施例示出的一种弹幕的播放装置的框图,如图7所示,该装置70包括:
第三获取模块71,用于获取第一语音,记录所述第一语音的起始时间以及结束时间;
识别模块72,用于对所述第一语音进行语义识别,得到与所述第一语音对应的文字;
第三发送模块73,用于当所述文字满足预设条件时,将所述文字、所述起始时间以及所述结束时间发送至服务器;
第一接收模块74,用于接收所述服务器发送的弹幕,其中,所述弹幕中的文字的目标字号是根据所述起始时间、所述结束时间以及弹幕在用户界面上的移动速率确定的;
呈现模块75,用于以所述移动速率在用户界面上移动呈现所述弹幕。
在本公开的一个或多个实施例中,所述装置还可包括:第四获取模块,用于获取语音播报弹幕的请求;第五获取模块,用于根据所述语音播报弹幕的请求获取第二语音,其中,所述第二语音由目标弹幕中的文字转换得到,所述目标弹幕为在已呈现在用户界面上且未开始移动的弹幕;播报模块,用于在所述用户界面上移动呈现所述目标弹幕的时间段内,播报所述第二语音。
本公开一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任意一种弹幕的播放方法。
需要说明的是,本公开实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
图8示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本公开的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本公开难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本公开难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本公开的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本公开的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (11)

1.一种弹幕的播放方法,其特征在于,包括:
获取终端采集到的第一语音对应的文字以及所述第一语音的起始时间以及结束时间;
根据所述起始时间、所述结束时间以及弹幕在用户界面上的移动速率确定弹幕在用户界面上的目标位移;
根据所述目标位移以及预设规则确定所述弹幕中的文字的目标字号,所述目标字号与所述目标位移呈正相关关系,所述弹幕的长度等于所述目标位移,所述弹幕的长度等于所述弹幕中的文字的宽度加上各文字之间的间隔;
按照所述目标字号的尺寸基于所述文字生成弹幕;
将所述弹幕发送至第一目标终端,以使所述第一目标终端以所述移动速率在用户界面上移动呈现所述弹幕。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取来自第二目标终端的语音播报弹幕的请求;
确定已显示在所述第二目标终端的用户界面上且未开始移动的目标弹幕;
将所述目标弹幕中的文字转换为第二语音,将所述第二语音发送至所述第二目标终端,以使所述第二目标终端在用户界面上移动呈现所述目标弹幕的时间段内,以语音的形式播报所述目标弹幕中的文字。
3.根据权利要求2所述的方法,其特征在于,开始移动呈现所述目标弹幕的时间与开始播报所述文字的时间一致,结束移动呈现所述目标弹幕的时间与结束播报所述文字的时间一致。
4.一种弹幕的播放方法,其特征在于,包括:
获取第一语音,记录所述第一语音的起始时间以及结束时间;
对所述第一语音进行语义识别,得到与所述第一语音对应的文字;
当所述文字满足预设条件时,将所述文字、所述起始时间以及所述结束时间发送至服务器;
接收所述服务器发送的弹幕,其中,所述弹幕中的文字的目标字号是根据所述起始时间、所述结束时间、弹幕在用户界面上的移动速率以及预设规则确定的,所述目标字号与所述目标位移呈正相关关系,所述弹幕的长度等于所述目标位移,所述弹幕的长度等于所述弹幕中的文字的宽度加上各文字之间的间隔;
以所述移动速率在用户界面上移动呈现所述弹幕。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
获取语音播报弹幕的请求;
根据所述语音播报弹幕的请求获取第二语音,其中,所述第二语音由目标弹幕中的文字转换得到,所述目标弹幕为在已呈现在用户界面上且未开始移动的弹幕;
在所述用户界面上移动呈现所述目标弹幕的时间段内,播报所述第二语音。
6.一种弹幕的播放装置,其特征在于,包括:
第一获取模块,用于获取终端采集到的第一语音对应的文字以及所述第一语音的起始时间以及结束时间;
第一确定模块,用于根据所述起始时间、所述结束时间以及弹幕在用户界面上的移动速率确定弹幕在用户界面上的目标位移;
第二确定模块,用于根据所述目标位移以及预设规则确定所述弹幕中的文字的目标字号,所述目标字号与所述目标位移呈正相关关,所述弹幕的长度等于所述目标位移,所述弹幕的长度等于所述弹幕中的文字的宽度加上各文字之间的间隔;
生成模块,用于按照所述目标字号的尺寸基于所述文字生成弹幕;
第一发送模块,用于将所述弹幕发送至第一目标终端,以使所述第一目标终端以所述移动速率在用户界面上移动呈现所述弹幕。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取来自第二目标终端的语音播报弹幕的请求;
第三确定模块,用于确定已显示在所述第二目标终端的用户界面上且未开始移动的目标弹幕;
第二发送模块,用于将所述目标弹幕中的文字转换为第二语音,将所述第二语音发送至所述第二目标终端,以使所述第二目标终端在用户界面上移动呈现所述目标弹幕的时间段内,以语音的形式播报所述目标弹幕中的文字。
8.根据权利要求7所述的装置,其特征在于,开始移动呈现所述目标弹幕的时间与开始播报所述文字的时间一致,结束移动呈现所述目标弹幕的时间与结束播报所述文字的时间一致。
9.一种弹幕的播放装置,其特征在于,包括:
第三获取模块,用于获取第一语音,记录所述第一语音的起始时间以及结束时间;
识别模块,用于对所述第一语音进行语义识别,得到与所述第一语音对应的文字;
第三发送模块,用于当所述文字满足预设条件时,将所述文字、所述起始时间以及所述结束时间发送至服务器;
第一接收模块,用于接收所述服务器发送的弹幕,其中,所述弹幕中的文字的目标字号是根据所述起始时间、所述结束时间、弹幕在用户界面上的移动速率以及预设规则确定的,所述目标字号与所述目标位移呈正相关关系,所述弹幕的长度等于所述目标位移,所述弹幕的长度等于所述弹幕中的文字的宽度加上各文字之间的间隔;
呈现模块,用于以所述移动速率在用户界面上移动呈现所述弹幕。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第四获取模块,用于获取语音播报弹幕的请求;
第五获取模块,用于根据所述语音播报弹幕的请求获取第二语音,其中,所述第二语音由目标弹幕中的文字转换得到,所述目标弹幕为在已呈现在用户界面上且未开始移动的弹幕;
播报模块,用于在所述用户界面上移动呈现所述目标弹幕的时间段内,播报所述第二语音。
11.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任意一项所述的弹幕的播放方法。
CN202010609985.3A 2020-06-29 2020-06-29 弹幕的播放方法、装置及设备 Active CN113938723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010609985.3A CN113938723B (zh) 2020-06-29 2020-06-29 弹幕的播放方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010609985.3A CN113938723B (zh) 2020-06-29 2020-06-29 弹幕的播放方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113938723A CN113938723A (zh) 2022-01-14
CN113938723B true CN113938723B (zh) 2023-07-21

Family

ID=79272695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010609985.3A Active CN113938723B (zh) 2020-06-29 2020-06-29 弹幕的播放方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113938723B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022729A (zh) * 2022-06-02 2022-09-06 上海哔哩哔哩科技有限公司 弹幕的播放方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847939A (zh) * 2016-05-12 2016-08-10 乐视控股(北京)有限公司 弹幕播放方法、播放装置及播放系统
CN105898557A (zh) * 2016-04-29 2016-08-24 乐视控股(北京)有限公司 一种语音弹幕的生成、播放方法及其装置、客户端
CN109246463A (zh) * 2017-06-02 2019-01-18 腾讯科技(深圳)有限公司 用于显示弹幕的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104994401A (zh) * 2015-07-03 2015-10-21 王春晖 弹幕处理方法、装置及系统
CN105228013B (zh) * 2015-09-28 2018-09-07 百度在线网络技术(北京)有限公司 弹幕信息处理方法、装置及弹幕视频播放器
CN105357587A (zh) * 2015-10-28 2016-02-24 广州华多网络科技有限公司 实现音乐弹幕的方法及系统
CN107613400B (zh) * 2017-09-21 2021-03-26 北京奇艺世纪科技有限公司 一种语音弹幕的实现方法和装置
CN109379604B (zh) * 2018-08-15 2021-04-09 深圳点猫科技有限公司 一种基于教育云平台的视频弹幕制作方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898557A (zh) * 2016-04-29 2016-08-24 乐视控股(北京)有限公司 一种语音弹幕的生成、播放方法及其装置、客户端
CN105847939A (zh) * 2016-05-12 2016-08-10 乐视控股(北京)有限公司 弹幕播放方法、播放装置及播放系统
CN109246463A (zh) * 2017-06-02 2019-01-18 腾讯科技(深圳)有限公司 用于显示弹幕的方法和装置

Also Published As

Publication number Publication date
CN113938723A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
CN110800046B (zh) 语音识别及翻译方法以及翻译装置
US20210280185A1 (en) Interactive voice controlled entertainment
WO2017113973A1 (zh) 一种音频识别方法和装置
JP6044553B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110517689B (zh) 一种语音数据处理方法、装置及存储介质
JP6078964B2 (ja) 音声対話システム及びプログラム
CN107864410B (zh) 一种多媒体数据处理方法、装置、电子设备以及存储介质
US11511200B2 (en) Game playing method and system based on a multimedia file
CN109165336B (zh) 一种信息输出控制方法及家教设备
US20190342428A1 (en) Content evaluator
EP4192021A1 (en) Audio data processing method and apparatus, and device and storage medium
CN111107442A (zh) 音视频文件的获取方法、装置、服务器及存储介质
CN113035199A (zh) 音频处理方法、装置、设备及可读存储介质
CN113724709A (zh) 文本内容匹配方法、装置、电子设备及存储介质
CN113938723B (zh) 弹幕的播放方法、装置及设备
CN113992972A (zh) 一种字幕显示方法、装置、电子设备和可读存储介质
Sexton et al. Automatic CNN-based enhancement of 360° video experience with multisensorial effects
CN116403583A (zh) 语音数据处理方法和装置、非易失性存储介质及车辆
CN110309470A (zh) 一种基于空气成像的虚拟新闻主播系统及其实现方法
CN112988956A (zh) 自动生成对话的方法及装置、信息推荐效果检测方法及装置
US11775070B2 (en) Vibration control method and system for computer device
CN112822501B (zh) 视频直播中的信息显示方法和装置、存储介质及电子设备
CN114546939A (zh) 会议纪要生成方法、装置、电子设备和可读存储介质
CN111627417B (zh) 播放语音的方法、装置及电子设备
CN110232911B (zh) 跟唱识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant