CN117676261A - 弹幕处理方法、装置、设备及介质 - Google Patents

弹幕处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN117676261A
CN117676261A CN202211014311.4A CN202211014311A CN117676261A CN 117676261 A CN117676261 A CN 117676261A CN 202211014311 A CN202211014311 A CN 202211014311A CN 117676261 A CN117676261 A CN 117676261A
Authority
CN
China
Prior art keywords
audio
barrage
target
virtual position
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211014311.4A
Other languages
English (en)
Inventor
李惜
陈峻林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202211014311.4A priority Critical patent/CN117676261A/zh
Publication of CN117676261A publication Critical patent/CN117676261A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4398Processing of audio elementary streams involving reformatting operations of audio signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Stereophonic System (AREA)

Abstract

本公开涉及一种弹幕处理方法、装置、设备及介质,其中该方法包括:获取目标视频的弹幕音频;根据目标视频的音频对应的第一虚拟位置确定所述弹幕音频对应的第二虚拟位置;其中,所述第二虚拟位置与所述第一虚拟位置不同;基于所述第二虚拟位置播放所述弹幕音频。本公开便于用户分辨弹幕音频和视频音频,有效提升用户体验。

Description

弹幕处理方法、装置、设备及介质
技术领域
本公开涉及音视频处理技术领域,尤其涉及一种弹幕处理方法、装置、设备及介质。
背景技术
弹幕是是视频播放过程中以字幕形式呈现的观看者评论,弹幕与视频画面同时展示给视频观看者,弹幕可以出现在视频画面的任意位置,还可以动态形式滑过视频画面,视频观看者可将自己想要发表的评论以弹幕形式展示在视频画面上,也可在视频画面上直观看到其他观看者的评论。因此,弹幕可以有效增加视频观看者之间的互动性以及视频观看的趣味性,备受观众欢迎。
现有的视频播放软件还提供了弹幕朗读功能,以便于诸如视障用户等不方便查看弹幕的用户能够听到弹幕,但是这种方式会导致朗读弹幕的语音与视频本身的音频混杂在一起,用户体验不佳。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种弹幕处理方法、装置、设备及介质。
本公开实施例提供了一种弹幕处理方法,所述方法包括:获取目标视频的弹幕音频;根据目标视频的音频对应的第一虚拟位置确定所述弹幕音频对应的第二虚拟位置;其中,所述第二虚拟位置与所述第一虚拟位置不同;基于所述第二虚拟位置播放所述弹幕音频。
可选的,获取目标视频的弹幕音频,包括:获取目标视频中待处理的弹幕文字,并将所述弹幕文字转换为弹幕音频。
可选的,根据所述目标视频的音频对应的第一虚拟位置确定所述弹幕音频对应的第二虚拟位置,包括:从预设空间中按照指定方式选择与所述目标视频的音频对应的第一虚拟位置不同的目标虚拟位置,将所述目标虚拟位置作为所述弹幕音频对应的第二虚拟位置。
可选的,所述指定方式包括随机选择位置的方式,或者,基于所述弹幕音频进行位置选择的方式。
可选的,所述指定方式为随机选择位置的方式;从预设空间中按照指定方式选择与所述目标视频的音频对应的第一虚拟位置不同的虚拟位置,包括:在所述预设空间中设置有多个指定位置的情况下,从预设空间中的多个指定位置中随机选择与所述目标视频的音频对应的第一虚拟位置不同的目标虚拟位置;在所述预设空间中未设置有多个指定位置的情况下,从预设空间中随机选择与所述第一虚拟位置不同的目标虚拟位置。
可选的,根据所述目标视频的音频对应的第一虚拟位置确定所述弹幕音频对应的第二虚拟位置,包括:确定弹幕音频的评估值;基于所述弹幕音频的评估值从预设空间中选择与所述目标视频的音频对应的第一虚拟位置不同的目标虚拟位置,将所述目标虚拟位置作为所述弹幕音频对应的第二虚拟位置。
可选的,确定弹幕音频的评估值,包括:根据所述弹幕音频的时长和/或内容,确定弹幕音频的评估值。
可选的,基于所述弹幕音频的评估值弹幕音频的评估值从预设空间中选择与所述第一虚拟位置不同的目标虚拟位置,包括:根据预先设置的映射关系,获取所述弹幕音频的评估值对应的空间距离长度;其中,所述弹幕音频的评估值与所述空间距离长度呈负相关;根据所述弹幕音频的评估值对应的空间距离长度以及所述预设空间的中心点位置,从所述预设空间中选择目标虚拟位置;其中,所述中心点位置为视频播放者对应的虚拟位置,所述目标虚拟位置与所述中心点位置之间的距离长度等于所述弹幕音频的评估值对应的空间距离长度,且所述第一虚拟位置与所述中心点位置不同。
可选的,根据所述弹幕音频的评估值对应的空间距离长度以及所述预设空间的中心点位置,从所述预设空间中选择目标虚拟位置,包括:将所述预设空间的中心点位置作为球心,以及将所述弹幕音频的评估值对应的空间距离长度作为半径,确定目标球面;将所述目标球面上任意点作为目标虚拟位置,或者,根据所述第一虚拟位置在所述目标球面上确定目标点,并将所述目标点作为目标虚拟位置。
可选的,根据所述第一虚拟位置在所述目标球面上确定目标点,包括:将所述第一虚拟位置与所述球心的连线与所述目标球面的交点作为目标点。
可选的,基于所述第二虚拟位置播放所述弹幕音频,包括:在基于所述第一虚拟位置播放所述目标视频的音频的过程中的目标时刻,基于所述第二虚拟位置利用空间音频技术播放所述弹幕音频;其中,所述目标时刻为所述弹幕音频在所述目标视频中的出现时刻。
可选的,获取目标视频的弹幕音频,包括:响应于弹幕音频播放控件的触发操作,确认弹幕音频功能开启,获取目标视频的弹幕音频。
可选的,获取目标视频的弹幕音频,包括:在弹幕音频功能开启的情况下,响应于弹幕发送操作,获取目标视频的弹幕音频。
本公开实施例提供了一种弹幕处理装置,包括:弹幕获取模块,用于获取目标视频的弹幕音频;位置获取模块,用于根据所述目标视频的音频对应的第一虚拟位置确定所述弹幕音频对应的第二虚拟位置;其中,所述第二虚拟位置与所述第一虚拟位置不同;弹幕播放模块,用于基于所述第二虚拟位置播放所述弹幕音频。
本公开实施例提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述弹幕处理方法。
本公开实施例提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述弹幕处理方法。
本公开实施例提供的上述技术方案,能够根据目标视频的音频对应的第一虚拟位置确定弹幕音频对应的第二虚拟位置;其中,第二虚拟位置与所述第一虚拟位置不同;进而根据第二虚拟位置播放弹幕音频。由于目标视频的音频对应的第一虚拟位置与弹幕音频对应的第二虚拟位置不同,这种方式可以在视频播放过程中便于用户分辨弹幕音频和视频音频,有效提升用户体验。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种弹幕处理方法的流程示意图;
图2为本公开实施例提供的一种虚拟三维空间示意图;
图3为本公开实施例提供的一种虚拟三维空间示意图;
图4为本公开实施例提供的一种弹幕处理装置的结构示意图;
图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
图1为本公开实施例提供的一种弹幕处理方法的流程示意图,该方法可以由弹幕处理装置执行,其中该装置可以采用软件和/或硬件实现,一般可集成在电子设备中,也即也可称为该弹幕处理方法可由电子设备执行,该电子设备诸如可以为智能手机、计算机、可穿戴智能设备、服务器等具有音视频播放能力的设备,在此不进行限制,如图1所示,该方法主要包括如下步骤S102~步骤S106:
步骤S102,获取目标视频的弹幕音频。其中,目标视频可以为电影、短视频、直播视频、游戏视频等,在此对视频类型不进行限制。
在一些实施方式中,可以在目标视频的播放端设置弹幕音频播放控件,响应于弹幕音频播放控件的触发操作,确认弹幕音频功能开启,获取目标视频的弹幕音频,以便在播放目标视频的同时,相应播放弹幕音频。用户可以根据是否触发弹幕音频播放控件来决定是否在目标视频播放的同时也播放弹幕音频(也即是否开启弹幕旁白功能),可以理解的是,在观看视频过程中,是否播放弹幕给用户的体验是不同的,因此弹幕音频播放控件的设置也为用户提供了观看视频的不同体验。
在一些实施方式中,还可以在弹幕音频功能开启的情况下,响应于弹幕发送操作,获取目标视频的弹幕音频。也即,用户可以在观看目标视频的过程中通过发送弹幕的方式发表评论,如果监测到用户的弹幕发送操作,也可以获取目标视频的弹幕音频,其中,获取的弹幕音频可以是弹幕发送操作相关的音频,诸如可以是弹幕发送操作对应的音频,也可以是与弹幕发送操作对应的音频之后出现的弹幕音频。可以理解的是,当用户在观看视频期间发表评论时,通常是用户对该视频播放的内容有感触的时刻,因此可以基于此触发弹幕音频的获取,从而为用户播放弹幕音频,给用户提供一种自己参与评论及倾听其它用户评论的氛围感。
在实际应用中,用户可以发送弹幕文字,也可以发送弹幕音频,倘若用户发送的是弹幕文字,则可以获取目标视频中待处理的弹幕文字,并将弹幕文字转换为弹幕音频。
可以理解的是,在视频播放过程中,弹幕可以以文字形式呈现在视频画面,并按照设定方式闪现在视频画面上(诸如从右至左滑过视频画面)。考虑到诸如视障用户或者不方便一直看屏幕的用户而言,本公开实施例将弹幕文字转换为弹幕音频,示例性地,本公开实施例可将目标视频中所有的弹幕文字或者指定弹幕文字作为待处理的弹幕文字,在此不进行限制,并通过语音合成技术将待处理的弹幕文字转换为弹幕音频。此外,如果弹幕本身就是用户以语音形式发送的,则直接获取相应的弹幕音频即可。
步骤S104,根据目标视频的音频对应的第一虚拟位置确定弹幕音频对应的第二虚拟位置;其中,第二虚拟位置与第一虚拟位置不同。应当说明的是,目标视频的音频是目标视频自身携带的原始音频,并不包含弹幕音频。
在实际应用中,第一虚拟位置为目标视频的音频的虚拟音源在预设空间中的位置,第一虚拟位置可以是预先设置的。第二虚拟位置为弹幕音频的虚拟音源在预设空间中的位置,第二虚拟位置可基于第一虚拟位置决定。
上述预设空间即为本公开实施例预先设置的虚拟三维空间,该虚拟三维空间即为用于设置各音频对应的虚拟位置(也可称为各音频的虚拟音源位置)的空间,也可称为音频空间。示例性地,如图2所示,可以以视频播放者(也即用户)的位置作为虚拟三维空间的原点O,然后建立XYZ坐标系,以此构建虚拟三维空间。视频播放者的位置也即虚拟三维空间的中心点。在实际应用中,还可以设置虚拟三维空间的边界,诸如,设置预设空间中X、Y和Z的取值范围均为[-M,M],M可根据需求设置,诸如X的范围为[-1,1],Y的范围为[-1,1],Z的范围为[-1,1],此时虚拟三维空间可以构成一个立方体空间或者球体空间,其中,图2仅是简单以预设空间是立方体空间进行示意。以上仅为示例性说明,不应当被视为限制,在实际应用中预设空间还可以为长方体空间或者椭球体空间等,可以根据需求灵活设置虚拟三维空间的边界及形状,在此不进行限制。
为了使用户可以方便分辨出视频的音频与弹幕音频,在本公开实施例可为不同音频设置不同位置的虚拟音源(也即声音来源位置),以模拟从不同位置发出声音的效果,使用户设备输出的音频被用户感知为该音频来自虚拟音源。具体实现时,本公开实施例可以首先为目标视频的音频的虚拟音源在预设空间中固定设置一个位置(也即第一虚拟位置),然后再基于第一虚拟位置获取弹幕音频的虚拟音源在预设空间中的位置。在一些实施方式中,可以从预设空间中按照指定方式选择与目标视频的音频对应的第一虚拟位置不同的目标虚拟位置,将目标虚拟位置作为弹幕音频对应的第二虚拟位置。本公开实施例对指定方式不进行限制,最终可以得到与第一虚拟位置不同的第二虚拟位置即可,通过这种方式所得的弹幕音频的虚拟音源与视频音频的虚拟音源的位置不同,更便于用户可以清楚分辨出弹幕音频和目标视频的音频,避免弹幕音频和目标视频的音频混淆播放影响用户体验。
步骤S106,基于第二虚拟位置播放弹幕音频。
具体实现时,在基于第一虚拟位置播放目标视频的音频的过程中的目标时刻,基于第二虚拟位置利用空间音频技术播放弹幕音频;其中,目标时刻为弹幕音频在目标视频中的出现时刻。示例性地,可以根据空间音频技术和第二虚拟位置调整弹幕音频的参数(诸如频率等),以将弹幕音频转换为弹幕空间音频,然后播放弹幕空间音频。具体的,可基于诸如HRTF(Head Related Transfer Functions,头相关传输函数)等音效定位算法利用HDITD(Interaural Time Delay,耳间延迟)、IAD(Interaural Amplitude Difference,双耳幅度差)和耳廓频率振动等技术将弹幕音频转换为弹幕空间音频,其中,空间音频也即能够被用户感知为源自虚拟音源的音频。简而言之,空间音频技术可通过定向音频滤波以及对用户双耳接收到的声音频率进行调整,来模拟声音的空间感,实现声音是源自相应的虚拟音源的效果。由于目标视频的音频对应的虚拟音源与弹幕音频对应的虚拟音源的位置不同,基于空间音频技术可以为用户营造出不同音频是从用户的不同方位传来的感觉。
不同用户在观看同一视频时可以在视频播放的任意时刻通过发送弹幕的方式发表自己在此刻的评论,诸如,用户A在目标视频播放在T时刻时发送弹幕M,T时刻也即弹幕M的出现时刻,此时其他用户均可在目标视频播放在T时刻时观看到弹幕M,而本公开实施例可以将弹幕M最终转换为弹幕空间音频进行播放,以便于其他用户在目标视频播放在T时刻时听到弹幕M对应的音频(也可称为弹幕旁白声),并且可以清楚分辨出弹幕音频和目标视频的音频。
本公开实施例提供的上述方式能够根据目标视频的音频对应的第一虚拟位置确定弹幕音频对应的第二虚拟位置,并根据第二虚拟位置播放弹幕音频。由于弹幕音频的虚拟音源位置与目标视频的音频的虚拟音源位置不同(也即第一虚拟位置和第二虚拟位置不同),便于用户区分弹幕音频和视频音频,有效提升用户体验。此外,还可以将弹幕文字转换为弹幕音频,便于用户在不观看屏幕或者不细看弹幕文字的情况下也可以清楚地获知弹幕内容。
在实际应用中,本公开实施例给出了从预设空间中按照指定方式选择与目标视频的音频对应的第一虚拟位置不同的目标虚拟位置,将目标虚拟位置作为弹幕音频对应的第二虚拟位置的两种实施示例,以下进行阐述说明。
实施示例一:指定方式为随机选择位置的方式。
在指定方式为随机选择位置的方式时,可按照如下(1)或(2)从预设空间中选择与目标视频的音频对应的第一虚拟位置不同的目标虚拟位置,进而将目标虚拟位置作为弹幕音频对应的第二虚拟位置。
(1)在预设空间中设置有多个指定位置的情况下,从预设空间中的多个指定位置中随机选择与目标视频的音频对应的第一虚拟位置不同的目标虚拟位置。在实际应用中,可以在预设空间中设置有多个指定位置,诸如,设置预设空间中的指定位置坐标为(x,y,z),此时x可取值为0.5、1、-0.5、-1;y可取值为0.5、1、-0.5、-1;z可取值为0.5、1、-0.5、-1,通过组合便可得到预设空间中的48个指定位置。在多个指定位置已知的情况下,直接从多个指定位置中随机选择和第一虚拟位置不同的目标虚拟位置即可。这种预先设置指定位置的方式便于提升后续基于空间音频技术对弹幕音频进行处理的效率,缩短音频处理耗时,诸如,通过预先设置指定位置,即可预先确定每个指定位置对应的调整参数,在随机选择弹幕音频对应的指定位置后,可以直接基于该指定位置对应的调整参数将弹幕音频快速转换为弹幕空间音频,以便呈现出弹幕旁白(也即朗读弹幕的声音)是从虚拟音源发出的效果。
(2)在预设空间中未设置有多个指定位置的情况下,从预设空间中随机选择与第一虚拟位置不同的目标虚拟位置。在此情况下,可以从预设空间中随机选择与第一虚拟位置不同的目标虚拟位置,可选择范围更大更灵活。
综上,通过在预设空间中随机选择弹幕音频的虚拟音源在预设空间中的位置的方式,整体较为灵活快捷。在实际应用中还可进一步根据需求确定随机选择位置的具体方式,诸如如果偏重处理效率,则可从多个指定位置中随机选择目标虚拟位置,如果偏重选择范围的广泛性,则可以不受指定位置的限制,而直接在预设空间中随机选择目标虚拟位置。
实施示例二:指定方式为基于弹幕音频进行位置选择的方式。
在指定方式为基于弹幕音频进行位置选择的方式时,可按照如下步骤A~步骤B获取弹幕音频对应的第二虚拟位置。
步骤A,确定弹幕音频的评估值。通过为弹幕音频确定评估值的方式,可以将不同的弹幕音频进行区分,确定弹幕音频的评估值的方式可以是为弹幕音频随机赋予评估值,也可以是按照预设策略为弹幕音频赋予评估值。
在一些具体的实施方式中,可以根据弹幕音频的时长和/或内容确定弹幕音频的评估值。在本公开实施例中,可以通过确定弹幕音频的评估值的方式将弹幕音频进行数值量化,以便于后续基于量化数值(评估值)进行处理。
本公开实施例对于具体的评估值方式不进行限制,诸如,在一些具体实施示例中,时长与弹幕分数呈正相关,音频时长越长,弹幕分值越高;弹幕内容与视频内容的关联度也与弹幕分数呈正相关,关联度越高,弹幕分值越高。以上均为示例性说明,本公开实施例对基于弹幕音频的时长和/或内容对弹幕音频进行评估值的方式不进行限制。由此,有利于提升各个弹幕音频的播放效果
步骤B,基于弹幕音频的评估值从预设空间中选择与目标视频的音频对应的第一虚拟位置不同的目标虚拟位置,将目标虚拟位置作为弹幕音频对应的第二虚拟位置。也即,在预设空间中所选择的弹幕音频的虚拟音源的位置与弹幕本身相关。
通过上述步骤A和步骤B,可以更切合实际地为弹幕音频选择合适的虚拟音源位置。诸如,对于时长较长的弹幕音频或者弹幕内容与视频内容的关联度较高的弹幕音频而言,可以将其虚拟音源的位置(目标虚拟位置)设置在靠近视频播放者的区域位置,以便于视频播放者可以清楚地听到该弹幕音频,有效避免视频播放者错过精彩弹幕。
为了更为可靠地选择目标虚拟位置,在一些实施示例中,上述步骤B可以参照如下步骤B1~步骤B2实现:
步骤B1,根据预先设置的映射关系,获取弹幕音频的评估值对应的空间距离长度;其中,弹幕音频的评估值与空间距离长度呈负相关。也即,弹幕音频的评估值越高,空间距离长度越低。
步骤B2,根据弹幕音频的评估值对应的空间距离长度以及预设空间的中心点位置,从预设空间中选择目标虚拟位置;其中,中心点位置为视频播放者对应的虚拟位置,目标虚拟位置与中心点位置之间的距离长度等于评分弹幕音频的评估值对应的空间距离长度,且第一虚拟位置与中心点位置不同。
预设空间的中心点位置也即预设的虚拟三维空间中的原点(0,0,0),本公开实施例可以将视频播放者对应的虚拟位置设置为原点,换言之,以视频播放者为中心建立虚拟三维空间,然后可根据弹幕音频的评估值对应的空间距离长度以及中心点位置确定目标虚拟位置。通过映射关系可以快速客观地确定目标虚拟位置与中心点位置之间的空间距离长度,弹幕音频的评估值越大,空间距离长度越小,也即弹幕的虚拟音源越靠近视频播放者,从而确保用户可以更为清晰地听到相对重要的弹幕内容,上述方式可以使用户尽可能掌握重要弹幕内容。
进一步,本公开实施例给出了上述步骤B2的一种具体实施示例,可以首先将预设空间的中心点位置作为球心,以及将弹幕音频的评估值对应的空间距离长度作为半径,确定目标球面;然后可以将目标球面上任意点作为目标虚拟位置,或者,可以根据第一虚拟位置在目标球面上确定目标点,并将目标点作为目标虚拟位置。参见图3所示的一种虚拟三维空间示意图,图3在图2的基础上还进一步示意出第一虚拟位置P1,以及空心球体,之后可直接在空心球体的表面上(也即目标球面)选择目标虚拟位置(也即第二虚拟位置P2)。
在一些实施示例中,第二虚拟位置P2可以在目标球面上随意选择,也即,第二虚拟位置P2与中心点位置O之间的空间距离长度固定,但P2相对于O的方位可任意选择。在另一些实施示例中,还可以根据目标视频的音频的虚拟音源的位置(也即第一虚拟位置P1)在目标球面上确定目标虚拟位置,诸如可以结合第一虚拟位置相对于视频播放者的第一方位来确定第二虚拟位置相对于视频播放者的第二方位,具体方式不进行限制。示例性地,可以根据需求将第一方位和第二方位之间的夹角设置为指定角度,指定角度在此不进行限制,诸如可以为0度、45度、90度、180度等。这种方式有助于更为合理的确定弹幕音频的虚拟音源的位置,以便于用户在清楚地分辨目标视频的音频以及弹幕音频的同时,也可以较清楚地收听到不同音频的内容,为用户带来良好的用户体验。
本公开实施例给出了根据第一虚拟位置在目标球面上确定目标点的一种具体示例:可以将第一虚拟位置与球心的连线与目标球面的交点作为目标点,该目标点作为目标虚拟位置(也即第二虚拟位置)。这种方式可以使目标视频的音频的虚拟音源位置以及弹幕音频的虚拟音源位置相对于视频播放者而言都位于同一方位,诸如,视频播放者对应的虚拟位置为O(0,0,0),第一虚拟位置为P1(0.5,0,0),第二虚拟位置为P2(0.25,0,0),也即第一虚拟位置和第二虚拟位置均位于视频播放者的正前方。这种方式充分考虑到用户通常都是基于位于正前方的电子屏幕观看目标视频,因此将虚拟声源设置在用户的正前方更为合理,而且目标视频的音频和弹幕音频不位于同一位置,也即距离用户的远近不同,用户也可以较为清楚便捷地分辨出视频音频和弹幕音频。
在实际应用中,可以通过空间音频技术相关的软件设置弹幕音频和目标视频的音频对应的虚拟音源在空间中的位置(也可称为空间音频的位置),在此不进行限制及相关赘述。
在实际应用中,弹幕音频的数量为一个或多个,不同的弹幕音频的虚拟音源对应的第二虚拟位置相同或不同。在一些实施示例中,多个弹幕音频可以统一对应一个虚拟音源位置,这种方式只需用户能够区分弹幕音频和视频音频即可。在另一些实施示例中,多个弹幕音频对应的虚拟音源位置可以不同,也即每个弹幕发送者对应的弹幕音频分别对应一个虚拟音源,这种方式不仅可以使用户区分弹幕音频和视频音频,还可以使用户区分不同的弹幕音频,以便于用户了解到不同的弹幕音频是由不同的其它用户发出的。多个弹幕音频的虚拟音源对应的第二虚拟位置相同的方式更为简洁,且更便于技术处理。多个弹幕音频的虚拟音源对应的第二虚拟位置不同的方式可以给用户带来沉浸体验,使用户可以感受到有不同用户站在不同位置发出语音评论的效果。在实际应用中可以根据需求灵活选用所需方式,在此不进行限制。
综上所述,本公开实施例提供的上述弹幕处理方法,在视频播放过程中可将弹幕文字转换为弹幕音频进行播放,且弹幕音频的虚拟音源位置与目标视频的音频的虚拟音源位置不同,便于用户区分弹幕音频和视频音频,能够使视障用户更友好的使用弹幕功能,而且也相当于是一种新的交互方式,让大多数用户无需一直盯着视频界面上的弹幕文字便可听到弹幕内容,身临其境般地感受到其它用户的语音评论,在观看视频的时候可创造更为热闹的氛围。
对应于前述弹幕处理方法,本公开实施例提供了一种弹幕处理装置,图4为本公开实施例提供的一种弹幕处理装置的结构示意图,该装置可由软件和/或硬件实现,一般可集成在电子设备中,可通过执行弹幕处理方法。如图4所示,包括:
弹幕获取模块402,用于获取目标视频的弹幕音频;
位置获取模块404,用于根据所述目标视频的音频对应的第一虚拟位置确定所述弹幕音频对应的第二虚拟位置;其中,所述第二虚拟位置与所述第一虚拟位置不同;
弹幕播放模块406,用于基于所述第二虚拟位置播放所述弹幕音频。
由于目标视频的音频对应的第一虚拟位置与弹幕音频对应的第二虚拟位置不同,本公开实施例提供的上述装置在视频播放过程中便于用户区分弹幕音频和视频音频,有效提升用户体验。
在一些实施方式中,弹幕获取模块402具体用于:获取目标视频中待处理的弹幕文字,并将所述弹幕文字转换为弹幕音频。
在一些实施方式中,位置获取模块404具体用于:从预设空间中按照指定方式选择与所述目标视频的音频对应的第一虚拟位置不同的目标虚拟位置,将所述目标虚拟位置作为所述弹幕音频对应的第二虚拟位置。
在一些实施方式中,所述指定方式包括随机选择位置的方式,或者,基于所述弹幕音频进行位置选择的方式。
在一些实施方式中,所述指定方式为随机选择位置的方式;位置获取模块404具体用于:在所述预设空间中设置有多个指定位置的情况下,从预设空间中的多个指定位置中随机选择与所述目标视频的音频对应的第一虚拟位置不同的目标虚拟位置;在所述预设空间中未设置有多个指定位置的情况下,从预设空间中随机选择与所述第一虚拟位置不同的目标虚拟位置。
在一些实施方式中,所述指定方式为基于所述弹幕音频进行位置选择的方式,位置获取模块404具体用于:确定弹幕音频的评估值;基于所述弹幕音频的评估值从预设空间中选择与所述目标视频的音频对应的第一虚拟位置不同的目标虚拟位置,将所述目标虚拟位置作为所述弹幕音频对应的第二虚拟位置。
在一些实施方式中,位置获取模块404具体用于:根据所述弹幕音频的时长和/或内容,确定弹幕音频的评估值。
在一些实施方式中,位置获取模块404具体用于:根据预先设置的映射关系,获取所述弹幕音频的评估值对应的空间距离长度;其中,所述弹幕音频的评估值与所述空间距离长度呈负相关;根据所述弹幕音频的评估值对应的空间距离长度以及所述预设空间的中心点位置,从所述预设空间中选择目标虚拟位置;其中,所述中心点位置为视频播放者对应的虚拟位置,所述目标虚拟位置与所述中心点位置之间的距离长度等于所述弹幕音频的评估值对应的空间距离长度,且所述第一虚拟位置与所述中心点位置不同。
在一些实施方式中,位置获取模块404具体用于:将所述预设空间的中心点位置作为球心,以及将所述弹幕音频的评估值对应的空间距离长度作为半径,得到空心球体;将所述目标球面上任意点作为目标虚拟位置,或者,根据所述第一虚拟位置在所述目标球面上确定目标点,并将所述目标点作为目标虚拟位置。
在一些实施方式中,位置获取模块404具体用于:将所述第一虚拟位置与所述圆心的连线与所述目标球面的交点作为目标点。
在一些实施方式中,弹幕播放模块406具体用于:在基于所述第一虚拟位置播放所述目标视频的音频的过程中的目标时刻,基于所述第二虚拟位置利用空间音频技术播放所述弹幕音频;其中,所述目标时刻为所述弹幕音频在所述目标视频中的出现时刻。
在一些实施方式中,弹幕获取模块402具体用于:响应于弹幕音频播放控件的触发操作,确认弹幕音频功能开启,获取目标视频的弹幕音频。
在一些实施方式中,弹幕获取模块402具体用于:在弹幕音频功能开启的情况下,响应于弹幕发送操作,获取目标视频的弹幕音频。
本公开实施例所提供的弹幕处理装置可执行本公开任意实施例所提供的弹幕处理方法,具备执行方法相应的功能模块和有益效果。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置实施例的具体工作过程,可以参考方法实施例中的对应过程,在此不再赘述。
图5为本公开实施例提供的一种电子设备的结构示意图。如图5所示,电子设备500包括一个或多个处理器501和存储器502。
处理器501可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备500中的其他组件以执行期望的功能。
存储器502可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器501可以运行所述程序指令,以实现上文所述的本公开的实施例的弹幕处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备500还可以包括:输入装置503和输出装置504,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外,该输入装置503还可以包括例如键盘、鼠标等等。
该输出装置504可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置504可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图5中仅示出了该电子设备500中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备500还可以包括任何其他适当的组件。
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的弹幕处理方法。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的弹幕处理方法。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开实施例还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现本公开实施例中的弹幕处理方法。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种弹幕处理方法,其特征在于,包括:
获取目标视频的弹幕音频;
根据所述目标视频的音频对应的第一虚拟位置确定所述弹幕音频对应的第二虚拟位置;其中,所述第二虚拟位置与所述第一虚拟位置不同;
基于所述第二虚拟位置播放所述弹幕音频。
2.根据权利要求1所述的方法,其特征在于,获取目标视频的弹幕音频,包括:
获取目标视频中待处理的弹幕文字,并将所述弹幕文字转换为弹幕音频。
3.根据权利要求1所述的方法,其特征在于,根据所述目标视频的音频对应的第一虚拟位置确定所述弹幕音频对应的第二虚拟位置,包括:
从预设空间中按照指定方式选择与所述目标视频的音频对应的第一虚拟位置不同的目标虚拟位置,将所述目标虚拟位置作为所述弹幕音频对应的第二虚拟位置。
4.根据权利要求3所述的方法,其特征在于,所述指定方式包括随机选择位置的方式,或者,基于所述弹幕音频进行位置选择的方式。
5.根据权利要求4所述的方法,其特征在于,所述指定方式为随机选择位置的方式;从预设空间中按照指定方式选择与所述目标视频的音频对应的第一虚拟位置不同的目标虚拟位置,包括:
在预设空间中设置有多个指定位置的情况下,从预设空间中的多个指定位置中随机选择与所述目标视频的音频对应的第一虚拟位置不同的目标虚拟位置;
在预设空间中未设置有多个指定位置的情况下,从预设空间中随机选择与所述第一虚拟位置不同的目标虚拟位置。
6.根据权利要求1所述的方法,其特征在于,根据所述目标视频的音频对应的第一虚拟位置确定所述弹幕音频对应的第二虚拟位置,包括:
确定弹幕音频的评估值;
基于所述弹幕音频的评估值从预设空间中选择与所述目标视频的音频对应的第一虚拟位置不同的目标虚拟位置,将所述目标虚拟位置作为所述弹幕音频对应的第二虚拟位置。
7.根据权利要求6所述的方法,其特征在于,确定弹幕音频的评估值,包括:
根据所述弹幕音频的时长和/或内容,确定弹幕音频的评估值。
8.根据权利要求6所述的方法,其特征在于,基于所述弹幕音频的评估值从预设空间中选择与所述第一虚拟位置不同的目标虚拟位置,包括:
根据预先设置的映射关系,获取所述弹幕音频的评估值对应的空间距离长度;其中,所述弹幕音频的评估值与所述空间距离长度呈负相关;
根据所述弹幕音频的评估值对应的空间距离长度以及所述预设空间的中心点位置,从所述预设空间中选择目标虚拟位置;其中,所述中心点位置为视频播放者对应的虚拟位置,所述目标虚拟位置与所述中心点位置之间的距离长度等于所述弹幕音频的评估值对应的空间距离长度,且所述第一虚拟位置与所述中心点位置不同。
9.根据权利要求8所述的方法,其特征在于,根据所述弹幕音频的评估值对应的空间距离长度以及所述预设空间的中心点位置,从所述预设空间中选择目标虚拟位置,包括:
将所述预设空间的中心点位置作为球心,以及将所述弹幕音频的评估值对应的空间距离长度作为半径,确定目标球面;
将所述目标球面上任意点作为目标虚拟位置,或者,根据所述第一虚拟位置在所述目标球面上确定目标点,并将所述目标点作为目标虚拟位置。
10.根据权利要求9所述的方法,其特征在于,根据所述第一虚拟位置在所述目标球面上确定目标点,包括:
将所述第一虚拟位置与所述球心的连线与所述目标球面的交点作为目标点。
11.根据权利要求1所述的方法,其特征在于,基于所述第二虚拟位置播放所述弹幕音频,包括:
在基于所述第一虚拟位置播放所述目标视频的音频的过程中的目标时刻,基于所述第二虚拟位置利用空间音频技术播放所述弹幕音频;其中,所述目标时刻为所述弹幕音频在所述目标视频中的出现时刻。
12.根据权利要求1所述的方法,其特征在于,获取目标视频的弹幕音频,包括:
响应于弹幕音频播放控件的触发操作,确认弹幕音频功能开启,获取目标视频的弹幕音频。
13.根据权利要求1所述的方法,其特征在于,获取目标视频的弹幕音频,包括:
在弹幕音频功能开启的情况下,响应于弹幕发送操作,获取目标视频的弹幕音频。
14.一种弹幕处理装置,其特征在于,包括:
弹幕获取模块,用于获取目标视频的弹幕音频;
位置获取模块,用于根据所述目标视频的音频对应的第一虚拟位置确定所述弹幕音频对应的第二虚拟位置;其中,所述第二虚拟位置与所述第一虚拟位置不同;
弹幕播放模块,用于基于所述第二虚拟位置播放所述弹幕音频。
15.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-13中任一所述的弹幕处理方法。
16.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-13中任一所述的弹幕处理方法。
CN202211014311.4A 2022-08-23 2022-08-23 弹幕处理方法、装置、设备及介质 Pending CN117676261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211014311.4A CN117676261A (zh) 2022-08-23 2022-08-23 弹幕处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211014311.4A CN117676261A (zh) 2022-08-23 2022-08-23 弹幕处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117676261A true CN117676261A (zh) 2024-03-08

Family

ID=90075493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211014311.4A Pending CN117676261A (zh) 2022-08-23 2022-08-23 弹幕处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117676261A (zh)

Similar Documents

Publication Publication Date Title
CN110121695B (zh) 虚拟现实领域中的装置及相关联的方法
JP2022502886A5 (zh)
US20140328505A1 (en) Sound field adaptation based upon user tracking
JP2026012756A (ja) オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード
CN112673651B (zh) 多视点多用户音频用户体验
US11096004B2 (en) Spatial audio rendering point extension
US9986362B2 (en) Information processing method and electronic device
EP3506080B1 (en) Audio scene processing
JP2019097162A (ja) レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェース、および/またはレンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法
US20240214757A1 (en) Method and device for controlling vibration motor, non-transitory computer-readable storage medium, and electronic device
JP2021508193A5 (zh)
EP3745745B1 (en) Apparatus, method, computer program or system for use in rendering audio
JP7536735B2 (ja) ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法
CN116193196A (zh) 虚拟环绕声渲染方法、装置、设备及存储介质
KR102500694B1 (ko) 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 제작하는 컴퓨터 시스템 및 그의 방법
CN111512640B (zh) 多相机设备
CN110191745A (zh) 利用空间音频的游戏流式传输
JP2022083443A (ja) オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法
CN114047902B (zh) 用于空间音频的文件格式
JP2019514050A (ja) インタラクティブなオーディオメタデータの操作
CN113905321A (zh) 基于对象音频通道元数据和生成方法、设备及存储介质
KR102453851B1 (ko) 가상 환경에서 공간 오디오 전송을 지원하기 위한 로컬 링크의 사용
JP7560035B2 (ja) ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法
CN112912822A (zh) 在混合现实环境中控制支持音频的连接设备的系统
KR102768523B1 (ko) 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination