CN111614993B - 弹幕展示方法、装置、计算机设备及存储介质 - Google Patents
弹幕展示方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111614993B CN111614993B CN202010366269.7A CN202010366269A CN111614993B CN 111614993 B CN111614993 B CN 111614993B CN 202010366269 A CN202010366269 A CN 202010366269A CN 111614993 B CN111614993 B CN 111614993B
- Authority
- CN
- China
- Prior art keywords
- interval
- brightness
- target
- abscissa
- playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
Abstract
本申请是关于一种弹幕展示方法、装置、计算机设备及存储介质。该方法包括:获取区域划分信息,所述区域划分信息是通过所述目标视频中指定时间段内的视频亮度确定的;获取目标弹幕在所述播放界面中的显示位置,所述目标弹幕是所述目标视频对应的弹幕中的任意一条弹幕;按照所述显示位置所在的播放区域的区域类型对应的渲染参数,渲染所述目标弹幕;在所述播放界面中的所述显示位置处展示渲染得到的所述目标弹幕;本方案可以避免因为使用默认的渲染参数来渲染弹幕,导致弹幕在某些区域模糊不清的问题,从而可以提高弹幕的展示效果。
Description
技术领域
本申请涉及互联网应用技术领域,特别涉及一种弹幕展示方法、装置、计算机设备及存储介质。
背景技术
随着移动互联网的不断发展,视频播放类的应用也越来越广泛,在视频播放的画面中插入弹幕也已经成为提高用户互动体验的重要手段。
在相关技术中,弹幕的渲染参数是固定的,例如,用户终端从服务器获取视频的视频数据和弹幕数据,其中视频数据中的每个图像帧以及每条弹幕数据具有各自的时间戳;在播放该视频时,用户终端根据视频数据的时间戳计算视频的当前播放进度,并根据弹幕数据的时间戳,将与当前播放进度相匹配的弹幕数据所对应的弹幕,按照默认的渲染参数渲染后显示在播放界面中。
然而,相关技术中弹幕的渲染参数是默认的,当播放界面中对应该弹幕的展示位置处的图像颜色与弹幕的颜色相近时,会导致弹幕模糊不清,影响视频播放过程中的弹幕显示效果。
发明内容
本申请实施例提供了一种弹幕展示方法、装置、计算机设备及存储介质,可以用于提高视频播放过程中的弹幕显示效果,该技术方案如下:
一方面,提供了一种弹幕展示方法,所述方法包括:
获取区域划分信息,所述区域划分信息用于指示播放目标视频的播放界面中的至少两种类型的播放区域;所述区域划分信息是通过所述目标视频中指定时间段内的视频亮度确定的;所述指定时间段是所述目标视频的当前播放时间点所在的指定时长的时间段;
获取目标弹幕在所述播放界面中的显示位置,所述目标弹幕是所述目标视频对应的弹幕中的任意一条弹幕;
按照所述显示位置所在的播放区域的区域类型对应的渲染参数,渲染所述目标弹幕;
在所述播放界面中的所述显示位置处展示渲染得到的所述目标弹幕。
另一方面,提供了一种弹幕展示方法,所述方法包括:
展示播放目标视频的播放界面;
响应于目标弹幕的显示位置位于所述播放界面中的第一类型播放区域,按照第一灰度值展示所述目标弹幕;
响应于所述目标弹幕的显示位置位于所述播放界面中的第二类型播放区域,按照第二灰度值展示所述目标弹幕;
其中,所述第一灰度值大于所述第二灰度值;在指定时间段内,所述第一类型播放区域内的图像的亮度的平均值,大于所述第二类型播放区域内的图像的亮度的平均值;所述指定时间段是所述目标视频的当前播放时间点所在的指定时长的时间段。
又一方面,提供了一种弹幕展示装置,所述装置包括:
区域划分信息获取模块,用于获取区域划分信息,所述区域划分信息用于指示播放目标视频的播放界面中的至少两种类型的播放区域;所述区域划分信息是通过所述目标视频中指定时间段内的视频亮度确定的;所述指定时间段是所述目标视频的当前播放时间点所在的指定时长的时间段;
显示位置获取模块,用于获取目标弹幕在所述播放界面中的显示位置,所述目标弹幕是所述目标视频对应的弹幕中的任意一条弹幕;
渲染模块,用于按照所述显示位置所在的播放区域的区域类型对应的渲染参数,渲染所述目标弹幕;
展示模块,用于在所述播放界面中的所述显示位置处展示渲染得到的所述目标弹幕。
在一种可能的实现方式中,所述区域划分信息获取模块,包括:
图像获取单元,用于获取所述目标视频中处于所述指定时间段内的n帧图像,n为大于或者等于2的整数;
亮度平均值获取单元,用于获取所述n帧图像在各个横坐标点上的亮度平均值;所述横坐标点是所述播放界面所在的二维坐标系中的横坐标上的坐标点;所述横坐标的延伸方向与所述目标弹幕的移动方向相同;
区域划分单元,用于基于所述n帧图像在各个横坐标点上的亮度平均值以及亮度阈值,对所述播放界面对应的各个横坐标点进行区间划分,得到各个横坐标区间;
信息生成单元,用于根据所述各个横坐标区间生成所述区域划分信息;所述区域划分信息指示的每个区域对应所述各个横坐标区间中的一个横坐标区间,且所述区域划分信息指示的各个区域中的相邻区域对应的类型不同。
在一种可能的实现方式中,所述亮度平均值获取单元,用于,
获取所述n帧图像分别在所述各个横坐标点上的亮度平均子值;所述亮度平均子值是图像中对应在一横坐标点上的各个像素的亮度的平均值;
对所述n帧图像分别在所述各个横坐标点上的亮度平均子值取平均值,得到所述n帧图像在各个横坐标点上的亮度平均值。
在一种可能的实现方式中,所述亮度平均值获取单元,用于,
对所述n帧图像中的各个像素点的亮度值取平均值,得到亮度图像,所述亮度图像中每个像素点的平度值,是所述n帧图像中对应的像素点的亮度的平均值;
对所述亮度图像中,分别对应所述各个横坐标点上的像素点的亮度取平均值,得到所述n帧图像在各个横坐标点上的亮度平均值。
在一种可能的实现方式中,所述区域划分单元,用于,
按照所述n帧图像在各个横坐标点上的亮度平均值与所述亮度阈值之间的大小关系,对所述各个横坐标点进行区间划分,得到各个第一坐标区间;每相邻两个所述第一坐标区间分别对应第一亮度区间和第二亮度区间;所述第一亮度区间是亮度值大于所述亮度阈值的亮度区间,所述第二亮度区间是亮度值不大于所述亮度阈值的亮度区间;
根据各个所述第一坐标区间确定所述各个横坐标区间。
在一种可能的实现方式中,在根据各个所述第一坐标区间确定所述各个横坐标区间时,所述区域划分单元,用于,
响应于各个所述第一坐标区间中的第一目标区间的区间跨度小于跨度阈值,将所述第一目标区间与相邻区间合并,得到各个第二坐标区间;所述第一目标区间是各个所述第一坐标区间中的任意一个区间;所述相邻区间是各个所述第一坐标区间中与所述第一目标区间相邻的区间;所述第一目标区间与所述相邻区间合并后的区间所对应的亮度区间,是所述第一目标区间与所述相邻区间合并后的区间的亮度的平均值所在的亮度区间;
根据各个所述第二坐标区间确定所述各个横坐标区间。
在一种可能的实现方式中,在根据各个所述第二坐标区间确定所述各个横坐标区间时,所述区域划分单元,用于,
响应于各个所述第二坐标区间中的相邻两个区间对应的亮度区间相同,将所述相邻两个区间进行合并,得到各个横坐标区间。
在一种可能的实现方式中,所述至少两种类型的播放区域包括第一类型播放区域和第二类型播放区域,所述渲染模块,包括:
第一渲染单元,用于响应于所述显示位置位于所述第一类型播放区域,且所述第一类型播放区域对应所述第一亮度区间,按照第一渲染参数渲染所述目标弹幕;
第二渲染单元,用于响应于所述显示位置位于所述第二类型播放区域,且所述第二类型播放区域对应所述第二亮度区间,按照第二渲染参数渲染所述目标弹幕;
其中,所述第一渲染参数的灰度值大于所述第二渲染参数的灰度值。
在一种可能的实现方式中,所述第一渲染单元,用于,
获取当前帧图像中,所述当前位置所在的第一类型播放区域的显著性分值;所述显著性分值与对应区间内的图像的视觉显著性成正相关;
响应于所述显著性分值大于分值阈值,按照所述第一渲染参数渲染所述目标弹幕。
在一种可能的实现方式中,所述第二渲染单元,还用于响应于所述显著性分值不大于所述分值阈值,按照所述第二渲染参数渲染所述目标弹幕。
在一种可能的实现方式中,所述区域划分信息获取模块,用于接收服务器发送的所述获取区域划分信息。
再一方面,提供了一种计算机设备,所述计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的弹幕展示方法。
又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述弹幕展示方法。
本申请提供的技术方案可以包括以下有益效果:
通过按照指定时长对目标视频进行分段,每个分段对应各自的区域划分信息,也就是说,在不同的时间段内,不同类型的播放区域的划分可以不同;而指定时间段对应的区域划分信息,是通过目标视频在该指定时间段内的视频亮度(即图像的亮度)来划分的,从而可以在指定时间段内,将播放界面中亮度不同的区域进行区分,从而在亮度不同的播放区域内,以不同的渲染参数来渲染并展示弹幕,比如,对于指定时间段内视频亮度较高的区域,以较高的灰度值进行渲染,以突出弹幕与背景图像之间的对比度,从而可以避免因为使用默认的渲染参数来渲染弹幕,导致弹幕在某些区域模糊不清的问题,从而可以提高弹幕的展示效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种视频播放系统的结构示意图;
图2是图1所示实施例涉及的一种弹幕显示示意图;
图3是根据一示例性实施例示出的一种弹幕展示方法的流程示意图;
图4是根据一示例性实施例提供的一种弹幕展示示意图;
图5是根据一示例性实施例提供的一种弹幕展示方法的方法流程图;
图6是图5所示实施例涉及的一种亮度平均值计算流程示意图;
图7是图5所示实施例涉及的一种亮度平均值计算流程示意图;
图8是图5所示实施例涉及的一种坐标区间划分示意图;
图9是图5所示实施例涉及的一种坐标区间合并示意图;
图10是图5所示实施例涉及的另一种坐标区间合并示意图;
图11是图5所示实施例涉及的一种弹幕展示的框架流程图;
图12是图5所示实施例涉及的一种弹幕展示示意图;
图13是根据一示例性实施例示出的弹幕展示装置的结构方框图;
图14是根据一示例性实施例示出的一种计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在对本申请所示的各个实施例进行说明之前,首先对本申请涉及到的几个概念进行介绍:
1)弹幕
在本申请各个实施例中,弹幕是指在视频播放画面上层叠加显示的评论,因大量评论从屏幕中飘过时的效果看上去像是飞行射击游戏中的弹幕而得名。
视频中的弹幕可以给观众一种“实时互动”的感觉,虽然不同弹幕的发送时间有所区别,但是其只会在视频中特定的一个时间点或者时间段出现,因此在相同时刻发送的弹幕通常也具有相同的主题,在参与评论时就会有与其他观众同时评论的感觉。因此,在线视频服务场景下,弹幕功能在传统的观影体验之外,为用户提供了额外的影片评论渠道,作为在线模式下的视频社交形式在年轻用户群(例如:动漫用户、二次元用户)中有着非常重要的地位。
弹幕通常以文字或者富文本为主要信息载体,即在视频播放画面上层叠加显示的评论为文本或者富文本格式的评论。
可选的,弹幕的信息载体还包括且不限于语音以及图像等等,即在视频播放画面上层叠加显示的评论为语音或者图像格式的评论。
图1是根据一示例性实施例示出的一种视频播放系统的结构示意图。该系统包括:服务器120以及用户终端140。
服务器120是一台服务器,或者包括若干台服务器,或者是一个虚拟化平台,或者是一个云计算服务中心等,本申请不做限制。
用户终端140可以是具有视频播放功能的终端设备,比如,用户终端可以是手机、平板电脑、电子书阅读器、智能眼镜、智能手表、智能电视、MP3播放器(Moving PictureExperts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。用户终端140的数量不做限定。
其中,用户终端140中可以安装有客户端,该客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。本申请实施例不限定客户端的软件类型。
用户终端140与服务器120之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
在本申请实施例中,服务器120可以将视频数据发送给用户终端140,由用户终端140根据视频数据进行视频播放。
可选的,上述视频数据可以是视频文件数据,或者,上述视频数据可以是视频流数据。
可选的,该系统还可以包括管理设备(图1未示出),该管理设备与服务器120之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(Extensible MarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet ProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
在本申请实施例中,服务器120向用户终端140发送目标视频的视频数据时,可以同时向用户终端发送视频数据中各个图像帧对应的弹幕数据,用户终端140在播放视频数据中的各个图像帧时,在当前播放界面上层叠加显示对应的弹幕。
比如,请参考图2,其示出了本申请实施例涉及的一种弹幕展示示意图。如图2所示,用户终端200的播放界面中当前正在播放一个图像帧的播放画面210,在该播放画面210上层叠加显示有该图像帧对应的弹幕220。可选的,在一段连续的图像帧对应的播放画面中,同一条弹幕在播放界面中的位置不同,并且,该弹幕在播放界面中的不同位置处的渲染参数也可以不同。
请参考图3,其是根据一示例性实施例示出的一种弹幕展示方法的流程示意图。该方法可以由计算机设备执行,该计算机设备可以是用户终端,或者该计算机设备也可以包括用户终端和服务器(即该方法可以由用户终端和服务器交互执行),其中,该用户终端和服务器可以是上述图1所示的实施例中的用户终端和服务器。如图3所示,该弹幕展示的流程可以包括如下步骤:
步骤31,获取区域划分信息,该区域划分信息用于指示播放目标视频的播放界面中的至少两种类型的播放区域;该区域划分信息是通过该目标视频中指定时间段内的视频亮度确定的。
其中,该指定时间段是该目标视频的当前播放时间点所在的指定时长的时间段。
上述指定时间段是目标视频的播放时间轴上的时间段。例如,以目标视频的播放时长是30秒(s),指定时长为10s为例,则指定时间段可以是0至10s、10s至20s以及20s至30s中的任意一个时间段。
步骤32,获取目标弹幕在该播放界面中的显示位置,该目标弹幕是该目标视频对应的弹幕中的任意一条弹幕。
步骤33,按照该显示位置所在的播放区域的区域类型对应的渲染参数,渲染该目标弹幕。
在本申请实施例中,区域划分信息所指示的不同区域类型的播放区域,对应的渲染参数也不同。
可选的,上述不同的渲染参数中的灰度值不同。
步骤34,在该播放界面中的该显示位置处展示渲染得到的该目标弹幕。
综上所述,在本申请实施例所示的方案中,可以按照指定时长对目标视频进行分段,每个分段对应各自的区域划分信息,也就是说,在不同的时间段内,不同类型的播放区域的划分可以不同;而指定时间段对应的区域划分信息,是通过目标视频在该指定时间段内的视频亮度(即图像的亮度)来划分的,从而可以在指定时间段内,将播放界面中亮度不同的区域进行区分,从而在亮度不同的播放区域内,以不同的渲染参数来渲染并展示弹幕,比如,对于指定时间段内视频亮度较高的区域,以较高的灰度值进行渲染,以突出弹幕与背景图像之间的对比度,从而可以避免因为使用默认的渲染参数来渲染弹幕,导致弹幕在某些区域模糊不清的问题,从而可以提高弹幕的展示效果。
通过上述图3所示的方案,用户终端在播放具有弹幕的视频的过程中,对于播放界面中的不同区域,显示的弹幕的灰度值也有所不同,从用户观察播放界面的角度来说,本申请实施例所示的方案可以表现如下:
S1,用户终端展示播放目标视频的播放界面。
S2,响应于目标弹幕的显示位置位于该播放界面中的第一类型播放区域,用户终端按照第一灰度值展示该目标弹幕。
S3,响应于该目标弹幕的显示位置位于该播放界面中的第二类型播放区域,用户终端按照第二灰度值展示该目标弹幕。
其中,该第一灰度值大于该第二灰度值;在指定时间段内,该第一类型播放区域内的图像的亮度的平均值,大于该第二类型播放区域内的图像的亮度的平均值;该指定时间段是该目标视频的当前播放时间点所在的指定时长的时间段。
例如,请参考图4,其是根据一示例性实施例提供的一种弹幕展示示意图,如图4所示,播放界面41中播放有目标视频的视频图像,并且,根据目标视频中对应当前播放时间点的指定长度时间段内的图像的亮度,将播放界面41划分为第一类型播放区域41a和第二类型播放区域41b,其中,两个播放区域的分界线与弹幕的移动方向垂直,在图4中,弹幕的移动方向为从右到左移动,而两个播放区域的分界线的方向是竖直方向。其中,在对应当前播放时间点的指定长度时间段内,第一类型播放区域41a中的图像的亮度的平均值较高,而第二类型播放区域41b中的图像的亮度的平均值较低,则在当前播放时间点上,第一类型播放区域41a中的弹幕42的灰度值较高,而第二类型播放区域41b中弹幕43的灰度值较低。
请参考图5,其是根据一示例性实施例提供的一种弹幕展示方法的方法流程图。该方法可以由计算机设备执行,该计算机设备可以是用户终端,或者该计算机设备也可以包括用户终端和服务器(即该方法可以由用户终端和服务器交互执行),其中,该用户终端和服务器可以是上述图1所示的实施例中的用户终端和服务器。以该方法由用户终端执行为例,如图5所示,该弹幕展示方法可以包括如下步骤:
步骤501,获取该目标视频中处于该指定时间段内的n帧图像,n为大于或者等于2的整数。
可选的,用户终端可以获取目标视频中处于指定时间段内的全部图像作为上述n帧图像。
在一种可能的实现方式中,为了保证后续按照亮度进行区域划分的准确性,用户终端可以将指定时间段内的全部图像提取为n帧图像,例如,假设指定时间段的对应的指定时长为10s,目标视频的播放帧率为30帧/s,则用户终端可以将该目标视频中处于指定时间段的10s内的300帧图像获取为上述n帧图像。
可选的,用户终端可以按照指定采样率,对目标视频中处于指定时间段内的图像进行采样,得到上述n帧图像。
在另一种可能的实现方式中,为了提高后续区域划分的效率,用户终端也可以将指定时间段内的部分图像提取为n帧图像,同时,为了保证一定的区域划分的准确性,用户终端从指定时间段内的图像中提取n帧图像时,可以按照指定的采样率进行提取,例如,假设采样率为1/3,指定时间段的对应的指定时长为10s,目标视频的播放帧率为30帧/s,则对于该目标视频中处于指定时间段的10s内图像(300帧图像),用户终端在每相邻3帧图像中提取1帧,得到100帧图像,作为上述n帧图像。
步骤502,获取该n帧图像在各个横坐标点上的亮度平均值;该横坐标点是该播放界面所在的二维坐标系中的横坐标上的坐标点;该横坐标的延伸方向与该目标弹幕的移动方向相同。
在本申请实施例中,用户终端可以按照弹幕在播放界面中的移动方向建立二维坐标系,其中横坐标的延伸方向与该弹幕的移动方向相同,纵坐标的延伸方向与弹幕的移动方向垂直。
在一种可能的实现方式中,该获取该n帧图像在各个横坐标点上的亮度平均值,包括:
获取该n帧图像分别在该各个横坐标点上的亮度平均子值;该亮度平均子值是图像中对应在一横坐标点上的各个像素的亮度的平均值;
对该n帧图像分别在该各个横坐标点上的亮度平均子值取平均值,得到该n帧图像在各个横坐标点上的亮度平均值。
为了使弹幕具备更好的可视性,即要提高弹幕与背景的对比度,一般情况下,弹幕的主要色彩选择为白色,因此当弹幕高速运动时,若背景色的亮度较高,以白色为主,将会使弹幕的对比度降低,从而导致弹幕模糊不清。本申请实施例所示的方案提出一种平均亮度评估模型,用于检测在一定时域内的亮度水平,进而确定弹幕应当提高对比度的区域。通过此模型,可平稳的对弹幕进行渲染调整,避免了为了提高对比度,频繁调整弹幕渲染,进而使可视性变差的效果。其中,确定平均亮度的方案可以如下:
S1:选定时间区间,T={Tstart,Tend},即上述指定时间段。
可选的,上述指定时间段的选择与弹幕在屏幕的渲染时长相关(即弹幕的渲染周期),例如弹幕从屏幕左侧到右侧的时长。比如,指定时间段对应的指定时长与弹幕在屏幕的渲染时长之间成正相关,即弹幕在屏幕的渲染时长越长,指定时间段对应的指定时长也越长。
S2:获取选定的时间区间内的图像序列,I={I1,I2,…,In}。
其中,Lab色彩空间也称为颜色-对立空间,维度L表示亮度,a和b表示颜色对立维度。
其中,上述亮度分量即图像Ii对应的亮度图像,即该亮度图像中每个像素的值是对应图像Ii中的像素的亮度值。
比如,请参考图6,其示出了本申请实施例涉及的一种亮度平均值计算流程示意图。如图6所示,首先通过取平均值的方式,对于n帧图像中的每帧图像,将该帧图像中的各个像素点的亮度值投影到各自对应的横坐标点上(S61),得到n帧图像分别对应的投影向量;然后对n帧图像分别对应的投影向量取平均值(S62),得到平均向量,该平均向量中对应各个横坐标点的向量元素,即为该n帧图像在各个横坐标点上的亮度平均值。
在另一种可能的实现方式中,该获取该n帧图像在各个横坐标点上的亮度平均值,包括:
对该n帧图像中的各个像素点的亮度值取平均值,得到亮度图像,该亮度图像中每个像素点的平度值,是该n帧图像中对应的像素点的亮度的平均值;对该亮度图像中,分别对应该各个横坐标点上的像素点的亮度取平均值,得到该n帧图像在各个横坐标点上的亮度平均值。
上述方案中,用户终端先对各帧图像分别求取横坐标上的投影向量然后对各帧图像各自在横坐标上的投影向量取平均值得到n帧图像在各个横坐标点上的亮度平均值;而在另一种方案中,用户终端可以先对n帧图像中各个像素点上的亮度取平均值,将n帧图像合并为单幅以亮度值为像素值的亮度图像,然后对该亮度图像进行纵坐标积分(投影),也就是计算该单幅亮度图像中各个横坐标点上的亮度平均值,得到上述n帧图像在各个横坐标点上的亮度平均值。
比如,请参考图7,其示出了本申请实施例涉及的一种亮度平均值计算流程示意图。如图7所示,首先对n帧图像中的相同位置像素点上的亮度值取平均值(S71),得到单幅亮度图像,也就是说,该亮度图像中每个像素点的值,是n帧图像中对应的像素点上的亮度值的平均值,比如,在图7中,亮度图像中的像素点1的像素值,是n帧图像各自的像素点1的亮度值的平均值。之后,在对该单幅亮度图像中的各个像素点的亮度值投影到各自对应的横坐标点上(S72),得到投影向量;该投影向量中对应各个横坐标点的向量元素,即为该n帧图像在各个横坐标点上的亮度平均值。
步骤503,基于该n帧图像在各个横坐标点上的亮度平均值以及亮度阈值,对该播放界面对应的各个横坐标点进行区间划分,得到各个横坐标区间。
可选的,在基于该n帧图像在各个横坐标点上的亮度平均值以及亮度阈值,对该播放界面对应的各个横坐标点进行区间划分,得到各个横坐标区间时,用户终端可以按照该n帧图像在各个横坐标点上的亮度平均值与该亮度阈值之间的大小关系,对该各个横坐标点进行区间划分,得到各个第一坐标区间;每相邻两个该第一坐标区间分别对应第一亮度区间和第二亮度区间;该第一亮度区间是亮度值大于该亮度阈值的亮度区间,该第二亮度区间是亮度值不大于该亮度阈值的亮度区间;根据各个该第一坐标区间确定该各个横坐标区间。
在Lab空间中,L(亮度分量)的取值范围为[0,100],其中100最亮,在本申请实施例中,可以设定亮度阈值,并确定大于该亮度阈值的所有联通区域,记为S={(x1,x2),…,(xm,xn)}。可选的,其中各个(x1,x2)中的平均亮度大于该亮度阈值。
其中,上述第一亮度区间和第二亮度区间以上述亮度阈值为边界进行划分,比如,以亮度阈值是50为例,上述第一亮度区间和第二亮度区间分别为[50,100],以及[0,50)。
比如,请参考图8,其示出了本申请实施例涉及的一种坐标区间划分示意图。如图8所示,在横坐标81中,横坐标点81a至横坐标点81b之间的各个横坐标点对应的平均亮度值,以及横坐标点81c至横坐标点81d之间的各个横坐标点对应的平均亮度值都位于第一亮度区间,而横坐标点81b至横坐标点81c之间的各个横坐标点对应的平均亮度值,以及横坐标点81d至横坐标点81e之间的各个横坐标点对应的平均亮度值都位于第二亮度区间,则用户终端对横坐标81中从横坐标点81a开始,到横坐标点81e结束的区间进行划分,得到四个区间,分别为坐标区间[81a,81b)、坐标区间[81b,81c)、坐标区间[81c,81d)以及坐标区间[81d,81e]。
在一种可能的实现方式中,用户终端可以将上述各个第一坐标区间作为各个横坐标区间。
在另一种可能的实现方式中,用户终端也可以在上述各个第一坐标区间的基础上进一步合并,得到各个横坐标区间,该合并方式可以如下:
在根据各个该第一坐标区间确定该各个横坐标区间时,响应于各个该第一坐标区间中的第一目标区间的区间跨度小于跨度阈值,将该第一目标区间与相邻区间合并,得到各个第二坐标区间;该第一目标区间是各个该第一坐标区间中的任意一个区间;该相邻区间是各个该第一坐标区间中与该第一目标区间相邻的区间;该第一目标区间与该相邻区间合并后的区间所对应的亮度区间,是该第一目标区间与该相邻区间合并后的区间的亮度的平均值所在的亮度区间;根据各个该第二坐标区间确定该各个横坐标区间。
其中,上述区间跨度是指对应的坐标区间的区间边界之间的坐标差值。比如,某个坐标区间为[100,200],单位为像素,则该坐标区间的区间跨度为100像素。
对于上述各个第一坐标区间,如果其中部分坐标区间的区间跨度较小,即低于上述跨度阈值,则后续进行渲染时,在目标弹幕移动过程中,可能会出现频繁改动渲染参数的情况,一方面占用更多的处理资源,另一方面也会导致目标弹幕的渲染参数频繁改动而导致其显示效果较差(比如,从用户视觉方面来说频繁的闪烁),因此,在本申请实施例中,用户终端可以将上述各个第一坐标区间中,区间跨度较小的第一目标区间合并到其相邻区间内,得到一个跨度较大的区间,其中,合并后的区间对应的亮度区间重新确定为其亮度平均值对应的亮度区间。
其中,相邻区间的选择和合并可以遵循指定的选取规则,比如,首先查询第一目标区间之后是否存在相邻区间,若是,则将该第一目标区间合并到后一个相邻区间,如果第一目标区间之后不存在相邻区间,则将该第一目标区间合并到前一个相邻区间。
比如,请参考图9,其示出了本申请实施例涉及的一种坐标区间合并示意图,如图9所示,通过各个横坐标点上的亮度平均值以及亮度阈值划分得到的各个第一坐标区间包括坐标区间91、坐标区间92、坐标区间93和坐标区间94,其中,坐标区间91和坐标区间93对应第一亮度区间,坐标区间92和坐标区间94对应第二亮度区间。在图9中,坐标区间92的区间跨度小于跨度阈值,则用户终端将坐标区间92合并到其相邻区间(即坐标区间93中),得到合并后的坐标区间95,并且,该合并后的坐标区间95对应的亮度区间重新确定。比如,假设坐标区间92中包含3个横坐标点,分别对应的平均亮度值为58、62、73;而坐标区间93中包含5个横坐标点,分别对应的平均亮度值为12、30、33、40、48,则合并后的坐标区间95对应的平均亮度值为(58+62+73+12+30+33+40+48)/8=44.5,处于第二亮度区间内,则坐标区间95对应的亮度区间为第二亮度区间;再例如,坐标区间92中的横坐标点分别对应的平均亮度值为88、62、73;而坐标区间93中的横坐标点分别对应的平均亮度值为48、45、45、40、48,则合并后的坐标区间95对应的平均亮度值为(88+62+73+48+45+45+40+48)/8≈56,处于第一亮度区间内,则坐标区间95对应的亮度区间为第一亮度区间。
在本申请实施例中,用户终端可以在上述各个第二坐标区间的基础上进一步合并,得到各个横坐标区间,该合并方式可以如下:
响应于各个该第二坐标区间中的相邻两个区间对应的亮度区间相同,将该相邻两个区间进行合并,得到各个横坐标区间。
经过上述对各个第一坐标区间进行合并之后,可能出现相邻的两个第二坐标区间对应的亮度区间相同的情况,在本申请实施例中,用户终端可以将对应的亮度区间相同的相邻第二坐标区间合并为单个坐标区间,从而得到上述各个横坐标区间。
比如,请参考图10,其示出了本申请实施例涉及的另一种坐标区间合并示意图。如图10所示,经过图9所示的方案合并后得到的各个第二坐标区间包括坐标区间91、坐标区间95和坐标区间94,其中,假设坐标区间91对应的亮度区间为第一亮度区间,坐标区间95和坐标区间94对应的亮度区间为第二亮度区间,则坐标区间95和坐标区间94是对应相同的亮度区间的相邻坐标区间,则将坐标区间95和坐标区间94合并为坐标区间96,则坐标区间91和坐标区间96即为得到的各个横坐标区间。
步骤504,根据该各个横坐标区间生成区域划分信息;该区域划分信息指示的每个区域对应该各个横坐标区间中的一个横坐标区间,且该区域划分信息指示的各个区域中的相邻区域对应的类型不同。
在本申请实施例中,上述区域划分信息可以包括上述各个横坐标区间的区间划分信息,即上述各个横坐标区间中,每个横坐标区间对应在播放界面中的播放区域,即为区域划分信息指示的一个播放区域。
步骤505,获取目标弹幕在该播放界面中的显示位置,该目标弹幕是该目标视频对应的弹幕中的任意一条弹幕。
在本申请实施例中,用户终端在播放目标视频的过程中,可以获取目标弹幕的展示时间区间,并结合当前播放时间点确定目标弹幕在播放界面中的显示位置。
步骤506,按照该显示位置所在的播放区域的区域类型对应的渲染参数,渲染该目标弹幕。
在本申请实施例中,区域划分信息所指示的不同区域类型的播放区域,对应的渲染参数也不同。
可选的,上述不同的渲染参数中的灰度值不同。
可选的,在渲染该目标弹幕时,响应于该显示位置位于该第一类型播放区域,且该第一类型播放区域对应该第一亮度区间,用户终端按照第一渲染参数渲染该目标弹幕;响应于该显示位置位于该第二类型播放区域,且该第二类型播放区域对应该第二亮度区间,用户终端按照第二渲染参数渲染该目标弹幕;其中,该第一渲染参数的灰度值大于该第二渲染参数的灰度值。
其中,上述第二渲染参数可以用户终端默认的渲染参数,第一渲染参数可以是在默认的渲染参数的基础上,对灰度值进行增大后得到的,调整后的渲染参数。
在本申请实施例中,对于指定时间段内平均亮度值较大的播放区域,当目标弹幕移动到该播放区域时,用户终端通过调整后的,灰度值较大的渲染参数对该目标弹幕进行渲染,以突出该目标弹幕与背景的对比。
相应的,对于指定时间段内平均亮度值较小的播放区域,当目标弹幕移动到该播放区域时,用户终端通过默认的,灰度值较小的渲染参数对该目标弹幕进行渲染,避免目标弹幕过于突出而影响用户对视频的观看体验。
可选的,在响应于该显示位置位于该第一类型播放区域,且该第一类型播放区域对应第一亮度区间,按照第一渲染参数渲染该目标弹幕时,用户终端可以获取当前帧图像中,该当前位置所在的第一类型播放区域的显著性分值;该显著性分值与对应区间内的图像的视觉显著性成正相关;响应于该显著性分值大于分值阈值,按照该第一渲染参数渲染该目标弹幕。
可选的,在响应于该显示位置位于该第一类型播放区域,且该第一类型播放区域对应第一亮度区间,按照第一渲染参数渲染该目标弹幕时,用户终端可以响应于该显著性分值不大于该分值阈值,按照该第二渲染参数渲染该目标弹幕。
通过上述的平均亮度检测模型,可以评估出一定时长内,平均亮度较高的区域,此区域也是造成弹幕对比度下降的区域。在某些情况下,过多的区域划分将会使弹幕在渲染时增添了不稳定性,例如不断的进行颜色变化,产生了与期望相反的结果,因此,在本申请实施例中,在对弹幕进行渲染时,用户终端可以对第一类型播放区域进行筛选,减少需要提高对比度渲染的播放区域的分布,增加渲染的稳定性,使渲染更加一致和流畅。其中,该区域筛选过程可以通过视觉显著性来实现。
上述显著性,是依据人眼视觉模型提出的概念,若判断当前区域为显著性区域,则说明当前区域将会对人眼有更强的吸引,用户的目光将会更多的停留在此区域。本申请实施例可以通过校验显著性区域,对显著性区域中的弹幕进行提高灰度值的处理,可以使弹幕在对比度增强的同时,获得更多的视觉关注,进一步提高弹幕体验,而对于非显著性区域中的弹幕按照默认灰度值进行渲染处理,其实施步骤如下:
S1:对当前图像中每个像素分别进行显著性检测。
在本申请实施例中,可以采用多种显著性检测算法来检测当前图像中每个像素的视觉显著性,比如,基于数值计算的显著性检测算法、基于机器学习的显著性检测算法。
例如,在本申请实施例中,为了简化计算过程,提高渲染效率,用户终端可以使用基于欧式距离的显著性检测算法来检测当前图像中每个像素的显著性分值,其检测公式如下:
其中,Ik即是当前像素,Ii则代表图像中的其它任一像素,该公式的物理意义是图像中每个像素的显著性等于其与其他像素的欧氏距离的总和。
对于上述各个横坐标区间分别对应的播放区域,用户终端可以将各个播放区域内的像素的显著性分值取平均值,从而得到各个横坐标区间分别对应的播放区域的显著性分值,对于上述第一类型播放区域,如果目标弹幕移动至该第一类型播放区域,并且该第一类型播放区域的显著性分值大于分值阈值,则说明该第一类型播放区域是平均亮度较高,同时视觉显著性也较高的区域,此时,用户终端使用灰度值较高的渲染参数对该目标弹幕进行渲染,提高弹幕与背景的对比度。可选的,如果该第一类型播放区域的显著性分值不大于分值阈值,则说明该第一类型播放区域虽然是平均亮度较高,但是视觉显著性较低,用户通常不会注意观察该区域,此时,用户终端使用默认的渲染参数对该目标弹幕进行渲染,避免频繁更改灰度值而影响弹幕的展示效果。
步骤507,在该播放界面中的该显示位置处展示渲染得到的该目标弹幕。
在本申请实施例上述方案中,以用户终端进行区域划分为例进行介绍,可选的,上述步骤501至步骤504所示的步骤也可以由服务器执行,即服务器通过上述步骤501至步骤504得到区域划分信息后,将区域划分信息发送给用户终端,由用户终端接收服务器发送的该获取区域划分信息。
请参考图11,其示出了本申请实施例涉及的一种弹幕展示的框架流程图,如图11所示,该流程可以包括如下步骤:
S1101,用户终端从服务器接收目标视频的视频数据,并在播放界面中播放视频图像。
S1102,用户终端确定当前播放时间点对应的指定时间段。
S1103,用户终端对目标视频中处于该指定时间段内的n帧图像计算各个横坐标点上的亮度平均值,并按照亮度平均值划分得到两种类型的图像区域。
S1104,用户终端根据当前播放的图像中,分别对应上述两种类型的图像区域的显著性分值,确定出亮度平均值和显著性分值都较高的图像区域。
S1105,用户终端从服务器接收目标视频的弹幕。
S1106,用户终端获取当前播放时间点对应的目标弹幕。
S1107,确定目标弹幕的显示位置所在的图像区域。
S1108,根据目标弹幕的显示位置所在的图像区域,确定目标弹幕的渲染参数。其中,当目标弹幕的显示位置处于亮度平均值和显著性分值都较高的图像区域时,确定该目标弹幕对应的渲染参数具有较高的灰度值;当目标弹幕的显示位置处于亮度平均值或者显著性分值较低的图像区域时,确定该目标弹幕对应的渲染参数具有较低的灰度值。
S1109,根据确定的渲染参数对应目标弹幕进行渲染和展示。
本申请实施例所示的方案,结合亮度模型和人眼注意力模型,分析弹幕所处画面的平均亮度,将平均亮度较高的区域标为重点区域,然后分析弹幕所处画面的显著性区域,当弹幕处于平均亮度较高的重点区域,同时该重点区域也是显著性区域时,更改弹幕的渲染属性,使其有着更强的对比度。通过上述显著性区域的检测,可以确定用户所关心的区域,即用户在观看视频时所聚焦的区域,此区域的内容将会获得更多的视觉关注,也就是说,当弹幕处于此区域时,将会获得更多的关注,此时,如果该区域是平均亮度较高的区域,用户终端通过自适应的渲染调整策略,增强弹幕的对比度,使其具备更强的辨识力,进而使得弹幕的展示更清晰。
比如,请参考图12,其示出了本申请实施例涉及的一种弹幕展示示意图。如图12所示,播放界面1201中播放有目标视频的视频图像,并且,根据目标视频中对应当前播放时间点的指定长度时间段内的图像的亮度,将播放界面1201划分为第一类型播放区域1201a和1201b,以及第二类型播放区域1201c。其中,在对应当前播放时间点的指定长度时间段内,第一类型播放区域中的图像的亮度的平均值较高,而第二类型播放区域中的图像的亮度的平均值较低,并且,在当前播放的图像中,位于播放区域1201a中的图像的显著性分值高于分值阈值,播放区域1201b中的图像的显著性分值高于分值阈值,则在当前播放时间点上,第一类型播放区域1201a中的弹幕1202的灰度值较高,而第一类型播放区域1201b中的弹幕1203,以及第二类型播放区域1201c中弹幕1204的灰度值较低。
综上所述,在本申请实施例所示的方案中,可以按照指定时长对目标视频进行分段,每个分段对应各自的区域划分信息,也就是说,在不同的时间段内,不同类型的播放区域的划分可以不同;而指定时间段对应的区域划分信息,是通过目标视频在该指定时间段内的视频亮度(即图像的亮度)来划分的,从而可以在指定时间段内,将播放界面中亮度不同的区域进行区分,从而在亮度不同的播放区域内,以不同的渲染参数来渲染并展示弹幕,比如,对于指定时间段内视频亮度较高的区域,以较高的灰度值进行渲染,以突出弹幕与背景图像之间的对比度,从而可以避免因为使用默认的渲染参数来渲染弹幕,导致弹幕在某些区域模糊不清的问题,从而可以提高弹幕的展示效果。
此外,在本申请实施例所示的方案中,在划分不同类型的播放区域之后,在渲染弹幕时,还计算当前播放的图像在平均亮度值较高的播放区域内的显著性分值,当显著性分值也较高时,以较高的灰度值对该播放区域内的弹幕进行渲染,否则以较低的灰度值对该播放区域内的弹幕进行渲染,避免对弹幕的渲染参数进行频繁更改,提高弹幕的展示效果。
图13是根据一示例性实施例示出的一种弹幕展示装置的结构方框图。该弹幕展示装置可以实现图3或图5所示实施例提供的方法中的全部或者部分步骤。该弹幕展示装置可以包括:
区域划分信息获取模块1301,用于获取区域划分信息,所述区域划分信息用于指示播放目标视频的播放界面中的至少两种类型的播放区域;所述区域划分信息是通过所述目标视频中指定时间段内的视频亮度确定的;所述指定时间段是所述目标视频的当前播放时间点所在的指定时长的时间段;
显示位置获取模块1302,用于获取目标弹幕在所述播放界面中的显示位置,所述目标弹幕是所述目标视频对应的弹幕中的任意一条弹幕;
渲染模块1303,用于按照所述显示位置所在的播放区域的区域类型对应的渲染参数,渲染所述目标弹幕;
展示模块1304,用于在所述播放界面中的所述显示位置处展示渲染得到的所述目标弹幕。
在一种可能的实现方式中,所述区域划分信息获取模块1301,包括:
图像获取单元,用于获取所述目标视频中处于所述指定时间段内的n帧图像,n为大于或者等于2的整数;
亮度平均值获取单元,用于获取所述n帧图像在各个横坐标点上的亮度平均值;所述横坐标点是所述播放界面所在的二维坐标系中的横坐标上的坐标点;所述横坐标的延伸方向与所述目标弹幕的移动方向相同;
区域划分单元,用于基于所述n帧图像在各个横坐标点上的亮度平均值以及亮度阈值,对所述播放界面对应的各个横坐标点进行区间划分,得到各个横坐标区间;
信息生成单元,用于根据所述各个横坐标区间生成所述区域划分信息;所述区域划分信息指示的每个区域对应所述各个横坐标区间中的一个横坐标区间,且所述区域划分信息指示的各个区域中的相邻区域对应的类型不同。
在一种可能的实现方式中,所述亮度平均值获取单元,用于,
获取所述n帧图像分别在所述各个横坐标点上的亮度平均子值;所述亮度平均子值是图像中对应在一横坐标点上的各个像素的亮度的平均值;
对所述n帧图像分别在所述各个横坐标点上的亮度平均子值取平均值,得到所述n帧图像在各个横坐标点上的亮度平均值。
在一种可能的实现方式中,所述亮度平均值获取单元,用于,
对所述n帧图像中的各个像素点的亮度值取平均值,得到亮度图像,所述亮度图像中每个像素点的平度值,是所述n帧图像中对应的像素点的亮度的平均值;
对所述亮度图像中,分别对应所述各个横坐标点上的像素点的亮度取平均值,得到所述n帧图像在各个横坐标点上的亮度平均值。
在一种可能的实现方式中,所述区域划分单元,用于,
按照所述n帧图像在各个横坐标点上的亮度平均值与所述亮度阈值之间的大小关系,对所述各个横坐标点进行区间划分,得到各个第一坐标区间;每相邻两个所述第一坐标区间分别对应第一亮度区间和第二亮度区间;所述第一亮度区间是亮度值大于所述亮度阈值的亮度区间,所述第二亮度区间是亮度值不大于所述亮度阈值的亮度区间;
根据各个所述第一坐标区间确定所述各个横坐标区间。
在一种可能的实现方式中,在根据各个所述第一坐标区间确定所述各个横坐标区间时,所述区域划分单元,用于,
响应于各个所述第一坐标区间中的第一目标区间的区间跨度小于跨度阈值,将所述第一目标区间与相邻区间合并,得到各个第二坐标区间;所述第一目标区间是各个所述第一坐标区间中的任意一个区间;所述相邻区间是各个所述第一坐标区间中与所述第一目标区间相邻的区间;所述第一目标区间与所述相邻区间合并后的区间所对应的亮度区间,是所述第一目标区间与所述相邻区间合并后的区间的亮度的平均值所在的亮度区间;
根据各个所述第二坐标区间确定所述各个横坐标区间。
在一种可能的实现方式中,在根据各个所述第二坐标区间确定所述各个横坐标区间时,所述区域划分单元,用于,
响应于各个所述第二坐标区间中的相邻两个区间对应的亮度区间相同,将所述相邻两个区间进行合并,得到各个横坐标区间。
在一种可能的实现方式中,所述至少两种类型的播放区域包括第一类型播放区域和第二类型播放区域,所述渲染模块1303,包括:
第一渲染单元,用于响应于所述显示位置位于所述第一类型播放区域,且所述第一类型播放区域对应所述第一亮度区间,按照第一渲染参数渲染所述目标弹幕;
第二渲染单元,用于响应于所述显示位置位于所述第二类型播放区域,且所述第二类型播放区域对应所述第二亮度区间,按照第二渲染参数渲染所述目标弹幕;
其中,所述第一渲染参数的灰度值大于所述第二渲染参数的灰度值。
在一种可能的实现方式中,所述第一渲染单元,用于,
获取当前帧图像中,所述当前位置所在的第一类型播放区域的显著性分值;所述显著性分值与对应区间内的图像的视觉显著性成正相关;
响应于所述显著性分值大于分值阈值,按照所述第一渲染参数渲染所述目标弹幕。
在一种可能的实现方式中,所述第二渲染单元,还用于响应于所述显著性分值不大于所述分值阈值,按照所述第二渲染参数渲染所述目标弹幕。
在一种可能的实现方式中,所述区域划分信息获取模块1301,用于接收服务器发送的所述获取区域划分信息。
综上所述,在本申请实施例所示的方案中,可以按照指定时长对目标视频进行分段,每个分段对应各自的区域划分信息,也就是说,在不同的时间段内,不同类型的播放区域的划分可以不同;而指定时间段对应的区域划分信息,是通过目标视频在该指定时间段内的视频亮度(即图像的亮度)来划分的,从而可以在指定时间段内,将播放界面中亮度不同的区域进行区分,从而在亮度不同的播放区域内,以不同的渲染参数来渲染并展示弹幕,比如,对于指定时间段内视频亮度较高的区域,以较高的灰度值进行渲染,以突出弹幕与背景图像之间的对比度,从而可以避免因为使用默认的渲染参数来渲染弹幕,导致弹幕在某些区域模糊不清的问题,从而可以提高弹幕的展示效果。
此外,在本申请实施例所示的方案中,在划分不同类型的播放区域之后,在渲染弹幕时,还计算当前播放的图像在平均亮度值较高的播放区域内的显著性分值,当显著性分值也较高时,以较高的灰度值对该播放区域内的弹幕进行渲染,否则以较低的灰度值对该播放区域内的弹幕进行渲染,避免对弹幕的渲染参数进行频繁更改,提高弹幕的展示效果。
图14示出了本申请一个示例性实施例示出的计算机设备1400的结构框图。该计算机设备1400可以是图1所示系统中的用户终端或者服务器。
通常,计算机设备1400包括有:处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器。在一些实施例中,处理器1401可以在集成有GPU(Graphics Processing Unit,图像处理器),处理器1401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1401所执行以实现本申请上述方法实施例中的全部或者部分步骤。
在一些实施例中,计算机设备实现为用户终端时,该计算机设备1400还可选包括有:外围设备接口1403和至少一个外围设备。处理器1401、存储器1402和外围设备接口1403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1403相连。可选的,外围设备包括:射频电路1404、触摸显示屏1405、摄像头1406、音频电路1407、定位组件1408和电源1409中的至少一种。
外围设备接口1403可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1401和存储器1402。
射频电路1404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。可选地,射频电路1404包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它计算机设备进行通信。在一些实施例中,射频电路1404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1405用于显示UI(UserInterface,用户界面)。当显示屏1405是触摸显示屏时,显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。
摄像头组件1406用于采集图像或视频。在一些实施例中,摄像头组件1406还可以包括闪光灯。
音频电路1407可以包括麦克风和扬声器。在一些实施例中,音频电路1407还可以包括耳机插孔。
定位组件1408用于定位计算机设备1400的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。
电源1409用于为计算机设备1400中的各个组件进行供电。
在一些实施例中,计算机设备1400还包括有一个或多个传感器1410。该一个或多个传感器1410包括但不限于:加速度传感器1411、陀螺仪传感器1412、压力传感器1413、指纹传感器1414、光学传感器1415以及接近传感器1416。
本领域技术人员可以理解,图14中示出的结构并不构成对计算机设备1400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括计算机程序(指令)的存储器,上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法中,由服务器或者用户终端执行的方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (14)
1.一种弹幕展示方法,其特征在于,所述方法包括:
获取区域划分信息,所述区域划分信息用于指示播放目标视频的播放界面中的至少两种类型的播放区域;所述区域划分信息是通过所述目标视频中指定时间段内的视频帧的亮度信息确定的;所述指定时间段是所述目标视频的当前播放时间点所在的指定时长的时间段;
获取目标弹幕在所述播放界面中的显示位置,所述目标弹幕是所述目标视频对应的弹幕中的任意一条弹幕;
按照所述显示位置所在的播放区域的区域类型对应的渲染参数,渲染所述目标弹幕;
在所述播放界面中的所述显示位置处展示渲染得到的所述目标弹幕。
2.根据权利要求1所述的方法,其特征在于,所述获取区域划分信息,包括:
获取所述目标视频中处于所述指定时间段内的n帧图像,n为大于或者等于2的整数;
获取所述n帧图像分别在各个横坐标点上的亮度平均子值;所述亮度平均子值是图像中对应在一横坐标点上的各个像素的亮度的平均值;所述横坐标点是所述播放界面所在的二维坐标系中的横坐标上的坐标点;所述横坐标的延伸方向与所述目标弹幕的移动方向相同;
对所述n帧图像分别在所述各个横坐标点上的亮度平均子值取平均值,得到所述n帧图像在各个横坐标点上的亮度平均值;
基于所述n帧图像在各个横坐标点上的亮度平均值以及亮度阈值,对所述播放界面对应的各个横坐标点进行区间划分,得到各个横坐标区间;
根据所述各个横坐标区间生成所述区域划分信息;所述区域划分信息指示的每个区域对应所述各个横坐标区间中的一个横坐标区间,且所述区域划分信息指示的各个区域中的相邻区域对应的类型不同。
3.根据权利要求1所述的方法,其特征在于,所述获取区域划分信息,包括:
获取所述目标视频中处于所述指定时间段内的n帧图像,n为大于或者等于2的整数;
对所述n帧图像中的各个像素点的亮度值取平均值,得到亮度图像,所述亮度图像中每个像素点的平度值,是所述n帧图像中对应的像素点的亮度的平均值;
对所述亮度图像中,分别对应各个横坐标点上的像素点的亮度取平均值,得到所述n帧图像在各个横坐标点上的亮度平均值;
基于所述n帧图像在各个横坐标点上的亮度平均值以及亮度阈值,对所述播放界面对应的各个横坐标点进行区间划分,得到各个横坐标区间;
根据所述各个横坐标区间生成所述区域划分信息;所述区域划分信息指示的每个区域对应所述各个横坐标区间中的一个横坐标区间,且所述区域划分信息指示的各个区域中的相邻区域对应的类型不同。
4.根据权利要求2或3所述的方法,其特征在于,所述基于所述n帧图像在各个横坐标点上的亮度平均值以及亮度阈值,对所述播放界面对应的各个横坐标点进行区间划分,得到各个横坐标区间,包括:
按照所述n帧图像在各个横坐标点上的亮度平均值与所述亮度阈值之间的大小关系,对所述各个横坐标点进行区间划分,得到各个第一坐标区间;每相邻两个所述第一坐标区间分别对应第一亮度区间和第二亮度区间;所述第一亮度区间是亮度值大于所述亮度阈值的亮度区间,所述第二亮度区间是亮度值不大于所述亮度阈值的亮度区间;
根据各个所述第一坐标区间确定所述各个横坐标区间。
5.根据权利要求4所述的方法,其特征在于,所述根据各个所述第一坐标区间确定所述各个横坐标区间,包括:
响应于各个所述第一坐标区间中的第一目标区间的区间跨度小于跨度阈值,将所述第一目标区间与相邻区间合并,得到各个第二坐标区间;所述第一目标区间是各个所述第一坐标区间中的任意一个区间;所述相邻区间是各个所述第一坐标区间中与所述第一目标区间相邻的区间;所述第一目标区间与所述相邻区间合并后的区间所对应的亮度区间,是所述第一目标区间与所述相邻区间合并后的区间的亮度的平均值所在的亮度区间;
根据各个所述第二坐标区间确定所述各个横坐标区间。
6.根据权利要求5所述的方法,其特征在于,所述根据各个所述第二坐标区间确定所述各个横坐标区间,包括:
响应于各个所述第二坐标区间中的相邻两个区间对应的亮度区间相同,将所述相邻两个区间进行合并,得到各个横坐标区间。
7.根据权利要求4所述的方法,其特征在于,所述至少两种类型的播放区域包括第一类型播放区域和第二类型播放区域,所述按照所述显示位置所在的播放区域的区域类型对应的渲染参数,渲染所述目标弹幕,包括:
响应于所述显示位置位于所述第一类型播放区域,且所述第一类型播放区域对应所述第一亮度区间,按照第一渲染参数渲染所述目标弹幕;
响应于所述显示位置位于所述第二类型播放区域,且所述第二类型播放区域对应所述第二亮度区间,按照第二渲染参数渲染所述目标弹幕;
其中,所述第一渲染参数的灰度值大于所述第二渲染参数的灰度值。
8.根据权利要求7所述的方法,其特征在于,所述响应于所述显示位置位于所述第一类型播放区域,且所述第一类型播放区域对应第一亮度区间,按照第一渲染参数渲染所述目标弹幕,包括:
获取当前帧图像中,当前位置所在的第一类型播放区域的显著性分值;所述显著性分值与对应区间内的图像的视觉显著性成正相关;
响应于所述显著性分值大于分值阈值,按照所述第一渲染参数渲染所述目标弹幕。
9.根据权利要求8所述的方法,其特征在于,所述响应于所述显示位置位于所述第一类型播放区域,且所述第一类型播放区域对应第一亮度区间,按照第一渲染参数渲染所述目标弹幕,还包括:
响应于所述显著性分值不大于所述分值阈值,按照所述第二渲染参数渲染所述目标弹幕。
10.根据权利要求1所述的方法,其特征在于,所述获取区域划分信息,包括:
接收服务器发送的所述获取区域划分信息。
11.一种弹幕展示方法,其特征在于,所述方法包括:
展示播放目标视频的播放界面;
响应于目标弹幕的显示位置位于所述播放界面中的第一类型播放区域,按照第一灰度值展示所述目标弹幕;
响应于所述目标弹幕的显示位置位于所述播放界面中的第二类型播放区域,按照第二灰度值展示所述目标弹幕;
其中,所述第一灰度值大于所述第二灰度值;在指定时间段内,所述第一类型播放区域内的图像的亮度的平均值,大于所述第二类型播放区域内的图像的亮度的平均值;所述指定时间段是所述目标视频的当前播放时间点所在的指定时长的时间段。
12.一种弹幕展示装置,其特征在于,所述装置包括:
区域划分信息获取模块,用于获取区域划分信息,所述区域划分信息用于指示播放目标视频的播放界面中的至少两种类型的播放区域;所述区域划分信息是通过所述目标视频中指定时间段内的视频帧的亮度信息确定的;所述指定时间段是所述目标视频的当前播放时间点所在的指定时长的时间段;
显示位置获取模块,用于获取目标弹幕在所述播放界面中的显示位置,所述目标弹幕是所述目标视频对应的弹幕中的任意一条弹幕;
渲染模块,用于按照所述显示位置所在的播放区域的区域类型对应的渲染参数,渲染所述目标弹幕;
展示模块,用于在所述播放界面中的所述显示位置处展示渲染得到的所述目标弹幕。
13.一种计算机设备,其特征在于,所述计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一所述的弹幕展示方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一所述的弹幕展示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010366269.7A CN111614993B (zh) | 2020-04-30 | 2020-04-30 | 弹幕展示方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010366269.7A CN111614993B (zh) | 2020-04-30 | 2020-04-30 | 弹幕展示方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111614993A CN111614993A (zh) | 2020-09-01 |
CN111614993B true CN111614993B (zh) | 2021-05-25 |
Family
ID=72202951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010366269.7A Active CN111614993B (zh) | 2020-04-30 | 2020-04-30 | 弹幕展示方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111614993B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114584824A (zh) * | 2020-12-01 | 2022-06-03 | 阿里巴巴集团控股有限公司 | 数据处理方法、系统、电子设备、服务端及客户端设备 |
CN112698901A (zh) * | 2020-12-30 | 2021-04-23 | 北京搜狗科技发展有限公司 | 一种应用程序设置方法及装置 |
CN115550714A (zh) * | 2021-06-30 | 2022-12-30 | 花瓣云科技有限公司 | 字幕显示方法及相关设备 |
CN113905125B (zh) * | 2021-09-08 | 2023-02-21 | 维沃移动通信有限公司 | 视频显示方法、装置、电子设备及存储介质 |
CN114531607A (zh) * | 2021-12-14 | 2022-05-24 | 北京奇艺世纪科技有限公司 | 弹幕显示方法、装置、设备及存储介质 |
CN115134663A (zh) * | 2022-07-11 | 2022-09-30 | 京东方科技集团股份有限公司 | 一种信息展示方法、装置、系统及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108093306A (zh) * | 2017-12-11 | 2018-05-29 | 维沃移动通信有限公司 | 一种弹幕显示方法及移动终端 |
CN108307245A (zh) * | 2018-02-07 | 2018-07-20 | 中译语通科技股份有限公司 | 一种基于背景感知技术的字幕字体颜色获取方法、显示器 |
CN108521580A (zh) * | 2018-03-30 | 2018-09-11 | 优酷网络技术(北京)有限公司 | 弹幕信息显示方法及装置 |
CN109218798A (zh) * | 2017-06-30 | 2019-01-15 | 武汉斗鱼网络科技有限公司 | 一种直播弹幕颜色设置方法及装置 |
CN109413484A (zh) * | 2018-12-29 | 2019-03-01 | 咪咕文化科技有限公司 | 一种弹幕展示方法、装置及存储介质 |
CN109934985A (zh) * | 2019-01-25 | 2019-06-25 | 深圳市象形字科技股份有限公司 | 一种基于弹幕技术的排队叫号系统显示方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618813B (zh) * | 2015-01-20 | 2018-02-13 | 腾讯科技(北京)有限公司 | 弹幕信息处理方法、客户端及服务平台 |
-
2020
- 2020-04-30 CN CN202010366269.7A patent/CN111614993B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109218798A (zh) * | 2017-06-30 | 2019-01-15 | 武汉斗鱼网络科技有限公司 | 一种直播弹幕颜色设置方法及装置 |
CN108093306A (zh) * | 2017-12-11 | 2018-05-29 | 维沃移动通信有限公司 | 一种弹幕显示方法及移动终端 |
CN108307245A (zh) * | 2018-02-07 | 2018-07-20 | 中译语通科技股份有限公司 | 一种基于背景感知技术的字幕字体颜色获取方法、显示器 |
CN108521580A (zh) * | 2018-03-30 | 2018-09-11 | 优酷网络技术(北京)有限公司 | 弹幕信息显示方法及装置 |
CN109413484A (zh) * | 2018-12-29 | 2019-03-01 | 咪咕文化科技有限公司 | 一种弹幕展示方法、装置及存储介质 |
CN109934985A (zh) * | 2019-01-25 | 2019-06-25 | 深圳市象形字科技股份有限公司 | 一种基于弹幕技术的排队叫号系统显示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111614993A (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111614993B (zh) | 弹幕展示方法、装置、计算机设备及存储介质 | |
US8922588B2 (en) | Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique | |
US11290573B2 (en) | Method and apparatus for synchronizing viewing angles in virtual reality live streaming | |
CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
US11037321B2 (en) | Determining size of virtual object | |
US11119719B2 (en) | Screen sharing for display in VR | |
WO2022033485A1 (zh) | 视频处理方法及电子设备 | |
CN108604389B (zh) | 连续深度排序图像合成 | |
CN109982036A (zh) | 一种全景视频数据处理的方法、终端以及存储介质 | |
US20180253858A1 (en) | Detection of planar surfaces for use in scene modeling of a captured scene | |
CN105389090A (zh) | 游戏交互界面显示的方法及装置、移动终端和电脑终端 | |
CN114630057B (zh) | 确定特效视频的方法、装置、电子设备及存储介质 | |
CN114531553B (zh) | 生成特效视频的方法、装置、电子设备及存储介质 | |
CN112601120B (zh) | 字幕显示方法及装置 | |
WO2024056020A1 (zh) | 一种双目图像的生成方法、装置、电子设备及存储介质 | |
US11846783B2 (en) | Information processing apparatus, information processing method, and program | |
TWI790560B (zh) | 並排影像偵測方法與使用該方法的電子裝置 | |
CN110860084B (zh) | 一种虚拟画面处理方法及装置 | |
US20220207848A1 (en) | Method and apparatus for generating three dimensional images | |
EP2536160B1 (en) | Display system with image conversion mechanism and method of operation thereof | |
WO2023207516A1 (zh) | 直播视频处理方法、装置、电子设备及存储介质 | |
WO2018000610A1 (zh) | 一种基于图像类型判断的自动播放方法和电子设备 | |
US11756227B2 (en) | Pose correction for digital content | |
WO2023097576A1 (en) | Segmentation with monocular depth estimation | |
CN115243097B (zh) | 一种录制方法及装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40028075 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |