CN110784755A - 一种弹幕信息的显示方法、装置、终端和存储介质 - Google Patents

一种弹幕信息的显示方法、装置、终端和存储介质 Download PDF

Info

Publication number
CN110784755A
CN110784755A CN201911127312.8A CN201911127312A CN110784755A CN 110784755 A CN110784755 A CN 110784755A CN 201911127312 A CN201911127312 A CN 201911127312A CN 110784755 A CN110784755 A CN 110784755A
Authority
CN
China
Prior art keywords
target
video image
display
bullet screen
screen information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911127312.8A
Other languages
English (en)
Inventor
景生善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jilian Network Technology Co Ltd
Original Assignee
Shanghai Jilian Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jilian Network Technology Co Ltd filed Critical Shanghai Jilian Network Technology Co Ltd
Priority to CN201911127312.8A priority Critical patent/CN110784755A/zh
Publication of CN110784755A publication Critical patent/CN110784755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Abstract

本发明实施例公开了一种弹幕信息的显示方法、装置、终端及存储介质。该方法包括：获取当前视频流中的各帧视频图像，将视频图像输入至已训练完成的对象识别模型中，得到视频图像的对象识别结果；当监测到调整当前视频流中的弹幕信息的触发事件时，根据对象识别结果确定出与触发事件对应的目标对象；根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像，针对目标对象在目标视频图像中的目标显示区域，调整位于目标显示区域的弹幕信息的显示属性。本发明实施例的技术方案，可以同时满足用户观看视频、发表字幕信息和浏览字幕信息的需求，避免了字幕信息遮挡住关键内容的情况，提高了用户在观看视频过程中的趣味性。

Description

一种弹幕信息的显示方法、装置、终端和存储介质
技术领域
本发明实施例涉及计算机应用技术领域，尤其涉及一种弹幕信息的显示方法、装置、终端和存储介质。
背景技术
目前，直播平台和点播平台中的弹幕功能已受到越来越多的用户的认可和喜爱，其是用户和用户间以及用户和主播间互动交流的一种重要方式。
比如，在直播平台中，用户可以通过发送弹幕的方式表达对主播的喜爱、向主播提问、和其它用户针对各个话题进行讨论等等，可见，弹幕功能增加了用户的粘性。再比如，在点播平台中，以观看视频为例，用户在看见自己喜欢的场景或是剧情时，可以通过弹幕功能将自己的感受实时发表在当前视频播放画面上来与其它用户分享交流，可见，弹幕功能提高了视频播放的趣味性。
但是，正是由于现在使用弹幕功能的用户如此之多，用户发表的较大数量的弹幕信息很可能遮挡住关键内容，比如直播中的主播、点播中的演员等等，这直接影响了用户的观看体验。
发明内容
本发明实施例提供了一种弹幕信息的显示方法、装置、终端和存储介质，解决了用户发表的弹幕信息可能会遮挡住关键内容的问题。
第一方面，本发明实施例提供了一种弹幕信息的显示方法，可以包括：
获取当前视频流中的各帧视频图像，将视频图像输入至已训练完成的对象识别模型中，得到视频图像的对象识别结果；
当监测到调整当前视频流中的弹幕信息的触发事件时，根据对象识别结果确定出与触发事件对应的目标对象；
根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像，针对目标对象在目标视频图像中的目标显示区域，调整位于目标显示区域的弹幕信息的显示属性；
其中，目标显示区域是目标对象在目标视频图像中的显示区域，显示属性包括显示内容、显示透明度、显示位置、显示时间和显示数量中的至少一项。
可选的，根据对象识别结果确定出与触发事件对应的目标对象，可以包括：
对象识别结果包括视频图像中的各个对象和视频图像中的各个对象在视频图像上的显示区域，获取触发事件对应的触控视频图像和触控视频图像上的触控区域；
根据触控视频图像中的各个对象、触控视频图像中的各个对象在触控视频图像上的显示区域以及触控区域，从触控视频图像中的各个对象中筛选出目标对象。
可选的，在根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像之后，该方法还可以包括：
将目标对象输入至对象识别模型中，得到从目标视频图像中提取出的与目标对象对应的目标视频子图像；
相应的，调整位于目标显示区域的弹幕信息的显示属性，可以包括：
将位于目标显示区域的弹幕信息的显示内容调整为目标视频子图像。
可选的，将位于目标显示区域的弹幕信息的显示内容调整为目标视频子图像，具体可以包括：
当满足预设调整条件时，将位于目标显示区域的弹幕信息的显示内容调整为目标视频子图像，其中，预设调整条件包括下述中的至少一项：
目标显示区域在预设显示区域内、目标对象的面部朝向角度在预设角度范围内、目标视频子图像的尺寸数值大于等于预设尺寸阈值和目标视频子图像的清晰度大于等于预设清晰阈值。
可选的，调整位于目标显示区域的弹幕信息的显示属性，具体可以包括：
提高位于目标显示区域的弹幕信息的显示透明度
可选的，在此基础上，上述弹幕信息的显示方法，还可以包括：
获取历史图像和历史图像中已识别的历史对象，将历史图像和历史对象作为一组训练样本；
基于多个训练样本对原始机器学习模型进行训练，得到对象识别模型，其中，多个训练样本中的历史对象属于同一类别。
可选的，对象识别模型包括应用于移动终端的人工智能模型。
第二方面，本发明实施例还提供了一种弹幕信息的显示装置，该装置可以包括：
识别模块，用于获取当前视频流中的各帧视频图像，将视频图像输入至已训练完成的对象识别模型中，得到视频图像的对象识别结果；
触发模块，用于当监测到调整当前视频流中的弹幕信息的触发事件时，根据对象识别结果确定出与触发事件对应的目标对象；
调整模块，用于根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像，针对目标对象在目标视频图像中的目标显示区域，调整位于目标显示区域的弹幕信息的显示属性；
其中，目标显示区域是目标对象在目标视频图像中的显示区域，显示属性包括显示内容、显示透明度、显示位置、显示时间和显示数量中的至少一项。
第三方面，本发明实施例还提供了一种终端，该终端可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的弹幕信息的显示方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的弹幕信息的显示方法。
本发明实施例的技术方案，通过获取当前视频流中的各帧视频图像，将视频图像输入至已训练完成的对象识别模型中，可以得到每帧视频图像的对象识别结果；当监测到调整当前视频流中的弹幕信息的触发事件时，根据对象识别结果可以确定出与触发事件对应的目标对象，该目标对象通常是用户认为的关键内容；根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像，若针对目标对象在目标视频图像中的目标显示区域中存在弹幕信息，则调整位于目标显示区域的弹幕信息的显示属性，显示属性调整后的弹幕信息不会遮挡住位于目标显示区域中的目标对象。上述技术方案解决了用户发表的弹幕信息可能会遮挡住视频流中的目标对象的问题，该目标对象通常是用户认为的关键内容，关键内容的无遮挡式的显示方式可以同时满足用户观看视频、发表字幕信息和浏览字幕信息的需求，提高了用户在观看视频过程中的趣味性。
附图说明
图1是本发明实施例一中的一种弹幕信息的显示方法的流程图；
图2是本发明实施例二中的一种弹幕信息的显示方法的流程图；
图3是本发明实施例二中的一种弹幕信息的显示方法的应用示意图；
图4是本发明实施例三中的一种弹幕信息的显示装置的结构框图；
图5是本发明实施例四中的一种终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中提供的一种弹幕信息的显示方法的流程图。本实施例可适用于调整视频流中与目标对象重叠的弹幕信息的情况。该方法可以由本发明实施例提供的弹幕信息的显示装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在各种用户终端或服务器上。
参见图1，本发明实施例的方法具体包括如下步骤：
S110、获取当前视频流中的各帧视频图像，将视频图像输入至已训练完成的对象识别模型中，得到视频图像的对象识别结果。
其中，视频流可以认为是视频数据的一个传输方式，该视频数据可以包括多帧视频图像，当从视频流中获取各帧视频图像时，可以将各帧视频图像依次输入至已训练完成的对象识别模型中，由此得到每帧视频图像的对象识别结果。可选的，该对象识别模型可以是应用于移动终端的人工智能模型，针对每帧视频图像，该对象识别结果可以是视频图像中包括哪些对象，各个对象分别位于视频图像中的哪些显示区域，等等。比如，针对某帧视频图像，其中包括人脸、树木和车辆，且它们分别位于该帧视频图像的正中心，左上方和右下角。
针对已训练完成的对象识别模型，可选的，其可以通过如下步骤得到：获取历史图像和历史图像中已识别的历史对象，将历史图像和历史对象作为一组训练样本；基于多个训练样本对原始机器学习模型进行训练，得到对象识别模型，其中，多个训练样本中的历史对象属于同一类别。示例性的，以历史对象是人脸为例，可以将多张包含人脸的历史图像作为正训练样本，且将多张未包含人脸的历史图像作为负训练样本，基于上述正训练样本和负训练样本对原始机器学习模型进行训练，即可得到用于识别人脸的对象识别模型。在此基础上，若希望该对象识别模型还可以用于识别车辆，类似的，再将多张包含车辆的历史图像作为正训练样本，且将多张未包含车辆的历史图像作为负训练样本，基于上述正训练样本和负训练样本对可用于识别人脸的对象识别模型继续进行训练，即可得到可同时用于识别人脸和车辆的对象识别模型。
S120、当监测到调整当前视频流中的弹幕信息的触发事件时，根据对象识别结果确定出与触发事件对应的目标对象。
其中，针对调整当前视频流中的弹幕信息的触发事件，其可以是作用于目标按钮上的触控事件，可以是作用于当前视频流中的某帧视频图像上的触控事件，也可以是先作用于目标按钮再作用于当前视频流中的某帧视频图像上的触控事件，等等，在此未做具体限定。比如，当先后监测到作用于弹幕调整按钮上的点击操作和作用于当前视频流上的点击操作时，则可以认为监测到调整当前视频流中的弹幕信息的触发事件。
在此基础上，根据对象识别结果确定出与触发事件对应的目标对象的具体实现形式，与触发事件的具体呈现形式有关。示例性的，若触发事件是作用于目标按钮上的触控操作，则根据目标按钮的实质含义即可确定出目标对象；若触发事件是作用于当前视频流中的某帧视频图像上的触控操作，则根据触控操作在该帧视频图像上对应的图像内容即可确定出目标对象。
再示例性的，根据对象识别结果确定出与触发事件对应的目标对象，具体可以包括：对象识别结果包括视频图像中的各个对象和视频图像中的各个对象在视频图像上的显示区域，获取与触发事件对应的触控视频图像和触控视频图像上的触控区域；根据触控视频图像中的各个对象、触控视频图像中的各个对象在触控视频图像上的显示区域以及触控区域，从触控视频图像中的各个对象中筛选出目标对象。
也就是说，在视频流播放过程中，在监测到调整当前视频流中的弹幕信息的触发事件时，可将与该触发事件对应的某帧视频图像作为触控视频图像，且将触控视频图像上的与触发事件对应的显示区域作为触控区域。进而，从各帧视频图像中筛选出触控视频图像，根据对象识别模型的输出结果可以得到触控视频图像中的各个对象和各个对象在触控视频图像上的显示区域。由此，可从各个显示区域中筛选出触控区域，根据显示区域和各个对象的对应关系，从各个对象中筛选出目标对象。示例性的，现在正在播放一集电视剧，在此期间，若监测到用户在点击了智能弹幕按钮后又点击了触控视频图像上的人脸对应的触控区域，则可将人脸确定为目标对象。
S130、根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像，针对目标对象在目标视频图像中的目标显示区域，调整位于目标显示区域的弹幕信息的显示属性；其中，目标显示区域是目标对象在目标视频图像中的显示区域，显示属性包括显示内容、显示透明度、显示位置、显示时间和显示数量中的至少一项。
其中，若对象识别结果包括视频图像中的各个对象，则根据对象识别结果就可以从视频图像中筛选出存在目标对象的目标视频图像。进一步，针对目标对象在目标视频图像中的目标显示区域，可以判断该目标显示区域中是否存在弹幕信息。这样设置的原因在于，针对视频图像中的弹幕信息，弹幕信息在视频图像中是静止不动的，即，其是固定于视频图像的某一位置处，且多是固定于该位置的最上层。这样一来，在视频图像中，如果弹幕信息出现在目标视频图像上且是出现在目标视频图像的目标显示区域中，则弹幕信息和目标对象将会重叠在一起，甚至弹幕信息会遮挡住目标对象，而目标对象才是用户认为的最重要的关键内容，这将直接影响用户的观看体验。
因此，为阐述方便，将位于目标显示区域的弹幕信息称为目标弹幕信息，针对目标弹幕信息，可以调整它们的显示属性以避免其遮挡住目标对象。示例性的，目标弹幕信息的显示属性的调整方式可以是：1)调整目标弹幕信息的显示内容，比如，不显示目标弹幕信息、将目标弹幕信息替换为相应的目标对象等等。2)调整目标弹幕信息的显示透明度，比如，提高目标弹幕信息的显示透明度，甚至是将显示透明度提高至100％。3)调整目标弹幕信息的显示位置，比如，将目标弹幕信息调整至除目标显示区域以外的区域，该除目标显示区域以外的区域可以是与目标显示区域临近的上方区域或是下方区域，也可以是其它区域。4)调整目标弹幕信息的显示时间，比如，将目标弹幕信息的目标显示时间延迟或是提前至第一显示时间，且目标弹幕信息在第一显示时间对应的第一视频图像所在的第一显示区域中未存在目标对象。5)调整目标弹幕信息的显示数量，比如，可以将目标弹幕信息的显示数量设置为0，即在目标显示区域中不显示目标弹幕信息，或者，可以控制每帧视频图像中显示的全部的弹幕信息的数量，以便将有限数量的弹幕信息主要显示在视频图像的周边区域，该周边区域是存在目标对象的可能性较低的区域。
也就是说，调整位于目标显示区域的弹幕信息的显示属性是以该位于目标显示区域的弹幕信息不会遮挡住目标对象为目的，任何可以实现上述目的的调整方式都是可以的，在此未做具体限定。
本发明实施例的技术方案，通过获取当前视频流中的各帧视频图像，将视频图像输入至已训练完成的对象识别模型中，可以得到每帧视频图像的对象识别结果；当监测到调整当前视频流中的弹幕信息的触发事件时，根据对象识别结果可以确定出与触发事件对应的目标对象，该目标对象通常是用户认为的关键内容；根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像，若针对目标对象在目标视频图像中的目标显示区域中存在弹幕信息，则调整位于目标显示区域的弹幕信息的显示属性，显示属性调整后的弹幕信息不会遮挡住位于目标显示区域中的目标对象。上述技术方案解决了用户发表的弹幕信息可能会遮挡住视频流中的目标对象的问题，该目标对象通常是用户认为的关键内容，关键内容的无遮挡式的显示方式可以同时满足用户观看视频、发表字幕信息和浏览字幕信息的需求，提高了用户在观看视频过程中的趣味性。
实施例二
图2是本发明实施例二中提供的一种弹幕信息的显示方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，在根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像之后，上述方法还可包括：将目标对象输入至对象识别模型中，得到从目标视频图像中提取出的与目标对象对应的目标视频子图像；相应的，调整位于目标显示区域的弹幕信息的显示属性，包括：将位于目标显示区域的弹幕信息的显示内容调整为目标视频子图像。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图2，本实施例的方法具体可以包括如下步骤：
S210、获取当前视频流中的各帧视频图像，将视频图像输入至已训练完成的对象识别模型中，得到视频图像的对象识别结果。
S220、当监测到调整当前视频流中的弹幕信息的触发事件时，根据对象识别结果确定出与触发事件对应的目标对象。
S230、根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像，将目标对象输入至对象识别模型中，得到从目标视频图像中提取出的与目标对象对应的目标视频子图像。
其中，在根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像后，可以将目标对象输入至对象识别模型中，以从目标视频图像中提取出与目标对象对应的目标视频子图像，即将目标视频图像中的目标对象抠出来，并将抠出来的图像作为目标视频子图像。这样一来，对象识别模式既可用于识别视频图像中的各个对象和各个对象在视频图像上的显示区域，又可用于将目标对象从目标视频图像中分割出来。
S240、将位于目标显示区域的弹幕信息的显示内容调整为目标视频子图像。
其中，如果目标对象在目标视频图像中的目标显示区域内存在弹幕信息，那么，可以将位于目标显示区域的弹幕信息的显示内容调整为目标视频子图像，也就是说，将上述步骤中得到的目标视频子图像在位于目标显示区域的弹幕信息上面做一个反向遮罩，由此来隐藏位于目标显示区域的弹幕信息，避免了弹幕信息遮挡住用户预先设置的认为是关键内容的目标对象。
或者说，针对目标显示区域内的弹幕信息对应的弹幕像素点和目标对象对应的对象像素点，由于弹幕像素点是位于对象像素点的上方，上述反向遮罩的方式也可以理解为，将位于上方的弹幕像素点的透明度设置为较高的数值，这样就可以显示出位于下方的对象像素点。
在实际应用中，可选的，在满足预设调整条件时，可以再将位于目标显示区域的弹幕信息的显示内容调整为目标视频子图像，即不是将全部的位于目标显示区域的弹幕信息的显示内容均调整为目标视频子图像，只是将某些情况下的位于目标显示区域的弹幕信息的显示内容调整为目标视频子图像。这样设置的原因在于，虽然目标对象是用户认为的关键内容，但该目标对象有可能并非是目标视频图像中的重要内容，此时，即使目标显示区域中出现了弹幕信息，亦不影响用户的观看体验。
示例性的，1)对于那些在目标视频图像的四周区域的目标对象并非是该目标视频图像中的重要内容，因此，可以将目标显示区域在预设显示区域内作为一项预设调整条件，该预设显示区域可以是目标视频图像中较为靠近中心的显示区域。2)对于侧面朝向用户甚至背面朝向用户的目标对象并非是目标视频图像中的重要内容，因此，可以将目标对象的面部朝向角度在预设角度范围内作为一项预设调整条件。3)对于那些尺寸数值较小的目标视频子图像对应的目标对象并非是目标视频图像中的重要内容，因此，可以将目标视频子图像的尺寸数值大于等于预设尺寸阈值作为一项预设调整条件。4)对于那些图像清晰度较低的目标视频子图像对应的目标对象并非是目标视频图像中的重要内容，因此，可以将目标视频子图像的清晰度大于等于预设清晰阈值作为一项预设调整条件。5)等等，在此未做具体限定。
本发明实施例的技术方案，在根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像之后，可以将目标对象输入至对象识别模型中，以得到从目标视频图像中提取出的与目标对象对应的目标视频子图像；进而，可以将位于目标对象在目标视频图像中的目标显示区域的弹幕信息的显示内容调整为目标视频子图像，这相当于用目标视频子图像在位于目标显示区域的弹幕信息的上面做一个反向遮罩来隐藏住位于目标显示区域的弹幕信息，由此避免其遮挡住用户认为是关键内容的目标对象的情况，提升了用户的观看体验。
为了更好地理解上述步骤的具体实现过程，下面结合本发明实施例可能涉及到的应用场景，对本实施例的弹幕信息的显示方法进行示例性的说明。
示例性的，如图3所示，预先训练完成可以应用于移动终端的对象识别模型(即，图3中的物体识别模型)，该对象识别模型可以是人工智能(Artificial Intelligence，AI)模型，其可以识别出视频图像(即，图3中的数据帧)中的各个对象和各个对象在视频图像上的显示区域(即，图3中的物体信息)，而且，针对存在目标对象(即，图3中的物体3)的目标视频图像，还可以从目标视频图像中提取出与目标对象对应的目标视频子图像。
在实际应用中，在播放当前视频流过程中，获取当前视频流中的各帧视频图像，将视频图像输入至已训练完成的对象识别模型中，得到视频图像的对象识别结果，该对象识别结果包括每帧视频图像中的各个对象和各个对象在视频图像上的显示区域；当监测到用户点击了智能弹幕按钮且在当前视频流中进行点击操作后，根据用户的点击位置可以确定出待穿透物体(即，图3中的物体3)；将待穿透物体输入至对象识别模型中，得到对象识别模型输出的待穿透物体对应的目标视频子图像(即，图3中的物体图像)；根据目标视频子图像在与目标视频子图像对应的目标显示区域的弹幕信息上面做一个反向遮罩，这就可以使得弹幕信息从待穿透物体的后面穿过，待穿透物体就不会被弹幕信息遮挡住。也就是说，上述弹幕信息的显示方法可以使得弹幕信息在屏幕上面移动时，在用户选择了待穿透物体后，弹幕信息可以从待穿透物体的后面穿过，比如，在直播中，用户点击了主播的脸部，弹幕信息就可以从主播的脸后面穿过，在点播中，用户点击了演员的脸部，弹幕信息就可以从演员的脸后面穿过，用户选择了一辆车，弹幕信息就可以从这辆车的后面穿过，这样就可以在保留弹幕信息的效果的同时，还可以提高用户的体验。
实施例三
图4为本发明实施例三提供的弹幕信息的显示装置的结构框图，该装置用于执行上述任意实施例所提供的弹幕信息的显示方法。该装置与上述各实施例的弹幕信息的显示方法属于同一个发明构思，在弹幕信息的显示装置的实施例中未详尽描述的细节内容，可以参考上述弹幕信息的显示方法的实施例。参见图4，该装置具体可包括：识别模块310、触发模块320和调整模块330。
其中，识别模块310，用于获取当前视频流中的各帧视频图像，将视频图像输入至已训练完成的对象识别模型中，得到视频图像的对象识别结果；
触发模块320，用于当监测到调整当前视频流中的弹幕信息的触发事件时，根据对象识别结果确定出与触发事件对应的目标对象；
调整模块330，用于根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像，针对目标对象在目标视频图像中的目标显示区域，调整位于目标显示区域的弹幕信息的显示属性；
其中，目标显示区域是目标对象在目标视频图像中的显示区域，显示属性包括显示内容、显示透明度、显示位置、显示时间和显示数量中的至少一项。
可选的，触发模块320，具体可以包括：
获取单元，用于对象识别结果包括视频图像中的各个对象和视频图像中的各个对象在视频图像上的显示区域，获取与触发事件对应的触控视频图像和触控视频图像上的触控区域；
筛选单元，用于根据触控视频图像中的各个对象、触控视频图像中的各个对象在触控视频图像上的显示区域以及触控区域，从触控视频图像中的各个对象中筛选出目标对象。
可选的，在此基础上，上述弹幕信息的显示装置，具体还可以包括：
提取模块，用于将目标对象输入至对象识别模型中，得到从目标视频图像中提取出的与目标对象对应的目标视频子图像；
相应的，调整模块330，具体可以包括：
调整单元，用于将位于目标显示区域的弹幕信息的显示内容调整为目标视频子图像。
可选的，调整单元，具体可以用于：
当满足预设调整条件时，将位于目标显示区域的弹幕信息的显示内容调整为目标视频子图像，预设调整条件包括下述中的至少一项：
目标显示区域在预设显示区域内、目标对象的面部朝向角度在预设角度范围内、目标视频子图像的尺寸数值大于等于预设尺寸阈值和目标视频子图像的清晰度大于等于预设清晰阈值。
可选的，调整模块330，还可以用于：提高位于目标显示区域的弹幕信息的显示透明度。
可选的，上述弹幕信息的显示装置，具体还可以包括：
训练样本获取模块，用于获取历史图像和历史图像中已识别的历史对象，将历史图像和历史对象作为一组训练样本；
模型训练模块，用于基于多个训练样本对原始机器学习模型进行训练，得到对象识别模型，其中，多个训练样本中的历史对象属于同一类别。
可选的，对象识别模型可以包括应用于移动终端的人工智能模型。
本发明实施例三提供的弹幕信息的显示装置，通过识别模块可以获取当前视频流中的各帧视频图像，将视频图像输入至已训练完成的对象识别模型中，可以得到每帧视频图像的对象识别结果；触发模块当监测到调整当前视频流中的弹幕信息的触发事件时，根据对象识别结果可以确定出与触发事件对应的目标对象，该目标对象通常是用户认为的关键内容；调整模块可以根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像，若针对目标对象在目标视频图像中的目标显示区域中存在弹幕信息，则调整位于目标显示区域的弹幕信息的显示属性，显示属性调整后的弹幕信息不会遮挡住位于目标显示区域中的目标对象。上述装置解决了用户发表的弹幕信息可能会遮挡住视频流中的目标对象的问题，该目标对象通常是用户认为的关键内容，关键内容的无遮挡式的显示方式可以同时满足用户观看视频、发表字幕信息和浏览字幕信息的需求，提高了用户在观看视频过程中的趣味性。
本发明实施例所提供的弹幕信息的显示装置可执行本发明任意实施例所提供的弹幕信息的显示方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述弹幕信息的显示装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例四
图5为本发明实施例四提供的一种终端的结构示意图，如图5所示，该终端包括存储器410、处理器420、输入装置430和输出装置440。终端中的处理器420的数量可以是一个或多个，图5中以一个处理器420为例；终端中的存储器410、处理器420、输入装置430和输出装置440可以通过总线或其它方式连接，图5中以通过总线450连接为例。
存储器410作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的弹幕信息的显示方法对应的程序指令/模块(例如，弹幕信息的显示装置中的识别模块310、触发模块320和调整模块330)。处理器420通过运行存储在存储器410中的软件程序、指令以及模块，从而执行终端的各种功能应用以及数据处理，即实现上述的弹幕信息的显示方法。
存储器410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种弹幕信息的显示方法，包括：
获取当前视频流中的各帧视频图像，将视频图像输入至已训练完成的对象识别模型中，得到视频图像的对象识别结果；
当监测到调整当前视频流中的弹幕信息的触发事件时，根据对象识别结果确定出与触发事件对应的目标对象；
根据对象识别结果从视频图像中筛选出存在目标对象的目标视频图像，针对目标对象在目标视频图像中的目标显示区域，调整位于目标显示区域的弹幕信息的显示属性；
其中，目标显示区域是目标对象在目标视频图像中的显示区域，显示属性包括显示内容、显示透明度、显示位置、显示时间和显示数量中的至少一项。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的弹幕信息的显示方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种弹幕信息的显示方法，其特征在于，包括：
获取当前视频流中的各帧视频图像，将所述视频图像输入至已训练完成的对象识别模型中，得到所述视频图像的对象识别结果；
当监测到调整所述当前视频流中的弹幕信息的触发事件时，根据所述对象识别结果确定出与所述触发事件对应的目标对象；
根据所述对象识别结果从所述视频图像中筛选出存在所述目标对象的目标视频图像，针对所述目标对象在所述目标视频图像中的目标显示区域，调整位于所述目标显示区域的弹幕信息的显示属性；
其中，所述目标显示区域是所述目标对象在所述目标视频图像中的显示区域，所述显示属性包括显示内容、显示透明度、显示位置、显示时间和显示数量中的至少一项。
2.根据权利要求1所述的方法，其特征在于，所述根据所述对象识别结果确定出与所述触发事件对应的目标对象，包括：
所述对象识别结果包括所述视频图像中的各个对象和所述视频图像中的各个对象在所述视频图像上的显示区域，获取与所述触发事件对应的触控视频图像和所述触控视频图像上的触控区域；
根据所述触控视频图像中的各个对象、所述触控视频图像中的各个对象在所述触控视频图像上的显示区域以及所述触控区域，从所述触控视频图像中的各个对象中筛选出目标对象。
3.根据权利要求1或2所述的方法，其特征在于，在所述根据所述对象识别结果从所述视频图像中筛选出存在所述目标对象的目标视频图像之后，还包括：
将所述目标对象输入至所述对象识别模型中，得到从所述目标视频图像中提取出的与所述目标对象对应的目标视频子图像；
相应的，所述调整位于所述目标显示区域的弹幕信息的显示属性，包括：将位于所述目标显示区域的弹幕信息的显示内容调整为所述目标视频子图像。
4.根据权利要求3所述的方法，其特征在于，所述将位于所述目标显示区域的弹幕信息的显示内容调整为所述目标视频子图像，包括：
当满足预设调整条件时，将位于所述目标显示区域的弹幕信息的显示内容调整为所述目标视频子图像，所述预设调整条件包括下述中的至少一项：
所述目标显示区域在预设显示区域内、所述目标对象的面部朝向角度在预设角度范围内、所述目标视频子图像的尺寸数值大于等于预设尺寸阈值和所述目标视频子图像的清晰度大于等于预设清晰阈值。
5.根据权利要求1所述的方法，其特征在于，所述调整位于所述目标显示区域的弹幕信息的显示属性，包括：
提高位于所述目标显示区域的弹幕信息的显示透明度。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取历史图像和所述历史图像中已识别的历史对象，将所述历史图像和所述历史对象作为一组训练样本；
基于多个所述训练样本对原始机器学习模型进行训练，得到所述对象识别模型，其中，多个所述训练样本中的所述历史对象属于同一类别。
7.根据权利要求1所述的方法，其特征在于，所述对象识别模型包括应用于移动终端的人工智能模型。
8.一种弹幕信息的显示装置，其特征在于，包括：
识别模块，用于获取当前视频流中的各帧视频图像，将所述视频图像输入至已训练完成的对象识别模型中，得到所述视频图像的对象识别结果；
触发模块，用于当监测到调整所述当前视频流中的弹幕信息的触发事件时，根据所述对象识别结果确定出与所述触发事件对应的目标对象；
调整模块，用于根据所述对象识别结果从所述视频图像中筛选出存在所述目标对象的目标视频图像，针对所述目标对象在所述目标视频图像中的目标显示区域，调整位于所述目标显示区域的弹幕信息的显示属性；
其中，所述目标显示区域是所述目标对象在所述目标视频图像中的显示区域，所述显示属性包括显示内容、显示透明度、显示位置、显示时间和显示数量中的至少一项。
9.一种终端，其特征在于，所述终端包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的弹幕信息的显示方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的弹幕信息的显示方法。
CN201911127312.8A 2019-11-18 2019-11-18 一种弹幕信息的显示方法、装置、终端和存储介质 Pending CN110784755A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911127312.8A CN110784755A (zh) 2019-11-18 2019-11-18 一种弹幕信息的显示方法、装置、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911127312.8A CN110784755A (zh) 2019-11-18 2019-11-18 一种弹幕信息的显示方法、装置、终端和存储介质

Publications (1)

Publication Number Publication Date
CN110784755A true CN110784755A (zh) 2020-02-11

Family

ID=69391589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911127312.8A Pending CN110784755A (zh) 2019-11-18 2019-11-18 一种弹幕信息的显示方法、装置、终端和存储介质

Country Status (1)

Country Link
CN (1) CN110784755A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428660A (zh) * 2020-03-27 2020-07-17 腾讯科技（深圳）有限公司 视频剪辑方法和装置、存储介质及电子装置
CN111901662A (zh) * 2020-08-05 2020-11-06 腾讯科技（深圳）有限公司 视频的扩展信息处理方法、设备和存储介质
CN112272330A (zh) * 2020-10-30 2021-01-26 南京维沃软件技术有限公司 显示方法、装置和电子设备
CN112312190A (zh) * 2020-10-10 2021-02-02 游艺星际(北京)科技有限公司 视频画面的展示方法、装置、电子设备和存储介质
CN112463274A (zh) * 2020-11-20 2021-03-09 北京搜狗科技发展有限公司 一种界面调整方法、装置和电子设备
CN112752110A (zh) * 2020-08-14 2021-05-04 腾讯科技（深圳）有限公司 视频呈现方法及装置、计算设备、存储介质
CN112969078A (zh) * 2021-03-23 2021-06-15 统信软件技术有限公司 一种视频中的弹幕防遮挡方法、计算设备及可读存储介质
CN113766339A (zh) * 2021-09-07 2021-12-07 网易（杭州）网络有限公司 一种弹幕显示方法及装置
CN114005076A (zh) * 2021-12-30 2022-02-01 北京搜狐新动力信息技术有限公司 一种图像防遮挡方法、系统及电子设备
WO2022099682A1 (en) * 2020-11-16 2022-05-19 Arris Enterprises Llc Object-based video commenting

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147941A (zh) * 2017-05-27 2017-09-08 努比亚技术有限公司 视频播放的弹幕显示方法、装置及计算机可读存储介质
WO2017173793A1 (zh) * 2016-04-06 2017-10-12 乐视控股（北京）有限公司 一种视频投屏方法及装置
CN107347166A (zh) * 2016-08-19 2017-11-14 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN109089170A (zh) * 2018-09-11 2018-12-25 传线网络科技（上海）有限公司 弹幕显示方法及装置
CN109151489A (zh) * 2018-08-14 2019-01-04 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
CN109361960A (zh) * 2018-11-30 2019-02-19 努比亚技术有限公司 弹幕显示方法、装置、移动终端及可读存储介质
CN110287778A (zh) * 2019-05-15 2019-09-27 北京旷视科技有限公司 一种图像的处理方法、装置、终端及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173793A1 (zh) * 2016-04-06 2017-10-12 乐视控股（北京）有限公司 一种视频投屏方法及装置
CN107347166A (zh) * 2016-08-19 2017-11-14 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN107147941A (zh) * 2017-05-27 2017-09-08 努比亚技术有限公司 视频播放的弹幕显示方法、装置及计算机可读存储介质
CN109151489A (zh) * 2018-08-14 2019-01-04 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
CN109089170A (zh) * 2018-09-11 2018-12-25 传线网络科技（上海）有限公司 弹幕显示方法及装置
CN109361960A (zh) * 2018-11-30 2019-02-19 努比亚技术有限公司 弹幕显示方法、装置、移动终端及可读存储介质
CN110287778A (zh) * 2019-05-15 2019-09-27 北京旷视科技有限公司 一种图像的处理方法、装置、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程洁: "《现代传播学精品规划教材 网络传播学 第3版》", 31 May 2019 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428660A (zh) * 2020-03-27 2020-07-17 腾讯科技（深圳）有限公司 视频剪辑方法和装置、存储介质及电子装置
CN111428660B (zh) * 2020-03-27 2023-04-07 腾讯科技（深圳）有限公司 视频剪辑方法和装置、存储介质及电子装置
CN111901662A (zh) * 2020-08-05 2020-11-06 腾讯科技（深圳）有限公司 视频的扩展信息处理方法、设备和存储介质
CN112752110A (zh) * 2020-08-14 2021-05-04 腾讯科技（深圳）有限公司 视频呈现方法及装置、计算设备、存储介质
CN112312190A (zh) * 2020-10-10 2021-02-02 游艺星际(北京)科技有限公司 视频画面的展示方法、装置、电子设备和存储介质
CN112272330A (zh) * 2020-10-30 2021-01-26 南京维沃软件技术有限公司 显示方法、装置和电子设备
CN112272330B (zh) * 2020-10-30 2023-07-18 南京维沃软件技术有限公司 显示方法、装置和电子设备
WO2022099682A1 (en) * 2020-11-16 2022-05-19 Arris Enterprises Llc Object-based video commenting
CN112463274A (zh) * 2020-11-20 2021-03-09 北京搜狗科技发展有限公司 一种界面调整方法、装置和电子设备
CN112463274B (zh) * 2020-11-20 2024-02-02 北京搜狗智能科技有限公司 一种界面调整方法、装置和电子设备
CN112969078B (zh) * 2021-03-23 2023-02-28 统信软件技术有限公司 一种视频中的弹幕防遮挡方法、计算设备及可读存储介质
CN112969078A (zh) * 2021-03-23 2021-06-15 统信软件技术有限公司 一种视频中的弹幕防遮挡方法、计算设备及可读存储介质
CN113766339A (zh) * 2021-09-07 2021-12-07 网易（杭州）网络有限公司 一种弹幕显示方法及装置
CN113766339B (zh) * 2021-09-07 2023-03-14 网易（杭州）网络有限公司 一种弹幕显示方法及装置
CN114005076A (zh) * 2021-12-30 2022-02-01 北京搜狐新动力信息技术有限公司 一种图像防遮挡方法、系统及电子设备

Similar Documents

Publication Publication Date Title
CN110784755A (zh) 一种弹幕信息的显示方法、装置、终端和存储介质
WO2019174458A1 (en) An intelligent video interaction method
US11055516B2 (en) Behavior prediction method, behavior prediction system, and non-transitory recording medium
CN110784759B (zh) 弹幕信息处理方法、装置、电子设备及存储介质
CN109408639B (zh) 一种弹幕分类方法、装置、设备和存储介质
CN111277910B (zh) 弹幕显示方法、装置、电子设备及存储介质
CN112235520B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111222450B (zh) 模型的训练及其直播处理的方法、装置、设备和存储介质
CN107295352B (zh) 一种视频压缩方法、装置、设备及存储介质
CN109146923B (zh) 一种目标跟踪丢断帧的处理方法及系统
CN111738735A (zh) 一种图像数据处理方法、装置和相关设备
CN111090778A (zh) 一种图片生成方法、装置、设备及存储介质
CN111835982B (zh) 图像获取方法、图像获取装置、电子设备及存储介质
WO2021127841A1 (zh) 属性识别方法、装置、存储介质及电子设备
JP2022522242A (ja) 画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体
CN112199582A (zh) 一种内容推荐方法、装置、设备及介质
CN112257729B (zh) 图像识别方法、装置、设备及存储介质
CN113194256B (zh) 拍摄方法、装置、电子设备和存储介质
CN113542909A (zh) 视频处理方法、装置、电子设备及计算机存储介质
CN112752110B (zh) 视频呈现方法及装置、计算设备、存储介质
CN113596354B (zh) 图像处理方法、装置、计算机设备及存储介质
CN108966007B (zh) 一种在hdmi下区分视频场景的方法及装置
CN108881999B (zh) 一种截屏处理方法及系统
CN112732961A (zh) 图像分类方法及装置
CN111723278A (zh) 菜谱推荐方法、装置、推荐系统及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211