CN111698533A - 一种视频处理方法、装置、设备和存储介质 - Google Patents

一种视频处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111698533A
CN111698533A CN202010536582.0A CN202010536582A CN111698533A CN 111698533 A CN111698533 A CN 111698533A CN 202010536582 A CN202010536582 A CN 202010536582A CN 111698533 A CN111698533 A CN 111698533A
Authority
CN
China
Prior art keywords
video
mask
frame
processed
data packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010536582.0A
Other languages
English (en)
Inventor
祁晟暘
邸泽民
朱捷峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jilian Network Technology Co ltd
Original Assignee
Shanghai Jilian Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jilian Network Technology Co ltd filed Critical Shanghai Jilian Network Technology Co ltd
Priority to CN202010536582.0A priority Critical patent/CN111698533A/zh
Publication of CN111698533A publication Critical patent/CN111698533A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种视频处理方法、装置、设备和介质，其中，应用于服务端的方法包括：解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜；针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标；将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理。本发明实施例的技术方案解决现有防字幕遮挡效果不佳的问题；可以实现对每一帧视频图像的字幕进行处理，改善字幕防遮挡效果。

Description

一种视频处理方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种视频处理方法、装置、设备和存储介质。
背景技术
随着互联网视频的不断发展，目前较多的视频平台都提供弹幕功能，让用户在观看视频的同时发表自己的观感等内同。弹幕功能增加了用户之间的交流，也可以为视频中的部分内容做出补充，对提升平台的热度和粘性也是不可或缺的。
但是，当用户对部分认同或者感同身受的内容会重复发送大量相同的弹幕，形成弹幕刷屏，过多的弹幕反而会对视频图像造成严重遮挡，影响视频的观看体验。目前，有平台在尝试视频弹幕防遮挡的功能，但是也只有部分视频帧做了相关处理，弹幕防遮挡的效果有待提升。
发明内容
本发明实施例提供一种视频处理方法、装置、设备和存储介质，以对视频中弹幕进行防遮挡处理，改善防弹幕遮挡效果。
第一方面，本发明实施例提供了一种视频处理方法，应用于服务端，该方法包括：
解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜；
针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标；
将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理。
可选的，在将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端之前，所述方法还包括：
将所述二值化掩膜视频或所述轮廓坐标数据包进行压缩。
第二方面，本发明实施例还提供了一种视频处理方法，应用于客户端，该方法包括：
接收服务端发送的待处理视频的二值化掩膜视频或轮廓坐标数据包；
基于所述二值化掩膜视频生成与所述待处理视频逐帧对应的遮罩图层，或基于所述轮廓坐标数据包生成与所述待处理视频逐帧对应的遮罩图层；
根据所述遮罩图层对所述待处理视频进行处理。
可选的，当所述轮廓坐标数据包为压缩后数据包时，所述方法还包括：
对所述轮廓坐标数据包进行解压缩处理。
可选的，所述根据所述遮罩图层对所述待处理视频进行处理，包括：
将所述遮罩层与所述待处理视频的弹幕层进行异或。
第三方面，一种视频处理装置，配置于服务端，该装置包括：
掩膜制作模块，用于解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜；
掩膜处理模块，用于针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标；
掩膜数据发送模块，用于将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理。
可选的，所述装置还包括数据压缩模块，用于在将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端之前，将所述二值化掩膜视频或所述轮廓坐标数据包进行压缩。
第四方面，一种视频处理装置，配置于客户端，该装置包括：
掩膜数据接收模块，用于接收服务端发送的待处理视频的二值化掩膜视频或轮廓坐标数据包；
遮罩图层生成模块，用于基于所述二值化掩膜视频生成与所述待处理视频逐帧对应的遮罩图层，或基于所述轮廓坐标数据包生成与所述待处理视频逐帧对应的遮罩图层；
视频处理模块，用于根据所述遮罩图层对所述待处理视频进行处理。
可选的，所述装置还包括数据解压模块，用于当所述轮廓坐标数据包为压缩后数据包时，对所述轮廓坐标数据包进行解压缩处理。
可选的，所述视频处理模块具体用于：
将所述遮罩层与所述待处理视频的弹幕层进行异或。
第五方面，本发明实施例还提供了一种服务器，该服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例中任一所述的应用于服务端的视频处理方法。
第六方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例中任一所述的应用于客户端的视频处理方法。
第七方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如发明实施例中任一所述的应用于服务端的视频处理方法。
第八方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如发明实施例中任一所述的应用于客户端的视频处理方法。
本发明实施例通过由服务器解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜；针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标；将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理，解决现有字幕遮挡处理技术中防字幕遮挡效果不佳的问题；可以实现对每一帧视频图像的字幕进行处理，改善字幕防遮挡效果。
附图说明
图1是本发明实施例一中的应用于服务端的视频处理方法的流程图；
图2是本发明实施例二中的应用于客户端的视频处理方法的流程图；
图3是本发明实施例二中的遮罩层与字幕层叠加的示意图；
图4是本发明实施例二中的防字幕遮挡效果示意图；
图5是本发明实施例三中的配置于服务端的视频处理装置的结构示意图；
图6是本发明实施例四中的配置于客户端的视频处理装置的结构示意图；
图7是本发明实施例五中的服务器的结构示意图；
图8是本发明实施例六中的计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。
实施例一
图1为本发明实施例一提供的应用于服务端的视频处理方法的流程图，本实施例可适用于防止播放的视频中弹幕遮挡视频中图像的情况，该方法可以由配置于服务端的视频处理装置实现，该装置配置于服务器设备中，具体可通过设备中的软件和/或硬件来实施。如图1所示，视频处理方法具体包括：
S110、解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜。
其中，待处理视频可以是服务器的存储介质中存储的视频，也可以是来自于其他终端的视频，待处理的视频是可以在客户端进行播放的视频，包括记录片、电视剧、电影、主题小视频及综艺节目等视频类型。
具体的，可以把视频看做由若干帧图像组成的视频数据，针对每一帧图像数据，可以根据视频播放的场景对每一帧图像数据进行分割，从而使前景数据与背景数据进行分离。具体可以采用语义分割等图像识别技术进行图像数据的分割。其中，前景数据是指视频观看者视线感兴趣的区域，比如人物和物体，一般是运动的目标对象；而背景数据则是指视线容易忽略的区域，一般是静止的。例如，在一帧图像中，场景是行驶在路上的汽车，那么。行驶的汽车以及开车的人是前景数据，道路及建筑物是背景数据。
进一步的说明，前景数据也即目标对象，通常前景数据中包含一个或者多个目标对象。在确定了目标对象之后，便可以生成与图像帧对应的掩膜，可以标识出目标对象的图像。
S120、针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标。
针对每一帧图像的掩膜，可以将掩膜前景(即目标对象)标为黑(1)，背景标为白(0)，然后再进行一次编码生成二值化图像，或者，生成前景(目标对象)的边界坐标数据。当一个像素点的值为1，它的上下左右相邻的像素点中只要有一个为0，则该像素点则属于目标对象的边界上的点。
至于生成二值化图像还是目标对象的边界坐标数据取决于服务端接收到的客户端的视频请求数据。当客户端要播放视频时，会向服务端发送视频请求，在请求数据中会携带待播放的视频信息，视频中字幕的处理方式。根据视频中字幕的处理方式来确定生成二值化图像或是目标对象的边界坐标数据。具体的，当客户端是根据二值化图像生成字幕遮罩层时，服务端则生成二值化图像，当客户端是根据目标对象的边界坐标数据生成字幕遮罩层时，服务端则生成目标对象的边界坐标数据。
S130、将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理。
具体的，二值化掩膜视频即是与待处理视频逐帧对应的一个掩膜视频，可以使客户端在播放视频时使用，直接将掩膜视频中的各帧图像与待播放视频的每一帧图像的字幕层进行异或，从而得到目标对象没有被字幕所遮挡的视频。同样的，轮廓坐标数据包也是按照视频帧的顺序进行排列的目标对象的轮廓坐标数据，当客户端接收到轮廓坐标数据包后，便可以根据每一帧图像中每一个目标对象的轮廓坐标确定需要对字幕进行遮挡的区域，得到遮罩层，与待播放的视频进行异或便可达到防止字幕遮挡目标对象的效果。
在一种优选的实施方式中，在将二值化掩膜视频或轮廓坐标数据包发送给客户端之前，还要将将所述二值化掩膜视频或所述轮廓坐标数据包进行压缩，减小二值化掩膜视频或轮廓坐标数据包的大小，便于数据的传输。对二值化掩膜视频进行压缩可以采用降低分辨率、降低视频码率等视频压缩方法，轮廓坐标数据包进行压缩可以采用字符串压缩的方式。
本实施例的技术方案，通过由服务器解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜；针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标；将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理，解决现有字幕遮挡处理技术中防字幕遮挡效果不佳的问题；可以实现对每一帧视频图像的字幕进行处理，改善字幕防遮挡效果。
实施例二
图2为发明实施例二提供的一种应用于客户端的视频处理方法的流程图。本实施例的技术方案适用于防止弹幕遮挡视频中对象的情况。该方法可以由配置于客户端的视频处理装置实现，该装置配置于计算机设备中，具体可通过设备中的软件和/或硬件来实施。
如图2所示，视频处理方法具体包括：如图2所示，本发明实施例中提供的视频处理方法包括如下步骤：
S210、接收服务端发送的待处理视频的二值化掩膜视频或轮廓坐标数据包。
具体的，当客户端要播放视频时，会向服务端发送视频请求，在请求数据中会携带待播放的视频信息，视频中字幕的处理方式。当服务器接收到客户端的请求之后，会根据请求数据中的信息向客户端发送相应的待播放视频、字幕层数据以及防字幕遮挡的相关数据，例如，待处理视频(即待播放视频)的二值化掩膜视频或轮廓坐标数据包。
这里需要说明的是，向客户端发送视频以及二值化掩膜视频或轮廓坐标数据包的服务端可以是相同的服务器，也可以是不同的服务器。
S220、基于所述二值化掩膜视频生成与所述待处理视频逐帧对应的遮罩图层，或基于所述轮廓坐标数据包生成与所述待处理视频逐帧对应的遮罩图层。具体可以是，基于二值化掩膜视频中与待处理视频一一对应的每帧图像，生成对应的比特图层作为待处理视频每一帧图像的遮罩图层。或是，根据轮廓坐标数据包中每一帧视频图像中目标对象的轮廓数据生成对应的比特图层作为待处理视频每一帧图像的遮罩图层。可参考图3中所示的，遮罩层(弹幕防挡层)、弹幕层以及视频界面的示意图。
可以理解的是，基于二值化掩膜视频生成遮罩层相比于基于轮廓坐标数据包生成合照层，减少了客户端坐标计算逻辑运算过程，可以是视频播放器等装置运行更加顺畅。
在一种实施方式中，当接收到的轮廓坐标数据包是经过压缩的数据时，还需要将数据包进行解压处理。
S230、根据所述遮罩图层对所述待处理视频进行处理。
将遮罩层与实际弹幕图层进行异或处理，即可实现对通过目标对象的弹幕作不显示处理。字幕防遮挡的效果可参考图4所示的用本实施例的方法对视频进行处理后的效果示意图
本实施例的技术方案，通过接收服务端发送的与待播放的视频对应的二值化掩膜视频或轮廓坐标数据包，并基于所述二值化掩膜视频生成与所述待处理视频逐帧对应的遮罩图层，或基于所述轮廓坐标数据包生成与所述待处理视频逐帧对应的遮罩图层，从而根据所述遮罩图层对所述待处理视频进行处理，防止字幕遮挡视频图像中的目标对象；解决了现有字幕遮挡处理技术中防字幕遮挡效果不佳的问题；可以实现对每一帧视频图像的字幕进行处理，改善防字幕遮挡效果。
实施例三
图5示出了本发明实施例三提供的一种配置于服务端的视频处理装置的结构示意图，本实施例可适用于防止播放的视频中弹幕遮挡视频中图像的情况。
如图5所示，本发明实施例中视频处理装置，包括：掩膜制作模块310、掩膜处理模块320和掩膜数据发送模块330。
其中，掩膜制作模块310，用于解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜；掩膜处理模块320，用于针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标；掩膜数据发送模块330，用于将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理。本实施例的技术方案，通过由服务器解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜；针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标；将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理，解决现有字幕遮挡处理技术中防字幕遮挡效果不佳的问题；可以实现对每一帧视频图像的字幕进行处理，改善字幕防遮挡效果。
可选的，所述装置还包括数据压缩模块，用于在将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端之前，将所述二值化掩膜视频或所述轮廓坐标数据包进行压缩。
本发明实施例所提供的配置于服务端的视频处理装置可执行本发明任意实施例所提供的应用于服务端的视频处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6示出了本发明实施例四提供的一种配置于客户端的视频处理装置的结构示意图，本实施例可适用于防止播放的视频中弹幕遮挡视频中图像的情况。
如图6所示，本发明实施例中视频处理装置，包括：掩膜数据接收模块410、遮罩图层生成模块420和视频处理模块430。
其中，掩膜数据接收模块410，用于接收服务端发送的待处理视频的二值化掩膜视频或轮廓坐标数据包；遮罩图层生成模块420，用于基于所述二值化掩膜视频生成与所述待处理视频逐帧对应的遮罩图层，或基于所述轮廓坐标数据包生成与所述待处理视频逐帧对应的遮罩图层；视频处理模块430，用于根据所述遮罩图层对所述待处理视频进行处理。
本实施例的技术方案，通过接收服务端发送的与待播放的视频对应的二值化掩膜视频或轮廓坐标数据包，并基于所述二值化掩膜视频生成与所述待处理视频逐帧对应的遮罩图层，或基于所述轮廓坐标数据包生成与所述待处理视频逐帧对应的遮罩图层，从而根据所述遮罩图层对所述待处理视频进行处理，防止字幕遮挡视频图像中的目标对象；解决了现有字幕遮挡处理技术中防字幕遮挡效果不佳的问题；可以实现对每一帧视频图像的字幕进行处理，改善防字幕遮挡效果。
可选的，所述装置还包括数据解压模块，用于当所述轮廓坐标数据包为压缩后数据包时，对所述轮廓坐标数据包进行解压缩处理。
可选的，所述视频处理模块430具体用于：
将所述遮罩层与所述待处理视频的弹幕层进行异或。
本发明实施例所提供的配置于客户端的视频处理装置可执行本发明任意实施例所提供的应用于客户端的视频处理方法，具备执行方法相应的功能模块和有益效果。
实施例五
图7是本发明实施例五中的服务器的结构示意图。图7示出了适于用来实现本发明实施方式的示例性服务器512的框图。图7显示的服务器512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，服务器512以通用计算设备的形式表现。服务器512的组件可以包括但不限于：一个或者多个处理器或者处理单元516，系统存储器528，连接不同系统组件(包括系统存储器528和处理单元516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
服务器512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。服务器512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统534可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
服务器512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该服务器512交互的设备通信，和/或与使得该服务器512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，服务器512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与服务器512的其它模块通信。应当明白，尽管图7中未示出，可以结合服务器512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元516通过运行存储在系统存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的应用于服务端的视频处理方法，该方法主要包括：
解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜；
针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标；
将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理。
实施例六
图8是本发明实施例六中的计算机设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性计算机设备612的框图。图8显示的计算机设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机设备612以通用计算设备的形式表现。计算机设备612的组件可以包括但不限于：一个或者多个处理器或者处理单元616，系统存储器628，连接不同系统组件(包括系统存储器628和处理单元616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)630和/或高速缓存存储器632。计算机设备612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储器628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如存储器628中，这样的程序模块642包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备612也可以与一个或多个外部设备614(例如键盘、指向设备、显示器624等)通信，还可与一个或者多个使得用户能与该计算机设备612交互的设备通信，和/或与使得该计算机设备612能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，计算机设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器620通过总线618与计算机设备612的其它模块通信。应当明白，尽管图8中未示出，可以结合计算机设备612使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元616通过运行存储在系统存储器628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的应用于客户端的视频处理方法，该方法主要包括：
接收服务端发送的待处理视频的二值化掩膜视频或轮廓坐标数据包；
基于所述二值化掩膜视频生成与所述待处理视频逐帧对应的遮罩图层，或基于所述轮廓坐标数据包生成与所述待处理视频逐帧对应的遮罩图层；
根据所述遮罩图层对所述待处理视频进行处理。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的应用于服务端的视频处理方法，该方法主要包括：
解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜；
针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标；
将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
实施例八
本发明实施例八还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的应用于客户端的视频处理方法，该方法主要包括：
接收服务端发送的待处理视频的二值化掩膜视频或轮廓坐标数据包；
基于所述二值化掩膜视频生成与所述待处理视频逐帧对应的遮罩图层，或基于所述轮廓坐标数据包生成与所述待处理视频逐帧对应的遮罩图层；
根据所述遮罩图层对所述待处理视频进行处理。
在本实施例中的计算机存储介质的介绍可参考实施例七中的相关内容，在此不再赘述。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种视频处理方法，应用于服务端，其特征在于，包括：
解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜；
针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标；
将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理。
2.根据权利要求1所述的方法，其特征在于，在将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端之前，所述方法还包括：
将所述二值化掩膜视频或所述轮廓坐标数据包进行压缩。
3.一种视频处理方法，应用于客户端，其特征在于，包括：
接收服务端发送的待处理视频的二值化掩膜视频或轮廓坐标数据包；
基于所述二值化掩膜视频生成与所述待处理视频逐帧对应的遮罩图层，或基于所述轮廓坐标数据包生成与所述待处理视频逐帧对应的遮罩图层；
根据所述遮罩图层对所述待处理视频进行处理。
4.根据权利要求3所述的方法，其特征在于，当所述轮廓坐标数据包为压缩后数据包时，所述方法还包括：
对所述轮廓坐标数据包进行解压缩处理。
5.根据权利要求3所述的方法，其特征在于，所述根据所述遮罩图层对所述待处理视频进行处理，包括：
将所述遮罩层与所述待处理视频的弹幕层进行异或。
6.一种视频处理装置，配置于服务端，其特征在于，包括：
掩膜制作模块，用于解析待处理视频的每一帧图像数据，得到每一帧图像数据中目标对象的掩膜；
掩膜处理模块，用于针对每一帧图像数据，将所述掩膜进行二值化处理得到二值化掩膜图像或所述目标对象的轮廓的坐标；
掩膜数据发送模块，用于将所有的二值化掩膜图像按照视频帧图像顺序合成一个二值化掩膜视频或将所有的坐标合成一个轮廓坐标数据包，并将所述二值化掩膜视频或所述轮廓坐标数据包发送给客户端，以使所述客户端在播放所述待处理视频时进行视频处理。
7.一种视频处理装置，配置于客户端，其特征在于，包括：
掩膜数据接收模块，用于接收服务端发送的待处理视频的二值化掩膜视频或轮廓坐标数据包；
遮罩图层生成模块，用于基于所述二值化掩膜视频生成与所述待处理视频逐帧对应的遮罩图层，或基于所述轮廓坐标数据包生成与所述待处理视频逐帧对应的遮罩图层；
视频处理模块，用于根据所述遮罩图层对所述待处理视频进行处理。
8.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-2中任一所述的视频处理方法。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求3-5中任一所述的视频处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一所述的视频处理方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求3-5中任一所述的视频处理方法。
CN202010536582.0A 2020-06-12 2020-06-12 一种视频处理方法、装置、设备和存储介质 Pending CN111698533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010536582.0A CN111698533A (zh) 2020-06-12 2020-06-12 一种视频处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010536582.0A CN111698533A (zh) 2020-06-12 2020-06-12 一种视频处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN111698533A true CN111698533A (zh) 2020-09-22

Family

ID=72480721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010536582.0A Pending CN111698533A (zh) 2020-06-12 2020-06-12 一种视频处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111698533A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112969078A (zh) * 2021-03-23 2021-06-15 统信软件技术有限公司 一种视频中的弹幕防遮挡方法、计算设备及可读存储介质
WO2022073389A1 (zh) * 2020-10-10 2022-04-14 游艺星际(北京)科技有限公司 视频画面的展示方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303731A (zh) * 2016-08-01 2017-01-04 北京奇虎科技有限公司 弹幕的显示方法及装置
US20180191987A1 (en) * 2017-01-04 2018-07-05 International Business Machines Corporation Barrage message processing
CN109218800A (zh) * 2018-06-29 2019-01-15 努比亚技术有限公司 一种弹幕信息显示方法、终端及计算机可读存储介质
CN109688457A (zh) * 2018-12-28 2019-04-26 武汉斗鱼网络科技有限公司 一种视频防遮挡方法、装置、电子设备及介质
CN109710365A (zh) * 2018-12-28 2019-05-03 武汉斗鱼网络科技有限公司 一种弹幕显示方法、装置、电子设备及介质
CN109862380A (zh) * 2019-01-10 2019-06-07 北京达佳互联信息技术有限公司 视频数据处理方法、装置及服务器、电子设备和存储介质
CN110248209A (zh) * 2019-07-19 2019-09-17 湖南快乐阳光互动娱乐传媒有限公司 一种弹幕防遮挡掩模信息的传输方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303731A (zh) * 2016-08-01 2017-01-04 北京奇虎科技有限公司 弹幕的显示方法及装置
US20180191987A1 (en) * 2017-01-04 2018-07-05 International Business Machines Corporation Barrage message processing
CN109218800A (zh) * 2018-06-29 2019-01-15 努比亚技术有限公司 一种弹幕信息显示方法、终端及计算机可读存储介质
CN109688457A (zh) * 2018-12-28 2019-04-26 武汉斗鱼网络科技有限公司 一种视频防遮挡方法、装置、电子设备及介质
CN109710365A (zh) * 2018-12-28 2019-05-03 武汉斗鱼网络科技有限公司 一种弹幕显示方法、装置、电子设备及介质
CN109862380A (zh) * 2019-01-10 2019-06-07 北京达佳互联信息技术有限公司 视频数据处理方法、装置及服务器、电子设备和存储介质
CN110248209A (zh) * 2019-07-19 2019-09-17 湖南快乐阳光互动娱乐传媒有限公司 一种弹幕防遮挡掩模信息的传输方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073389A1 (zh) * 2020-10-10 2022-04-14 游艺星际(北京)科技有限公司 视频画面的展示方法及电子设备
CN112969078A (zh) * 2021-03-23 2021-06-15 统信软件技术有限公司 一种视频中的弹幕防遮挡方法、计算设备及可读存储介质
CN112969078B (zh) * 2021-03-23 2023-02-28 统信软件技术有限公司 一种视频中的弹幕防遮挡方法、计算设备及可读存储介质

Similar Documents

Publication Publication Date Title
US10110936B2 (en) Web-based live broadcast
US20180270496A1 (en) Composite video streaming using stateless compression
CN112804256B (zh) 多媒体文件中轨道数据的处理方法、装置、介质及设备
CN110971929A (zh) 云游戏视频处理方法、电子设备及存储介质
CN108182211B (zh) 视频舆情获取方法、装置、计算机设备及存储介质
CN112990191A (zh) 一种基于字幕视频的镜头边界检测与关键帧提取方法
CN111669646A (zh) 透明视频的播放方法、装置、设备及介质
CN110147465A (zh) 图像处理方法、装置、设备和介质
CN111698533A (zh) 一种视频处理方法、装置、设备和存储介质
CN111836118B (zh) 视频处理方法、装置、服务器及存储介质
US6859557B1 (en) System and method for selective decoding and decompression
CN109729429A (zh) 视频播放方法、装置、设备和介质
KR101984825B1 (ko) Ａｐｉ 정보를 이용한 클라우드 디스플레이 화면의 부호화 방법 및 그 장치
CN111368593A (zh) 一种马赛克处理方法、装置、电子设备及存储介质
CN108668169B (zh) 图像信息处理方法及装置、存储介质
CN109859328B (zh) 一种场景切换方法、装置、设备和介质
US11928855B2 (en) Method, device, and computer program product for video processing
CN112839227B (zh) 一种图像编码方法、装置、设备和介质
CN113014609B (zh) 多媒体文件的处理及其追溯方法、装置、设备和介质
CN110958460B (zh) 一种视频存储方法、装置、电子设备及存储介质
CN117176715A (zh) 点云编解码方法、装置、计算机可读介质及电子设备
CN113051415B (zh) 图像存储方法、装置、设备和存储介质
CN117176979B (zh) 多源异构视频的内容帧提取方法、装置、设备及存储介质
CN114286163B (zh) 一种序列图的录制方法、装置、设备及存储介质
CN115150368B (zh) 媒体文件的关联处理方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922