CN110324704A - 视频处理方法及装置 - Google Patents
视频处理方法及装置 Download PDFInfo
- Publication number
- CN110324704A CN110324704A CN201810272624.7A CN201810272624A CN110324704A CN 110324704 A CN110324704 A CN 110324704A CN 201810272624 A CN201810272624 A CN 201810272624A CN 110324704 A CN110324704 A CN 110324704A
- Authority
- CN
- China
- Prior art keywords
- video
- video frame
- processed
- frame
- time period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000000903 blocking effect Effects 0.000 claims abstract description 30
- 238000003860 storage Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 241000406668 Loxodonta cyclotis Species 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种视频处理方法及装置。该方法包括：对待处理视频的多个视频帧进行检测，确定多个视频帧中是否存在第一视频帧，其中，第一视频帧中包括待遮挡的第一对象；当存在第一视频帧时，确定第一视频帧中与第一对象对应的第一区域；根据第一视频帧，确定待处理视频中与第一视频帧对应的第一时间段；根据第一时间段和第一区域，对待处理视频中的第一对象进行遮挡处理。本公开实施例所提供的视频处理方法及装置，可以对各类视频中需要遮挡的第一对象进行遮挡处理，适用范围广、速度快、效率高，遮挡的准确性好。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种视频处理方法及装置。
背景技术
随着科技的进步，用户可以通过手机等终端设备观看各视频网站中的视频。这些视频可以是用户、运营商等视频的所有者上传的。但所上传的视频中常会存在一些需要遮挡的标识。相关技术中，遮挡视频中需要遮挡的标识的方式具有很大的局限性，适用范围小，难以满足不同视频的遮挡需求。
发明内容
有鉴于此，本公开提出了一种视频处理方法及装置。
根据本公开的第一方面，提供了一种视频处理方法，所述方法包括：对待处理视频的多个视频帧进行检测，确定所述多个视频帧中是否存在第一视频帧，其中，所述第一视频帧中包括待遮挡的第一对象；
当存在所述第一视频帧时，确定所述第一视频帧中与所述第一对象对应的第一区域；
根据所述第一视频帧，确定所述待处理视频中与所述第一视频帧对应的第一时间段；
根据所述第一时间段和所述第一区域，对所述待处理视频中的第一对象进行遮挡处理。
对于上述方法，在一种可能的实现方式中，所述方法还包括：
对所述多个视频帧进行图像识别，确定所述多个视频帧中是否存在连续的多个第二视频帧，其中，每个第二视频帧中包括处于第二区域的第二对象；
当所述多个视频帧中存在所述多个第二视频帧，且所述多个第二视频帧的数量大于或等于数量阈值时，确定所述待处理视频中与所述多个第二视频帧对应的第二时间段；
根据所述第二时间段和所述第二区域，对所述待处理视频中的第二对象进行遮挡处理。
对于上述方法，在一种可能的实现方式中，对待处理视频的多个视频帧进行检测，确定所述多个视频帧中是否存在第一视频帧，包括：
对所述多个视频帧中的第三视频帧进行特征提取处理，确定所述第三视频帧中的对象的第一特征，其中，所述第三视频帧是所述多个视频帧中的任意一个视频帧；
当所述第一特征与所述第一对象的样本特征匹配时，将所述第三视频帧确定为第一视频帧，
其中，所述第一对象的样本特征是根据第一对象的多个样本图像进行训练得到的。
对于上述方法，在一种可能的实现方式中，根据所述第一时间段和所述第一区域，对所述待处理视频中的第一对象进行遮挡处理，包括：
根据所述第一时间段和所述第一区域的边界像素，采用像素填充的方式对所述待处理视频中的第一对象进行遮挡处理。
对于上述方法，在一种可能的实现方式中，所述第一对象包括广告标识和/或台标。
根据本公开的第二方面，提供了一种视频处理装置，所述装置包括：
第一视频帧确定模块，对待处理视频的多个视频帧进行检测，确定所述多个视频帧中是否存在第一视频帧，其中，所述第一视频帧中包括待遮挡的第一对象；
第一区域确定模块，当存在所述第一视频帧时，确定所述第一视频帧中与所述第一对象对应的第一区域；
第一时间段确定模块，根据所述第一视频帧，确定所述待处理视频中与所述第一视频帧对应的第一时间段；
第一遮挡处理模块，根据所述第一时间段和所述第一区域，对所述待处理视频中的第一对象进行遮挡处理。
对于上述装置，在一种可能的实现方式中，所述装置还包括：
第二视频帧确定模块，对所述多个视频帧进行图像识别，确定所述多个视频帧中是否存在连续的多个第二视频帧，其中，每个第二视频帧中包括处于第二区域的第二对象；
第二时间段确定模块，当所述多个视频帧中存在所述多个第二视频帧，且所述多个第二视频帧的数量大于或等于数量阈值时，确定所述待处理视频中与所述多个第二视频帧对应的第二时间段；
第二遮挡处理模块，根据所述第二时间段和所述第二区域，对所述待处理视频中的第二对象进行遮挡处理。
对于上述装置，在一种可能的实现方式中，所述第一视频帧确定模块，包括：
特征提取子模块，对所述多个视频帧中的第三视频帧进行特征提取处理，确定所述第三视频帧中的对象的第一特征，其中，所述第三视频帧是所述多个视频帧中的任意一个视频帧；
匹配确定子模块，当所述第一特征与所述第一对象的样本特征匹配时，将所述第三视频帧确定为第一视频帧，
其中，所述第一对象的样本特征是根据第一对象的多个样本图像进行训练得到的。
对于上述装置，在一种可能的实现方式中，所述第一遮挡处理模块，包括：
遮挡子模块，根据所述第一时间段和所述第一区域的边界像素，采用像素填充的方式对所述待处理视频中的第一对象进行遮挡处理。
对于上述装置，在一种可能的实现方式中，所述第一对象包括广告标识和/或台标。
根据本公开的第三方面，提供了一种视频处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述视频处理方法。
根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述视频处理方法。
本公开实施例所提供的视频处理方法及装置，可以对各类视频中需要遮挡的第一对象进行遮挡处理，适用范围广、速度快、效率高，遮挡的准确性好。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开一实施例的视频处理方法的流程图；
图2示出根据本公开一实施例的视频处理方法中步骤S11的流程图；
图3示出根据本公开一实施例的视频处理方法的流程图；
图4示出根据本公开一实施例的视频处理方法的流程图；
图5示出根据本公开一实施例的视频处理方法的应用场景的示意图；
图6示出根据本公开一实施例的视频处理装置的框图；
图7示出根据本公开一实施例的视频处理装置的框图；
图8示出根据本公开一实施例的视频处理装置的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开一实施例的视频处理方法的流程图。如图1所示，该方法可以包括步骤S11至步骤S14。
在步骤S11中，对待处理视频的多个视频帧进行检测，确定多个视频帧中是否存在第一视频帧。其中，第一视频帧中包括待遮挡的第一对象。
在本实施例中，待处理视频可以任意需要遮挡处理的视频，本公开对此不作限制。例如，可以是电视剧、电影等的视频，还可以是用户编辑的视频，也可以是用户录制的演唱会、节目表演等的视频。
在本实施例中，待处理视频的多个视频帧可以是构成该待处理视频的所有视频帧，以保证所确定的第一时间段的准确性。待处理视频的多个视频帧还可以是每隔固定的时间间隔提取的待处理视频的多个视频帧，或者每隔固定的时间间隔截图获取到的待处理视频的多个视频帧。例如，每隔1s所提取到的待处理视频的多个视频帧。可以降低对多个视频帧进行检测的处理量，提高处理效率和速度。可以根据待处理视频的类型、时长等与该待处理视频相关的信息，对所获取的待处理视频的多个视频帧进行设置。例如，对于时长为10min的待处理视频，所获取的多个视频帧可以是构成该待处理视频的所有视频帧。对于时长为100min的待处理视频，所获取的多个视频帧可以是每隔固定的时间间隔提取的待处理视频的多个视频帧。本领域技术人员可以根据实际需要对所获取的待处理视频的多个视频帧的进行设置，本公开对此不作限制。
在本实施例中，待遮挡的第一对象可以是文字、图案，或者文字和图案结合到一起所构成的标识。可以根据实际需要、相关规定等对需要遮挡的第一对象进行设置，本公开对此不作限制。
在一种可能的实现方式中，第一对象可以包括广告标识和/或台标。
在该实现方式中，广告标识可以是产品的宣传标识、包装标识以及产品的生产厂家的商标等用于广告、宣传的标识。台标可以是电视台、电台、电视频道等的专用标识，表现形式有图案、艺术性文字以及图文混合形式等，内容包括电视台名称、频道号以及频道名称等。本领域技术人员可以根据实际需要对第一对象进行设置，本公开对此不作限制。
图2示出根据本公开一实施例的视频处理方法中步骤S11的流程图。如图2所示，步骤S11可以包括步骤S111和步骤S112。
在步骤S111中，对多个视频帧中的第三视频帧进行特征提取处理，确定第三视频帧中的对象的第一特征，其中，第三视频帧是多个视频帧中的任意一个视频帧。
在本实施例中，可以采用图像识别、深度学习目标检测等技术对第三视频帧进行特征提取。所获得的第三视频帧中的对象的第一特征可以包括对象的形状、尺寸、颜色等与对象的特征相关的信息，本公开对此不作限制。
在步骤S112中，当第一特征与第一对象的样本特征匹配时，将第三视频帧确定为第一视频帧。其中，第一对象的样本特征是根据第一对象的多个样本图像进行训练得到的。
在本实施例中，可以根据第一特征与第一对象的样本特征的相似程度确定第一特征是否与第一对象的样本特征匹配。例如，可以在第一特征与第一对象的样本特征的相似度大于或等于相似度阈值时，确定第一特征与第一对象的样本特征匹配。相似度阈值可以是90％等。本领域及技术人员可以根据实际需要对确定第一特征与第一对象的样本特征是否匹配的方式进行设置，本公开对此不作限制。
在本实施例中，可以预先获取第一对象的多个样本图像，采用机器学习、深度学习目标检测等方式基于多个样本图像进行训练，获取第一对象的形状、尺寸、颜色等信息，并将其确定为该第一对象的样本特征。在有新增的第一对象被确定之后，可根据新增第一对象的多个样本图像进行训练，获得新增第一对象的样本特征。
本领域技术人员可以根据实际需要对确定第一对象的样本特征的方式进行设置，本公开对此不作限制。
通过这种方式，可以根据预先确定的第一对象的样本特征，对待处理视频中出现的第一对象进行遮挡处理，以实现针对第一对象的精确遮挡。
在步骤S12中，当存在第一视频帧时，确定第一视频帧中与第一对象对应的第一区域。
在本实施例中，可以根据采用图像识别等技术确定的第一对象在第一视频帧中所处的位置以及第一对象的形状、尺寸，确定与第一对象对应的第一区域。第一区域的面积可以大于或等于第一对象在第一视频帧中的面积，以保证根据第一时间段和第一区域，对待处理视频中的第一对象进行遮挡处理之后，可以完全遮挡第一对象，使用户无法观察出第一对象的内容。第一区域的形状可以是矩形、圆形、椭圆形等形状，本公开对此不作限制。
在本实施例中，所确定的第一区域可以是一个，也可以是多个。举例来说，当第一对象为某电视台的台标时，由于该电视台的台标在第一视频帧中出现的位置均为第一视频帧的左上方区域。可以根据台标在第一视频帧中出现的位置及台标的形状、尺寸，确定出可以该台标对应的一个第一区域。当第一对象为某广告标识时，由于该广告标识在第一视频帧中出现的位置不唯一。可以根据广告标识在第一视频帧中出现的位置及广告标识的形状、尺寸，确定出该广告标识所对应的多个第一区域。
在步骤S13中，根据第一视频帧，确定待处理视频中与第一视频帧对应的第一时间段。
在本实施例中，确定的与第一视频帧对应的第一时间段可以是一个或多个。例如，当与第一对象所对应的第一区域为一个时，确定待处理视频中与第一视频帧对应的第一时间段为一个。当与第一对象所对应的第一区域为多个个时，确定待处理视频中与第一视频帧对应的第一时间段可以为分别对应于不同的第一区域的多个第一时间段。这样，可以完全遮挡住出现在待处理视频中的第一对象。
在步骤S14中，根据第一时间段和第一区域，对待处理视频中的第一对象进行遮挡处理。
在本实施例中，所进行的遮挡处理可以包括在视频的第一区域中添加马赛克，在第一区域的上方添加新的图层以遮挡第一对象，利用第一区域的边界像素在第一区域中进行像素填充等方式进行遮挡处理。本领域技术人员可以根据实际需要对遮挡处理的实现方式进行设置，本公开对此不作限制。
本公开实施例所提供的视频处理方法，可以对各类视频中需要遮挡的第一对象进行遮挡处理，适用范围广、速度快、效率高，遮挡的准确性好。
图3示出根据本公开一实施例的视频处理方法的流程图。如图3所示，步骤S14可以包括步骤S141。
在步骤S141中，根据第一时间段和第一区域的边界像素，采用像素填充的方式对待处理视频中的第一对象进行遮挡处理。
在本实施例中，第一区域的边界像素可以是第一区域的边界的像素。根据确定的第一区域的边界像素，在待处理视频的第一时间段中，从第一区域的边界向内部填充所确定的边界像素，以遮挡第一对象。采用像素填充的方式进行第一对象的遮挡，可以在遮挡第一对象的同时，使视频画面中第一区域的颜色与其他区域的颜色相融合，使得第一区域不会过于突兀的出现在视频画面中，提高视频画面的显示效果。
图4示出根据本公开一实施例的视频处理方法的流程图。如图4所示，该方法可以包括步骤S15至步骤S17。
在步骤S15中，对多个视频帧进行图像识别，确定多个视频帧中是否存在连续的多个第二视频帧。其中，每个第二视频帧中包括处于第二区域的第二对象。
在本实施例中，第二对象可以是区别于第一对象的、静止不动的对象，以识别出待处理视频中出现的未知的可能是台标、广告标识等的对象，提高对待处理视频进行遮挡的精确度，以免遗漏掉需要遮挡的对象。第二对象可以是文字、图案，或者文字和图案结合到一起所构成的标识，可以根据实际需要、相关规定等对第二对象进行设置，本公开对此不作限制。
在本实施例中，可以根据遮挡精度、时间、是否存在第一视频帧等对步骤S14至步骤S17的是否执行进行设置。例如，可以在不存在第一视频帧时，检测待处理视频中是否存在第二对象，以使得在未检测到第一对象时，检测出待处理视频中的第二对象，满足对待处理视频的遮挡需求。还可以在存在第一视频帧时，同时检测待处理视频中是否存在第二对象，以提高对待处理视频所进行遮挡的精确性。本领域技术人员可以根据实际需要对确定多个视频帧中是否存在连续的多个第二视频帧的进行条件进行设置，本公开对此不作限制。
在本实施例中，可以通过帧间差分法等方法确定不同视频帧中的对象之间的相似程度，本公开对此不作限制。
在步骤S16中，当多个视频帧中存在多个第二视频帧，且多个第二视频帧的数量大于或等于数量阈值时，确定待处理视频中与多个第二视频帧对应的第二时间段。
在本实施例中，可以根据多个视频帧中各视频帧的来源、视频帧之间的时间间隔等，对数量阈值进行设置，以保证所确定的第二对象为待处理视频中出现的静止的且为台标、广告标识等对象。
举例来说，在待处理视频的多个视频帧是构成该待处理视频的所有视频帧时，可以根据视频每秒钟的视频帧的数量对数量阈值进行设置。例如，每秒钟的视频帧的数量为25，数量阈值可以为25×3＝75。当处理视频的多个视频帧是每隔固定的时间间隔提取的待处理视频的多个视频帧。例如，每隔1s所提取到的待处理视频的多个视频帧。可以将数量阈值设置为3。
本领域技术人员可以根据实际需要对数量阈值进行设置，本公开对此不作限制。
在步骤S17中，根据第二时间段和第二区域，对待处理视频中的第二对象进行遮挡处理。
在本实施例中，对待处理视频中的第二对象进行遮挡处理的方式可以参考步骤S14的相关描述，本公开对此不作限制。
需要说明的是，尽管以上述作为示例介绍了视频处理方法如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各步骤，只要符合本公开的技术方案即可。
应用示例
以下结合“对待处理视频进行处理”作为一个示例性应用场景，给出根据本公开实施例的应用示例，以便于理解视频处理方法的流程。本领域技术人员应理解，以下应用示例仅仅是出于便于理解本公开实施例的目的，不应视为对本公开实施例的限制。
图5示出根据本公开一实施例的视频处理方法的应用场景的示意图。如图5所示，对待处理视频的处理过程可以包括准备阶段和处理阶段。
准备阶段：
基于深度学习目标检测方法，对第一对象的多个样本图像进行训练，获取第一对象的样本特征。
处理阶段：
基于第一对象进行检测：获取待处理视频的多个视频帧。确定多个视频帧中是否存在第一视频帧。其中，第一视频帧中包括待遮挡的第一对象。当存在第一视频帧时，确定第一视频帧中与第一对象对应的第一区域；根据第一视频帧，确定待处理视频中与第一视频帧对应的第一时间段。基于第一对象进行检测可以参考步骤S11至步骤S13的相关描述。
第二对象检测：当不存在第一视频帧时，对多个视频帧进行图像识别，确定多个视频帧中是否存在连续的多个第二视频帧。其中，每个第二视频帧中包括处于第二区域的第二对象；当多个视频帧中存在多个第二视频帧，且多个第二视频帧的数量大于或等于数量阈值时，确定待处理视频中与多个第二视频帧对应的第二时间段。第一对象检测可以参考步骤S15至步骤S17的相关描述。
遮挡处理：根据第一时间段和第一区域，对待处理视频中的第一对象进行遮挡处理。根据第二时间段和第二区域，对待处理视频中的第二对象进行遮挡处理。遮挡处理的方式可以参考步骤S14的相关描述。
这样，可以对各类视频中需要遮挡的已经预先确定的第一对象以及检测确定的第二对象进行遮挡处理，适用范围广、速度快、效率高，遮挡的准确性好。
图6示出根据本公开一实施例的视频处理装置的框图。如图6所示，该装置可以包括第一视频帧确定模块51、第一区域确定模块52、第一时间段确定模块53和第一遮挡处理模块54。该第一视频帧确定模块51被配置为对待处理视频的多个视频帧进行检测，确定多个视频帧中是否存在第一视频帧，其中，第一视频帧中包括待遮挡的第一对象。该第一区域确定模块52被配置为当存在第一视频帧时，确定第一视频帧中与第一对象对应的第一区域。该第一时间段确定模块53被配置为根据第一视频帧，确定待处理视频中与第一视频帧对应的第一时间段。该第一遮挡处理模块54被配置为根据第一时间段和第一区域，对待处理视频中的第一对象进行遮挡处理。
图7示出根据本公开一实施例的视频处理装置的框图。
在一种可能的实现方式中，如图7所示，该装置还可以包括第二视频帧确定模块55、第二时间段确定模块56和第二遮挡处理模块57。该第二视频帧确定模块55被配置为对多个视频帧进行图像识别，确定多个视频帧中是否存在连续的多个第二视频帧，其中，每个第二视频帧中包括处于第二区域的第二对象。该第二时间段确定模块56被配置为当多个视频帧中存在多个第二视频帧，且多个第二视频帧的数量大于或等于数量阈值时，确定待处理视频中与多个第二视频帧对应的第二时间段。该第二遮挡处理模块57被配置为根据第二时间段和第二区域，对待处理视频中的第二对象进行遮挡处理。
在一种可能的实现方式中，如图7所示，第一视频帧确定模块51可以包括特征提取子模块511和匹配确定子模块512。该特征提取子模块511被配置为对多个视频帧中的第三视频帧进行特征提取处理，确定第三视频帧中的对象的第一特征，其中，第三视频帧是多个视频帧中的任意一个视频帧。该匹配确定子模块512被配置为当第一特征与第一对象的样本特征匹配时，将第三视频帧确定为第一视频帧。其中，第一对象的样本特征是根据第一对象的多个样本图像进行训练得到的。
在一种可能的实现方式中，如图7所示，第一遮挡处理模块54可以包括遮挡子模块541。该遮挡子模块541被配置为根据第一时间段和第一区域的边界像素，采用像素填充的方式对待处理视频中的第一对象进行遮挡处理。
在一种可能的实现方式中，第一对象可以包括广告标识和/或台标。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是，尽管以上述作为示例介绍了视频处理装置如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各模块，只要符合本公开的技术方案即可。
本公开实施例所提供的视频处理装置，可以对各类视频中需要遮挡的第一对象进行遮挡处理，适用范围广、速度快、效率高，遮挡的准确性好。
图8示出根据本公开一实施例的视频处理装置的框图。例如，装置1900可以被提供为一服务器。参照图8，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (12)
1.一种视频处理方法，其特征在于，所述方法包括：
对待处理视频的多个视频帧进行检测，确定所述多个视频帧中是否存在第一视频帧，其中，所述第一视频帧中包括待遮挡的第一对象；
当存在所述第一视频帧时，确定所述第一视频帧中与所述第一对象对应的第一区域；
根据所述第一视频帧，确定所述待处理视频中与所述第一视频帧对应的第一时间段；
根据所述第一时间段和所述第一区域，对所述待处理视频中的第一对象进行遮挡处理。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述多个视频帧进行图像识别，确定所述多个视频帧中是否存在连续的多个第二视频帧，其中，每个第二视频帧中包括处于第二区域的第二对象；
当所述多个视频帧中存在所述多个第二视频帧，且所述多个第二视频帧的数量大于或等于数量阈值时，确定所述待处理视频中与所述多个第二视频帧对应的第二时间段；
根据所述第二时间段和所述第二区域，对所述待处理视频中的第二对象进行遮挡处理。
3.根据权利要求1所述的方法，其特征在于，对待处理视频的多个视频帧进行检测，确定所述多个视频帧中是否存在第一视频帧，包括：
对所述多个视频帧中的第三视频帧进行特征提取处理，确定所述第三视频帧中的对象的第一特征，其中，所述第三视频帧是所述多个视频帧中的任意一个视频帧；
当所述第一特征与所述第一对象的样本特征匹配时，将所述第三视频帧确定为第一视频帧，
其中，所述第一对象的样本特征是根据第一对象的多个样本图像进行训练得到的。
4.根据权利要求1所述的方法，其特征在于，根据所述第一时间段和所述第一区域，对所述待处理视频中的第一对象进行遮挡处理，包括：
根据所述第一时间段和所述第一区域的边界像素，采用像素填充的方式对所述待处理视频中的第一对象进行遮挡处理。
5.根据权利要求1所述的方法，其特征在于，所述第一对象包括广告标识和/或台标。
6.一种视频处理装置，其特征在于，所述装置包括：
第一视频帧确定模块，对待处理视频的多个视频帧进行检测，确定所述多个视频帧中是否存在第一视频帧，其中，所述第一视频帧中包括待遮挡的第一对象；
第一区域确定模块，当存在所述第一视频帧时，确定所述第一视频帧中与所述第一对象对应的第一区域；
第一时间段确定模块，根据所述第一视频帧，确定所述待处理视频中与所述第一视频帧对应的第一时间段；
第一遮挡处理模块，根据所述第一时间段和所述第一区域，对所述待处理视频中的第一对象进行遮挡处理。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二视频帧确定模块，对所述多个视频帧进行图像识别，确定所述多个视频帧中是否存在连续的多个第二视频帧，其中，每个第二视频帧中包括处于第二区域的第二对象；
第二时间段确定模块，当所述多个视频帧中存在所述多个第二视频帧，且所述多个第二视频帧的数量大于或等于数量阈值时，确定所述待处理视频中与所述多个第二视频帧对应的第二时间段；
第二遮挡处理模块，根据所述第二时间段和所述第二区域，对所述待处理视频中的第二对象进行遮挡处理。
8.根据权利要求6所述的装置，其特征在于，所述第一视频帧确定模块，包括：
特征提取子模块，对所述多个视频帧中的第三视频帧进行特征提取处理，确定所述第三视频帧中的对象的第一特征，其中，所述第三视频帧是所述多个视频帧中的任意一个视频帧；
匹配确定子模块，当所述第一特征与所述第一对象的样本特征匹配时，将所述第三视频帧确定为第一视频帧，
其中，所述第一对象的样本特征是根据第一对象的多个样本图像进行训练得到的。
9.根据权利要求6所述的装置，其特征在于，所述第一遮挡处理模块，包括：
遮挡子模块，根据所述第一时间段和所述第一区域的边界像素，采用像素填充的方式对所述待处理视频中的第一对象进行遮挡处理。
10.根据权利要求6所述的装置，其特征在于，所述第一对象包括广告标识和/或台标。
11.一种视频处理装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1至5中任意一项所述的方法。
12.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至5中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810272624.7A CN110324704A (zh) | 2018-03-29 | 2018-03-29 | 视频处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810272624.7A CN110324704A (zh) | 2018-03-29 | 2018-03-29 | 视频处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110324704A true CN110324704A (zh) | 2019-10-11 |
Family
ID=68110971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810272624.7A Pending CN110324704A (zh) | 2018-03-29 | 2018-03-29 | 视频处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110324704A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111970486A (zh) * | 2020-07-15 | 2020-11-20 | 浙江大华技术股份有限公司 | 视频遮挡方法、设备及存储介质 |
| CN114339361A (zh) * | 2021-10-18 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 视频内容屏蔽方法、装置、设备、存储介质和程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2741237A1 (en) * | 2012-10-11 | 2014-06-11 | Huawei Technologies Co., Ltd. | Method, apparatus and system for implementing video occlusion |
| CN104918107A (zh) * | 2015-05-29 | 2015-09-16 | 小米科技有限责任公司 | 视频文件的标识处理方法及装置 |
| CN106792153A (zh) * | 2016-12-01 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 一种视频标识处理方法及装置 |
| CN106911971A (zh) * | 2017-02-28 | 2017-06-30 | 维沃移动通信有限公司 | 一种视频字幕处理方法及电子设备 |
-
2018
- 2018-03-29 CN CN201810272624.7A patent/CN110324704A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2741237A1 (en) * | 2012-10-11 | 2014-06-11 | Huawei Technologies Co., Ltd. | Method, apparatus and system for implementing video occlusion |
| CN104918107A (zh) * | 2015-05-29 | 2015-09-16 | 小米科技有限责任公司 | 视频文件的标识处理方法及装置 |
| CN106792153A (zh) * | 2016-12-01 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 一种视频标识处理方法及装置 |
| CN106911971A (zh) * | 2017-02-28 | 2017-06-30 | 维沃移动通信有限公司 | 一种视频字幕处理方法及电子设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111970486A (zh) * | 2020-07-15 | 2020-11-20 | 浙江大华技术股份有限公司 | 视频遮挡方法、设备及存储介质 |
| CN111970486B (zh) * | 2020-07-15 | 2022-04-19 | 浙江大华技术股份有限公司 | 视频遮挡方法、设备及存储介质 |
| CN114339361A (zh) * | 2021-10-18 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 视频内容屏蔽方法、装置、设备、存储介质和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Caelles et al. | The 2018 davis challenge on video object segmentation | |
| US10970334B2 (en) | Navigating video scenes using cognitive insights | |
| US11010888B2 (en) | Precision defect detection based on image difference with respect to templates | |
| CN110309353A (zh) | 视频索引方法及装置 | |
| CN107704525A (zh) | 视频搜索方法和装置 | |
| CN106649848A (zh) | 视频推荐方法及装置 | |
| US20140247272A1 (en) | Image processing apparatus, method and computer program product | |
| CN110532833A (zh) | 一种视频分析方法及装置 | |
| CN104038705B (zh) | 视频制作方法和装置 | |
| KR102002024B1 (ko) | 객체 라벨링 처리 방법 및 객체 관리 서버 | |
| US20220172476A1 (en) | Video similarity detection method, apparatus, and device | |
| CN109618236B (zh) | 视频评论处理方法和装置 | |
| CN111739027B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| WO2019062388A1 (zh) | 广告效果分析方法及装置 | |
| US9679380B2 (en) | Emotion modification for image and video content | |
| CN108388833A (zh) | 一种图像识别方法、装置及设备 | |
| US11328326B2 (en) | Method and system for targeted advertising in an over-the-top (OTT) ecosystem | |
| CN108833990A (zh) | 视频字幕显示方法及装置 | |
| CN112487848A (zh) | 文字识别方法和终端设备 | |
| CN110324704A (zh) | 视频处理方法及装置 | |
| CN112712005A (zh) | 识别模型的训练方法、目标识别方法及终端设备 | |
| Kowalczuk et al. | Training of deep learning models using synthetic datasets | |
| CN113610034A (zh) | 识别视频中人物实体的方法、装置、存储介质及电子设备 | |
| CN111292333A (zh) | 用于分割图像的方法和装置 | |
| US20210097291A1 (en) | Identification of continuity errors in video by automatically detecting visual inconsistencies in video frames |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200513 Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Alibaba (China) Co.,Ltd. Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C Applicant before: Youku network technology (Beijing) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191011 |
|
| RJ01 | Rejection of invention patent application after publication |