CN111985419A - 视频处理方法及相关设备 - Google Patents

视频处理方法及相关设备 Download PDF

Info

Publication number
CN111985419A
CN111985419A CN202010860941.8A CN202010860941A CN111985419A CN 111985419 A CN111985419 A CN 111985419A CN 202010860941 A CN202010860941 A CN 202010860941A CN 111985419 A CN111985419 A CN 111985419A
Authority
CN
China
Prior art keywords
target
image frame
sensitive element
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010860941.8A
Other languages
English (en)
Other versions
CN111985419B (zh
Inventor
李少波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010860941.8A priority Critical patent/CN111985419B/zh
Publication of CN111985419A publication Critical patent/CN111985419A/zh
Application granted granted Critical
Publication of CN111985419B publication Critical patent/CN111985419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种视频处理方法及装置、计算机可读存储介质、电子设备。该方法包括：获取待处理视频；从所述待处理视频中提取第一图像帧；检测获得所述第一图像帧中的目标敏感元素；从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后；对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧；根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。通过本公开实施例提供的技术方案，可以提高处理视频中敏感元素的效率。

Description

视频处理方法及相关设备
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种视频处理方法及装置、计算机可读存储介质、电子设备。
背景技术
随着互联网技术的飞速发展，越来越多的互联网内容以视频形式出现，但有些视频中经常会出现一些不太适宜播放的内容或者不符合视频播放平台审核规范的元素，这些内容或者元素可以称之为敏感元素，包括但不限于：(1)某些不必要的广告牌、LOGO(LOGOtype的缩写，徽标或者商标，起到对徽标拥有公司的识别和推广的作用。网络中的徽标主要是各个网站用来与其它网站链接的图形标志，代表一个网站或网站的一个板块)；(2)某些少儿不宜的暴露或者血腥内容；(3)某些不愿意展示给观众的个人隐私。
此时需要对原视频中的敏感元素进行遮挡处理。现有技术中通常采用人工审核的方式，即由视频播放平台的审核人员逐个播放观看上传至该平台的原视频，根据审核规范对其进行逐帧图片的人工审核，观看到敏感元素时再对其进行遮挡处理，这种处理方式需要耗费大量的人力，效率低下，对于当前海量上传的视频内容而言，无法满足用户的实时性要求。
因此，需要一种新的视频处理方法及装置、计算机可读存储介质、电子设备。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开实施例提供一种视频处理方法及装置、计算机可读存储介质、电子设备，能够解决上述相关技术中存在的对视频中的敏感元素进行遮挡处理效率低下、成本较高的技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
本公开实施例提供一种视频处理方法，所述方法包括：获取待处理视频；从所述待处理视频中提取第一图像帧；检测获得所述第一图像帧中的目标敏感元素；从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后；对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧；根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。
本公开实施例提供一种视频处理装置，所述装置包括：待处理视频获取单元，用于获取待处理视频；第一图像帧提取单元，用于从所述待处理视频中提取第一图像帧；敏感元素检测单元，用于检测获得所述第一图像帧中的目标敏感元素；视频敏感元素跟踪单元，用于从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后；敏感元素遮挡处理单元，用于对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧；处理后视频生成单元，用于根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。
在本公开的一些示例性实施例中，敏感元素遮挡处理单元包括：当前位置获得单元，用于获得所述目标敏感元素在所述第二图像帧中的当前位置；第一目标位置获得单元，用于获得所述第一图像帧的所述目标敏感元素的第一目标位置；第二目标位置获得单元，用于若所述当前位置与所述第一目标位置之间的距离小于或等于距离阈值，则根据所述当前位置与所述第一目标位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。
在本公开的一些示例性实施例中，敏感元素遮挡处理单元还包括：第二目标位置确定单元，用于若所述当前位置与所述第一目标位置之间的距离大于所述距离阈值，则根据所述当前位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。
在本公开的一些示例性实施例中，敏感元素遮挡处理单元还包括：当前宽度获得单元，用于获得所述目标敏感元素在所述第二图像帧中的当前宽度；第一目标宽度获得单元，用于获得所述第一图像帧的所述目标敏感元素的第一目标宽度；第二目标宽度获得单元，用于若所述当前宽度与所述第一目标宽度之间的差异值小于或等于宽度阈值，则根据所述当前宽度与所述第一目标宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。
在本公开的一些示例性实施例中，敏感元素遮挡处理单元还包括：第二目标宽度确定单元，用于若所述当前宽度与所述第一目标宽度之间的差异值大于所述宽度阈值，则根据所述当前宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。
在本公开的一些示例性实施例中，敏感元素遮挡处理单元还包括：当前高度获得单元，用于获得所述目标敏感元素在所述第二图像帧中的当前高度；第一目标高度获得单元，用于获得所述第一图像帧的所述目标敏感元素的第一目标高度；第二目标高度获得单元，用于若所述当前高度与所述第一目标高度之间的差异值小于或等于高度阈值，则根据所述当前高度与所述第一目标高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度。
在本公开的一些示例性实施例中，敏感元素遮挡处理单元还包括：第二目标高度确定单元，用于若所述当前高度与所述第一目标高度之间的差异值大于所述高度阈值，则根据所述当前高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度；第二打码图像帧生成单元，用于对所述第二图像帧中处于所述第二目标位置且具有所述第二目标宽度和所述第二目标高度的所述目标敏感元素进行遮挡处理，生成所述第二打码图像帧。
在本公开的一些示例性实施例中，所述装置还包括：第四图像帧提取单元，用于从所述待处理视频中提取第四图像帧；第一目标敏感元素判断单元，用于若所述第四图像帧的上一帧未检测到所述目标敏感元素，则检测所述第四图像帧中是否存在所述目标敏感元素；固定跳帧单元，用于若所述第四图像帧中不存在所述目标敏感元素，则从所述待处理视频中跳过预定帧数的图像帧。
在本公开的一些示例性实施例中，所述装置还包括：第五图像帧提取单元，用于从所述待处理视频中提取第五图像帧；第二目标敏感元素判断单元，用于若所述第五图像帧的上一帧未检测到所述目标敏感元素，则检测所述第五图像帧中是否存在所述目标敏感元素；当前跳过帧数确定单元，用于若所述第五图像帧中不存在所述目标敏感元素，则根据所述第五图像帧之前连续不存在所述目标敏感元素的图像帧的数量，确定当前跳过帧数；动态跳帧单元，用于从所述待处理视频中跳过所述当前跳过帧数的图像帧。
在本公开的一些示例性实施例中，所述装置还包括：样本视频获取单元，用于获取样本视频；图像帧提取单元，用于提取所述样本视频中的图像帧；训练样本获得单元，用于从所述图像帧中获得训练样本，所述训练样本已标注所述目标敏感元素的位置及类别；检测器训练单元，用于利用所述训练样本训练标识检测器。其中，训练完成的所述标识检测器用于检测获得所述第一图像帧中的目标敏感元素。
在本公开的一些示例性实施例中，所述装置还包括：目标视频适配单元，用于从所述处理后视频中确定规格适配的目标视频；目标图片确定单元，用于确定目标图片；目标文本确定单元，用于确定包含目标推荐信息的目标文本；视频动态商品广告生成单元，用于合成所述目标视频、所述目标图片、所述目标文本与目标模版，生成视频动态商品广告。
本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的视频处理方法。
本公开实施例提供了一种电子设备，包括：至少一个处理器；存储装置，配置为存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如上述实施例中所述的视频处理方法。
在本公开的一些实施例所提供的技术方案中，自动检测待处理视频中的第一图像帧中的目标敏感元素，并通过视频跟踪技术跟踪到其它包括该目标敏感元素的图像帧例如第二图像帧，提出了一种基于检测-跟踪的快速进行敏感元素自动识别并遮挡的技术方案，能自动地去除待处理视频中的目标敏感元素，在不影响检测结果的前提下，提高了对视频中目标敏感元素遮挡处理的效率，加快了视频文件的处理速度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的视频处理方法或视频处理装置的示例性系统架构的示意图；
图2示意性示出了根据本公开的一实施例的视频处理方法的流程图；
图3示意性示出了根据本公开的一实施例的标识检测器的网络结构图；
图4示意性示出了根据本公开的一实施例的标识检测器的网络结构图；
图5示意性示出了根据本公开的一实施例的标识检测器的网络结构图；
图6示意性示出了根据本公开的一实施例的视频处理方法的流程图；
图7示意性示出了根据本公开的一实施例的视频处理方法的示意图；
图8示意性示出了根据本公开的一实施例的动态商品广告的示意图；
图9示意性示出了根据本公开的一实施例的视频动态商品广告的示意图；
图10示意性示出了根据本公开的一实施例的包括目标敏感元素的视频动态商品广告其中一帧的示意图；
图11示意性示出了对图10中的目标敏感元素进行打码处理后的视频动态商品广告其中一帧的示意图；
图12示意性示出了根据本公开的一实施例的视频处理装置的框图；
图13示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在至少一个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在至少一个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”和“第三”等仅作为标记使用，不是对其对象的数量限制。
下面结合附图对本公开示例实施方式进行详细说明。
图1示出了可以应用于本公开实施例的视频处理方法或视频处理装置的示例性系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、103和服务器102。在终端设备101、103和服务器102之间可以通过网络进行提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
服务器102可以是独立的服务器，也可以是多个服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端设备101、103可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、可穿戴智能设备、虚拟现实设备、增强现实设备等，但并不局限于此。
本公开实施例中，终端设备101、103上可以安装有视频客户端、游戏客户端、即时通讯客户端、新闻资讯客户端等各类客户端。例如，广告主或者为广告主服务的广告制作商可以使用终端设备101上安装的视频客户端，上传其制作的广告素材至服务器102，该广告素材可以称之为待处理视频。服务器102可以是与该视频客户端对应的视频播放平台的服务器。服务器102接收到终端设备101上传的待处理视频后，从所述待处理视频中提取第一图像帧，检测获得所述第一图像帧中的目标敏感元素，从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后，对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧，根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。服务器102还可以对处理后视频进行进一步的处理，生成视频动态商品广告，并将视频动态商品广告存储在视频动态商品广告库中，然后根据预设的推荐策略将视频动态商品广告库中的视频动态商品广告推送至终端设备103，使用终端设备103的用户可以打开其上安装的视频客户端，播放或者点击推荐给其的视频动态商品广告。
应该理解，图1中的终端设备和服务器的数目仅仅是示意性的，根据实际需要，可以具有任意数目的终端设备和服务器。
需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何需要对视频中的敏感元素进行遮挡处理的场景。
相关技术中，为了从所给的视频的每一帧图像中检测出敏感元素，其是对视频中的每一帧图像，逐帧去检测敏感元素的位置，然后逐帧对检测出的敏感元素进行遮挡处理，然后再将遮挡处理后的每一帧图像重新组成新的视频输出。但是这种处理方式存在以下缺点：将视频完全图像化，对其每一帧的处理方法一致，而没有很好的利用视频中帧与帧之间的关系。由此导致对一个视频的处理非常耗时。一个约700帧的视频，需要大约10分钟的处理时间，其无法满足现实场景中的实时性需求。
基于上述相关技术中存在的技术问题，本公开实施例提出了一种视频处理方法，以用于至少部分解决上述问题。本公开各实施例提供的方法可以由任意的电子设备来执行，例如上述图1中的服务器102，或者终端设备101和103中的任意一者或者多者，或者服务器102与终端设备之间进行交互，本公开对此不做限定。
图2示意性示出了根据本公开的一实施例的视频处理方法的流程图。本公开实施例提供的方法以由服务器来执行为例进行说明。如图2所示，本公开实施例提供的方法可以包括以下步骤。
在步骤S210中，获取待处理视频。
本公开实施例中，待处理视频可以是上传至视频播放平台的任意视频，通常，视频播放平台接收到一段视频时，会首先对其进行审核，检测其中是否包含不适宜播放的元素，并对其进行分类，若包含违法违规内容的视频甚至会直接被退回，或者通过视频处理技术其中的不适宜播放的元素进行遮挡处理。
例如，待处理视频可以是广告主或者广告制作商上传的广告素材，服务器接收到广告素材后，可以对其进行审核。
在步骤S220中，从所述待处理视频中提取第一图像帧。
本公开实施例中，第一图像帧可以是待处理视频中的任意一帧图像。
在步骤S230中，检测获得所述第一图像帧中的目标敏感元素。
在示例性实施例中，所述方法还可以包括：获取样本视频；提取所述样本视频中的图像帧；从所述图像帧中获得训练样本，所述训练样本已标注所述目标敏感元素的位置及类别；利用所述训练样本训练标识检测器；其中，训练完成的所述标识检测器用于检测获得所述第一图像帧中的目标敏感元素。
本公开实施例中，可以利用人工智能(Artificial Intelligence，AI)技术中的机器学习(Machine Learning，ML)模型来实现自动检测获得第一图像帧中的目标敏感元素。
其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
下面对其进行具体的举例说明。
首先，确定目标敏感元素。例如，目标敏感元素可以是视频播放平台的竞品的LOGO，可以确定出这些LOGO的图片，并对其进行分类，例如类别1、类别2、类别3至类别7。
获得了上述待遮挡的LOGO之后，继续收集训练数据集，可以包括以下步骤：
1)确定用于训练模型的样本视频，例如可以从接收到的广告素材中提取部分作为样本视频。
2)将样本视频的每一图像帧提取出来并保存，用来做下一步的数据标定。
3)逐个标注样本视频的每一图像帧，针对每一图像帧记录下图像中要遮挡的目标敏感元素的位置(例如，可以用一个矩形框框住该目标敏感元素，该矩形框的左上角坐标和右下角坐标用于确定该目标敏感元素的位置)，以及要遮挡的目标敏感元素的类别(例如上述LOGO从左到右依次是类别1到类别7)。如果样本视频中的某一图像帧中没有要遮挡的目标敏感元素，则不将其作为训练数据集中的训练样本；如果有要遮挡的目标敏感元素，则按照上述方法得到训练数据集中的一条训练样本。
4)假设给上述LOGO的每个类别都得到约500条训练样本，则训练样本的收集工作结束。
需要说明的是，目标敏感元素包括什么内容、具有多少种类别、收集多少训练样本，均可以根据实际应用场景而设计，本公开对此不做限定。
经过上述过程，得到了包括目标敏感元素的训练数据集，基于这些训练数据集，可以训练出标识检测器(也可以称之为LOGO检测器，具体使用的机器学习模型，可以参照下面图3-5实施例的描述)。
具体地，可以将训练样本输入至机器学习模型中，机器学习模型对该训练样本进行处理后，会预测该训练样本中的目标敏感元素的位置和类别，根据预测的目标敏感元素的位置和类别，与上述标注的该训练样本的目标敏感元素的位置和类别，计算损失函数，优化该损失函数，使得其最小化，即可训练确定该机器学习模型的模型参数，固定该机器学习模型的模型参数，即训练获得该标识检测器。
得到标识检测器之后，就可以用来从待处理视频的第一图像帧中检测得到目标敏感元素的位置，然后对其进行遮挡处理，将其去除。
在步骤S240中，从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后。
如果要从待处理视频中获取到某个或者某些目标敏感元素的位置，利用上述训练好的标识检测器一帧帧去检测，必然速度很慢。本公开实施例中，可以采取视频物体跟踪技术来提升速度。
视频物体跟踪技术属于计算机视觉技术(Computer Vision，CV)。其中，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-dimension，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本公开实施例中，可以使用任意的视频物体跟踪技术来跟踪第一图像帧之后的包括目标敏感元素的第二图像帧，第二图像帧是指在该待处理视频中位于该第一图像帧之后的，且包括目标敏感元素的任意图像帧。
本公开实施例中，以采用基于核相关滤波器的高速跟踪(High-Speed Trackingwith Kernelized Correlation Filters，简称KCF)方法为例进行举例说明。采用KCF实现目标敏感元素的跟踪，可以利用循环矩阵获取训练样本，并通过快速傅里叶变换加速将它对角化，同时可以降低几个量级存储空间和节省大量计算资源。还可以从单通道扩展到多通道，从而使得能够使用最先进的特征来显著提升性能。并添加了基于HOG(Histogram ofOriented Gradient，方向梯度直方图)特征而非原始像素的KCF跟踪器的新变体。通过线性核，还提出了一种计算复杂度非常低的线性多通道滤波器，几乎与非线性内核的性能相匹配，将其命名为对偶相关滤波器(Dual correlation filter，DCF)。
在步骤S250中，对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧。
从实际的实验效果来看，由于受视频拍摄中的光照等因素的影响，对待识别物体(如目标敏感元素)的检测和跟踪结果抖动的比较厉害，导致视频不稳定，影响了视频的整体感观。所谓抖动，就是待检测的结果在视频中的位置一段时间内基本不变，但是检测结果却在一定的范围内浮动，严重影响了视频的美感。
在示例性实施例中，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，可以包括：获得所述目标敏感元素在所述第二图像帧中的当前位置；获得所述第一图像帧的所述目标敏感元素的第一目标位置；若所述当前位置与所述第一目标位置之间的距离小于或等于距离阈值，则根据所述当前位置与所述第一目标位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。
对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还可以包括：若所述当前位置与所述第一目标位置之间的距离大于所述距离阈值，则根据所述当前位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。
在示例性实施例中，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还可以包括：获得所述目标敏感元素在所述第二图像帧中的当前宽度；获得所述第一图像帧的所述目标敏感元素的第一目标宽度；若所述当前宽度与所述第一目标宽度之间的差异值小于或等于宽度阈值，则根据所述当前宽度与所述第一目标宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。
在示例性实施例中，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还可以包括：若所述当前宽度与所述第一目标宽度之间的差异值大于所述宽度阈值，则根据所述当前宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。
在示例性实施例中，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还可以包括：获得所述目标敏感元素在所述第二图像帧中的当前高度；获得所述第一图像帧的所述目标敏感元素的第一目标高度；若所述当前高度与所述第一目标高度之间的差异值小于或等于高度阈值，则根据所述当前高度与所述第一目标高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度。
在示例性实施例中，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还可以包括：若所述当前高度与所述第一目标高度之间的差异值大于所述高度阈值，则根据所述当前高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度；对所述第二图像帧中处于所述第二目标位置且具有所述第二目标宽度和所述第二目标高度的所述目标敏感元素进行遮挡处理，生成所述第二打码图像帧。
例如，假设待处理视频是拍摄的一段导购视频，为了从该导购视频中识别出一些竞品的LOGO等目标敏感元素的位置，这种应用场景下，通常这些LOGO的位置在整个的导购视频或者一段时间内是基本保持不变的，其在一段时间内是个基本静止的物体。在这样的应用场景下，可以引入惯性公式来进行消抖(消除抖动的简称)。
假设一个目标敏感元素的检测结果是一个矩形(但本公开并不限定用于框出目标敏感元素的框(box)的形状，其可以是任意形状)，则一个矩形是由位置和大小两个因素决定的。位置即矩形的中心坐标，大小即矩形的宽度和高度。中心坐标以及宽度和高度决定了，一个矩形(也即是检测结果)也就决定了。对检测结果的消抖，也就是对中心坐标、宽度和高度的消抖。下面分别给出中心坐标、宽度和高度的消抖。
中心坐标消抖可以利用以下公式：
Figure BDA0002648076200000131
上述公式(1)中，Pcur表示第二图像帧(当前帧)中检测到的目标敏感元素的第二目标位置，即消抖后得到的第二图像帧中的目标敏感元素的位置；Pthis表示第二图像帧中检测到的目标敏感元素的当前位置，即消抖前的第二图像帧中的目标敏感元素的位置；Pbefore表示第一图像帧中检测到的目标敏感元素的第一目标位置，即消抖后的第一图像帧中的目标敏感元素的位置；Dis(Pbefore,Pthis)表示Pthis和Pbefore两点之间的欧式距离；DISTANCE是设置的距离阈值，可以根据实际需求设置，本公开对此不做限定；λ1是惯性常数，其取值范围是(0,1]。在示例性实施例中，可以设置λ1为0.3-0.4之间的任一实数。公式(1)的含义是指，如果当前帧(这里是第二图像帧)中检测得到的目标敏感元素的当前位置与位于当前帧之前的第一图像帧中的对应物体目标敏感元素的第一目标位置之间的距离小于或等于距离阈值，就用位于当前帧之前的第一图像帧中的目标敏感元素的第一目标位置与当前帧计算得到的目标敏感元素的当前位置，共同计算确定当前帧中的目标敏感元素的最终的第二目标位置，这样可以用位于当前帧之前的第一图像帧中的目标敏感元素的第一目标位置影响到当前帧的第二目标位置，拉小第一图像帧与第二图像帧之间的目标敏感元素的位置之间的浮动，确保检测结果稳定，起到了消抖的效果。如果当前帧中检测得到的目标敏感元素的当前位置与位于当前帧之前的第一图像帧中的对应目标敏感元素的第一目标位置之间的距离大于该距离阈值，就用当前帧计算得到的目标敏感元素的当前位置计算确定当前帧中的目标敏感元素的最终的第二目标位置，说明第二图像帧相比第一图像帧出现了新的目标敏感元素(例如不同类别的目标敏感元素)或者目标敏感元素的位置发成了较大的偏移。
检测到的目标敏感元素的宽度消抖可以利用以下公式：
Figure BDA0002648076200000141
上述公式(2)中，Wcur表示第二图像帧(当前帧)中检测到的目标敏感元素的第二目标宽度，即消抖后得到的第二图像帧中的目标敏感元素的宽度；Wthis表示第二图像帧中检测到的目标敏感元素的当前宽度，即消抖前的第二图像帧中的目标敏感元素的宽度；Wbefore表示第一图像帧中检测到的目标敏感元素的第一目标宽度，即消抖后的第一图像帧中的目标敏感元素的宽度；Abs(Wbefore,Wthis)表示Wthis和Wbefore两点之间的差值绝对值，称之为差异值；W_THRES是设置的宽度阈值，可以根据实际需求设置，本公开对此不做限定；λ2是惯性常数，其取值范围是(0,1]。在示例性实施例中，可以设置λ2为0.3-0.4之间的任一实数。公式(2)的含义是指，如果当前帧(这里是第二图像帧)中检测得到的目标敏感元素的当前宽度与位于当前帧之前的第一图像帧中的对应物体目标敏感元素的第一目标宽度之间的差异值小于或等于宽度阈值，就用位于当前帧之前的第一图像帧中的目标敏感元素的第一目标宽度与当前帧计算得到的目标敏感元素的当前宽度，共同计算确定当前帧中的目标敏感元素的最终的第二目标宽度，这样可以用位于当前帧之前的第一图像帧中的目标敏感元素的第一目标宽度影响到当前帧的第二目标宽度，拉小第一图像帧与第二图像帧之间的目标敏感元素的宽度之间的浮动，确保检测结果稳定，起到了消抖的效果。如果当前帧中检测得到的目标敏感元素的当前宽度与位于当前帧之前的第一图像帧中的对应目标敏感元素的第一目标宽度之间的差异值大于该宽度阈值，就用当前帧计算得到的目标敏感元素的当前宽度计算确定当前帧中的目标敏感元素的最终的第二目标宽度。
检测到的目标敏感元素的高度消抖可以利用以下公式：
Figure BDA0002648076200000151
上述公式(3)中，Hcur表示第二图像帧(当前帧)中检测到的目标敏感元素的第二目标高度，即消抖后得到的第二图像帧中的目标敏感元素的高度；Hthis表示第二图像帧中检测到的目标敏感元素的当前高度，即消抖前的第二图像帧中的目标敏感元素的高度；Hbefore表示第一图像帧中检测到的目标敏感元素的第一目标高度，即消抖后的第一图像帧中的目标敏感元素的高度；Abs(Hbefore,Hthis)表示Hthis和Hbefore两点之间的差值绝对值，称之为差异值；H_THRES是设置的高度阈值，可以根据实际需求设置，本公开对此不做限定；λ3是惯性常数，其取值范围是(0,1]。在示例性实施例中，可以设置λ3为0.3-0.4之间的任一实数。公式(3)的含义是指，如果当前帧(这里是第二图像帧)中检测得到的目标敏感元素的当前高度与位于当前帧之前的第一图像帧中的对应物体目标敏感元素的第一目标高度之间的差异值小于或等于高度阈值，就用位于当前帧之前的第一图像帧中的目标敏感元素的第一目标高度与当前帧计算得到的目标敏感元素的当前高度，共同计算确定当前帧中的目标敏感元素的最终的第二目标高度，这样可以用位于当前帧之前的第一图像帧中的目标敏感元素的第一目标高度影响到当前帧的第二目标高度，拉小第一图像帧与第二图像帧之间的目标敏感元素的高度之间的浮动，确保检测结果稳定，起到了消抖的效果。如果当前帧中检测得到的目标敏感元素的当前高度与位于当前帧之前的第一图像帧中的对应目标敏感元素的第一目标高度之间的差异值大于该高度阈值，就用当前帧计算得到的目标敏感元素的当前高度计算确定当前帧中的目标敏感元素的最终的第二目标高度。
本公开实施例中，结合具体应用场景中的实际特点，即目标敏感元素在待处理视频中一旦出现，其位置和大小相对固定，不会出现太多浮动。利用这个性质，引入惯性公式(1)-(3)，控制检测结果的浮动，经过上述消抖后，极大地增强了检测效果的稳定性。在保证对目标敏感元素遮挡处理效果的同时，将对视频整体感观的影响降到最低。
可以理解的是，本公开实施例不限于采用上述消抖技术，例如还可以根据第二图像帧之前的多帧(至少两帧)的检测结果求平均来确定第二图像帧中的目标敏感元素的第二目标位置、第二目标高度和第二目标宽度。该多帧中的每一帧中均检测到了目标敏感元素，且已经确定好了第一目标位置、第一目标高度和第一目标宽度。
上述实施例中虽然只以第二图像帧为例阐述其如何进行消抖的具体过程，但类似地，可以参照第一图像帧之前的至少一帧的检测结果来消抖第一图像帧中的目标敏感元素的位置和大小。该至少一帧中的每一帧中均检测到了目标敏感元素，且已经确定好了第一目标位置、第一目标高度和第一目标宽度。
在步骤S260中，根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。
在示例性实施例中，所述方法还可以包括：从所述待处理视频中提取第四图像帧；若所述第四图像帧的上一帧未检测到所述目标敏感元素，则检测所述第四图像帧中是否存在所述目标敏感元素；若所述第四图像帧中不存在所述目标敏感元素，则从所述待处理视频中跳过预定帧数的图像帧。
在示例性实施例中，所述方法还可以包括：从所述待处理视频中提取第五图像帧；若所述第五图像帧的上一帧未检测到所述目标敏感元素，则检测所述第五图像帧中是否存在所述目标敏感元素；若所述第五图像帧中不存在所述目标敏感元素，则根据所述第五图像帧之前连续不存在所述目标敏感元素的图像帧的数量，确定当前跳过帧数；从所述待处理视频中跳过所述当前跳过帧数的图像帧。
本公开实施例中，上述第四图像帧和第五图像帧可以是待处理视频中的任意一帧，其可以位于第一图像帧之前，也可以位于第一图像帧之后，本公开对此不做限定。
假设当前时刻从待处理视频中提取出当前帧(例如上述的第四图像帧或者第五图像帧)，若该当前帧不是待处理视频中的最后一帧，则继续判断该当前帧的上一帧中是否检测到目标敏感元素，若上一帧没有检测到，则继续使用上述训练好的标识检测器检测当前帧中是否存在目标敏感元素。若该当前帧中也未检测到目标敏感元素，则可以判定当前时刻的前后连续几帧均不存在目标敏感元素，此时可以采用跳帧方案跳过待处理视频中的一些帧，即不检测这些被跳过的图像帧。
在一些实施例中，可以采用固定跳帧方式，即固定好每次跳过的帧数为预定帧数，例如假设预定帧数为一帧，则可以跳过待处理视频中的第四图像帧的下一帧，在下一时刻提取待处理视频中的第四图像帧的下下一帧作为新的当前帧，重复检测或者跟踪过程。再例如假设预定帧数为两帧，则可以跳过待处理视频中的第四图像帧的下一帧和下下一帧，在下一时刻提取待处理视频中的第四图像帧的下下一帧的下一帧作为新的当前帧，重复检测或者跟踪过程。
在一些实施例中，可以采用动态跳帧方式，即每次跳帧的数量不是固定的，可以根据实际情况进行动态调整。例如，当第五图像帧没有检测到目标敏感元素时，可以参考第五图像帧之前连续有多少帧不存在目标敏感元素，从而来决定本次的当前跳过帧数。
本公开实施例中，当前帧中没有检测到目标敏感元素时，可以采用不同的跳帧方案，由于不需要对待处理视频中的每帧图像进行检测或者跟踪，从而可以进一步的加快视频文件的处理速度。
本公开实施方式提供的视频处理方法，自动检测待处理视频中的第一图像帧中的目标敏感元素，并通过视频跟踪技术跟踪到其它包括该目标敏感元素的图像帧例如第二图像帧，提出了一种基于检测-跟踪的快速进行敏感元素自动识别并遮挡的技术方案，能自动地去除待处理视频中的目标敏感元素，在不影响检测结果的前提下，提高了对视频中目标敏感元素遮挡处理的效率，加快了视频文件的处理速度。
本公开实施例中可以训练任何一种能够实现物体检测的机器学习模型获得标识检测器。下面介绍了可供选择的3个模型，但本公开并不限定于此。
图3示意性示出了根据本公开的一实施例的标识检测器的网络结构图。
图3所示的模型是SSD(Single shot multibox detector，单杆多框检测器)，其结构简洁易懂，直接用VGG(Visual Geometry Group Network，可视化几何组网络)、inception、ResNet(Residual Network，残差网络)等特征提取器(Feature Extractor)从输入图像中提取出特征，再利用检测生成器(Detection Generator)进行多路分类(Multiway Classfication)和框回归(Box Regression)，以直接输出待检测的目标敏感元素的位置(这里的位置可以认为包括上述的当前位置、当前宽度和当前高度)。
图4示意性示出了根据本公开的一实施例的标识检测器的网络结构图。
图4所示的模型是Faster R-CNN(Faster Region-Convolutional NeuralNetworks，更快的区域卷积神经网络)，此模型的特点是将整个过程分为两个阶段。第一阶段是从输入图像中用VGG、inception、ResNet等特征提取器提取得到特征，利用候选生成器(Proposal Generator)进行目标分类(Objectness Classfication)和框回归，输出得到待检测的目标敏感元素的候选位置；第二阶段是对第一阶段得到的所有的候选位置(一般300个)，利用框分类器(Box Classifier)进行裁剪(Crop)、多路分类和框细化(BoxRefinement)，逐一预测其目标敏感元素的类别，最终得到要检测的目标敏感元素在输入图像中的位置(这里的位置可以认为包括上述的当前位置、当前宽度和当前高度)。
图5示意性示出了根据本公开的一实施例的标识检测器的网络结构图。
图5所示的模型是R-FCN(Region based Fully Convolutional Network，基于区域的全卷积网络)，本模型的主体结构也是分为两个阶段，与模型R-CNN一致。与R-CNN的不同点在于，用来对目标敏感元素的候选位置分类的特征源于第一阶段的特征提取器(例如VGG、inception、ResNet)的最后一层，而不是来自于候选的物体块。这样做可以减小计算量，避免了挨个候选区域计算。
利用上述训练数据集中的训练样本训练上述三个模型中的任意一个获得的标识检测器，均可以很好地从一帧图像中检测得到待检测的目标敏感元素。
图6示意性示出了根据本公开的一实施例的视频处理方法的流程图。
如图6所示，本公开实施例提供的方法可以包括以下步骤。
在步骤S601中，获取待处理视频。
在步骤S602中，从待处理视频中提取其中的1帧。
例如，可以按照待处理视频中每一帧的时间排列顺序，按顺序依次从中提取其中的1帧作为当前帧。
在步骤S603中，判断上述步骤S602中提取的1帧图像是否是待处理视频中的最后一帧；如果是，则跳转到步骤S612；如果不是，继续执行步骤S604。
在步骤S604中，判断上述步骤S602提取的1帧图像的上一帧图像中是否检测到了目标敏感元素；如果没有检测到，则跳转到步骤S608；如果检测到了，则进入步骤S605。
在步骤S605中，根据上述步骤S602提取的1帧图像的上一帧图像中检测到的目标敏感元素，对上述步骤S602提取的1帧图像中的目标敏感元素进行跟踪。
在步骤S606中，判断上述步骤S605是否在上述步骤S602提取的1帧图像中跟踪到目标敏感元素；如果没有跟踪到，则跳回到上述步骤S602，即继续从待处理视频中提取上述步骤S602提取的1帧图像的下一帧图像作为新的提取的1帧图像，重复执行上述步骤；如果跟踪到了，则继续执行步骤S607。
若上一帧图像中已经检测或者跟踪到了目标敏感元素，则可以采用视频物体跟踪技术，跟踪住上述步骤S602提取的1帧图像的上一帧图像中检测到的目标敏感元素，得到上述步骤S602提取的1帧图像中的目标敏感元素，并对其进行遮挡处理。
在步骤S607中，利用上述步骤S602提取的1帧图像的上一帧图像(例如上述的第一图像帧)中检测到的目标敏感元素的第一目标位置、第一目标宽度和第一目标高度，对上述步骤S602提取的1帧图像中的目标敏感元素的当前位置、当前宽度和当前高度进行消抖，确定上述步骤S602提取的1帧图像(例如上述作为当前帧的第二图像帧)中的目标敏感元素的第二目标位置、第二目标宽度和第二目标高度。然后，继续跳回到上述步骤S602，即继续从待处理视频中提取上述步骤S602提取的1帧图像的下一帧图像作为新的提取的1帧图像，重复执行上述步骤。
在步骤S608中，当上一帧中未检测到目标敏感元素时，采用训练好的标识检测器检测上述步骤S602提取的1帧图像中的目标敏感元素。
在步骤S609中，判断上述步骤S602提取的1帧图像中是否检测到目标敏感元素；若未检测到，则执行步骤S610；若检测到目标敏感元素，则进入步骤S611。
在步骤S610中，执行跳帧方案，之后继续跳回到上述步骤S602，即继续从待处理视频中提取上述步骤S602提取的1帧图像后的跳过预定帧数或者当前跳过帧数后的下一帧图像作为新的提取的1帧图像，重复执行上述步骤。
在步骤S611中，对上述步骤S602提取的1帧图像执行消抖，之后继续跳回到上述步骤S602，即继续从待处理视频中提取上述步骤S602提取的1帧图像的下一帧图像作为新的提取的1帧图像，重复执行上述步骤。
本公开实施例中，在当前帧的上一帧中未检测或跟踪到目标敏感元素时，而该当前帧中检测到目标敏感元素时，可以利用该当前帧之前存在目标敏感元素的任意一帧或者多帧的第一目标位置、第一目标宽度和第一目标高度对该当前帧的当前位置、当前宽度和当前高度进行消抖，确定该当前帧的第二目标位置、第二目标宽度和第二目标高度。若当前帧之前不存在任意一帧包括目标敏感元素，则可以不对当前帧执行消抖处理。
例如，假设当前帧为待处理视频中的第8帧，第7帧中若不存在目标敏感元素，而第8帧中存在目标敏感元素，且第5帧和第6帧中存在目标敏感元素，则既可以根据第6帧中的目标敏感元素的第一目标位置、第一目标宽度和第一目标高度对第8帧的当前位置、当前宽度和当前高度进行消抖，确定第8帧的第二目标位置、第二目标宽度和第二目标高度，也可以利用第5帧的第一目标位置、第一目标宽度和第一目标高度、第6帧的第一目标位置、第一目标宽度和第一目标高度、第8帧的当前位置、当前宽度和当前高度进行加权求和或者计算算数平均值，确定第8帧的第二目标位置、第二目标宽度和第二目标高度，本公开对此不做限定。
在步骤S612中，结束对待处理视频的目标敏感元素的检测和跟踪处理。
本公开实施方式提供的视频处理方法，一方面，通过检测-跟踪-再检测的方案，可以提高待处理视频中目标敏感元素的自动识别效率，加快对待处理视频中的目标敏感元素进行遮挡处理的速度；另一方面，通过跳帧方案，可以进一步提高处理速度。此外，增加消抖处理，可以增强视频的稳定性。
在示例性实施例中，所述方法还可以包括：从所述处理后视频中确定规格适配的目标视频；确定目标图片；确定包含目标推荐信息的目标文本；合成所述目标视频、所述目标图片、所述目标文本与目标模版，生成视频动态商品广告。可以将上述实施例提供的方案应用于视频动态商品广告的生成场景。下面对其进行举例说明。
图7示意性示出了根据本公开的一实施例的视频处理方法的示意图。
如图7所示，可以从商品库中获取到文本，经过处理后，得到目标推荐信息例如商品短名、广告文案、广告宣传等的目标文本；从商品库中得到众多商品图片之后，经过对图片的美学评估，得到优化后的目标图片；从商品库中得到原视频之后，经过规格适配，得到符合规格要求和时长要求的目标视频。将这些目标文本、目标图片和目标视频中的信息与提供的目标模版按照预设的视频合成策略进行结合，生成得到视频动态商品广告，保存入视频动态商品广告库。
但是，广告主素材库中的有些视频素材(作为待处理视频)并不能直接入商品库，因为有些视频素材中包含有敏感元素，必须先自动识别这些敏感元素，有些视频素材中包括的敏感元素可能会无法通过视频播放平台的审核，无法进入商品库；而有些视频素材中包括的敏感元素例如是上述的目标敏感元素，则可以对这些目标敏感元素进行遮挡处理后，重新组合进行遮挡处理后的视频素材，才能入商品库。
DPA(Dynamic Product Advertisements)，即动态商品广告，是一种集合模版和商品推荐的广告形式，一般而言属于图文广告。模版是预先设计的图文框架，商品是推荐给用户的商品，最后展现的图文广告是结合模版和商品的广告形式，如图8所示，图中整体的布局结构是模版，上面的图片、商品名、价格等信息是推荐给用户的商品信息。
视频DPA是DPA广告的升级，由图文升级到视频。总体的结构还是模版加商品的构成，但是商品的信息由图文变成了视频，通过视频来宣扬商品。例如如图9所示，整体的布局还是由模版决定，但是商品的表现形式变成了视频，整体构成的是一个视频广告。
有些导购类平台上传的视频内容中会包含一些不符合平台广告审核规范的目标敏感元素，如竞品的LOGO等信息，需要对原视频中的目标敏感元素做自动识别并做遮挡处理。例如，如图10所示，虚线框内标记的XX就是需要被遮挡的目标敏感元素。
图11示意性示出了对图10中的目标敏感元素进行打码处理后的视频动态商品广告其中一帧的示意图。将不合规的目标敏感元素打码之后，显示如图11所示，这里假设采用打码技术对目标敏感元素进行遮挡。
本公开实施方式提供的视频处理方法，在保证目标敏感元素的检测结果准确率的前提下，可以较大的提高处理速度和效率，下表1是几个测试的视频的处理时间对照表：
表1
视频 逐帧检测的原方案处理时间 检测加跟踪的本方案处理时间
视频1(610帧) 556秒 204秒
视频2(454帧) 462秒 173秒
视频3(785帧) 670秒 220秒
视频4(802帧) 705秒 247秒
视频5(698帧) 601秒 211秒
本公开实施方式提供的视频处理方法，一方面，利用物体跟踪技术结合标识检测得到快速的视频敏感元素打码方案，在不影响检测结果准确率的情况下，有效地提升了处理速度。另一方面，结合本场景下的实际特点，即敏感元素在视频中一旦出现，其位置和大小相对固定，不会出现太多的浮动。利用这个性质，引入惯性公式，控制检测结果的浮动，提升稳定性，在保证对敏感元素打码的同时，将对视频整体感观的影响降到最低。
图12示意性示出了根据本公开的一实施例的视频处理装置的框图。如图12所示，本公开实施例提供的视频处理装置1200可以包括待处理视频获取单元1210、第一图像帧提取单元1220、敏感元素检测单元1230、视频敏感元素跟踪单元1240、敏感元素遮挡处理单元1250以及处理后视频生成单元1260。
本公开实施例中，待处理视频获取单元1210可以用于获取待处理视频。第一图像帧提取单元1220可以用于从所述待处理视频中提取第一图像帧。敏感元素检测单元1230可以用于检测获得所述第一图像帧中的目标敏感元素。视频敏感元素跟踪单元1240可以用于从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后。敏感元素遮挡处理单元1250可以用于对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧。处理后视频生成单元1260可以用于根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。
本公开实施方式提供的视频处理装置，自动检测待处理视频中的第一图像帧中的目标敏感元素，并通过视频跟踪技术跟踪到其它包括该目标敏感元素的图像帧例如第二图像帧，提出了一种基于检测-跟踪的快速进行敏感元素自动识别并遮挡的技术方案，能自动地去除待处理视频中的目标敏感元素，在不影响检测结果的前提下，提高了对视频中目标敏感元素遮挡处理的效率，加快了视频文件的处理速度。
在示例性实施例中，敏感元素遮挡处理单元1250可以包括：当前位置获得单元，可以用于获得所述目标敏感元素在所述第二图像帧中的当前位置；第一目标位置获得单元，可以用于获得所述第一图像帧的所述目标敏感元素的第一目标位置；第二目标位置获得单元，可以用于若所述当前位置与所述第一目标位置之间的距离小于或等于距离阈值，则根据所述当前位置与所述第一目标位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。
在示例性实施例中，敏感元素遮挡处理单元1250还可以包括：第二目标位置确定单元，可以用于若所述当前位置与所述第一目标位置之间的距离大于所述距离阈值，则根据所述当前位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。
在示例性实施例中，敏感元素遮挡处理单元1250还可以包括：当前宽度获得单元，可以用于获得所述目标敏感元素在所述第二图像帧中的当前宽度；第一目标宽度获得单元，可以用于获得所述第一图像帧的所述目标敏感元素的第一目标宽度；第二目标宽度获得单元，可以用于若所述当前宽度与所述第一目标宽度之间的差异值小于或等于宽度阈值，则根据所述当前宽度与所述第一目标宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。
在示例性实施例中，敏感元素遮挡处理单元1250还可以包括：第二目标宽度确定单元，可以用于若所述当前宽度与所述第一目标宽度之间的差异值大于所述宽度阈值，则根据所述当前宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。
在示例性实施例中，敏感元素遮挡处理单元1250还可以包括：当前高度获得单元，可以用于获得所述目标敏感元素在所述第二图像帧中的当前高度；第一目标高度获得单元，可以用于获得所述第一图像帧的所述目标敏感元素的第一目标高度；第二目标高度获得单元，可以用于若所述当前高度与所述第一目标高度之间的差异值小于或等于高度阈值，则根据所述当前高度与所述第一目标高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度。
在示例性实施例中，敏感元素遮挡处理单元1250还可以包括：第二目标高度确定单元，可以用于若所述当前高度与所述第一目标高度之间的差异值大于所述高度阈值，则根据所述当前高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度；第二打码图像帧生成单元，可以用于对所述第二图像帧中处于所述第二目标位置且具有所述第二目标宽度和所述第二目标高度的所述目标敏感元素进行遮挡处理，生成所述第二打码图像帧。
在示例性实施例中，视频处理装置1200还可以包括：第四图像帧提取单元，可以用于从所述待处理视频中提取第四图像帧；第一目标敏感元素判断单元，可以用于若所述第四图像帧的上一帧未检测到所述目标敏感元素，则检测所述第四图像帧中是否存在所述目标敏感元素；固定跳帧单元，可以用于若所述第四图像帧中不存在所述目标敏感元素，则从所述待处理视频中跳过预定帧数的图像帧。
在示例性实施例中，视频处理装置1200还可以包括：第五图像帧提取单元，可以用于从所述待处理视频中提取第五图像帧；第二目标敏感元素判断单元，可以用于若所述第五图像帧的上一帧未检测到所述目标敏感元素，则检测所述第五图像帧中是否存在所述目标敏感元素；当前跳过帧数确定单元，可以用于若所述第五图像帧中不存在所述目标敏感元素，则根据所述第五图像帧之前连续不存在所述目标敏感元素的图像帧的数量，确定当前跳过帧数；动态跳帧单元，可以用于从所述待处理视频中跳过所述当前跳过帧数的图像帧。
在示例性实施例中，视频处理装置1200还可以包括：样本视频获取单元，可以用于获取样本视频；图像帧提取单元，用于提取所述样本视频中的图像帧；训练样本获得单元，可以用于从所述图像帧中获得训练样本，所述训练样本已标注所述目标敏感元素的位置及类别；检测器训练单元，可以用于利用所述训练样本训练标识检测器。其中，训练完成的所述标识检测器用于检测获得所述第一图像帧中的目标敏感元素。
在示例性实施例中，视频处理装置1200还可以包括：目标视频适配单元，可以用于从所述处理后视频中确定规格适配的目标视频；目标图片确定单元，可以用于确定目标图片；目标文本确定单元，可以用于确定包含目标推荐信息的目标文本；视频动态商品广告生成单元，可以用于合成所述目标视频、所述目标图片、所述目标文本与目标模版，生成视频动态商品广告。
本公开实施例的视频处理装置的其它内容可以参照上述实施例。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
下面参考图13，其示出了适于用来实现本申请实施例的电子设备的结构示意图。图13示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
参照图13，本公开实施例提供的电子设备可以包括：处理器1301、通信接口1302、存储器1303和通信总线1304。
其中处理器1301、通信接口1302和存储器1303通过通信总线1304完成相互间的通信。
可选的，通信接口1302可以为通信模块的接口，如GSM(Global System forMobile communications，全球移动通信系统)模块的接口。处理器1301用于执行程序。存储器1303用于存放程序。程序可以包括计算机程序，该计算机程序包括计算机操作指令。其中，程序中可以包括：游戏客户端的程序。
处理器1301可以是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本公开实施例的一个或多个集成电路。
存储器1303可以包含高速RAM(random access memory，随机存取存储器)存储器，也可以还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
其中，程序可具体用于：获取待处理视频；从所述待处理视频中提取第一图像帧；检测获得所述第一图像帧中的目标敏感元素；从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后；对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧；根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例的各种可选实现方式中提供的方法。
需要理解的是，在本公开附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种视频处理方法，其特征在于，包括：
获取待处理视频；
从所述待处理视频中提取第一图像帧；
检测获得所述第一图像帧中的目标敏感元素；
从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后；
对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧；
根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。
2.根据权利要求1所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，包括：
获得所述目标敏感元素在所述第二图像帧中的当前位置；
获得所述第一图像帧的所述目标敏感元素的第一目标位置；
若所述当前位置与所述第一目标位置之间的距离小于或等于距离阈值，则根据所述当前位置与所述第一目标位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。
3.根据权利要求2所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还包括：
若所述当前位置与所述第一目标位置之间的距离大于所述距离阈值，则根据所述当前位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。
4.根据权利要求2或3所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还包括：
获得所述目标敏感元素在所述第二图像帧中的当前宽度；
获得所述第一图像帧的所述目标敏感元素的第一目标宽度；
若所述当前宽度与所述第一目标宽度之间的差异值小于或等于宽度阈值，则根据所述当前宽度与所述第一目标宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。
5.根据权利要求4所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还包括：
若所述当前宽度与所述第一目标宽度之间的差异值大于所述宽度阈值，则根据所述当前宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。
6.根据权利要求5所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还包括：
获得所述目标敏感元素在所述第二图像帧中的当前高度；
获得所述第一图像帧的所述目标敏感元素的第一目标高度；
若所述当前高度与所述第一目标高度之间的差异值小于或等于高度阈值，则根据所述当前高度与所述第一目标高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度。
7.根据权利要求6所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还包括：
若所述当前高度与所述第一目标高度之间的差异值大于所述高度阈值，则根据所述当前高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度；
对所述第二图像帧中处于所述第二目标位置且具有所述第二目标宽度和所述第二目标高度的所述目标敏感元素进行遮挡处理，生成所述第二打码图像帧。
8.根据权利要求1所述的方法，其特征在于，还包括：
从所述待处理视频中提取第四图像帧；
若所述第四图像帧的上一帧未检测到所述目标敏感元素，则检测所述第四图像帧中是否存在所述目标敏感元素；
若所述第四图像帧中不存在所述目标敏感元素，则从所述待处理视频中跳过预定帧数的图像帧。
9.根据权利要求1所述的方法，其特征在于，还包括：
从所述待处理视频中提取第五图像帧；
若所述第五图像帧的上一帧未检测到所述目标敏感元素，则检测所述第五图像帧中是否存在所述目标敏感元素；
若所述第五图像帧中不存在所述目标敏感元素，则根据所述第五图像帧之前连续不存在所述目标敏感元素的图像帧的数量，确定当前跳过帧数；
从所述待处理视频中跳过所述当前跳过帧数的图像帧。
10.根据权利要求1所述的方法，其特征在于，还包括：
获取样本视频；
提取所述样本视频中的图像帧；
从所述图像帧中获得训练样本，所述训练样本已标注所述目标敏感元素的位置及类别；
利用所述训练样本训练标识检测器；
其中，训练完成的所述标识检测器用于检测获得所述第一图像帧中的目标敏感元素。
11.根据权利要求1所述的方法，其特征在于，还包括：
从所述处理后视频中确定规格适配的目标视频；
确定目标图片；
确定包含目标推荐信息的目标文本；
合成所述目标视频、所述目标图片、所述目标文本与目标模版，生成视频动态商品广告。
12.一种视频处理装置，其特征在于，包括：
待处理视频获取单元，用于获取待处理视频；
第一图像帧提取单元，用于从所述待处理视频中提取第一图像帧；
敏感元素检测单元，用于检测获得所述第一图像帧中的目标敏感元素；
视频敏感元素跟踪单元，用于从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后；
敏感元素遮挡处理单元，用于对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧；
处理后视频生成单元，用于根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。
13.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至11任一项所述的方法。
14.一种电子设备，其特征在于，包括：
至少一个处理器；
存储装置，配置为存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如权利要求1至11中任一项所述的方法。
CN202010860941.8A 2020-08-25 2020-08-25 视频处理方法及相关设备 Active CN111985419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010860941.8A CN111985419B (zh) 2020-08-25 2020-08-25 视频处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010860941.8A CN111985419B (zh) 2020-08-25 2020-08-25 视频处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN111985419A true CN111985419A (zh) 2020-11-24
CN111985419B CN111985419B (zh) 2022-10-14

Family

ID=73443169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010860941.8A Active CN111985419B (zh) 2020-08-25 2020-08-25 视频处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN111985419B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197107A (zh) * 2018-08-17 2019-09-03 平安科技（深圳）有限公司 微表情识别方法、装置、计算机设备及存储介质
CN113627534A (zh) * 2021-08-11 2021-11-09 百度在线网络技术（北京）有限公司 识别动态图像的类型的方法、装置及电子设备
CN113792622A (zh) * 2021-08-27 2021-12-14 深圳市商汤科技有限公司 帧率调整方法及装置、电子设备和存储介质
CN115208649A (zh) * 2022-07-05 2022-10-18 上海仪电（集团）有限公司中央研究院 一种基于图像识别的虚拟机远程安全访问方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201064A (zh) * 2010-03-25 2011-09-28 北京中星微电子有限公司 一种敏感视频过滤方法及装置
CN108965982A (zh) * 2018-08-28 2018-12-07 百度在线网络技术（北京）有限公司 视频录制方法、装置、电子设备和可读存储介质
CN109040824A (zh) * 2018-08-28 2018-12-18 百度在线网络技术（北京）有限公司 视频处理方法、装置、电子设备和可读存储介质
US20190052819A1 (en) * 2017-11-29 2019-02-14 Intel Corporation Methods, apparatus and articles of manufacture to protect sensitive information in video collaboration systems
CN109670383A (zh) * 2017-10-16 2019-04-23 杭州海康威视数字技术股份有限公司 视频遮蔽区域选取方法、装置、电子设备及系统
US20190304506A1 (en) * 2016-10-14 2019-10-03 Genetec Inc. Masking in video stream
CN110414514A (zh) * 2019-07-31 2019-11-05 北京字节跳动网络技术有限公司 图像处理方法及装置
CN110516620A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 目标跟踪方法、装置、存储介质及电子设备
CN110674678A (zh) * 2019-08-07 2020-01-10 国家计算机网络与信息安全管理中心 视频中敏感标志的识别方法及装置
CN111010606A (zh) * 2019-12-12 2020-04-14 北京金山云网络技术有限公司 视频处理方法和装置
CN111031348A (zh) * 2019-12-11 2020-04-17 浙江宇视科技有限公司 一种视频加扰方法、装置、服务器和存储介质
WO2020106271A1 (en) * 2018-11-19 2020-05-28 Hewlett-Packard Development Company, L.P. Protecting privacy in video content
CN111241872A (zh) * 2018-11-28 2020-06-05 杭州海康威视数字技术股份有限公司 视频图像遮挡方法及装置
WO2020130309A1 (ko) * 2018-12-20 2020-06-25 주식회사 로민 영상 마스킹 장치 및 영상 마스킹 방법
CN111429330A (zh) * 2020-03-31 2020-07-17 上海兑观信息科技技术有限公司 一种监控视频隐私保护方法和系统
CN111523399A (zh) * 2020-03-31 2020-08-11 易视腾科技股份有限公司 敏感视频检测及装置
CN111541943A (zh) * 2020-06-19 2020-08-14 腾讯科技（深圳）有限公司 视频处理方法、视频操作方法、装置、存储介质和设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201064A (zh) * 2010-03-25 2011-09-28 北京中星微电子有限公司 一种敏感视频过滤方法及装置
US20190304506A1 (en) * 2016-10-14 2019-10-03 Genetec Inc. Masking in video stream
CN109670383A (zh) * 2017-10-16 2019-04-23 杭州海康威视数字技术股份有限公司 视频遮蔽区域选取方法、装置、电子设备及系统
US20190052819A1 (en) * 2017-11-29 2019-02-14 Intel Corporation Methods, apparatus and articles of manufacture to protect sensitive information in video collaboration systems
CN108965982A (zh) * 2018-08-28 2018-12-07 百度在线网络技术（北京）有限公司 视频录制方法、装置、电子设备和可读存储介质
CN109040824A (zh) * 2018-08-28 2018-12-18 百度在线网络技术（北京）有限公司 视频处理方法、装置、电子设备和可读存储介质
WO2020106271A1 (en) * 2018-11-19 2020-05-28 Hewlett-Packard Development Company, L.P. Protecting privacy in video content
CN111241872A (zh) * 2018-11-28 2020-06-05 杭州海康威视数字技术股份有限公司 视频图像遮挡方法及装置
WO2020130309A1 (ko) * 2018-12-20 2020-06-25 주식회사 로민 영상 마스킹 장치 및 영상 마스킹 방법
CN110414514A (zh) * 2019-07-31 2019-11-05 北京字节跳动网络技术有限公司 图像处理方法及装置
CN110674678A (zh) * 2019-08-07 2020-01-10 国家计算机网络与信息安全管理中心 视频中敏感标志的识别方法及装置
CN110516620A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 目标跟踪方法、装置、存储介质及电子设备
CN111031348A (zh) * 2019-12-11 2020-04-17 浙江宇视科技有限公司 一种视频加扰方法、装置、服务器和存储介质
CN111010606A (zh) * 2019-12-12 2020-04-14 北京金山云网络技术有限公司 视频处理方法和装置
CN111429330A (zh) * 2020-03-31 2020-07-17 上海兑观信息科技技术有限公司 一种监控视频隐私保护方法和系统
CN111523399A (zh) * 2020-03-31 2020-08-11 易视腾科技股份有限公司 敏感视频检测及装置
CN111541943A (zh) * 2020-06-19 2020-08-14 腾讯科技（深圳）有限公司 视频处理方法、视频操作方法、装置、存储介质和设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHICHENG WANG等: "Image Mosaic Algorithm of Sequential Images Based on Voronoi", 《PROCEEDINGS OF THE 2017 INTERNATIONAL CONFERENCE ON APPLIED MATHEMATICS, MODELING AND SIMULATION (AMMS 2017)》 *
彭强等: "基于特征向量的敏感图像识别技术", 《西南交通大学学报》 *
梁鹏等: "基于人体肤色识别征的敏感视频分类方法", 《电脑知识与技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197107A (zh) * 2018-08-17 2019-09-03 平安科技（深圳）有限公司 微表情识别方法、装置、计算机设备及存储介质
CN110197107B (zh) * 2018-08-17 2024-05-28 平安科技（深圳）有限公司 微表情识别方法、装置、计算机设备及存储介质
CN113627534A (zh) * 2021-08-11 2021-11-09 百度在线网络技术（北京）有限公司 识别动态图像的类型的方法、装置及电子设备
CN113792622A (zh) * 2021-08-27 2021-12-14 深圳市商汤科技有限公司 帧率调整方法及装置、电子设备和存储介质
CN115208649A (zh) * 2022-07-05 2022-10-18 上海仪电（集团）有限公司中央研究院 一种基于图像识别的虚拟机远程安全访问方法及系统

Also Published As

Publication number Publication date
CN111985419B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN111985419B (zh) 视频处理方法及相关设备
US12094209B2 (en) Video data processing method and apparatus, device, and medium
CN111582241B (zh) 视频字幕识别方法、装置、设备及存储介质
CN109145784B (zh) 用于处理视频的方法和装置
CN111539290B (zh) 视频动作识别方法、装置、电子设备及存储介质
CN111754541A (zh) 目标跟踪方法、装置、设备及可读存储介质
Eroglu Erdem et al. BAUM-2: A multilingual audio-visual affective face database
CN113572981B (zh) 视频配乐方法及装置、电子设备、存储介质
CN111340101B (zh) 稳定性评估方法、装置、电子设备和计算机可读存储介质
CN113761253A (zh) 视频标签确定方法、装置、设备及存储介质
CN111836118B (zh) 视频处理方法、装置、服务器及存储介质
Sebyakin et al. Spatio-temporal deepfake detection with deep neural networks
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
Tliba et al. Satsal: A multi-level self-attention based architecture for visual saliency prediction
CN112101344B (zh) 一种视频文本跟踪方法及装置
CN107392883A (zh) 影视戏剧冲突程度计算的方法及系统
Zhang et al. Detecting and removing visual distractors for video aesthetic enhancement
CN112328833A (zh) 标签处理方法、装置及计算机可读存储介质
CN115909390A (zh) 低俗内容识别方法、装置、计算机设备以及存储介质
CN114697741B (zh) 多媒体信息的播放控制方法及相关设备
CN107920773B (zh) 素材评价方法以及素材评价装置
CN112312205B (zh) 一种视频处理方法、装置、电子设备和计算机存储介质
CN113569668A (zh) 确定视频中高光片段的方法、介质、装置和计算设备
YM et al. Analysis on Exposition of Speech Type Video Using SSD and CNN Techniques for Face Detection
CN113516735A (zh) 图像处理方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant