CN109409241A - 视频核验方法、装置、设备及可读存储介质 - Google Patents
视频核验方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN109409241A CN109409241A CN201811142225.5A CN201811142225A CN109409241A CN 109409241 A CN109409241 A CN 109409241A CN 201811142225 A CN201811142225 A CN 201811142225A CN 109409241 A CN109409241 A CN 109409241A
- Authority
- CN
- China
- Prior art keywords
- video
- sequence
- frames
- confidence level
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 75
- 230000002123 temporal effect Effects 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims description 14
- 238000002474 experimental method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012550 audit Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明实施例公开了一种视频核验方法、装置、设备及可读存储介质。其中，方法包括：获取待核验视频中的视频帧序列；将所述视频帧序列输入至视频核验模型，得到所述视频帧序列对应的置信度；如果所述置信度满足预设要求，核验所述待核验视频合规；所述视频核验模型包括：空间违规特征提取单元、时域特征提取单元和置信度计算单元，所述空间违规特征提取单元用于对视频帧序列中各视频帧进行违规特征提取，得到各空间特征，所述时域特征提取单元用于对各空间特征进行时间卷积，得到时空特征，所述置信度计算单元用于计算时空特征的置信度。本发明实施例能够提高违规视频核验的效率和准确度。
Description
技术领域
本发明实施例涉及计算机视觉技术，尤其涉及一种视频核验方法、装置、 设备及可读存储介质。
背景技术
移动互联网时代下，人们信息传递和交流的方式也越发丰富，从以文字为 主到逐渐更多依赖各类图像和视频。然而，在科技给人们带来便利的同时，每 天基于网络产生的海量内容中却又充斥着大量暴恐等违规信息。
目前，为了滤除这些违规视频，企业往往会花费大量的人力进行审核，但 随着违规视频的不断增加，单纯依靠人力审核已难以应对，而且人力审核的成 本较高、准确度难以保证。
发明内容
本发明实施例提供一种视频核验方法、装置、设备及可读存储介质，以提 高违规视频核验的效率和准确度。
第一方面，本发明实施例提供了一种视频核验方法，包括：
获取待核验视频中的视频帧序列；
将所述视频帧序列输入至视频核验模型，得到所述视频帧序列对应的置信 度；
如果所述置信度满足预设要求，核验所述待核验视频合规；
所述视频核验模型包括：空间违规特征提取单元、时域特征提取单元和置 信度计算单元，所述空间违规特征提取单元用于对视频帧序列中各视频帧进行 违规特征提取，得到各空间特征，所述时域特征提取单元用于对各空间特征进 行时间卷积，得到时空特征，所述置信度计算单元用于计算时空特征的置信度。
第二方面，本发明实施例还提供了一种视频核验装置，包括：
获取模块，用于获取待核验视频中的视频帧序列；
输入模块，用于将所述视频帧序列输入至视频核验模型，得到所述视频帧 序列对应的置信度；
核验模块，用于如果所述置信度满足预设要求，核验所述待核验视频合规；
所述视频核验模型包括：空间违规特征提取单元、时域特征提取单元和置 信度计算单元，所述空间违规特征提取单元用于对视频帧序列中各视频帧进行 违规特征提取，得到各空间特征，所述时域特征提取单元用于对各空间特征进 行时间卷积，得到时空特征，所述置信度计算单元用于计算时空特征的置信度。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多 个处理器实现任一实施例所述的视频核验方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有 计算机程序，该程序被处理器执行时实现任一实施例所述的视频核验方法。
本发明实施例中，通过获取待核验视频中的视频帧序列；将所述视频帧序 列输入至视频核验模型，得到所述视频帧序列对应的置信度；如果所述置信度 满足预设要求，核验所述待核验视频合规，所述视频核验模型包括：空间违规 特征提取单元、时域特征提取单元和置信度计算单元，从而根据视频核验模型 得到视频帧序列的时空特征，进而得到时空特征的置信度。该时空特征综合了 空间特征和时间特征，提高了特征提取的准确性；通过计算时空特征的置信度， 并根据时空特征的置信度校验待核验视频是否合规，有效提高了违规视频校验 的准确性；同时，通过本实施例提供的方法能够智能核验视频是否合规，无需 人力审核，节省人力成本。
附图说明
图1是本发明实施例一提供的一种视频核验方法的流程图；
图2a是本发明实施例二提供的一种视频核验模型的结构示意图；
图2b是本发明实施例二提供的另一种视频核验模型的结构示意图；
图2c是本发明实施例二提供的又一种视频核验模型的结构示意图；
图3是本发明实施例三提供的一种封面确定方法的流程图；
图4是本发明实施例四提供的一种视频核验方法的流程图；
图5是本发明实施例五提供的一种视频核验装置的结构示意图；
图6是本发明实施例六提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此 处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需 要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结 构。
实施例一
图1是本发明实施例一提供的一种视频核验方法的流程图，本实施例可适 用于对待核验视频进行违规核验的情况，该方法可以由视频核验装置来执行， 该装置可以由硬件和/或软件构成，并一般集成在电子设备中，具体包括如下操 作：
S110、获取待核验视频中的视频帧序列。
视频帧序列包括时间戳连续的多个视频帧。视频帧序列的数量可以是一个、 两个或者多个。
S120、将视频帧序列输入至视频核验模型，得到视频帧序列对应的置信度。
可选地，将视频帧序列按照帧间顺序依次输入至视频核验模型，以保证时 间在前的视频帧先输入至视频核验模型，时间在后的视频帧后输入至视频核验 模型。
本实施例中，视频核验模型包括：空间违规特征提取单元、时域特征提取 单元和置信度计算单元。
其中，空间违规特征提取单元用于对视频帧序列中各视频帧进行违规特征 提取。空间违规特征提取单元是用于识别违规图像的深度神经网络模型，从而 提取的特征为违规特征。由于空间违规特征提取单元仅对单帧进行特征提取， 而未考虑帧间的时间关系，将空间违规特征提取单元输出的特征称为空间特征。 空间违规特征提取单元的输出端与时域特征提取单元的输入端相连。时域特征 提取单元用于对各空间特征进行时间卷积，得到时空特征。具体地，在时间维 度上对各空间特征进行卷积，得到时空特征。该时空特征是综合了空间维度和 时间维度的违规特征。
置信度计算单元用于计算时空特征的置信度。本实施例中，时空特征的置 信度为时空特征落在违规特征范围内的概率。由于时空特征实质是违规特征， 则时空特征值越大，落在违规特征范围内的概率越高，进而置信度应越高。基 于此，本实施例采用时空特征表征置信度，以简化计算。具体地，置信度计算 单元可将时空特征进行融合，直接作为视频帧序列的置信度。
S130、如果置信度满足预设要求，核验待核验视频合规。
在一示例中，预设要求可以是一个阈值，可根据视频核验要求高低设置。 如果视频核验要求较高，则阈值为较小值，如果视频核验要求较低，则阈值为 较大值。在一示例中，如果置信度小于等于该阈值，认为置信度满足预设要求， 核验待核验视频合规。相反，如果置信度大于该阈值，认为置信度不满足预设 要求，核验待核验视频违规。
本发明实施例中，通过获取待核验视频中的视频帧序列；将视频帧序列输 入至视频核验模型，得到视频帧序列对应的置信度；如果置信度满足预设要求， 核验待核验视频合规，视频核验模型包括：空间违规特征提取单元、时域特征 提取单元和置信度计算单元，从而根据视频核验模型得到视频帧序列的时空特 征，进而得到时空特征的置信度。该时空特征综合了空间特征和时间特征，提 高了特征提取的准确性；通过计算时空特征的置信度，并根据时空特征的置信 度校验待核验视频是否合规，有效提高了违规视频校验的准确性；同时，通过 本实施例提供的方法能够智能核验视频是否合规，无需人力审核，节省人力成 本。
实施例二
本实施例在上述实施例的基础上，对视频核验模型进行进一步细化。进一 步地，时间特征提取单元包括至少一个一维卷积核，用于在时域对各空间特征 进行一维卷积，得到一维特征向量。进一步地，置信度计算单元包括至少一个 全连接层，用于对时空特征进行融合，得到置信度。进一步地，置信度计算单 元还包括归一化层，用于对融合后的特征进行归一化处理，得到置信度。进一 步地，置信度计算单元包括至少一个全连接层和分类层；至少一个全连接层用 于对时空特征进行融合，分类层用于对融合后的特征进行分类，得到置信度。
图2a是本发明实施例二提供的一种视频核验模型的结构示意图。结合图 2a，视频核验模型包括：空间违规特征提取单元、时域特征提取单元和置信度 计算单元。其中，时间特征提取单元包括至少一个一维卷积核，用于在时域对 各空间特征进行一维卷积，得到一维特征向量。当空间特征维度较高时，需要 采用多个一维卷积核进行一维卷积。由于视频帧的时间戳是离散分布的，采用 离散一维卷积公式：其中，t1是视频帧序列中第一个 视频帧的时间戳，t2是视频帧序列中最后一个视频帧的时间戳。f[t]是空间特 征，g[t]是卷积核。可选地，该卷积核的尺寸可以是3*3或者5*5。置信度计算单元包括至少一个全连接层，用于对时空特征进行融合，得到置信度。当时空 特征维度较高时，需要采用多个全连接层进行卷积，得到1×1维的置信度。
结合图2a，视频帧序列包括N个视频帧，空间违规特征提取单元从每个视 频帧中提取D维特征，共输出D×N维特征。D×N维特征经过第一个一维卷积核， 得到维特征，维特征经过第二个一维卷积核，得到D×1维特征。接 着，D×1维特征经过第一个全连接层，得到维特征，维特征经过第二 个全连接层，得到1×1维特征，作为1×1维置信度。
图2b是本发明实施例二提供的另一种视频核验模型的结构示意图。结合图 2b，视频核验模型包括：空间违规特征提取单元、时域特征提取单元和置信度 计算单元。其中，时间特征提取单元包括至少一个一维卷积核，置信度计算单 元包括至少一个全连接层，用于对时空特征进行融合。对于时间特征提取单元 和全连接层的描述详见上述实施例，此处不再赘述。置信度计算单元还包括归 一化层，用于对融合后的特征进行归一化处理，得到置信度。
图2b示出的视频核验模型适用于计算多个视频帧序列的场景。归一化层对 多个视频帧序列对应的融合后的特征进行归一化处理，得到各视频帧序列的置 信度。结合图2b，假设共计M个视频帧序列，全连接层输出M个1×1维特征， 归一化层对M个1×1维特征进行归一化处理，得到M个视频帧序列分别对应的 置信度。
图2c是本发明实施例二提供的又一种视频核验模型的结构示意图。结合图 2c,视频核验模型包括：空间违规特征提取单元、时域特征提取单元和置信度计 算单元。其中，时间特征提取单元包括至少一个一维卷积核，置信度计算单元 包括至少一个全连接层和分类层；至少一个全连接层用于对时空特征进行融合， 分类层用于对融合后的特征进行分类，得到置信度。结合图2c，全连接层输出 1×1维特征，分类层对1×1维特征进行分类，得到1×1维特征所属类别的概率，作 为视频帧序列的置信度。
本实施例提供了视频核验模型的具体结构，结构简单，参数较少，在保证 准确度的前提下有效提高核验效率。
实施例三
图3是本发明实施例三提供的一种封面确定方法的流程图。本发明实施例 在上述各实施例的技术方案的基础上进行操作追加。
进一步地，在操作“将视频帧序列输入至视频核验模型，得到视频帧序列 对应的置信度”之前，追加操作“获取多个样本视频帧序列；分别获取各样本 视频帧序列对应的标签，标签包括合规标签和违规标签；根据多个样本视频帧 序列和各样本视频帧序列对应的标签，对待训练的视频核验模型进行训练”，以 预先训练视频核验模型。
如图3所示的一种视频核验方法，包括：
S310、获取待核验视频中的视频帧序列。
S320、获取多个样本视频帧序列。
可选地，可从同一视频中截取多个样本视频帧序列，也可从不同视频帧截 取多个样本视频帧序列。每个样本视频帧序列包括多个时间戳连续的视频帧。
S330、分别获取各样本视频帧序列对应的标签，标签包括合规标签和违规 标签。
对于多个样本视频帧序列中的第一样本视频帧序列，分别获取第一样本视 频帧序列对应的标签，包括：分别获取第一样本视频帧序列中各视频帧的标签； 如果标注违规标签的视频帧数量大于等于预设阈值，确定第一样本视频帧序列 对应违规标签；如果标注违规标签的视频帧数量小于预设阈值，确定第一样本 视频帧序列对应合规标签。其中，第一样本视频帧序列是多个样本视频帧序列 中的任一样本视频帧序列。
在一示例中，人工预先对每个视频帧标注标签，并生成标注文档。那么， 可从标注文档中获取第一样本视频帧序列中各视频帧的标签。预设阈值可以根 据核验要求高低设置，预设阈值设置得越小，核验要求越高。可选地，预设阈 值设置为1，如果存在一个标注违规标签的视频帧数量，第一样本视频帧序列 对应违规标签；否则，第一样本视频帧对应合规标签。
S340、根据多个样本视频帧序列和各样本视频帧序列对应的标签，对待训 练的视频核验模型进行训练。
根据训练模型部位的不同，S340包括以下两种实施方式。
第一种实施方式：根据多个样本视频帧序列和各样本视频帧序列对应的标 签，将待训练的视频核验模型作为一个整体进行训练。
第二种实施方式：在对待训练的视频核验模型进行训练之前，预先对空间 违规特征提取单元进行单独训练。具体地，获取多张样本图像，以及各样本图 像标注的合规标签或违规标签。根据多张样本图像和对应的标签对识别模型进 行训练。识别模型包括深度神经网络模型和分类器。训练完成后，将深度神经 网络模型作为空间违规特征提取单元，且在后续训练和特征提取过程中参数保 持不变。
根据多个样本视频帧序列和各样本视频帧序列对应的标签，对待训练的视 频核验模型进行训练，包括：根据多个样本视频帧序列和各样本视频帧序列对 应的标签，对待训练视频核验模型中的时域特征提取单元和置信度计算单元进 行训练。具体地，令误差函数是置信度与视频帧序列对饮的标签的差值。误差 通过反向传播优化时域特征提取单元中的参数和置信度计算单元中的参数，使 得误差函数达到预设误差阈值，或者优化次数达到预设次数阈值。
值得说明的是，如果置信度是归一化得到的，应对标注的标签进行归一化。
S350、将视频帧序列输入至视频核验模型，得到视频帧序列对应的置信度。
S360、如果置信度满足预设要求，核验待核验视频合规。
本实施例中，通过获取多个样本视频帧序列；分别获取各样本视频帧序列 对应的标签；根据多个样本视频帧序列和各样本视频帧序列对应的标签，对待 训练的视频核验模型进行训练，实现了对视频核验模型的预训练。上述第二种 实施方式分阶段对模型进行训练，能够有效提高模型精度，进而提高视频核验 的准确性。在一些应用场景中，空间违规特征提取单元可以直接获得，则只需 要训练时域特征提取单元和置信度计算单元，有效减少训练参数，节省训练时 间。
实施例四
图4是本发明实施例四提供的一种视频核验方法的流程图。本发明实施例 在上述各实施例的技术方案的基础上进行操作细化。
进一步地，将操作“获取待核验视频中的视频帧序列”细化为“将待核验 视频分段，得到多个视频帧序列”，以及将操作“如果置信度满足预设要求，核 验待核验视频合规”细化为“根据各视频帧序列对应的置信度，得到待核验视 频对应的置信度；如果待核验视频对应的置信度小于等于违规阈值，核验待核 验视频合规”，从而根据多个视频帧序列进行视频核验。
如图4所示的一种视频核验方法，包括：
S410、将待核验视频分段，得到多个视频帧序列。
可选地，为了避免重复核验，各段视频帧序列之间不重叠；当然也可以重 叠。相邻两段视频帧序列之间可以间隔有视频帧或者不间隔视频帧。
S420、将视频帧序列输入至视频核验模型，得到视频帧序列对应的置信度。
对于视频核验模型的描述详见上述各实施例，此处不再赘述。
S430、根据各视频帧序列对应的置信度，得到待核验视频对应的置信度。
从各视频帧序列对应的置信度中，确定最大置信度；根据最大置信度得到 待核验视频对应的置信度。具体地，将最大置信度作为待核验视频对应的置信 度。
S440、判断待核验视频对应的置信度是否大于违规阈值，如果是，即置信 度大于违规阈值，跳转到S441。如果否，即置信度小于等于违规阈值，跳转到 S442。
S441、核验待核验视频违规。
S442、核验待核验视频合规。
本实施例中，通过将待核验视频分段，得到多个视频帧序列，并根据多个 视频帧序列进行视频核验，能够实现对待核验视频的全面核验，提高核验的准 确度。
实施例五
图5是本发明实施例五提供的一种视频核验装置的结构示意图，本发明实 施例适用于对待核验视频进行违规核验的情况。结合图5，视频核验装置包括： 获取模块510、输入模块520和核验模块530。
获取模块510，用于获取待核验视频中的视频帧序列；
输入模块520，用于将视频帧序列输入至视频核验模型，得到视频帧序列 对应的置信度；
核验模块530，用于如果置信度满足预设要求，核验待核验视频合规；
视频核验模型包括：空间违规特征提取单元、时域特征提取单元和置信度 计算单元，空间违规特征提取单元用于对视频帧序列中各视频帧进行违规特征 提取，得到各空间特征，时域特征提取单元用于对各空间特征进行时间卷积， 得到时空特征，置信度计算单元用于计算时空特征的置信度。
本发明实施例中，通过获取待核验视频中的视频帧序列；将视频帧序列输 入至视频核验模型，得到视频帧序列对应的置信度；如果置信度满足预设要求， 核验待核验视频合规，视频核验模型包括：空间违规特征提取单元、时域特征 提取单元和置信度计算单元，从而根据视频核验模型得到视频帧序列的时空特 征，进而得到时空特征的置信度。该时空特征综合了空间特征和时间特征，提 高了特征提取的准确性；通过计算时空特征的置信度，并根据时空特征的置信 度校验待核验视频是否合规，有效提高了违规视频校验的准确性；同时，通过 本实施例提供的方法能够智能核验视频是否合规，无需人力审核，节省人力成 本。
可选地，时间特征提取单元包括至少一个一维卷积核，用于在时域对各空 间特征进行一维卷积，得到一维特征向量。
可选地，置信度计算单元包括至少一个全连接层，用于对时空特征进行融 合，得到置信度。
可选地，置信度计算单元还包括归一化层，用于对融合后的特征进行归一 化处理，得到置信度。
可选地，置信度计算单元包括至少一个全连接层和分类层；至少一个全连 接层用于对时空特征进行融合，分类层用于对融合后的特征进行分类，得到置 信度。
可选地，该装置还包括第一训练模块，用于在将视频帧序列输入至视频核 验模型，得到视频帧序列对应的置信度之前，获取多个样本视频帧序列；分别 获取各样本视频帧序列对应的标签，标签包括合规标签和违规标签；根据多个 样本视频帧序列和各样本视频帧序列对应的标签，对待训练的视频核验模型进 行训练。
可选地，该装置还包括第二训练模块，用于在根据多个样本视频帧序列和 各样本视频帧序列对应的标签，对待训练的视频核验模型进行训练之前，对空 间违规特征提取单元进行单独训练。相应地，第一训练模块在根据多个样本视 频帧序列和各样本视频帧序列对应的标签对待训练的视频核验模型进行训练时， 具体用于：根据多个样本视频帧序列和各样本视频帧序列对应的标签，对待训 练视频核验模型中的时域特征提取单元和置信度计算单元进行训练。
可选地，对于多个样本视频帧序列中的第一样本视频帧序列，第一训练模 块在分别获取第一样本视频帧序列对应的标签时，具体用于：分别获取第一样 本视频帧序列中各视频帧的标签；如果标注违规标签的视频帧数量大于等于预 设阈值，确定第一样本视频帧序列对应违规标签；如果标注违规标签的视频帧 数量小于预设阈值，确定第一样本视频帧序列对应合规标签。
可选地，获取模块510在获取待核验视频中的视频帧序列时，具体用于： 将待核验视频分段，得到多个视频帧序列。
可选地，核验模块530在如果置信度满足预设要求，核验待核验视频合规 时，具体用于：根据各视频帧序列对应的置信度，得到待核验视频对应的置信 度；如果待核验视频对应的置信度小于等于违规阈值，核验待核验视频合规。
可选地，核验模块530在根据各视频帧序列对应的置信度，得到待核验视 频对应的置信度时，具体用于：从各视频帧序列对应的置信度中，确定最大置 信度；根据最大置信度得到待核验视频对应的置信度。
发明实施例所提供的视频核验装置可执行本发明任意实施例所提供的视频 核验方法，具备执行方法相应的功能模块和有益效果。
实施例六
图6是本发明实施例六提供的一种电子设备的结构示意图。图6示出了适 于用来实现本发明实施方式的示例性电子设备12的框图。图6显示的电子设备 12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备12以通用计算设备的形式表现。电子设备12的组 件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28， 连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控 制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线 结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA) 总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA) 局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能 够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可 移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随 机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包 括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举 例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通 常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性 磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如 CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包 括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些 程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如 存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用 程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包 括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/ 或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显 示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设 备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的 任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O) 接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网 络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。 如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包 括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID 系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能 应用以及数据处理，例如实现本发明实施例所提供的视频核验方法。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程 序，该程序被处理器执行时实现任一实施例所述的视频核验方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质 的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储 介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、 红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存 储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、 便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式 可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、 光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行 系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据 信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种 形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读 的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算 机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用 或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括—— 但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计 算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的 程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算 机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算 机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形 中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN) —连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提 供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽 然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以 上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.一种视频核验方法，其特征在于，包括：
获取待核验视频中的视频帧序列；
将所述视频帧序列输入至视频核验模型，得到所述视频帧序列对应的置信度；
如果所述置信度满足预设要求，核验所述待核验视频合规；
所述视频核验模型包括：空间违规特征提取单元、时域特征提取单元和置信度计算单元，所述空间违规特征提取单元用于对视频帧序列中各视频帧进行违规特征提取，得到各空间特征，所述时域特征提取单元用于对各空间特征进行时间卷积，得到时空特征，所述置信度计算单元用于计算时空特征的置信度。
2.根据权利要求1所述的方法，其特征在于，所述时间特征提取单元包括至少一个一维卷积核，用于在时域对各空间特征进行一维卷积，得到一维特征向量。
3.根据权利要求1所述的方法，其特征在于，所述置信度计算单元包括至少一个全连接层，用于对时空特征进行融合，得到所述置信度。
4.根据权利要求3所述的方法，其特征在于，所述置信度计算单元还包括归一化层，用于对融合后的特征进行归一化处理，得到所述置信度。
5.根据权利要求1所述的方法，其特征在于，所述置信度计算单元包括至少一个全连接层和分类层；
所述至少一个全连接层用于对时空特征进行融合，所述分类层用于对融合后的特征进行分类，得到所述置信度。
6.根据权利要求1所述的方法，其特征在于，在将所述视频帧序列输入至视频核验模型，得到所述视频帧序列对应的置信度之前，还包括：
获取多个样本视频帧序列；
分别获取各样本视频帧序列对应的标签，所述标签包括合规标签和违规标签；
根据多个样本视频帧序列和各样本视频帧序列对应的标签，对待训练的视频核验模型进行训练。
7.根据权利要求6所述的方法，其特征在于，在根据多个样本视频帧序列和各样本视频帧序列对应的标签，对待训练的视频核验模型进行训练之前，还包括：
对空间违规特征提取单元进行单独训练；
相应地，根据多个样本视频帧序列和各样本视频帧序列对应的标签，对待训练的视频核验模型进行训练，包括：
根据多个样本视频帧序列和各样本视频帧序列对应的标签，对待训练视频核验模型中的时域特征提取单元和置信度计算单元进行训练。
8.根据权利要求6所述的方法，其特征在于，对于多个样本视频帧序列中的第一样本视频帧序列，所述分别获取第一样本视频帧序列对应的标签，包括：
分别获取第一样本视频帧序列中各视频帧的标签；
如果标注违规标签的视频帧数量大于等于预设阈值，确定第一样本视频帧序列对应违规标签；
如果标注违规标签的视频帧数量小于预设阈值，确定第一样本视频帧序列对应合规标签。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述获取待核验视频中的视频帧序列，包括：
将待核验视频分段，得到多个视频帧序列。
10.根据权利要求9所述的方法，其特征在于，所述如果所述置信度满足预设要求，核验所述待核验视频合规，包括：
根据各视频帧序列对应的置信度，得到待核验视频对应的置信度；
如果待核验视频对应的置信度小于等于违规阈值，核验所述待核验视频合规。
11.根据权利要求10所述的方法，其特征在于，所述根据各视频帧序列对应的置信度，得到待核验视频对应的置信度，包括：
从各视频帧序列对应的置信度中，确定最大置信度；
根据最大置信度得到待核验视频对应的置信度。
12.一种视频核验装置，其特征在于，包括：
获取模块，用于获取待核验视频中的视频帧序列；
输入模块，用于将所述视频帧序列输入至视频核验模型，得到所述视频帧序列对应的置信度；
核验模块，用于如果所述置信度满足预设要求，核验所述待核验视频合规；
所述视频核验模型包括：空间违规特征提取单元、时域特征提取单元和置信度计算单元，所述空间违规特征提取单元用于对视频帧序列中各视频帧进行违规特征提取，得到各空间特征，所述时域特征提取单元用于对各空间特征进行时间卷积，得到时空特征，所述置信度计算单元用于计算时空特征的置信度。
13.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的视频核验方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的视频核验方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811142225.5A CN109409241A (zh) | 2018-09-28 | 2018-09-28 | 视频核验方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811142225.5A CN109409241A (zh) | 2018-09-28 | 2018-09-28 | 视频核验方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109409241A true CN109409241A (zh) | 2019-03-01 |
Family
ID=65466447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811142225.5A Pending CN109409241A (zh) | 2018-09-28 | 2018-09-28 | 视频核验方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109409241A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109862394A (zh) * | 2019-03-27 | 2019-06-07 | 北京周同科技有限公司 | 视频内容的审核方法、装置、设备和存储介质 |
| CN110796098A (zh) * | 2019-10-31 | 2020-02-14 | 广州市网星信息技术有限公司 | 内容审核模型的训练及审核方法、装置、设备和存储介质 |
| CN111090776A (zh) * | 2019-12-20 | 2020-05-01 | 广州市百果园信息技术有限公司 | 一种视频审核的方法、装置、审核服务器和存储介质 |
| CN111143612A (zh) * | 2019-12-27 | 2020-05-12 | 广州市百果园信息技术有限公司 | 视频审核模型训练方法、视频审核方法及相关装置 |
| CN111144321A (zh) * | 2019-12-28 | 2020-05-12 | 北京儒博科技有限公司 | 专注度检测方法、装置、设备和存储介质 |
| CN111541911A (zh) * | 2020-04-21 | 2020-08-14 | 腾讯科技（深圳）有限公司 | 视频检测方法和装置、存储介质及电子装置 |
| CN111767838A (zh) * | 2020-06-28 | 2020-10-13 | 百度在线网络技术（北京）有限公司 | 视频审核方法和系统、计算机系统和计算机可读存储介质 |
| CN114189709A (zh) * | 2021-11-12 | 2022-03-15 | 北京天眼查科技有限公司 | 一种审核视频的方法、装置及存储介质和电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095862A (zh) * | 2015-07-10 | 2015-11-25 | 南开大学 | 一种基于深度卷积条件随机场的人体动作识别方法 |
| CN106897714A (zh) * | 2017-03-23 | 2017-06-27 | 北京大学深圳研究生院 | 一种基于卷积神经网络的视频动作检测方法 |
| US20180060698A1 (en) * | 2016-09-01 | 2018-03-01 | Microsoft Technology Licensing, Llc | Frame aggregation network for scalable video face recognition |
-
2018
- 2018-09-28 CN CN201811142225.5A patent/CN109409241A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095862A (zh) * | 2015-07-10 | 2015-11-25 | 南开大学 | 一种基于深度卷积条件随机场的人体动作识别方法 |
| US20180060698A1 (en) * | 2016-09-01 | 2018-03-01 | Microsoft Technology Licensing, Llc | Frame aggregation network for scalable video face recognition |
| CN106897714A (zh) * | 2017-03-23 | 2017-06-27 | 北京大学深圳研究生院 | 一种基于卷积神经网络的视频动作检测方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109862394A (zh) * | 2019-03-27 | 2019-06-07 | 北京周同科技有限公司 | 视频内容的审核方法、装置、设备和存储介质 |
| CN110796098A (zh) * | 2019-10-31 | 2020-02-14 | 广州市网星信息技术有限公司 | 内容审核模型的训练及审核方法、装置、设备和存储介质 |
| CN110796098B (zh) * | 2019-10-31 | 2021-07-27 | 广州市网星信息技术有限公司 | 内容审核模型的训练及审核方法、装置、设备和存储介质 |
| CN111090776A (zh) * | 2019-12-20 | 2020-05-01 | 广州市百果园信息技术有限公司 | 一种视频审核的方法、装置、审核服务器和存储介质 |
| CN111143612A (zh) * | 2019-12-27 | 2020-05-12 | 广州市百果园信息技术有限公司 | 视频审核模型训练方法、视频审核方法及相关装置 |
| CN111144321A (zh) * | 2019-12-28 | 2020-05-12 | 北京儒博科技有限公司 | 专注度检测方法、装置、设备和存储介质 |
| CN111144321B (zh) * | 2019-12-28 | 2023-06-09 | 北京如布科技有限公司 | 专注度检测方法、装置、设备和存储介质 |
| CN111541911A (zh) * | 2020-04-21 | 2020-08-14 | 腾讯科技（深圳）有限公司 | 视频检测方法和装置、存储介质及电子装置 |
| CN111541911B (zh) * | 2020-04-21 | 2024-05-14 | 深圳市雅阅科技有限公司 | 视频检测方法和装置、存储介质及电子装置 |
| CN111767838A (zh) * | 2020-06-28 | 2020-10-13 | 百度在线网络技术（北京）有限公司 | 视频审核方法和系统、计算机系统和计算机可读存储介质 |
| CN114189709A (zh) * | 2021-11-12 | 2022-03-15 | 北京天眼查科技有限公司 | 一种审核视频的方法、装置及存储介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109409241A (zh) | 视频核验方法、装置、设备及可读存储介质 | |
| US11436739B2 (en) | Method, apparatus, and storage medium for processing video image | |
| Chen et al. | An edge traffic flow detection scheme based on deep learning in an intelligent transportation system | |
| CN112052789B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN108846440B (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN109584276A (zh) | 关键点检测方法、装置、设备及可读介质 | |
| CN111950723A (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
| CN108491816A (zh) | 在视频中进行目标跟踪的方法和装置 | |
| CN110321958A (zh) | 神经网络模型的训练方法、视频相似度确定方法 | |
| CN109934181A (zh) | 文本识别方法、装置、设备和计算机可读介质 | |
| CN110633991A (zh) | 风险识别方法、装置和电子设备 | |
| CN111178357B (zh) | 车牌识别方法、系统、设备和存储介质 | |
| CN108446658A (zh) | 用于识别人脸图像的方法和装置 | |
| CN110879986A (zh) | 人脸识别的方法、设备和计算机可读存储介质 | |
| CN109902155B (zh) | 多模态对话状态处理方法、装置、介质及计算设备 | |
| US20210012511A1 (en) | Visual search method, computer device, and storage medium | |
| CN104067308A (zh) | 图像中的对象选择 | |
| WO2024094086A1 (zh) | 图像处理方法、装置、设备、介质及产品 | |
| CN110969640A (zh) | 视频图像的分割方法、终端设备以及计算机可读存储介质 | |
| CN112488054A (zh) | 一种人脸识别方法、装置、终端设备及存储介质 | |
| CN115700845A (zh) | 人脸识别模型训练方法、人脸识别方法、装置及相关设备 | |
| CN110059576A (zh) | 图片的筛选方法、装置和电子设备 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN109947850A (zh) | 数据分发方法、装置和设备 | |
| CN113971830A (zh) | 一种人脸识别方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |