CN111225234A - 视频审核方法、视频审核装置、设备和存储介质 - Google Patents
视频审核方法、视频审核装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111225234A CN111225234A CN201911338418.2A CN201911338418A CN111225234A CN 111225234 A CN111225234 A CN 111225234A CN 201911338418 A CN201911338418 A CN 201911338418A CN 111225234 A CN111225234 A CN 111225234A
- Authority
- CN
- China
- Prior art keywords
- violation
- classification
- video
- image
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013145 classification model Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims description 81
- 238000001514 detection method Methods 0.000 claims description 37
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012552 review Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012550 audit Methods 0.000 abstract description 12
- 238000012545 processing Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000035622 drinking Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000000779 smoke Substances 0.000 description 4
- 230000000391 smoking effect Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 241000208125 Nicotiana Species 0.000 description 2
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种视频审核方法、视频审核装置、设备和存储介质，视频审核方法包括：获取待审核视频的多帧视频图像；从多帧视频图像中提取违规对象得到多帧违规图像；将每帧违规图像输入预先训练的违规分类模型中，获得违规图像所包含的违规分类以及违规分类的分类得分；基于所有违规图像的违规分类和分类得分确定每个违规分类的分类总得分；根据预设审核条件和每个违规分类的分类总得分审核待审核视频。一方面，提取违规图像输入违规分类模型，使得违规分类模型专注于对违规对象进行处理，提高了视频审核的精确度，同时提取的违规图像可以作为违规惩罚的依据，另一方面，可以根据审核条件选择违规分类对视频进行审核，灵活性高。
Description
技术领域
本发明实施例涉及视频审核技术领域，尤其涉及一种视频审核方法、视频 审核装置、设备和存储介质。
背景技术
随着互联网技术的发展，短视频、直播等各种新型用户原创内容促使互联 网视频越来越丰富，但与此同时，大量包括涉恐、涉暴、色情、政治敏感等违 规对象的视频也被生产并在互联网上快速传播。
目前，随着机器学习取得长足进步，机器学习被广泛应用于对视频进行自 动审核，现有机器学习审核视频方法通常是将整张视频图像作为输入进行处理， 需要对训练视频中的图像是否存在违规对象以及违规类别进行人工标注，然后 将视频图像及人工标注信息输入到机器学习模型中进行训练，并利用训练得到 的模型对视频审核。
然而，视频审核业务具有以下特点：
第一，错误的审核结果降低用户体验，甚至造成一定的法律后果，对利用 机器学习进行视频审核的精确度要求较高，同时为避免造成法律后果，需要对 处罚提供明确的依据，比如将视频图像中违反法律规定的违规对象进行识别并 定位、提取。
第二，视频审核时，视频图像中的违规对象具有清晰的定义，例如身体暴 露部位、武器枪支、烟酒、政治符号等等。
第三，违规对象具有尺度不一致性，在视频图像中，违规对象以外的区域 又极富变化，例如，武器枪支在整张视频图像中的面积占比可大可小，而视频 图像的其余面积可以为非违规内容，现有的图像预处理、注意力机制等机器学 习技术对于处理背景多变、前景尺度不一致的画面内容具有局限性。
第四，审核业务中对于违规对象的定义规则可随时间、地域发生变化，例 如，政治因素可能使特定政治符号在不同时期是否违规产生变化，不同国家对 不同身体暴露部位的接受程度大不相同。
由于上述视频审核业务特点，现有机器学习对视频进行审核存在无法定位、 提取违规对象造成审核精确度低以及无法根据审核条件进行灵活审核的问题。
发明内容
本发明实施例提供一种视频审核方法、视频审核装置、设备和存储介质， 以解决现有技术中视频审核存在审核精确度低以及无法根据审核条件进行灵活 审核的问题。
第一方面，本发明实施例提供了一种视频审核方法，包括：
获取待审核视频的多帧视频图像；
从多帧视频图像中提取违规对象得到多帧违规图像；
将每帧违规图像输入预先训练的违规分类模型中，获得每帧违规图像所包 含的违规分类以及各个违规分类的分类得分；
基于所有违规图像的所述违规分类和所述分类得分确定所述待审核视频在 每个违规分类上的分类总得分；
根据预设审核条件和每个违规分类的分类总得分审核所述待审核视频。
第二方面，本发明实施例提供了一种视频审核装置，包括：
视频图像获取模块，用于获取待审核视频的多帧视频图像；
违规图像提取模块，用于从多帧视频图像中提取违规对象得到多帧违规图 像；
违规分类及得分获取模块，用于将每帧违规图像输入预先训练的违规分类 模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分；
分类总得分确定模块，用于基于所有违规图像的所述违规分类和所述分类 得分确定所述待审核视频在每个违规分类上的分类总得分；
审核模块，用于根据预设审核条件和每个违规分类的分类总得分审核所述 待审核视频。
第三方面，本发明实施例提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多 个处理器实现本发明任一实施例所述的视频审核方法
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计 算机程序，该程序被处理器执行时实现本发明任一实施例所述的视频审核方法。
本发明实施例在获取待审核视频的多帧视频图像后，从多帧视频图像中提 取违规对象得到多帧违规图像，并将每帧违规图像输入预先训练的违规分类模 型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分，再 基于所有违规图像的违规分类和分类得分确定待审核视频在每个违规分类上的 分类总得分，以根据预设审核条件和每个违规分类的分类总得分审核待审核视 频，一方面，提取违规对象得到违规图像，将违规图像输入违规分类模型获得 违规图像所包含的违规分类和分类得分，避免了根据整张视频图像预测违规分 类和分类得分导致无法定位、提取违规对象造成审核精度低的问题，使得违规 分类模型专注于对违规对象进行处理，避免了非违规对象背景的干扰，提高了 视频审核的精确度，同时提取的违规图像可以作为违规惩罚的依据，另一方面， 提供多个违规分类，可以根据预设审核条件选择不同的违规分类对视频进行审 核，审核的灵活性高。
附图说明
图1是本发明实施例一提供的一种视频审核方法的步骤流程图；
图2A是本发明实施例二提供的一种视频审核方法的步骤流程图；
图2B为本发明视频审核的一个示例的流程图；
图3是本发明实施例三提供的一种视频审核装置的结构框图；
图4是本发明实施例四提供的一种设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此 处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需 要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结 构。
实施例一
图1为本发明实施例一提供的一种视频审核方法的步骤流程图，本发明实 施例可适用于审核视频的情况，该方法可以由本发明实施的视频审核装置来执 行，该视频审核装置可以由硬件或软件来实现，并集成在本发明实施例所提供 的设备中，具体地，如图1所示，本发明实施例的视频审核方法可以包括如下 步骤：
S101、获取待审核视频的多帧视频图像。
本发明实施例中，待审核视频可以是用户上传至直播平台、短视频平台、 视频播放平台的视频，还可以是直播过程中实时录制的视频等。对于待审核视 频，需要审核视频中是否存在违规对象，其中，违规对象可以是涉及恐怖、色 情、身体暴露等内容，或者是与当地法律法规等不符合的政治符号等。
在获取待审核视频后，可以按照预设采样周期从待审核视频中采集多帧原 始视频图像，并对多帧原始视频图像进行预处理以得到预处理后的多帧视频图 像，其中，预处理可以包括图像缩放处理，即将视频图像缩放到指定的尺寸或 者分辨率等，具体的，对待审核视频可以按照一定的时间间隔t进行抽帧采样， 然后将抽取出的原始视频图像缩放到预定义画面尺寸，得到多帧视频图像。
当然，在实际应用中，抽帧采样的方式还可以为抽取视频中的关键帧(I 帧)、或者随机采样视频帧、或者按照视频播放时间戳中的设定节点抽取视频 帧等等，对视频图像的预处理还可以包括去噪、对比度增强等处理，本发明实 施例对获取原始视频图像和原始视频图像的处理方式均不加以限制。
S102、从多帧视频图像中提取违规对象得到多帧违规图像。
其中，违规图像可以为只包括违规对象的图像或者大部分面积为违规对象 的图像，即从包含违规对象的视频图像中截取出违规对象的图像。具体地，针 对每帧视频图像，可以识别出该视频图像中的违规对象以及违规对象在视频图 像中的位置，每个视频图像中违规对象的数量可以为0、1、2等，然后根据每 个违规对象在视频图像中的位置截取出包含违规对象的图像作为违规图像。在 本发明的可选实施例中，可以预先训练违规对象检测模型，将每帧视频图像输 入违规对象检测模型中，获得每帧视频图像中所包含的违规对象以及每个违规 对象在视频图像中的位置信息，然后根据位置信息可以从视频图像中截取出违 规图像。
S103、将每帧违规图像输入预先训练的违规分类模型中，获得每帧违规图 像所包含的违规分类以及各个违规分类的分类得分。
本发明实施例中，违规分类模型可以预测出违规图像中包含的违规对象所 属的违规分类以及在该违规分类上的分类得分，对于一个违规对象，预测所属 的违规分类可以为一个或者一个以上，每个违规分类均有一个分类得分。违规 分类模型可以是预先训练的深度神经网络、卷积神经网络等神经网络，每帧违 规图像经过缩放尺寸调整、去噪、对比度增强等预处理后输入至预先训练的违 规分类模型中，预测出每帧违规图像所包含的违规分类以及每个违规分类的分 类得分。由于输入违规分类模型中的违规图像时从视频图像中提取违规对象得 到的图像，避免视频图像中富于变化的背景区域，一方面，提高了预测违规分 类和分类得分的准确度，另一方面，可以定位违规对象在视频中的位置，以为 违规处罚提供法律证据。
S104、基于所有违规图像的所述违规分类和所述分类得分确定所述待审核 视频在每个违规分类上的分类总得分。
具体的，对于一个待审核视频，可以提取出多个违规图像，每个违规图像 均预测出至少一个违规分类以及每个违规分类的分类得分，则可以采用所有违 规图像的所有违规分类和分类得分确定待审核视频在每个违规分类上的分类总 得分。在本发明的可选实施例中，可以预先训练违规得分预测模型，将所有违 规分类的分类得分输入该违规得分预测模型中预测出待审核视频在每个违规分 类上的分类总得分。当然，还可以针对每一违规分类，取该违规分类的最大值、 次大值、中位值等作为该违规分类的分类总得分。
S105、根据预设审核条件和每个违规分类的分类总得分审核所述待审核视 频。
本发明实施例中，预设审核条件可以是根据当前时间、地域的审核规则确 定的指定违规分类，在得到待审核视频在多个违规分类上的分类总得分之后， 可以采用指定违规分类以及指定违规分类的分类总得分对该待审核视频进行审 核，使得审核者可以灵活地制定审核规则，提高了视频审核的灵活性。
本发明实施例一方面提取违规对象得到违规图像输入违规分类模型获得违 规图像所包含的违规分类和分类得分，避免了根据整张视频图像预测违规分类 和分类得分导致无法定位、提取违规对象造成审核精度低的问题，使得违规分 类模型专注于对违规对象进行处理，避免了非违规对象背景的干扰，提高了视 频审核的精确度，同时提取的违规图像可以作为违规惩罚的依据，另一方面， 提供多个违规分类，可以根据预设审核条件选择不同的违规分类对视频进行审 核，审核的灵活性高。
实施例二
图2A为本发明实施例二提供的一种视频审核方法的步骤流程图，本发明 实施例在前述实施例一的基础上进行优化，具体地，如图2A所示，本发明实 施例的视频审核方法可以包括如下步骤：
S201、获取待审核视频的多帧视频图像。
S202、将每帧视频图像输入预先训练的违规检测模型中，获得每帧视频图 像中违规对象的违规信息。
在本发明实施例中，可以预先训练违规检测模块，该违规检测模型可以检 测出视频图像中的违规对象以及该违规对象的违规信息，具体地，可以通过以 下方法训练违规检测模型：
获取训练视频图像，该训练视频图像包括违规对象以及标注有违规对象的 第一位置，将训练视频图像输入初始化的违规检测模型中以预测出训练视频图 像中违规对象的第二位置，采用第一位置和第二位置计算损失率；若损失率未 满足预设条件，则采用损失率计算梯度，并基于梯度和预设的学习率对违规检 测模型进行反向传播以调整违规检测模型的模型参数，返回将训练图像输入初 始化的违规检测模型中以预测出训练图像中违规对象的第二位置的步骤。
其中，训练视频图像的来源可以是但不仅限于从互联网短视频或互联网直 播视频流中采样得到的图像，对于每帧训练视频图像，根据训练视频图像中的 内容对该训练视频图像进行标注，标注的标签信息为训练视频图像中所有违规 对象的位置信息，违规对象可以包括但不限于特定的身体暴露部位、武器枪支、 烟酒、政治符号等。在标注时，可以对在不同的时间、地域可能规定的违规对 象均进行标注，使得违规检测模型具有检测出所有违规对象的能力。
本发明实施例中，违规检测模型可以为DNN模型，DNN模型是一种深度 神经网络，DNN模型能够从视频图像的像素信息提取特征并进行相关信息的预 测。在初始化DNN模型的模型参数后输入训练视频图像，通过多层神经元之间 的非线性映射得到提取后的特征，然后检测出训练视频图像中的违规对象、违 规对象的违规信息，该违规信息可以包括违规对象的位置信息，通过该位置信 息和训练视频图像中标注的位置信息进行比较来计算模型的损失率，其中，损 失函数可以为任意定义的损失函数，直到损失率达到一定阈值或者训练的迭代 次数达到预设次数，从而使得模型能够较为准确的检测出违规物体及其是否为 违规物体的得分，如果损失率未满足预设条件，则采用损失率计算梯度，例如， 可以采用损失率和随机梯度下降(stochastic gradient descent，SGD)或其变种 (如Adam，RMSprop)计算梯度，并基于计算得到的梯度和预设的学习率对违 规检测模型进行反向传播，以在反向传播时调整模型的模型参数，并返回将训 练视频图像输入DNN模型的步骤，直到损失率小于预设值或者迭代次数大于预 设次数。
当然，违规检测模型还可以是Xgboost、支持向量机、随机森林等模型，本 发明实施例对违规检测模型的模型类型不加以限制。
将每帧视频图像输入预先训练的违规检测模型中后，违规检测模型可以输 出每帧视频图像中所包含的违规对象以及该违规对象的违规信息，其中，违规 信息可以包括位置信息和违规得分，位置信息可以为违规对象在视频图像中的 位置，违规得分可以是视频图像中包含某一违规对象的概率。
S203、针对每帧视频图像，基于所述违规信息从所述视频图像中提取违规 对象得到多帧违规图像。
在本发明的可选实施例中，违规信息包括违规对象的位置信息和违规得分， 针对每帧视频图像可以确定出违规得分大于预设阈值的违规对象，根据位置信 息从视频图像中提取包含违规得分大于预设阈值的违规对象得到违规图像。
具体地，由于违规得分可以是视频图像中包含某一违规对象的概率，则可 以将违规得分小于预设阈值的违规对象剔除，对于违规得分大于预设阈值的违 规对象，可以获取其位置信息，该位置信息可以为矩形框的对角顶点的在视频 图像中的坐标信息，该矩形框为能够包含违规对象的最小矩形框，从视频图像 中截取该矩形框的区域得到的图像即得到违规图像，从一帧视频图像中可以截 取出0个、1个或1个以上的违规图像。
S204、对所述违规图像进行预处理，得到预处理后的违规图像。
具体地，可以将违规图像进行缩放处理得到指定尺寸大小的违规图像，当 然，预处理还可以包括去噪、对比度增强等预处理。
S205、将预处理后的违规图像输入违规分类模型中，获得每帧违规图像所 包含的违规分类以及各个违规分类的分类得分。
在本发明实施例中，违规分类模型可以预测出违规图像中所包含的违规对 象所属的违规分类以及属于各个违规分类的分类得分，本发明实施例中可以通 过以下方式预先训练违规分类模型：
获取训练违规图像，训练违规图像标注有训练违规图像所包含的违规对象 的违规分类，将训练违规图像输入初始化的违规分类模型中以预测出所述训练 违规图像所包含的违规对象的不同违规分类以及各个违规分类下的分类得分， 采用不同违规分类、各个违规分类下的分类得分以及训练违规图像中标注的违 规分类求交叉熵得到分类损失率，若分类损失率未满足预设条件，则采用分类 损失率计算梯度，基于梯度和预设的学习率对违规分类模型进行反向传播以调 整违规分类模型的模型参数，返回将训练违规图像输入初始化的违规分类模型 中以预测出训练违规图像所包含的违规对象的不同违规分类以及各个违规分类 下的分类得分的步骤。
其中，训练用的违规图像可以是但不仅限于从互联网短视频或互联网直播 视频流中采样、截取违规对象后得到的图像，对每一帧训练违规图像，标注的 是违规对象所属的违规分类，违规分类可以包括但不限于特定的身体暴露部位、 武器枪支、烟酒、政治符号等。在标注违规分类时，可以对在不同的时间、地 域可能存在违规的类别均进行标注，使得违规分类模型具有识别出所有违规分 类的能力。
本发明实施例中，违规分类模型可以为DNN模型，训练时首先初始化DNN 模型的模型参数，然后通过神经元之间的非线性映射将违规图像的像素信息融 合在一起，并通过一个Softmax回归层得到违规对象在不同违规分类下的分类 得分，然后通过不同违规分类下的分类得分和标注的违规分类求交叉熵得到 DNN模型的分类损失率，通过分类损失率计算梯度，采用梯度和预设的学习率 反向传播以调整DNN模型的模型参数，并返回将训练违规图像输入违规分类模 型的步骤，直到模型迭代到分类损失率小于预设阈值或是迭代次数达到预设次 数为止。
当然，本发明实施例的违规分类模型还可以是无监督的检测模型或实例分 割模型，CNN模型等，本发明示例对违规分类模型的模型类型不加以限制。
对于每个违规图像，可以将预处理后的违规图像输入违规分类模型中预测 出每帧违规图像所包含的违规分类以及各个违规分类的分类得分，其中，每个 违规图像所包含的违规分类可以为一个或一个以上，每个违规分类具有相应的 分类得分，分类得分表达了违规图像所包含的违规对象属于某一个违规分类的 概率，分类得分越高，违规图像所包含的违规对象属于某一违规分类的可能性 越高。
S206、将所有违规分类的分类得分输入预先训练的违规得分预测模型中， 得到所述待审核视频在每个违规分类上的总得分。
在实际应用中，一个待审核视频可以提取出多个违规图像，每个违规图像 均预测出至少一个违规分类以及每个违规分类的分类得分，则可以采用所有违 规图像的所有违规分类和分类得分确定待审核视频在每个违规分类上的分类总 得分。
在本发明实施例，可以通过预先训练的违规得分预测模型预测待审核视频 在每个违规分类上的总得分，其中，违规得分预测模型训练过程如下：
构建训练数据，训练数据包括训练视频和训练视频包含的违规分类以及每 个违规分类的第一分类总得分，将所有违规分类的分类得分输入初始化的违规 得分预测模型中以获得训练视频在每个违规分类的第二分类总得分，采用第一 分类总得分和第二分类总得分计算损失率，若损失率未满足预设条件，则采用 损失率计算梯度，基于梯度和预设的学习率对违规得分预测模型进行反向传播 以调整违规得分预测模型的模型参数，返回将所有违规分类的分类得分输入初 始化的违规得分预测模型中以获得训练视频在每个违规分类的第二分类总得分 的步骤，直到损失率小于预设条件，例如小于预设阈值。
具体地，违规得分预测模型可以为DNN模型、CNN模型、Xgboost、支持 向量机、随机森林等模型，在初始化模型参数后，输入训练视频的所有违规分 类的分类得分得到训练视频在每个违规分类的第二分类总得分，基于预设损失 函数(MSE均方误差损失函数、SVM合页损失函数、Cross Entropy交叉熵损 失函数)、标注的第一分类总得分以及第二分类总得分计算损失率，并采用预 设梯度(如SGD、Adam、RMSprop等)和损失率计算梯度，基于梯度和预设 的学习率对模型反向传播以调整模型参数后对模型重新迭代，直到损失率小于 预设阈值或者迭代次数达到设定的次数。
在获得待审核视频的所有违规分类的分类得分后，可以将所有违规分类的 分类得分输入预先训练的违规得分预测模型中，得到待审核视频在每个违规分 类上的总得分。
在本发明的另一实施例中，针对每个违规分类，还可以确定该违规分类的 分类得分中的最大值、次大值、中间值、最小值中的一项作为待审核视频在每 个违规分类上的分类总得分，例如，违规分类为枪支弹药，属于枪支弹药这一 违规分类的违规图像有5个，5个违规图像在枪支弹药这一违规分类的分类得 分分别为0.08、0.02、0.09、0.1、0.00，则可以从5个分类得分中确定出最大值、 次大值、中间值、最小值中的一个作为待审核视频在枪支弹药这一违规分类的 分类总得分，当然也可以对某一违规分类取均值、方差、求和作为该违规分类 的分类总得分。通过确定分类得分中的最大值、次大值、中间值、最小值中的 一项作为待审核视频在每个违规分类上的分类总得分，方案简单，计算量小， 能够提高确定分类总得分的效率。
S207、从所有违规分类中确定出至少一个指定违规分类的分类总得分审核 所述待审核视频。
在本发明实施例中，可以设置审核条件，该审核条件可以根据时间、地域 等不同设置各个违规分类是否生效，如对于枪支弹药，在某些国家或者地区属 于生效的违规分类，而在于其他国家或者地区属于未生效的违规分类，即预设 审核条件包括至少一个指定违规分类，在对待审核视频审核时，可以去掉为非 指定违规分类的分类总得分，根据指定违规分类的分类总得分对待审核视频审 核，并且在指定违规分类的分类总得分大于预设阈值时，确定待审核视频为违 规视频。
例如，对于发布至国家A的短视频，得到各个违规分类的分类总得分后， 可以根据去掉不属于国家A的指定违规分类，采用国家A的指定违规分类对该 短视频进行审核，如果指定违规分类的分类总得分大于预设阈值，确定该短视 频在国家A属于违规视频，驳回该短视频发布至国家A。
为了使得本领域技术人员更清楚地理解本发明的视频审核方法，以下结合 图2B对本发明实施例的视频审核方法进行实例说明，如图2B所示，本实例的 视频审核方法包括以下步骤：
S1、获取视频图像。
在本示例中，以从待审核视频获取5个视频图像为示例。
S2、提取违规图像。
例如，通过违规检测模型从视频图像1提取到违规图像1，从视频图像2 提取到违规图像2，从视频图像4提取到违规图像3。
S3、获得违规图像的违规分类和分类得分。
在本实例中，违规分类包括：身体暴露、武器枪支、烟酒以及政治符号共 4个违规分类，可以通过违规分类模型分别预测违规图像1、违规图像2和违规 图像3在上述4个违规分类的分类得分如下：
违规图像1：
身体暴露得分为0.00，武器枪支得分0.01，烟酒得分为0.00，政治符号得 分为0.99；
违规图像2：
身体暴露得分为0.00，武器枪支得分0.08，烟酒得分为0.00，政治符号得 分为0.92；
违规图像3：
身体暴露得分为0.00，武器枪支得分0.00，烟酒得分为0.01，政治符号得 分为0.99。
S4、获得待审核视频的违规分类和分类总得分。
本实例可以将违规图像1、违规图像2和违规图像3的所有分类得分输入 分类得分预测模型中，获得待审核视频的违规分类以及每个违规分类的分类总 得分。如图2B所示，待审核视频的违规分类以及违规分类总得分如下：
待审核视频：
身体暴露得分为0.00，武器枪支得分0.01，烟酒得分为0.00，政治符号得 分为0.99。
S5、根据审核条件调整待审核视频的违规分类和分类总得分。
本示例中，设置审核条件为：身体暴露和政治符号这两个违规分类属于指 定的违规分类，而武器枪支和烟酒这两个违规分类不属于指定的违规分类，去 掉武器枪支和烟酒这两个违规分类，采用身体暴露和政治符号这两个违规分类 对待审核视频进行审核，审核得到结果为：政治符号的违规分类的分类总得分 为0.99，大于预设阈值0.7，返回视频设计敏感政治信息等审核信息。
本发明实施例将从待审核视频的获取的多帧视频图像输入预先训练的违规 检测模型中获得每帧视频图像中违规对象的违规信息，并根据违规信息提取每 帧视频图像中的违规图像，将预处理后的违规图像输入违规分类模型中获得每 帧违规图像所包含的违规分类以及各个违规分类的分类得分，将所有违规分类 的分类得分输入预先训练的违规得分预测模型中得到待审核视频在每个违规分 类上的总得分，从所有违规分类中确定出至少一个指定违规分类的分类总得分 审核待审核视频。一方面通过违规检测模型获得违规对象的违规信息后，根据 违规信息提取违规对象得到违规图像，将违规图像输入违规分类模型获得违规 图像所包含的违规分类和分类得分，避免了根据整张视频图像预测违规分类和 分类得分导致无法定位、提取违规对象造成审核精度低的问题，使得违规分类 模型更专注于对违规对象的处理，避免了非违规对象背景的干扰，提高了预测 违规分类和分类得分的准确度，进而能够提高视频审核的精确度，同时提取的 违规图像可以作为违规惩罚的依据，另一方面，提高多个违规分类，可以根据 预设审核条件选择指导的违规分类对视频进行审核，审核的灵活性高。
实施例三
图3是本发明实施例三提供的一种视频审核装置的结构框图，如图3所示， 本发明实施例的视频审核装置具体可以包括如下模块：
视频图像获取模块301，用于获取待审核视频的多帧视频图像；
违规图像提取模块302，用于从多帧视频图像中提取违规对象得到多帧违 规图像；
违规分类及得分获取模块303，用于将每帧违规图像输入预先训练的违规 分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得 分；
分类总得分确定模块304，用于基于所有违规图像的所述违规分类和所述 分类得分确定所述待审核视频在每个违规分类上的分类总得分；
审核模块305，用于根据预设审核条件和每个违规分类的分类总得分审核 所述待审核视频。
可选地，所述视频图像获取模块301包括：
视频图像采样子模块，用于按照预设采样周期从待审核视频中采集多帧原 始视频图像；
视频图像处理子模块，用于对多帧原始视频图像进行预处理，得到预处理 后的多帧视频图像；
其中，所述预处理包括图像缩放处理。
可选地，所述违规图像提取模块302包括：
违规信息获取子模块，用于将每帧视频图像输入预先训练的违规检测模型 中，获得每帧视频图像中违规对象的违规信息；
违规图像提取子模块，用于针对每帧视频图像，基于所述违规信息从所述 视频图像中提取违规对象得到多帧违规图像。
可选地，所述违规信息包括违规对象的位置信息和违规得分，所述违规图 像提取子模块包括：
违规对象确定单元，用于针对每帧视频图像，确定出违规得分大于预设阈 值的违规对象；
违规图像提取单元，用于根据所述位置信息从所述视频图像中提取包含违 规得分大于预设阈值的违规对象得到违规图像。
可选地，所述违规检测模型通过违规检测模型训练模块训练，所述违规检 测模型训练模块：
训练视频图像获取模块，用于获取训练视频图像，所述训练视频图像包括 违规对象以及标注有所述违规对象的第一位置；
第二位置预测模块，用于将所述训练视频图像输入初始化的违规检测模型 中以预测出所述训练视频图像中所述违规对象的第二位置；
违规检测模型损失率计算模块，用于采用所述第一位置和所述第二位置计 算损失率；
违规检测模型梯度计算模块，用于若所述损失率未满足预设条件，则采用 所述损失率计算梯度；
违规检测模型调整模块，用于基于所述梯度和预设的学习率对所述违规检 测模型进行反向传播以调整所述违规检测模型的模型参数，返回第二位置预测 模块。
可选地，所述违规分类及得分获取模块303包括：
违规图像预处理子模块，用于对所述违规图像进行预处理，得到预处理后 的违规图像；
违规分类及得分获取子模块，用于将预处理后的违规图像输入违规分类模 型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分。
可选地，所述违规分类模型通过违规分类模型训练模块训练，所述违规分 类模型训练模块包括：
训练违规图像获取模块，用于获取训练违规图像，所述训练违规图像标注 有所述训练违规图像所包含的违规分类；
违规分类及得分预测模块，用于将所述训练违规图像输入初始化的违规分 类模型中以预测出所述训练违规图像所包含的不同违规分类以及各个违规分类 下的分类得分；
违规分类模型损失率计算模块，用于采用所述不同违规分类、各个违规分 类下的分类得分以及所述训练违规图像中标注的违规分类求交叉熵得到分类损 失率；
违规分类模型梯度计算模块，用于若所述分类损失率未满足预设条件，则 采用所述分类损失率计算梯度；
违规分类模型调整模块，用于基于所述梯度和预设的学习率对所述违规分 类模型进行反向传播以调整所述违规分类模型的模型参数，返回违规分类及得 分预测模块。
可选地，所述分类总得分确定模块304包括：
总得分预测子模块，用于将所有违规分类的分类得分输入预先训练的违规 得分预测模型中，得到所述待审核视频在每个违规分类上的总得分。
可选地，所述违规得分预测模型通过违规得分预测模型训练模块训练，所 述违规得分预测模型训练模块包括：
训练数据构建模块，用于构建训练数据，所述训练数据包括训练视频和所 述训练视频包含的违规分类以及每个违规分类的第一分类总得分；
第二分类总得分预测模块，用于将每个违规分类的分类得分输入初始化的 违规得分预测模型中以获得所述训练视频在每个违规分类的第二分类总得分；
违规得分预测模型损失率计算模块，用于采用所述第一分类总得分和所述 第二分类总得分计算损失率；
违规得分预测模型梯度计算模块，用于若所述损失率未满足预设条件，则 采用所述损失率计算梯度；
违规得分预测模型调整模块，用于基于所述梯度和预设的学习率对所述违 规得分预测模型进行反向传播以调整所述违规得分预测模型的模型参数，返回 第二分类总得分预测模块。
可选地，所述违规分类及得分获取模块303包括：
分类总得分确定子模块，用于针对每个违规分类，确定所述违规分类的分 类得分中的最大值、次大值、中间值、最小值中的一项作为所述待审核视频在 每个违规分类上的分类总得分。
可选地，所述预设审核条件包括至少一个指定违规分类，所述审核模块305 包括：
审核子模块，用于从所有违规分类中确定出至少一个指定违规分类的分类 总得分审核所述待审核视频。
可选地，所述审核子模块包括：
违规视频确定单元，用于在所述分类总得分大于预设阈值时，确定所述待 审核视频为违规视频。
本发明实施例所提供的视频审核装置可执行本发明实施例一、实施例二所 提供的视频审核方法，具备执行方法相应的功能模块和有益效果。
实施例四
参照图4，示出了本发明一个示例中的一种设备的结构示意图。如图4所 示，该设备具体可以包括：处理器40、存储器41、具有触摸功能的显示屏42、 输入装置43、输出装置44以及通信装置45。该设备中处理器40的数量可以是 一个或者多个，图4中以一个处理器40为例。该设备的处理器40、存储器41、 显示屏42、输入装置43、输出装置44以及通信装置45可以通过总线或者其他 方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可 执行程序以及模块，如本发明实施例一到实施例二所述的视频审核方法对应的 程序指令/模块(例如，上述实施例三的视频审核装置中的视频图像获取模块301、 违规图像提取模块302、违规分类及得分获取模块303和分类总得分确定模块 304)。存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存 储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据设备的使 用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包 括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性 固态存储器件。在一些实例中，存储器40可进一步包括相对于处理器40远程 设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包 括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏42为具有触摸功能的显示屏42，其可以是电容屏、电磁屏或者红 外屏。一般而言，显示屏42用于根据处理器40的指示显示数据，还用于接收 作用于显示屏42的触摸操作，并将相应的信号发送至处理器40或其他装置。 可选的，当显示屏42为红外屏时，其还包括红外触摸框，该红外触摸框设置在 显示屏42的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器 40或者其他设备。
通信装置45，用于与其他设备建立通信连接，其可以是有线通信装置和/ 或无线通信装置。
输入装置43可用于接收输入的数字或者字符信息，以及产生与设备的用户 设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获 取音频数据的拾音设备。输出装置44可以包括扬声器等音频设备。需要说明的 是，输入装置43和输出装置44的具体组成可以根据实际情况设定。
处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而 执行设备的各种功能应用以及数据处理，即实现上述视频审核方法。
具体地，实施例中，处理器40执行存储器41中存储的一个或多个程序时， 具体实现本发明实施例提供的视频审核方法。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由 设备的处理器执行时，使得设备能够执行如上述方法实施例所述的视频审核方 法。
需要说明的是，对于装置、设备、存储介质实施例而言，由于其与方法实 施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即 可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到， 本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很 多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上 或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机 软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器 (Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、 闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以 是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所 述的视频审核方法。
值得注意的是，上述视频审核装置中，所包括的各个单元和模块只是按照 功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即 可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本 发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。 在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执 行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方 式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有 用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合 逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA) 等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具 体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结 构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中， 对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具 体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适 的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽 然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以 上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。
Claims (15)
1.一种视频审核方法，其特征在于，包括：
获取待审核视频的多帧视频图像；
从多帧视频图像中提取违规对象得到多帧违规图像；
将每帧违规图像输入预先训练的违规分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分；
基于所有违规图像的所述违规分类和所述分类得分确定所述待审核视频在每个违规分类上的分类总得分；
根据预设审核条件和每个违规分类的分类总得分审核所述待审核视频。
2.根据权利要求1所述的方法，其特征在于，所述获取待审核视频的多帧图像，包括：
按照预设采样周期从待审核视频中采集多帧原始视频图像；
对多帧原始视频图像进行预处理，得到预处理后的多帧视频图像；
其中，所述预处理包括图像缩放处理。
3.根据权利要求1所述的方法，其特征在于，所述从多帧视频图像中提取违规对象得到多帧违规图像，包括：
将每帧视频图像输入预先训练的违规检测模型中，获得每帧视频图像中违规对象的违规信息；
针对每帧视频图像，基于所述违规信息从所述视频图像中提取违规对象得到多帧违规图像。
4.根据权利要求3所述的方法，其特征在于，所述违规信息包括违规对象的位置信息和违规得分，所述针对每帧视频图像，基于所述违规信息从所述视频图像中提取违规对象得到多帧违规图像，包括：
针对每帧视频图像，确定出违规得分大于预设阈值的违规对象；
根据所述位置信息从所述视频图像中提取包含违规得分大于预设阈值的违规对象得到违规图像。
5.根据权利要求3所述的方法，其特征在于，所述违规检测模型通过以下方式训练：
获取训练视频图像，所述训练视频图像包括违规对象以及标注有所述违规对象的第一位置；
将所述训练视频图像输入初始化的违规检测模型中以预测出所述训练视频图像中所述违规对象的第二位置；
采用所述第一位置和所述第二位置计算损失率；
若所述损失率未满足预设条件，则采用所述损失率计算梯度；
基于所述梯度和预设的学习率对所述违规检测模型进行反向传播以调整所述违规检测模型的模型参数，返回将所述训练图像输入初始化的违规检测模型中以预测出所述训练图像中所述违规对象的第二位置的步骤。
6.根据权利要求1所述的方法，其特征在于，所述将每帧违规图像输入预先训练的违规分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分，包括：
对所述违规图像进行预处理，得到预处理后的违规图像；
将预处理后的违规图像输入违规分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分。
7.根据权利要求1所述的方法，其特征在于，所述违规分类模型通过以下方式训练：
获取训练违规图像，所述训练违规图像标注有所述训练违规图像所包含的违规分类；
将所述训练违规图像输入初始化的违规分类模型中以预测出所述训练违规图像所包含的不同违规分类以及各个违规分类下的分类得分；
采用所述不同违规分类、各个违规分类下的分类得分以及所述训练违规图像中标注的违规分类求交叉熵得到分类损失率；
若所述分类损失率未满足预设条件，则采用所述分类损失率计算梯度；
基于所述梯度和预设的学习率对所述违规分类模型进行反向传播以调整所述违规分类模型的模型参数，返回将所述训练违规图像输入初始化的违规分类模型中以预测出所述训练违规图像所包含的不同违规分类以及各个违规分类下的分类得分的步骤。
8.根据权利要求1所述的方法，其特征在于，所述基于所有违规图像的所述违规分类和所述分类得分确定所述待审核视频在每个违规分类上的分类总得分，包括：
将所有违规分类的分类得分输入预先训练的违规得分预测模型中，得到所述待审核视频在每个违规分类上的总得分。
9.根据权利要求8所述的方法，其特征在于，所述违规得分预测模型通过以下方式训练：
构建训练数据，所述训练数据包括训练视频和所述训练视频包含的违规分类以及每个违规分类的第一分类总得分；
将每个违规分类的分类得分输入初始化的违规得分预测模型中以获得所述训练视频在每个违规分类的第二分类总得分；
采用所述第一分类总得分和所述第二分类总得分计算损失率；
若所述损失率未满足预设条件，则采用所述损失率计算梯度；
基于所述梯度和预设的学习率对所述违规得分预测模型进行反向传播以调整所述违规得分预测模型的模型参数，返回将每个违规分类的分类得分输入初始化的违规得分预测模型中以获得所述训练视频在每个违规分类的第二分类总得分的步骤。
10.根据权利要求1所述的方法，所述基于所有违规图像的所述违规分类和所述分类得分确定所述待审核视频在每个违规分类上的分类总得分，包括：
针对每个违规分类，确定所述违规分类的分类得分中的最大值、次大值、中间值、最小值中的一项作为所述待审核视频在每个违规分类上的分类总得分。
11.根据权利要求1所述的方法，其特征在于，所述预设审核条件包括至少一个指定违规分类，所述根据预设审核条件和每个违规分类的分类总得分审核所述待审核视频，包括：
从所有违规分类中确定出至少一个指定违规分类的分类总得分审核所述待审核视频。
12.根据权利要求11所述的方法，其特征在于，所述采用至少一个指定违规分类的分类总得分审核所述待审核视频，包括：
在所述分类总得分大于预设阈值时，确定所述待审核视频为违规视频。
13.一种视频审核装置，其特征在于，包括：
视频图像获取模块，用于获取待审核视频的多帧视频图像；
违规图像提取模块，用于从多帧视频图像中提取违规对象得到多帧违规图像；
违规分类及得分获取模块，用于将每帧违规图像输入预先训练的违规分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分；
分类总得分确定模块，用于基于所有违规图像的所述违规分类和所述分类得分确定所述待审核视频在每个违规分类上的分类总得分；
审核模块，用于根据预设审核条件和每个违规分类的分类总得分审核所述待审核视频。
14.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一项所述的视频审核方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-12任一项所述的视频审核方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911338418.2A CN111225234B (zh) | 2019-12-23 | 2019-12-23 | 视频审核方法、视频审核装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911338418.2A CN111225234B (zh) | 2019-12-23 | 2019-12-23 | 视频审核方法、视频审核装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111225234A true CN111225234A (zh) | 2020-06-02 |
| CN111225234B CN111225234B (zh) | 2022-07-26 |
Family
ID=70829560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911338418.2A Active CN111225234B (zh) | 2019-12-23 | 2019-12-23 | 视频审核方法、视频审核装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111225234B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797752A (zh) * | 2020-06-29 | 2020-10-20 | 广州市百果园信息技术有限公司 | 违规视频检测方法、装置、设备及存储介质 |
| CN111859237A (zh) * | 2020-07-23 | 2020-10-30 | 恒安嘉新（北京）科技股份公司 | 网络内容审核方法、装置、电子设备、及存储介质 |
| CN112055230A (zh) * | 2020-09-03 | 2020-12-08 | 北京中润互联信息技术有限公司 | 一种直播监控方法、装置、计算机设备及可读存储介质 |
| CN112148898A (zh) * | 2020-09-18 | 2020-12-29 | 京东数字科技控股股份有限公司 | 一种媒体内容审核的数据处理方法及装置 |
| CN112788356A (zh) * | 2020-12-30 | 2021-05-11 | 百果园技术(新加坡)有限公司 | 一种直播审核的方法、装置、服务器和存储介质 |
| CN112818888A (zh) * | 2021-02-09 | 2021-05-18 | 广州市百果园信息技术有限公司 | 视频审核模型训练方法、视频审核方法及相关装置 |
| CN112860943A (zh) * | 2021-01-04 | 2021-05-28 | 浙江诺诺网络科技有限公司 | 一种教学视频审核方法、装置、设备及介质 |
| CN113850206A (zh) * | 2021-09-29 | 2021-12-28 | 常州化龙网络科技股份有限公司 | 一种创作内容的信息审核方法 |
| CN114359815A (zh) * | 2022-01-13 | 2022-04-15 | 南京讯思雅信息科技有限公司 | 一种快速审核视频内容的处理方法 |
| WO2022134591A1 (zh) * | 2020-12-23 | 2022-06-30 | 深圳壹账通智能科技有限公司 | 分阶段质检的数据分类方法、装置、设备及存储介质 |
| CN114821378A (zh) * | 2021-01-22 | 2022-07-29 | 百度在线网络技术（北京）有限公司 | 图像审核方法、装置、电子设备以及存储介质 |
| US12010358B2 (en) | 2020-12-30 | 2024-06-11 | Bigo Technology Pte. Ltd. | Live streaming moderating method and apparatus, server, and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107197331A (zh) * | 2017-05-03 | 2017-09-22 | 北京奇艺世纪科技有限公司 | 一种实时监测直播内容的方法及装置 |
| CN108419091A (zh) * | 2018-03-02 | 2018-08-17 | 北京未来媒体科技股份有限公司 | 一种基于机器学习的视频内容审核方法及装置 |
| CN109254851A (zh) * | 2018-09-30 | 2019-01-22 | 武汉斗鱼网络科技有限公司 | 一种调度gpu的方法及相关装置 |
| CN109561322A (zh) * | 2018-12-27 | 2019-04-02 | 广州市百果园信息技术有限公司 | 一种视频审核的方法、装置、设备和存储介质 |
| CN110505490A (zh) * | 2018-05-18 | 2019-11-26 | 阿里巴巴集团控股有限公司 | 多媒体数据识别方法和系统 |
-
2019
- 2019-12-23 CN CN201911338418.2A patent/CN111225234B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107197331A (zh) * | 2017-05-03 | 2017-09-22 | 北京奇艺世纪科技有限公司 | 一种实时监测直播内容的方法及装置 |
| CN108419091A (zh) * | 2018-03-02 | 2018-08-17 | 北京未来媒体科技股份有限公司 | 一种基于机器学习的视频内容审核方法及装置 |
| CN110505490A (zh) * | 2018-05-18 | 2019-11-26 | 阿里巴巴集团控股有限公司 | 多媒体数据识别方法和系统 |
| CN109254851A (zh) * | 2018-09-30 | 2019-01-22 | 武汉斗鱼网络科技有限公司 | 一种调度gpu的方法及相关装置 |
| CN109561322A (zh) * | 2018-12-27 | 2019-04-02 | 广州市百果园信息技术有限公司 | 一种视频审核的方法、装置、设备和存储介质 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797752A (zh) * | 2020-06-29 | 2020-10-20 | 广州市百果园信息技术有限公司 | 违规视频检测方法、装置、设备及存储介质 |
| CN111859237A (zh) * | 2020-07-23 | 2020-10-30 | 恒安嘉新（北京）科技股份公司 | 网络内容审核方法、装置、电子设备、及存储介质 |
| CN112055230A (zh) * | 2020-09-03 | 2020-12-08 | 北京中润互联信息技术有限公司 | 一种直播监控方法、装置、计算机设备及可读存储介质 |
| CN112148898A (zh) * | 2020-09-18 | 2020-12-29 | 京东数字科技控股股份有限公司 | 一种媒体内容审核的数据处理方法及装置 |
| CN112148898B (zh) * | 2020-09-18 | 2024-04-05 | 京东科技控股股份有限公司 | 一种媒体内容审核的数据处理方法及装置 |
| WO2022134591A1 (zh) * | 2020-12-23 | 2022-06-30 | 深圳壹账通智能科技有限公司 | 分阶段质检的数据分类方法、装置、设备及存储介质 |
| CN112788356A (zh) * | 2020-12-30 | 2021-05-11 | 百果园技术(新加坡)有限公司 | 一种直播审核的方法、装置、服务器和存储介质 |
| US12010358B2 (en) | 2020-12-30 | 2024-06-11 | Bigo Technology Pte. Ltd. | Live streaming moderating method and apparatus, server, and storage medium |
| CN112788356B (zh) * | 2020-12-30 | 2023-04-28 | 百果园技术(新加坡)有限公司 | 一种直播审核的方法、装置、服务器和存储介质 |
| CN112860943A (zh) * | 2021-01-04 | 2021-05-28 | 浙江诺诺网络科技有限公司 | 一种教学视频审核方法、装置、设备及介质 |
| CN114821378B (zh) * | 2021-01-22 | 2024-02-23 | 百度在线网络技术（北京）有限公司 | 图像审核方法、装置、电子设备以及存储介质 |
| CN114821378A (zh) * | 2021-01-22 | 2022-07-29 | 百度在线网络技术（北京）有限公司 | 图像审核方法、装置、电子设备以及存储介质 |
| WO2022171011A1 (zh) * | 2021-02-09 | 2022-08-18 | 百果园技术(新加坡)有限公司 | 视频审核模型训练方法、视频审核方法及相关装置 |
| CN112818888A (zh) * | 2021-02-09 | 2021-05-18 | 广州市百果园信息技术有限公司 | 视频审核模型训练方法、视频审核方法及相关装置 |
| CN113850206B (zh) * | 2021-09-29 | 2022-07-15 | 常州化龙网络科技股份有限公司 | 一种创作内容的信息审核方法 |
| CN113850206A (zh) * | 2021-09-29 | 2021-12-28 | 常州化龙网络科技股份有限公司 | 一种创作内容的信息审核方法 |
| CN114359815A (zh) * | 2022-01-13 | 2022-04-15 | 南京讯思雅信息科技有限公司 | 一种快速审核视频内容的处理方法 |
| CN114359815B (zh) * | 2022-01-13 | 2024-04-16 | 南京讯思雅信息科技有限公司 | 一种快速审核视频内容的处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111225234B (zh) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111225234B (zh) | 视频审核方法、视频审核装置、设备和存储介质 | |
| CN109697416B (zh) | 一种视频数据处理方法和相关装置 | |
| CN111382623B (zh) | 一种直播审核的方法、装置、服务器和存储介质 | |
| CN111143612B (zh) | 视频审核模型训练方法、视频审核方法及相关装置 | |
| CN111210399B (zh) | 一种成像质量评价方法、装置及设备 | |
| CN111767783A (zh) | 行为检测、模型训练方法、装置、电子设备及存储介质 | |
| CN110889463A (zh) | 一种样本标注方法、装置、服务器及机器可读存储介质 | |
| CN111161206A (zh) | 一种图像抓拍方法、监控相机及监控系统 | |
| CN111144344B (zh) | 人物年龄的确定方法、装置、设备及存储介质 | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN109922334A (zh) | 一种视频质量的识别方法及系统 | |
| CN111753590B (zh) | 一种行为识别方法、装置及电子设备 | |
| CN110427819A (zh) | 一种识别图像中ppt边框的方法及相关设备 | |
| CN111814759B (zh) | 人脸质量标签值的获取方法、装置、服务器及存储介质 | |
| CN111083469A (zh) | 一种视频质量确定方法、装置、电子设备及可读存储介质 | |
| CN115830002A (zh) | 一种红外图像质量评价方法及装置 | |
| CN110866473A (zh) | 目标对象的跟踪检测方法及装置、存储介质、电子装置 | |
| CN111291666A (zh) | 游戏直播视频识别方法、装置、电子设备及存储介质 | |
| CN114663705A (zh) | 视频审核模型训练方法、视频审核方法及相关装置 | |
| CN112270671B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN108664902B (zh) | 基于深度学习的端到端的视频拷贝检测方法及装置 | |
| CN113033500B (zh) | 动作片段检测方法、模型训练方法及装置 | |
| CN113838076A (zh) | 目标图像中的对象轮廓的标注方法及装置、存储介质 | |
| CN115376054A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN115018783A (zh) | 一种视频水印检测方法和装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221207 Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd. Address before: 511400 floor 5-13, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |