CN113573043A - 视频噪点识别方法、存储介质及设备 - Google Patents

视频噪点识别方法、存储介质及设备 Download PDF

Info

Publication number
CN113573043A
CN113573043A CN202110062543.6A CN202110062543A CN113573043A CN 113573043 A CN113573043 A CN 113573043A CN 202110062543 A CN202110062543 A CN 202110062543A CN 113573043 A CN113573043 A CN 113573043A
Authority
CN
China
Prior art keywords
video
point identification
noise point
noise
identification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110062543.6A
Other languages
English (en)
Other versions
CN113573043B (zh
Inventor
刘强
李松南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110062543.6A priority Critical patent/CN113573043B/zh
Publication of CN113573043A publication Critical patent/CN113573043A/zh
Application granted granted Critical
Publication of CN113573043B publication Critical patent/CN113573043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种视频噪点识别方法、存储介质及设备。方法包括：获取视频应用中的视频数据，在噪点识别模型中获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果。若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息。根据包含视频地址信息的警报信息，在视频数据中获取目标视频帧。若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理。在本方案中，可以提高噪点识别模型的准确度。

Description

视频噪点识别方法、存储介质及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种视频噪点识别方法、存储介质及设备。
背景技术
近些年视频应用逐渐兴起壮大，现有技术中的视频平台每日会接受用户上万的视频更新量，但其中很多视频由于用户的不当拍摄、设备故障等缘故而产生严重的视频噪点，这些存在视频噪点的视频会严重影响其他用户的观看体验，识别出视频数据中的视频噪点便于对视频数据进行修正，提高观看体验感。
但现有技术中产生视频噪点的实际环境比较复杂，而现有技术中的噪点识别模型由于是根据一定样本视频数据训练得到的，噪点识别的能力有限，因此容易出现噪点识别错误的现象。
发明内容
本申请实施例所要解决的技术问题在于，提供一种视频噪点识别方法、存储介质及设备，可以提高噪点识别模型的准确度。
本申请实施例一方面提供一种视频噪点识别方法，包括：
获取视频应用中的视频数据，在噪点识别模型中获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果；
若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息；
根据包含视频地址信息的警报信息，在视频数据中获取目标视频帧；
若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理。
其中，获取视频应用中的视频数据，在噪点识别模型中获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果，包括：
在视频应用中采集视频数据，将视频数据划分为N个视频帧；N为正整数；
在N个视频帧中获取视频帧Ti，将视频帧Ti输入至噪点识别模型；
根据噪点识别模型中的卷积组件，获取视频帧Ti对应的图像卷积特征；
根据噪点识别模型中的残差组件，获取图像卷积特征对应的像素特征信息；
根据噪点识别模型中的分类器，对像素特征信息进行分类识别；
若在分类器中检测到视频帧Ti存在视频噪点，则确定视频数据对应的噪点识别结果为视频携带噪点结果。
其中，方法还包括：
在视频应用中显示目标视频帧；
响应针对目标视频帧的噪点结果添加操作，将噪点结果添加操作所确定的添加信息，确定为目标视频帧对应的审核结果。
其中，方法还包括：
将目标视频帧输入至噪点识别模型，在噪点识别模型中获取目标视频帧对应的目标像素信息；
根据噪点识别模型中的分类器，对目标像素信息进行分类识别，得到目标视频帧对应的预测结果。
本申请实施例一方面提供一种视频噪点识别方法，包括：
获取样本视频数据；样本视频数据携带标注信息；
将样本视频数据输入至初始噪点识别模型，在初始噪点识别模型中获取样本视频数据对应的样本像素特征信息，根据样本像素特征信息获取样本视频数据对应的样本噪点识别结果；
根据样本噪点识别结果与标注信息，对初始噪点识别模型中的网络参数进行修正；
将包含修正后的网络参数的初始噪点识别模型确定为噪点识别模型；噪点识别模型用于获取视频应用中的视频数据所对应的噪点识别结果，噪点识别结果用于指示从携带噪点的视频数据中获取目标视频帧，目标视频帧用于对噪点识别模型进行更新处理。
其中，获取样本视频数据，包括：
获取视频素材集合，对视频素材集合中所包含的视频素材信息进行随机组合，得到多个视频素材组；
在视频应用中播放多个视频素材组，采用摄像设备对视频应用中所播放的多个视频素材组进行采集，得到样本视频数据。
其中，在视频应用中播放多个视频素材组，包括：
获取视频素材集合中所包含的视频素材信息对应的操作延时信息，以及操作状态信息；
根据操作延时信息和操作状态信息，在视频应用中对多个视频素材组依次进行播放。
其中，根据样本噪点识别结果与标注信息，对初始噪点识别模型中的网络参数进行修正，包括：
根据标注信息与样本噪点识别结果之间的误差，确定初始噪点识别模型对应的损失函数；
根据损失函数，对初始噪点识别模型的网络参数进行修正。
本申请实施例一方面提供一种视频噪点识别装置，包括：
第一获取模块，用于获取视频应用中的视频数据，在噪点识别模型中获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果；
生成模块，用于若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息；
第二获取模块，用于根据包含视频地址信息的警报信息，在视频数据中获取目标视频帧；
更新处理模块，用于若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理。
其中，第一获取模块包括：
划分单元，用于在视频应用中采集视频数据，将视频数据划分为N个视频帧；N为正整数；
第一获取单元，用于在N个视频帧中获取视频帧Ti，将视频帧Ti输入至噪点识别模型；
第二获取单元，用于根据噪点识别模型中的卷积组件，获取视频帧Ti对应的图像卷积特征；
第三获取单元，用于根据噪点识别模型中的残差组件，获取图像卷积特征对应的像素特征信息；
分类识别单元，用于根据噪点识别模型中的分类器，对像素特征信息进行分类识别；
确定单元，用于若在分类器中检测到视频帧Ti存在视频噪点，则确定视频数据对应的噪点识别结果为视频携带噪点结果。
其中，装置还包括：
显示模块，用于显示在视频应用中显示目标视频帧；
第一确定模块，用于响应针对目标视频帧的噪点结果添加操作，将噪点结果添加操作所确定的添加信息，确定为目标视频帧对应的审核结果。
其中，装置还包括：
第三获取模块，用于将目标视频帧输入至噪点识别模型，在噪点识别模型中获取目标视频帧对应的目标像素信息；
分类识别模块，用于根据噪点识别模型中的分类器，对目标像素信息进行分类识别，得到目标视频帧对应的预测结果。
本申请实施例一方面提供一种视频噪点识别装置，包括：
第四获取模块，用于获取样本视频数据；样本视频数据携带标注信息；
第五获取模块，用于将样本视频数据输入至初始噪点识别模型，在初始噪点识别模型中获取样本视频数据对应的样本像素特征信息，根据样本像素特征信息获取样本视频数据对应的样本噪点识别结果；
修正模块，用于根据样本噪点识别结果与标注信息，对初始噪点识别模型中的网络参数进行修正；
第二确定模块，用于将包含修正后的网络参数的初始噪点识别模型确定为噪点识别模型；噪点识别模型用于获取视频应用中的视频数据所对应的噪点识别结果，噪点识别结果用于指示从携带噪点的视频数据中获取目标视频帧，目标视频帧用于对噪点识别模型进行更新处理。
其中，第四获取模块包括：
第四获取单元，用于获取视频素材集合，对视频素材集合中所包含的视频素材信息进行随机组合，得到多个视频素材组；
采集单元，用于在视频应用中播放多个视频素材组，采用摄像设备对视频应用中所播放的多个视频素材组进行采集，得到样本视频数据。
其中，采集单元具体用于：
获取视频素材集合中所包含的视频素材信息对应的操作延时信息，以及操作状态信息；
根据操作延时信息和操作状态信息，在视频应用中对多个视频素材组依次进行播放。
其中，修正模块包括：
第二确定单元，用于根据标注信息与样本噪点识别结果之间的误差，确定初始噪点识别模型对应的损失函数；
修正单元，根据损失函数，对初始噪点识别模型的网络参数进行修正。
本申请实施例一方面提供了一种计算机设备，计算机设备包括：处理器、存储器以及网络接口；
处理器与存储器、网络接口相连，其中，网络接口用于提供网络通信功能，存储器用于存储程序代码，处理器用于调用程序代码，以执行如本申请实施例一方面中的方法。
本申请实施例一方面提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，当处理器执行程序指令时执行如本申请实施例一方面中的方法。
本申请一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一方面中的方法。
本申请实施例中，通过获取视频应用中的视频数据，在噪点识别模型中获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果。若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息。通过生成警报信息，可以实时获取噪点识别模型识别到的携带视频噪点的视频数据，以便收集用于更新噪点识别模型的视频帧。根据包含视频地址信息的警报信息，在视频数据中获取目标视频帧。若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理。可见，当预测结果与审核结果不相同时，则说明噪点识别模型不能准确识别目标视频帧，则可以根据目标视频帧对噪点识别模型进行更新处理，可以提高噪点识别模型的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种视频噪点识别系统的架构示意图；
图2是本申请实施例提供的一种视频噪点识别方法的流程示意图；
图3是本申请实施例提供的一种根据噪点识别模型获得视频数据对应的噪点识别结果方法的示意图；
图4是本申请实施例提供的一种残差组件的结构示意图；
图5是本申请实施例提供的有一种更新噪点识别模型方法的示意图；
图6本申请实施例提供的一种对教育应用中的噪点识别模型进行更新处理的场景示意图；
图7是本申请实施例提供的一种视频噪点识别方法的流程示意图；
图8是本申请实施例提供的一种生成样本视频数据方法的示意图；
图9是本申请实施例提供的一种视频噪点识别装置的结构示意图；
图10是本申请实施例提供的一种视频噪点识别装置的结构示意图；
图11是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请涉及云技术中的数据库和人工智能云服务，以及人工智能技术。其中，数据库(Database)，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。数据库管理系统(英语：Database Management System，简称DBMS)是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可以依据它所支持的数据库模型来作分类，例如关系式、XML(Extensible Markup Language,即可扩展标记语言)；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类，例如SQL(结构化查询语言(Structured Query Language)、XQuery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支持多种查询语言。本申请实施例中，可以将用于生成样本视频数据的视频素材集合存储值数据库中，以便对视频素材集合中所包含的视频素材信息进行随机组合，以便生成样本视频数据对初始噪点识别模型进行训练。
人工智能云服务，一般也被称作是AIaaS(AI as a Service，中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。本申请实施例中，可以通过API接口的方式来接入使用平台提供的多种噪点识别云服务，通过该噪点识别云服务对视频数据进行噪点识别，得到视频数据对应的噪点识别结果，以使后续根据该噪点识别结果对噪点识别模型进行更新处理。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。在本申请中，可以利用计算机视觉技术获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果。若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息，根据视频地址信息和视频携带噪点结果，在视频数据中获取目标视频帧。若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理。这样，可以提高噪点识别模型精度，进而提高对视频数据进行噪点识别的准确度。
见图1，图1是本申请实施例提供的一种视频噪点识别系统的结构示意图。如图1所示，该视频噪点识别系统可以包括服务器10和用户终端集群。该用户终端集群可以包括一个或者多个用户终端，这里将不对用户终端的数量进行限制。如图1所示，具体可以包括用户终端100a、用户终端100b、用户终端100c、…、用户终端100n。如图1所示，用户终端100a、用户终端100b、用户终端100c、…、用户终端100n可以分别与上述服务器10进行网络连接，以便于每个用户终端可以通过该网络连接与服务器10进行数据交互。
其中，该用户终端集群中的每个用户终端均可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、可穿戴设备、智能家居、头戴设备等具有数据处理的智能终端。应当理解，如图1所示的用户终端集群中的每个用户终端均可以安装有目标应用(即应用客户端)，当该应用客户端运行于各用户终端中时，可以分别与上述图1所示的服务器10之间进行数据交互。
其中，如图1所示，服务器10可以用于获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果。若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息，根据视频地址信息和视频携带噪点结果，在视频数据中获取目标视频帧。若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理。该服务器10可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
为便于理解，本申请实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端。例如，本申请实施例可以将图1所示的用户终端100a作为目标用户终端，该目标用户终端中可以集成有具备视频噪点识别的目标应用(即应用客户端)。此时，该目标用户终端可以通过该应用客户端对应的业务平台与服务器10之间实现数据交互。如目标用户终端可以将视频应用中的视频数据发送至服务器10，服务器10可以获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果。若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息，根据视频地址信息和视频携带噪点结果，在视频数据中获取目标视频帧。若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理，将更新处理后的噪点识别模型发送至目标用户终端。
请参见图2，图2是本申请实施例提供的一种视频噪点识别方法的流程示意图。该视频噪点识别方法可由计算机设备来执行，该计算机设备可以为服务器(如上述图1中的服务器11)，或者用户终端(如上述图1的用户终端集群中的任一用户终端)，或者为服务器和用户终端组成的系统，本申请对此不做限定。如图2所示，该视频噪点识别方法可以包括步骤S101-S104。
S101，获取视频应用中的视频数据，在噪点识别模型中获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果。
具体的，在视频播放场景中，在视频应用中播放视频数据时，可能会因为用户的不当拍摄、设备故障等缘故在视频数据中产生噪点数据，为了给用户提供更好的服务，需要对视频数据进行去噪处理。本申请实施例中的计算机设备可以获取视频应用中的视频数据(此处的视频数据可以是指视频应用中正在播放的视频数据，或者为视频应用中即将播放的视频数据)，将该视频数据输入噪点识别模型中，对视频数据进行特征提取，获取视频数据对应的像素特征信息。根据该视频数据对应的像素特征信息获取视频数据对应的噪点识别结果，该噪点识别结果包括视频携带噪点结果和视频不携带噪点结果，即若视频数据中存在视频噪点，则该视频数据对应的噪点识别结果为视频携带噪点结果，若视频数据中不存在视频噪点，则该视频数据对应的噪点识别结果为视频不携带噪点结果。其中，噪点识别模型可以是指一种深度学习网络，可以用于检测视频数据中每帧图像帧是否存在视频噪点。本申请实施例中所涉及的视频噪点可以包括但不限于：花屏、帧粘连、图像重叠以及雪花等等。
可选的，计算机设备获取视频应用中的视频数据，在噪点识别模型中获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果的具体方式可以包括：在视频应用中采集视频数据，将视频数据划分为N个视频帧，N为正整数。在N个视频帧中获取视频帧Ti，将视频帧Ti输入至噪点识别模型，根据噪点识别模型中的卷积组件，获取视频帧Ti对应的图像卷积特征，根据噪点识别模型中的残差组件，获取图像卷积特征对应的像素特征信息。根据噪点识别模型中的分类器，对像素特征信息进行分类识别，若在分类器中检测到视频帧Ti存在视频噪点，则确定视频数据对应的噪点识别结果为视频携带噪点结果。
具体的，计算机设备可以在视频应用中采集视频数据，将视频数据划分为N个视频帧，N为正整数，在N个视频帧中获取视频帧Ti，将视频帧Ti输入噪点识别模型中，即在噪点识别模型中依次对N个视频帧进行噪点识别。根据噪点识别模型中的卷积组件，对视频帧Ti进行特征提取，获得视频帧Ti对应的图像卷积特征。每个编码卷积层对应1个或者多个卷积核(kernel，也可以称为滤波器，或者称为感受野)，每个卷积编码层中的卷积核的通道数是由输入数据的通道数决定的，每一层输出数据(也就是图像特征信息)的通道数是由该编码卷积层中的卷积核的数量决定的，且输出数据中图像高度Hout和图像宽度Wout(即是输出数据中的第二维和第三维)是由输入数据的尺寸、卷积核的尺寸、步长(stride)以及边界填充(padding)共同决定的，即Hout＝(Hin-HKernel+2*padding)/stride+1，Wout＝(Win-WKernel+2*padding)/stride+1。Hin，HKernel分别表示输入数据中图像的高度和卷积核的高度；Win，WKernel分别表示输入数据中图像的宽度和卷积核的宽度。得到视频帧Ti对应的图像卷积特征后，可以根据噪点识别模型中的残差组件，获取图像卷积特征对应的像素特征信息。根据噪点识别模型中的分类器，对像素特征信息进行分类识别，若在分类器中检测到视频帧Ti存在视频噪点，则确定视频数据对应的噪点识别结果为视频携带噪点结果。其中，可以按照视频数据中每帧视频帧的显示时间戳的先后顺序，依次对N个视频帧进行噪点识别。如若对视频帧T10进行噪点识别时，在分类器中检测到视频帧T10存在视频噪点，则确定该视频帧T10所在的视频数据对应的噪点识别结果为视频携带噪点结果，不用对视频帧T11以及其他视频帧T10后面的视频帧进行噪点识别。当然也可以对视频数据中的N个视频帧都进行噪点识别，获得N个视频帧中存在视频噪点的视频帧。
如图3所示，图3是本申请实施例提供的一种根据噪点识别模型获得视频数据对应的噪点识别结果方法的示意图，如图3所示，计算机设备可以将视频数据中的视频帧Ti输入噪点识别模型，噪点识别模型可以是指Mnet网络结构，Mnet是一种深度持续记忆网络，可以自适应学习过程明确地挖掘持续记忆，学习当前状态在不同接收域下的多层表征。使用Mnet网络结构可以经过深度CPU(中央处理器)/GPU(图像处理器)优化，可以实现毫秒级别的前馈网络，实现视频数据的实时处理。噪点识别模型包括卷积组件和残差组价，采用噪点识别模型中的卷积组件，获得视频帧Ti对应的图像卷积特征，卷积组件中输入图像特征矩阵大小与输入的图像特征矩阵大小不同，用于改变图像特征向量的大量。以此获得各种大小的图像特征向量，使得到的视频帧对应的图像卷积特征更能反映视频帧的特征信息。卷积组件可以对输入的视频帧进行特征提取，其内部包含1个或者多个卷积核(kernel，也可以称为滤波器，或者称为感受野)，组成卷积核的每个元素都对应一个权重系数和一个偏差量，类似于一个前馈神经网络的神经元。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，又被称为“感受野”。卷积层中的参数包括卷积核大小、步长和填充，三者共同决定了卷积层输出特征图的尺寸，卷积核大小可以指定为小于输入图像尺寸的任意值，卷积核越大，可提取的输入特征越复杂。卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量，得到输入视频帧对应的图像卷积特征。在深度网络中，随着输入数据在隐含层内的逐级传递，其均值和标准差会发生改变，会发生梯度消失，因此可以对视频帧对应的图像卷积特征进行批量归一化，将该图像卷积特征标准化，然后使用修正线性参数将标准化的特征放大作为新的输入。在卷积层进行特征提取后，输出的图像卷积特征会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将图像卷积特征中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制。
噪点识别模型中的残差组件可以是指可重复卷积模块，如图4所示，图4是本申请实施例提供的一种残差组件的结构示意图，如图4所示，该残差组件中的一个可重复卷积模块可以包括卷积层1×1、卷积层3×3、卷积层1×1。由于该可重复卷积模块输入的图像特征矩阵大小与输出的图像矩阵大小是一样的，因此，可以串联多个可重复卷积模块，以实现不同复杂度的像素特征信息，同时，可以让噪点识别模型更加简单，提高噪点识别模型的识别速度。可以根据噪点识别模型中的残差组件获取图像卷积特征对应的像素特征信息，得到像素特征信息后，可以通过噪点识别模型中的分类器，对视频帧对应的像素特征信息进行分类识别。可以根据分类器将视频帧对应的像素特征信息分为存在视频噪点和不存在视频噪点，若在分类器中检测到视频帧存在视频噪点，则可以确定该视频帧所在视频数据对应的噪点识别结果为视频携带噪点结果，若在分类器中检测到视频帧不存在视频噪点，则可以确定该视频帧所在视频数据对应的噪点识别结果为视频未携带噪点结果。如图3所示，由于可重复卷积模块的输入的图像特征矩阵大小与输出的图像矩阵大小是一样的，因此，可以串联多个可重复卷积模块，可以根据所需要的特征信息复杂程度设置可重复卷积模块的重复次数，可重复卷积模块串联的数量可以为一个或者多个，当可重复卷积模块的数量为1个时得到的像素特征信息的复杂度，与可重复卷积模块的数据为多个时得到的像素特征信息的复杂度是不一样的。如可以串联2个可重复卷积模块，也可以串联5个可重复卷积模块，以使得到的像素特征信息的复杂程度不同，从而使获得视频数据对应的视频噪点携带结果更加准确。需要说明的是，本申请实施例对可重复卷积模块的串联数量不做限制。其中，由于每个残差层的输入数据的维度与输出数据的维度都是相同的，因此，噪点识别模型中的残差层的数量可以为一个或者是多个。通过卷积组件得到图像卷积特征后，可以通过残差连接得到图像卷积特征对应的像素特征信息。残差连接是指两次连续卷积运算后，激活函数的作用域是卷积运算后的输出与卷积运算前的输入之和，残差连接的计算公式为下述公式(1)：
Rout＝σ(F(x)+x)
F(x)＝W2(w1x) (1)
其中，Rout是残差层的输出；x是残差层的输入；W1W2分别表示第一次卷积运算中权重和第二次卷积运算中权重；σ表示激活函数。
其中，由于多层小核卷积可以在保持与大卷积核相同的感受野的同时，保持较小的参数量。多个较小卷积核的卷积层代替一个卷积核较大的卷积层，一方面可以减少参数，另一方面相当于进行了更多的非线性映射，可以增加网络的非线性拟合能力。如2个3*3卷积等于1个5*5卷积，3个3*3卷积等于1个7*7卷积，感受野大小不变，而采用更多层、更小的卷积核可以引入更多非线性(更多的隐藏层，从而带来更多非线性函数)，提高决策函数判决力，并且带来更少参数。如图4所示，可重复卷积模块由卷积层1×1、卷积层3×3、卷积层1×1三个较小卷积层组成，采用更多层、更小的卷积核可以引入更多非线性，提高决策函数判决力，并且带来更少参数。同时，可重复卷积模块可以进行串联，因此，可以根据需求串联多个可重复卷积模块，获得不同复杂程度的特征信息(即像素特征信息)。
S102，若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息。
具体的，若噪点识别模型检测到视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息，该警报信息用于提示该视频数据中存在噪点，并提供存储该视频数据的地址信息，可以对该地址信息进行访问，获得存在视频噪点的视频数据。由于视频噪点出现的概率较低，如视频花屏(一种视频噪点)出现的概率低于百分之一，因此，可以实时监控视频数据是否存在视频噪点，若视频数据存在视频噪点，则生成警报信息，以便实时监测噪点识别模型是否出现识别错误等问题。
S103，根据包含视频地址信息的警报信息，在视频数据中获取目标视频帧。
具体的，计算机设备可以根据包含视频地址信息的警报信息，在视频数据中获取目标视频帧，该目标视频帧的数量可以为一帧或者多帧，同时目标视频帧可以为视频数据中存在视频噪点的视频帧，也可以为视频数据中不存在视频噪点的视频帧。
可选的，计算机设备获得目标视频帧后，可以在视频应用中显示目标视频帧，响应针对目标视频帧的噪点结果添加操作，将噪点结果添加操作所确定的添加信息，确定为目标视频帧对应的审核结果。
具体的，计算机设备从视频数据中获取目标视频帧后，可以在视频应用中显示目标视频帧进行人工审核，人工输入该目标视频帧的审核结果，即真实结果。计算机设备可以响应针对目标视频帧的噪点结果添加操作，将噪点结果添加操作所确定信息，确定为目标视频帧对应的审核结果。如当人工对目标视频帧进行噪点识别时，人工识别到目标视频帧中存在视频噪点，则可以在目标视频帧很对应的噪点结果添加文本框中输入审核结果为视频携带噪点；若人工识别到目标视频帧中不存在视频噪点，则可以在目标视频帧很对应的噪点结果添加文本框中输入审核结果为视频未携带噪点。当然，也可以是其他审核方法得到的审核结果，如将目标视频帧输入准确率较高的模型中进行多次识别，得到目标视频帧对应的审核结果。
可选的，计算机设备获得目标视频帧后，可以将目标视频帧输入至噪点识别模型，在噪点识别模型中获取目标视频帧对应的目标像素信息，根据噪点识别模型中的分类器，对目标像素信息进行分类识别，得到目标视频帧对应的预测结果。
具体的，计算机设备从视频数据中获得目标视频帧后，可以将目标视频帧输入噪点识别模型，在噪点识别模型中获取目标视频帧对应的目标像素信息，根据噪点识别模型中的分类器，对目标像素信息进行分类识别，得到目标视频帧对应的预测结果。其中，噪点识别模型对目标视频帧的噪点识别过程可以参看上述获得视频数据对应的噪点识别结果的具体内容，在此不再累述。
S104，若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理。
具体的，计算机设备获得目标视频帧对应的预测结果和审核结果后，可以对比预测结果与审核结果，若预测结果与审核结果不相同，则说明噪点识别模型识别错误，即噪点识别模型不能正确识别目标视频帧，根据目标视频帧对噪点识别模型进行更新处理，若预测结果与审核相同，则说明噪点识别模型识别正确，不能对噪点识别模型进行更新处理。其中，目标视频帧可以是指视频数据中存在视频噪点的一帧或者多帧视频帧，获得存在视频噪点的目标视频帧后，通过人工审核获得审核结果，在通过噪点识别模型获得预测结果。每个目标视频帧均对应一个审核结果和一个预测结果，比对每个目标视频帧对应的审核结果和预测结果，若审核结果和预测结果不同，则说明噪点识别模型识别错误，则可以根据识别错误的目标视频帧对噪点识别模型进行更新处理，可以提高噪点识别模型的准确度。同样的，目标视频帧也可以是视频数据中不存在视频噪点的视频帧，可能某一目标视频帧通过人工审核得到的审核结果为视频携带噪点，而通过噪点识别模型进行识别时得到的预测结果为视频未携带噪点，这样也说明噪点识别模型存在识别错误，也可以根据识别错误的目标视频帧对噪点识别模型进行更新处理。这样，可以提高噪点识别模型的准确度。
如图5所示，图5是本申请实施例提供的有一种更新噪点识别模型方法的示意图，如图5所示，S51，发出警报，计算机设备可以设置一个监控线程，当噪点识别模型确定视频数据的噪点识别结果为视频携带噪点结果时，监控线程便生成警报信息，该警报信息中包含存在视频噪点的视频数据的地址信息。S52，提取视频地址信息，接收到警报信息后，便可以从警报信息中获取视频数据的视频地址信息，提取视频数据。S53，获取目标视频帧，计算机设备从视频数据中获取目标视频帧，目标视频帧可以是指视频数据中存在视频噪点的一帧或者多帧视频帧，可以是指存在视频噪点的视频帧，也可以是不存在视频帧噪点的视频帧。S54，噪点识别模型进行检测，获得目标视频帧后，可以将目标视频帧输入噪点识别模型中，在噪点识别模型中对目标视频帧进行噪点识别检测，得到目标视频帧的预测结果。S55，人工审核，计算机设备可以显示该目标视频帧，进行人工审核，运营人员可以对目标视频帧进行目测识别，确定目标视频帧中是否存在噪点，得到目标视频帧的审核结果。S56，模型更新，将目标视频帧对应的预测结果与审核结果进行对比，若目标视频帧对应的预测结果与审核结果不同，则说明噪点识别模型存在识别错误的问题(即噪点识别模型不能准确识别出目标视频帧的视频噪点)，因此可以将目标视频帧作为样本视频数据，对噪点识别模型进行训练，从而对噪点识别模型进行更新。如人工审核目标视频帧中存在视频噪点，而噪点识别模型不能识别出目标视频帧中的视频噪点，则可以根据目标视频帧对噪点识别模型进行更新处理。或者，人工审核目标视频帧中不存在视频噪点，而噪点识别模型识别出目标视频帧中存在视频噪点，则说明噪点识别模型存在误识别，则可以根据目标视频帧找出噪点识别模型出现误识别的原因，对早点睡会被模型进行更新处理。这样，当噪点识别模型出现识别错误的情况时，可以实时对噪点识别模型进行更新处理，提高噪点识别模型的准确度。因此本申请实施例可以对噪点识别模型实时进行自检，若发现噪点识别模型出现识别错误的情形，则实时进行噪点识别模型进行迭代和更新处理，以提高噪点识别模型进行视频噪点识别的准确度。
可选的，当然，本方案还可以应用于视频数据剪辑预处理和视频转码后处理等视频数据场景中，如在视频剪辑预处理过程中，当需要对一段初始视频数据进行剪辑时，可以对该初始视频数据进行噪点识别，识别出初始视频数据中存在视频噪点的视频帧，对存在视频噪点的视频帧进行去噪处理，使视频帧更加清晰，提高视频帧的质量，以便后续的剪辑处理，使得到的视频数据更加清晰，提高用户的观看体验感。或者，识别出初始视频数据中存在视频噪点的视频帧后，可以将存在视频噪点的视频帧作为无效视频帧，将该无效视频帧删除，这样，剪辑得到后的视频数据更加清晰，可以提高用户的观看体验感。同时，在初始视频数据中识别出存在视频噪点的视频帧后，也可以根据初始视频数据中存在视频噪点的视频帧对噪点识别模型进行实时更新处理，提高噪点识别模型的准确度。如，在初始视频数据中抽取目标视频帧，将目标视频帧输入噪点识别模型中，得到目标视频帧对应的预测结果，再对目标视频帧进行人工审核，得到目标视频帧对应的审核结果。将目标视频帧的预测结果与审核结果进行对比，若预测结果与审核结果之间不相同，则说明噪点识别模型存在识别错误的情形，因此可以将目标视频帧存储至数据库中，用于对噪点识别模型进行更新处理，以提高噪点识别模型的准确度。
如图6所示，为本申请实施例提供的一种对教育应用中的噪点识别模型进行更新处理的场景示意图，如图6所示，当在视频应用60a中播放教育视频数据时，本申请实施例中的计算机设备可以获取该视频应用60a中的教育视频数据。获得视频应用60a中的教育视频数据后，可以对该教育视频数据进行划分处理，将该教育视频数据划分为N个视频帧，即T1、T2、T3.。。。。。TN，N个正整数。如图6所示，在N个视频帧中获取视频帧T1，将视频帧T1输入噪点识别模型中，得到视频帧T1对应的像素特征信息对应的像素特征信息60c，即特征向量[a,b]。当a大于b时，则说明视频帧T1中不存在视频噪点，则对教育视频数据进行处理，继续视频帧T1的后一帧视频帧T2,进行噪点识别；当a大于b时，则说明视频帧T1中存在视频噪点。若视频帧T1中存在视频噪点60d，则从教育视频数据中抽取目标视频帧60e，将目标视频帧60e输入噪点识别模型中进行噪点预测，得到目标视频帧60e对应的预测结果60f。对目标视频帧60e进行人工审核，得到目标视频帧60e对应的审核结果60g。将目标视频帧60e对应的预测结果60f和审核结果60g进行对比，得到对比结果60h，若对比结果60h为不相同，则说明噪点识别模型存在识别错误，则可以将目标视频帧60e输入数据库60i中，根据该数据库中的视频帧对识别噪点识别模型进行更新处理，以提高噪点识别模型的准确度。
在本申请实施例中，通过获取视频应用中的视频数据，在噪点识别模型中获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果。若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息，通过生成警报信息可以实时获取噪点识别模型识别到的携带视频噪点的视频数据，以便收集用于更新噪点识别模型的视频帧。根据包含视频地址信息的警报信息，在视频数据中获取目标视频帧。若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理。可见，当预测结果与审核结果不同时，则说明噪点识别模型不能准确识别该目标视频帧，则可以根据目标视频帧对噪点识别模型进行更新处理，可以提高噪点识别模型的准确度。同时，本方案中的噪点识别模型可以采用深度神经网络结构，可以让噪点识别模型更加简单，可以提高噪点识别模型的噪点识别速度。
请参见图7，图7是本申请实施例提供的一种视频噪点识别方法的流程示意图。该视频噪点识别方法可由计算机设备来执行，该计算机设备可以为服务器(如上述图1中的服务器11)，或者用户终端(如上述图1的用户终端集群中的任一用户终端)，或者为服务器和用户终端组成的系统，本申请对此不做限定。如图7所示，该视频噪点识别方法可以包括步骤S201-S204。
S201，获取样本视频数据。
具体的，计算机设备可以获取用于训练初始噪点识别模型的样本视频数据，该样本视频数据携带标注信息，即样本视频数据中每帧视频帧分别对应的标注信息，该标注信息是指样本视频数据中的视频帧是否携带视频噪点。若视频帧中存在视频噪点，则视频帧对应的标注信息为携带视频噪点；视频帧中不存在视频噪点，则视频帧对应的标注信息为未携带视频噪点。
可选的，计算机设备获取样本视频数据的具体方式可以包括：获取视频素材集合，对视频素材集合中所包含的视频素材信息进行随机组合，得到多个视频素材组。在视频应用中播放多个视频素材组，采用摄像设备对视频应用中所播放的多个视频素材组进行采集，得到样本视频数据。
具体的，计算机设备可以获取视频素材集合，对视频素材集合所包含的视频素材信息进行随机组合，得到多个视频素材组。在视频应用中播放多个视频素材许，采用摄像机设备对视频应用中所播放的多个视频素材进行采集，得到样本视频数据。其中，相关技术是利用人工合成的方式产生视频噪点，如通过利用像素位移，改变图像像素值的方法产生视频花屏，其数据分布偏离了实际环境产生的数据，训练出来的模型的准确度较低，无法达到很好的效果。而本方案模拟真实视频数据生成过程获得样本视频数据，提供高质量的训练数据，且无需人工参与，能够在低成本、低人力的前提下，便可以收集训练所用的样本视频数据，同时可以提高模型训练的准确率和效率。
可选的，计算机设备在视频应用中播放多个视频素材组的具体方式可以包括：获取视频素材集合中所包含的视频素材信息对应的操作延时信息，以及操作状态信息。根据操作延时信息和操作状态信息，在视频应用中对多个视频素材组依次进行播放。
具体的，计算机设备可以获取视频素材集合中所包含的视频素材信息对应的操作延时信息以及操作状态信息，即在视频应用中播放视频组时实际产生的操作延时信息以及操作状态信息。在视频应用中对视频素材组依次进行播放时，可以根据视频素材信息对应的操作延时信息以及操作状态信息，模拟人的操作，还原视频数据产生的真实环境，可以提高样本视频数据的准确性。如，可以记录对视频素材信息进行操作时，鼠标的延时信息以及状态信息，这样，可以更准确还原产生视频噪点的真实环境，可以提高样本视频数据的准确性。采用较高准确性的样本视频数据对初始噪点识别模型进行训练，从而提高噪点识别模型的准确性。
如图8所示，图8是本申请实施例提供的一种生成样本视频数据方法的示意图，如图8所示，本方案可以适用于教育直播场景，可以通过本方案获取大量用于训练初始噪点识别模型的样本视频数据。如图8所示，S71，收集素材，可以根据需求收集素材，如可以收集大量的教育视频素材集合，可以准备大量PPT(演示文稿)、教育视频(如电影、试题解说视频等等)以及摄像设备。S72，建立课程，收集素材后，计算机设备可以模拟在线教育工具设定需要的课程，如设定课程类型(如数学、法学或者计算机技术等等)、设定课程时长等等，建立课程后，可以根据算法设定，对视频素材集合所包含的视频素材信息进行随机组合，得到多个视频素材组。可以随机选择视频素材组的类型，如数学类演示文稿和数学类电影进行组合，得到一个数学类视频素材组。得到多个视频素材组后，可以在视频应用中播放多个视频素材组，采用摄像设备对视频应用中所播放的对个视频素材组进行采集，得到样本视频数据。即得到多个视频素材组后，可以模拟人的上课操作完成上课课程，生成的多个视频素材组的内容是随机产生的，可以保证每次上课的内容不同。其中，由于不同类型的摄像设备所拍摄得到的视频像素可能也是不一样的，因此摄像设备的类型也可以不同，以便结合更多的环境因素，使得到的样本数据更加高质量且符合实际。S73，学习上课流程，多到多个视频素材组，可以根据预先获得的多个视频素材组在播放时，使用鼠标进行操作时的延时信息和状态信息，学习上课流程模拟人操作完成上课课程后，这样，可以更准确还原产生视频噪点的真实环境，可以提高样本视频数据的准确性。S74，生成在线数据，计算机设备模拟人操作完成上课课程便生成在线数据(即样本视频数据)，可以根据视频数据的地址信息获得用于训练初始噪点识别模型的样本视频数据。S75，随机选择素材，根据算法设定，对视频素材集合所包含的视频素材信息进行随机组合，得到多个视频素材组，再重复执行S73步骤和S74步骤，得到样本视频数据。S76，人工标注，可以对得到样本视频数据后，可以进行人工标注，获得样本视频数据中视频帧的标注信息。
S202，将样本视频数据输入至初始噪点识别模型，在初始噪点识别模型中获取样本视频数据对应的样本像素特征信息，根据样本像素特征信息获取样本视频数据对应的样本噪点识别结果。
具体的，计算机设备获得样本视频数据后，可以将样本视频数据输入初始噪点识别模型中，对样本视频数据进行特征提取，获取样本视频数据对应的样本像素特征信息。同样的，初始噪点识别模型可以采用深度神经网络结构，如Mnet网络结构、ResNet网络结构等等，ResNet网络结构是一种深度残差学习，对输入模型的性能做一个非线性变换，用于解决网络的性能随着深度的增加出现明显退化的问题。得到样本视频数据的样本特征信息后，根据样本视频数据对应的样本特征信息获取样本视频数据对应的样本噪点识别结果。即该样本噪点识别结果是指样本视频数据携带噪点，或者，样本视频数据未携带噪点。本申请实施例以Mnet网络结构的初始噪点识别模型为例，对Mnet网络结构的初始噪点识别模型进行训练，得到Mnet网络结构的噪点识别模型，该噪点识别模型用于获取视频应用中的视频数据是否存在视频噪点。Mnet网络结构的噪点识别模型对应的模型结构比较简单，可以实现对视频数据进行实时识别，且识别速度快，识别率较高。
S203，根据样本噪点识别结果与标注信息，对初始噪点识别模型中的网络参数进行修正。
具体的，计算机设备可以根据初始噪点识别模型得到样本噪点识别结果，以及样本视频数据的标注信息，对初始噪点识别模型中的网络参数进行修正。计算机设备可以计算样本视频数据的标注信息和样本视频数据的样本噪点识别结果之间的误差，根据该误差确定初始噪点识别模型对应的损失函数。根据初始噪点识别模型对应的损失函数，对初始噪点识别模型的网络参数进行修正。即若初始噪点识别函数对应的损失值满足收敛条件时，将满足收敛条的初始噪点识别模型确定为噪点识别模型。
其中，收敛条件可以为损失值小于预设阈值范围，或者，修正次数达到预设次数。具体的，计算机设备确定初始噪点识别模型的损失值是否满足收敛条件的具体方式可以包括：获取用于计算损失值的损失函数的最小取值，若损失值与最小值不相同，则确定损失值不满足收敛条件；或者，验证损失值是否小于预设损失阈值，若损失值大于或等于预设损失阈值，则确定损失值不满足收敛条件。若损失值不满足收敛条件，则确定损失值所属的损失程度，根据损失程度对初始噪点识别模型中的网络参数进行调整。如损失程度越大，则对初始噪点识别模型中的网络参数的调整越大；损失程度越小，则对噪点识别模型中的网络参数的调整越小。这样，基于损失值对初始噪点识别模型的网络参数进行调整，可以实现在初始噪点识别模型的识别错误程度越大时，进行更大程度的调整，进而提高初始噪点识别模型的收敛速度，提高训练效率，提高初始噪点识别模型训练的准确度。
S204，将包含修正后的网络参数的初始噪点识别模型确定为噪点识别模型。
具体的，计算机设备可以根据损失函数对初始噪点识别模型的网络参数进行修正，将包含修正后的网络参数的初始噪点识别模型确定为噪点识别模型。噪点识别模型用于获取视频应用中的视频数据所对应的噪点识别结果，噪点识别结果用于指示从携带噪点的视频数据中获取目标视频帧，目标视频帧用于对噪点识别模型进行更新处理。
在本申请实施例中，通过获取样本视频数据，该样本视频数据携带标注信息，将样本视频数据输入至初始噪点识别模型，在初始噪点识别模型中获取样本视频数据对应的样本像素特征信息，根据样本像素特征信息获取样本视频数据对应的样本噪点识别结果。根据样本噪点识别结果与标注信息，对初始噪点识别模型中的网络参数进行修正，将包含修正后的网络参数的初始噪点识别模型确定为噪点识别模型，该噪点识别模型用于获取视频应用中的视频数据所对应的噪点识别结果，噪点识别结果用于指示从携带噪点的视频数据中获取目标视频帧，目标视频帧用于对噪点识别模型进行更新处理。在本申请实施例中，通过模拟实际视频噪点产生的方式，生成样本视频数据，可以提高样本视频数据的准确性，从而提高噪点识别模型的准确度。
进一步地，请参见图9，图9是本申请实施例提供的一种视频噪点识别装置的结构示意图。该视频噪点识别处理装置1可以包括：第一获取模块11，生成模块12、第二获取模块13、更新处理模块14、显示模块15、第一确定模块16、第三获取模块17和分别识别模块18。
第一获取模块11，用于获取视频应用中的视频数据，在噪点识别模型中获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果；
生成模块12，用于若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息；
第二获取模块13，用于根据包含视频地址信息的警报信息，在视频数据中获取目标视频帧；
更新处理模块14，用于若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理。
其中，第一获取模块11包括：
划分单元1101，用于在视频应用中采集视频数据，将视频数据划分为N个视频帧；N为正整数；
第一获取单元1102，用于在N个视频帧中获取视频帧Ti，将视频帧Ti输入至噪点识别模型；
第二获取单元1103，用于根据噪点识别模型中的卷积组件，获取视频帧Ti对应的图像卷积特征；
第三获取单元1104，用于根据噪点识别模型中的残差组件，获取图像卷积特征对应的像素特征信息；
分类识别单元1105，用于根据噪点识别模型中的分类器，对像素特征信息进行分类识别；
第一确定单元1106，用于若在分类器中检测到视频帧Ti存在视频噪点，则确定视频数据对应的噪点识别结果为视频携带噪点结果。
其中，装置还包括：
显示模块15，用于显示在视频应用中显示目标视频帧；
第一确定模块16，用于响应针对目标视频帧的噪点结果添加操作，将噪点结果添加操作所确定的添加信息，确定为目标视频帧对应的审核结果。
其中，装置还包括：
第三获取模块17，用于将目标视频帧输入至噪点识别模型，在噪点识别模型中获取目标视频帧对应的目标像素信息；
分类识别模块18，用于根据噪点识别模型中的分类器，对目标像素信息进行分类识别，得到目标视频帧对应的预测结果。
在本申请实施例中，通过获取视频应用中的视频数据，在噪点识别模型中获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果。若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息，通过生成警报信息可以实时获取噪点识别模型识别到的携带视频噪点的视频数据，以便收集用于更新噪点识别模型的视频帧。根据包含视频地址信息的警报信息，在视频数据中获取目标视频帧。若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理。可见，当预测结果与审核结果不同时，则说明噪点识别模型不能准确识别该目标视频帧，则可以根据目标视频帧对噪点识别模型进行更新处理，可以提高噪点识别模型的准确度。同时，本方案中的噪点识别模型可以采用深度神经网络结构，可以让噪点识别模型更加简单，可以提高噪点识别模型的噪点识别速度。
进一步地，请参见图10，图10是本申请实施例提供的一种视频噪点识别装置的结构示意图。该视频噪点识别处理装置2可以包括：第四获取模块21，第五获取模块22、修正模块23、第二确定模块24。
第四获取模块21，用于获取样本视频数据；样本视频数据携带标注信息；
第五获取模块22，用于将样本视频数据输入至初始噪点识别模型，在初始噪点识别模型中获取样本视频数据对应的样本像素特征信息，根据样本像素特征信息获取样本视频数据对应的样本噪点识别结果；
修正模块23，用于根据样本噪点识别结果与标注信息，对初始噪点识别模型中的网络参数进行修正；
第二确定模块24，用于将包含修正后的网络参数的初始噪点识别模型确定为噪点识别模型；噪点识别模型用于获取视频应用中的视频数据所对应的噪点识别结果，噪点识别结果用于指示从携带噪点的视频数据中获取目标视频帧，目标视频帧用于对噪点识别模型进行更新处理。
其中，第四获取模块21包括：
第四获取单元2101，用于获取视频素材集合，对视频素材集合中所包含的视频素材信息进行随机组合，得到多个视频素材组；
采集单元2102，用于在视频应用中播放多个视频素材组，采用摄像设备对视频应用中所播放的多个视频素材组进行采集，得到样本视频数据。
其中，采集单元2102具体用于：
获取视频素材集合中所包含的视频素材信息对应的操作延时信息，以及操作状态信息；
根据操作延时信息和操作状态信息，在视频应用中对多个视频素材组依次进行播放。
其中，修正模块23包括：
第二确定单元2301，用于根据标注信息与样本噪点识别结果之间的误差，确定初始噪点识别模型对应的损失函数；
修正单元2302，用于根据损失函数，对初始噪点识别模型的网络参数进行修正。
在本申请实施例中，通过获取样本视频数据，该样本视频数据携带标注信息，将样本视频数据输入至初始噪点识别模型，在初始噪点识别模型中获取样本视频数据对应的样本像素特征信息，根据样本像素特征信息获取样本视频数据对应的样本噪点识别结果。根据样本噪点识别结果与标注信息，对初始噪点识别模型中的网络参数进行修正，将包含修正后的网络参数的初始噪点识别模型确定为噪点识别模型，该噪点识别模型用于获取视频应用中的视频数据所对应的噪点识别结果，噪点识别结果用于指示从携带噪点的视频数据中获取目标视频帧，目标视频帧用于对噪点识别模型进行更新处理。在本申请实施例中，通过模拟实际视频噪点产生的方式，生成样本视频数据，可以提高样本视频数据的准确性，从而提高噪点识别模型的准确度。
请参见图11，图11是本申请实施例提供的一种计算机设备的结构示意图。如图11所示，上述计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图11所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取视频应用中的视频数据，在噪点识别模型中获取视频数据对应的像素特征信息，根据像素特征信息获取视频数据对应的噪点识别结果；
若视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息；
根据包含视频地址信息的警报信息，在视频数据中获取目标视频帧；
若目标视频帧对应的预测结果与目标视频帧对应的审核结果不相同，则根据目标视频帧对噪点识别模型进行更新处理。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
在视频应用中采集视频数据，将视频数据划分为N个视频帧；N为正整数；
在N个视频帧中获取视频帧Ti，将视频帧Ti输入至噪点识别模型；
根据噪点识别模型中的卷积组件，获取视频帧Ti对应的图像卷积特征；
根据噪点识别模型中的残差组件，获取图像卷积特征对应的像素特征信息；
根据噪点识别模型中的分类器，对像素特征信息进行分类识别；
若在分类器中检测到视频帧Ti存在视频噪点，则确定视频数据对应的噪点识别结果为视频携带噪点结果。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
在视频应用中显示目标视频帧；
响应针对目标视频帧的噪点结果添加操作，将噪点结果添加操作所确定的添加信息，确定为目标视频帧对应的审核结果。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
将目标视频帧输入至噪点识别模型，在噪点识别模型中获取目标视频帧对应的目标像素信息；
根据噪点识别模型中的分类器，对目标像素信息进行分类识别，得到目标视频帧对应的预测结果。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取样本视频数据；样本视频数据携带标注信息；
将样本视频数据输入至初始噪点识别模型，在初始噪点识别模型中获取样本视频数据对应的样本像素特征信息，根据样本像素特征信息获取样本视频数据对应的样本噪点识别结果；
根据样本噪点识别结果与标注信息，对初始噪点识别模型中的网络参数进行修正；
将包含修正后的网络参数的初始噪点识别模型确定为噪点识别模型；噪点识别模型用于获取视频应用中的视频数据所对应的噪点识别结果，噪点识别结果用于指示从携带噪点的视频数据中获取目标视频帧，目标视频帧用于对噪点识别模型进行更新处理。可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取视频素材集合，对视频素材集合中所包含的视频素材信息进行随机组合，得到多个视频素材组；
在视频应用中播放多个视频素材组，采用摄像设备对视频应用中所播放的多个视频素材组进行采集，得到样本视频数据。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取视频素材集合中所包含的视频素材信息对应的操作延时信息，以及操作状态信息；
根据操作延时信息和操作状态信息，在视频应用中对多个视频素材组依次进行播放。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
根据标注信息与样本噪点识别结果之间的误差，确定初始噪点识别模型对应的损失函数；
根据损失函数，对初始噪点识别模型的网络参数进行修正。
应当理解，本申请实施例中所描述的计算机设备1000可执行前文图2或者图7所对应实施例中对上述视频噪点识别方法的描述，也可执行前文图9所对应实施例中对视频噪点识别装置1的描述，还可执行前文图10所对应实施例中对视频噪点识别装置2的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备可执行前文图2或者图7所对应实施例中对视频噪点识别方法的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
作为示例，上述程序指令可被部署在一个计算机设备上执行，或者被部署位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链网络。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁盘、光盘、只读存储器(Read-Only Memory，ROM)或随机存储器(Random Access Memory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种视频噪点识别方法，其特征在于，包括：
获取视频应用中的视频数据，在噪点识别模型中获取所述视频数据对应的像素特征信息，根据所述像素特征信息获取所述视频数据对应的噪点识别结果；
若所述视频数据对应的噪点识别结果为视频携带噪点结果，则生成包含视频地址信息的警报信息；
根据所述包含视频地址信息的警报信息，在所述视频数据中获取目标视频帧；
若所述目标视频帧对应的预测结果与所述目标视频帧对应的审核结果不相同，则根据所述目标视频帧对所述噪点识别模型进行更新处理。
2.根据权利要求1所述的方法，其特征在于，所述获取视频应用中的视频数据，在噪点识别模型中获取所述视频数据对应的像素特征信息，根据所述像素特征信息获取所述视频数据对应的噪点识别结果，包括：
在视频应用中采集视频数据，将所述视频数据划分为N个视频帧；N为正整数；
在所述N个视频帧中获取视频帧Ti，将所述视频帧Ti输入至所述噪点识别模型；
根据所述噪点识别模型中的卷积组件，获取所述视频帧Ti对应的图像卷积特征；
根据所述噪点识别模型中的残差组件，获取所述图像卷积特征对应的像素特征信息；
根据所述噪点识别模型中的分类器，对所述像素特征信息进行分类识别；
若在所述分类器中检测到所述视频帧Ti存在视频噪点，则确定所述视频数据对应的噪点识别结果为视频携带噪点结果。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述视频应用中显示所述目标视频帧；
响应针对所述目标视频帧的噪点结果添加操作，将所述噪点结果添加操作所确定的添加信息，确定为所述目标视频帧对应的审核结果。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述目标视频帧输入至所述噪点识别模型，在所述噪点识别模型中获取所述目标视频帧对应的目标像素信息；
根据所述噪点识别模型中的分类器，对所述目标像素信息进行分类识别，得到所述目标视频帧对应的预测结果。
5.一种视频噪点识别方法，其特征在于，包括：
获取样本视频数据；所述样本视频数据携带标注信息；
将所述样本视频数据输入至所述初始噪点识别模型，在所述初始噪点识别模型中获取所述样本视频数据对应的样本像素特征信息，根据所述样本像素特征信息获取所述样本视频数据对应的样本噪点识别结果；
根据所述样本噪点识别结果与所述标注信息，对所述初始噪点识别模型中的网络参数进行修正；
将包含修正后的网络参数的初始噪点识别模型确定为噪点识别模型；所述噪点识别模型用于获取视频应用中的视频数据所对应的噪点识别结果，所述噪点识别结果用于指示从携带噪点的视频数据中获取目标视频帧，所述目标视频帧用于对所述噪点识别模型进行更新处理。
6.根据权利要求5所述的方法，其特征在于，所述获取样本视频数据，包括：
获取视频素材集合，对所述视频素材集合中所包含的视频素材信息进行随机组合，得到多个视频素材组；
在视频应用中播放所述多个视频素材组，采用摄像设备对所述视频应用中所播放的所述多个视频素材组进行采集，得到样本视频数据。
7.根据权利要求6所述的方法，其特征在于，所述在视频应用中播放所述多个视频素材组，包括：
获取所述视频素材集合中所包含的视频素材信息对应的操作延时信息，以及操作状态信息；
根据所述操作延时信息和所述操作状态信息，在所述视频应用中对所述多个视频素材组依次进行播放。
8.根据权利要求5所述的方法，其特征在于，所述根据所述样本噪点识别结果与所述标注信息，对所述初始噪点识别模型中的网络参数进行修正，包括：
根据所述标注信息与所述样本噪点识别结果之间的误差，确定所述初始噪点识别模型对应的损失函数；
根据所述损失函数，对所述初始噪点识别模型的网络参数进行修正。
9.一种计算机设备，其特征在于，包括：处理器及存储器；
所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，所述处理器执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行权利要求1-7任一项所述的方法。
CN202110062543.6A 2021-01-18 2021-01-18 视频噪点识别方法、存储介质及设备 Active CN113573043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110062543.6A CN113573043B (zh) 2021-01-18 2021-01-18 视频噪点识别方法、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110062543.6A CN113573043B (zh) 2021-01-18 2021-01-18 视频噪点识别方法、存储介质及设备

Publications (2)

Publication Number Publication Date
CN113573043A true CN113573043A (zh) 2021-10-29
CN113573043B CN113573043B (zh) 2022-11-08

Family

ID=78160950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110062543.6A Active CN113573043B (zh) 2021-01-18 2021-01-18 视频噪点识别方法、存储介质及设备

Country Status (1)

Country Link
CN (1) CN113573043B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532833A (zh) * 2018-05-23 2019-12-03 北京国双科技有限公司 一种视频分析方法及装置
CN110781711A (zh) * 2019-01-21 2020-02-11 北京嘀嘀无限科技发展有限公司 目标对象识别方法、装置、电子设备及存储介质
CN112055230A (zh) * 2020-09-03 2020-12-08 北京中润互联信息技术有限公司 一种直播监控方法、装置、计算机设备及可读存储介质
CN112183289A (zh) * 2020-09-22 2021-01-05 北京金山云网络技术有限公司 一种花屏检测方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532833A (zh) * 2018-05-23 2019-12-03 北京国双科技有限公司 一种视频分析方法及装置
CN110781711A (zh) * 2019-01-21 2020-02-11 北京嘀嘀无限科技发展有限公司 目标对象识别方法、装置、电子设备及存储介质
CN112055230A (zh) * 2020-09-03 2020-12-08 北京中润互联信息技术有限公司 一种直播监控方法、装置、计算机设备及可读存储介质
CN112183289A (zh) * 2020-09-22 2021-01-05 北京金山云网络技术有限公司 一种花屏检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113573043B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN111260545B (zh) 生成图像的方法和装置
CN111476871B (zh) 用于生成视频的方法和装置
CN111275784B (zh) 生成图像的方法和装置
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN112819686B (zh) 基于人工智能的图像风格处理方法、装置及电子设备
CN112215171B (zh) 目标检测方法、装置、设备及计算机可读存储介质
US20220237917A1 (en) Video comparison method and apparatus, computer device, and storage medium
EP4290448A1 (en) Image generation model training method, generation method, apparatus, and device
CN112149642A (zh) 一种文本图像识别方法和装置
CN113313215B (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN113821668A (zh) 数据分类识别方法、装置、设备及可读存储介质
CN116309992A (zh) 一种智能元宇宙直播人物生成方法、设备和存储介质
CN113706577A (zh) 一种图像处理方法、装置和计算机可读存储介质
CN111597361B (zh) 多媒体数据处理方法、装置、存储介质及设备
CN110570375A (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN114339362A (zh) 视频弹幕匹配方法、装置、计算机设备和存储介质
CN113572981B (zh) 视频配乐方法及装置、电子设备、存储介质
CN116935170B (zh) 视频处理模型的处理方法、装置、计算机设备和存储介质
CN113573043B (zh) 视频噪点识别方法、存储介质及设备
CN117009577A (zh) 一种视频数据处理方法、装置、设备及可读存储介质
CN116415019A (zh) 虚拟现实vr图像识别方法及装置、电子设备、存储介质
CN113822521A (zh) 题库题目的质量检测方法、装置及存储介质
CN114332678A (zh) 数据处理方法、装置、存储介质及设备
CN113850828B (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
CN117196957B (zh) 基于人工智能的图像分辨率转换方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant