CN114742992A - 视频异常检测方法、装置和电子设备 - Google Patents

视频异常检测方法、装置和电子设备 Download PDF

Info

Publication number
CN114742992A
CN114742992A CN202210363281.1A CN202210363281A CN114742992A CN 114742992 A CN114742992 A CN 114742992A CN 202210363281 A CN202210363281 A CN 202210363281A CN 114742992 A CN114742992 A CN 114742992A
Authority
CN
China
Prior art keywords
picture
video
video data
detection model
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210363281.1A
Other languages
English (en)
Inventor
郭春磊
牛俊慧
李�荣
罗小伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Tianjin Co Ltd
Original Assignee
Spreadtrum Communications Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Tianjin Co Ltd filed Critical Spreadtrum Communications Tianjin Co Ltd
Priority to CN202210363281.1A priority Critical patent/CN114742992A/zh
Publication of CN114742992A publication Critical patent/CN114742992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例涉及自动化技术领域，尤其涉及一种视频异常检测方法、装置和电子设备。其中，上述视频异常检测方法包括：采集终端设备的视频数据；将所述视频数据输入画面质量检测模型，所述画面质量检测模型用于确定所述视频数据是否存在画面异常区域并输出画面异常结果；将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定所述视频数据是否存在卡顿并输出卡顿检测结果；将所述画面异常结果和所述卡顿检测结果发送给目标处理设备。本发明实施例中采用一种自动化的视频异常检测方法，改善了手机类电子产品视频播放老化测试的效率。

Description

视频异常检测方法、装置和电子设备
【技术领域】
本发明实施例涉及自动化技术领域，尤其涉及一种视频异常检测方法、装置和电子设备。
【背景技术】
智能手机等电子产品在研发过程的整个周期内需要做非常严格且繁杂的测试，这些测试一部分短时间即可完成，而有的测试则需要花费大量时间。目前一种方式是测试人员专职长时间去观察手机的反应；另一种方式是采用一台摄像机去拍摄记录整个测试过程，测试人员适量选取一些拍摄的视频片段，检查被测设备在整个测试过程中是否存在异常。以上两种方式存在漏检的风险，且效率不高。
因此，如何提高视频异常检测的效率成为亟待解决的问题。
【发明内容】
本发明实施例提供了一种视频异常监测方法、装置和电子设备，目的是改善手机类电子产品视频播放老化测试的效率。
第一方面，本发明实施例提供一种视频异常监测方法，包括：
采集终端设备的视频数据；
将所述视频数据输入画面质量检测模型，所述画面质量检测模型用于确定所述视频数据是否存在画面异常区域并输出画面异常结果；
将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定所述视频数据是否存在卡顿并输出卡顿检测结果；
将所述画面异常结果和所述卡顿检测结果发送给目标处理设备。
其中一种可能的实现方式中，所述视频数据中包含多个视频帧；将所述视频数据输入画面质量检测模型，所述画面质量检测模型用于确定所述视频数据是否存在画面异常区域并输出画面异常结果，包括：
将所述视频数据的各个视频帧输入所述画面质量检测模型，所述画面质量检测模型用于：
识别每个所述视频帧的感兴趣区域；
根据每个所述视频帧的感兴趣区域，确定每个所述视频帧包含的对象特征；
将每个所述视频帧的所述对象特征与样本特征进行比对；
根据所述比对的结果，确定各个所述视频帧的画面异常区域。
其中一种可能的实现方式中，所述画面质量检测模型包括多层卷积子网络、分类子网络和回归子网络；所述根据每个所述视频帧的感兴趣区域，确定每个所述视频帧包含的对象特征，包括：
所述多层卷积子网络获取所述每个视频帧的感兴趣区域的图像信息和边界框信息；
所述分类子网络基于所述每个视频帧的感兴趣区域的图像信息确定每个视频帧的感兴趣区域所含对象的类别；
所述回归子网络基于所述边界框信息确定所述视频帧的感兴趣区域所含对象的位置坐标，所述类别与位置坐标即均为所述每个所述视频帧包含的对象特征。
其中一种可能的实现方式中，将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定所述视频数据是否存在卡顿并输出卡顿检测结果，包括；
将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定第一时间窗的第i个视频帧与第一个视频帧的像素差值，得到M-1个像素值差值，i取值为2、3、……M，所述第一时间窗的长度为M个视频帧；
将所述M-1个像素值差值进行累加，并判断累加所得的数值是否小于预设阈值；
如果累加所得的数值小于所述预设阈值，则确定所述视频数据存在卡顿并输出卡顿检测结果。
其中一种可能的实现方式中，将所述画面异常结果和所述卡顿检测结果发送给目标处理设备之后，还包括：
判断所述视频数据的时间长度是否达到预设检测时间；
如果所述视频数据的时间长度达到预测检测时间，则停止异常检测；
否则，继续采集终端设备的视频数据进行异常检测。
其中一种可能的实现方法中，将所述视频数据输入画面质量检测模型之前，还包括：
通过异常样本与正常样本组成的数据集对画面质量检测模型进行训练，所述异常样本为实际工程实践所得样本，所述正常样本为从视频画面素材库中提取的样本。
本发明实施例提出一种自动化的视频异常检测方法，用以改善手机类电子产品视频播放老化测试的效率。
第二方面，本发明实施例提供一种视频异常检测装置，包括：
采集模块，用于采集终端设备的视频数据；
第一输入模块，用于将所述视频数据输入画面质量检测模型，所述画面质量检测模型用于确定所述视频数据是否存在画面异常区域并输出画面异常结果；
第二输入模块，用于将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定所述视频数据是否存在卡顿并输出卡顿检测结果；
发送模块，用于将所述画面异常结果和所述卡顿检测结果发送给目标处理设备。
其中一种可能的实现方式中，所述视频数据中包含多个视频帧；所述第一输入模块，具体用于将所述视频数据的各个视频帧输入所述画面质量检测模型，所述画面质量检测模型具体用于：
识别每个所述视频帧的感兴趣区域；
根据每个所述视频帧的感兴趣区域，确定每个所述视频帧包含的对象特征；
将每个所述视频帧的所述对象特征与样本特征进行比对；
根据所述比对的结果，确定各个所述视频帧的画面异常区域。
其中一种可能的实现方式中，所述画面质量检测模型包括多层卷积子网络、分类子网络和回归子网络；所述画面质量检测模型，还具体用于所述多层卷积子网络获取所述每个视频帧的感兴趣区域的图像信息和边界框信息；
所述分类子网络基于所述每个视频帧的感兴趣区域的图像信息确定每个视频帧的感兴趣区域所包含对象的类别；
所述回归子网络基于所述边界框信息确定所述视频帧的感兴趣区域所包含对象的位置坐标，所述类别与位置坐标即均为所述每个所述视频帧包含的对象特征。
其中一种可能的实现方式中，所述第二输入模型，具体用于将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定第一时间窗的第i个视频帧与第一个视频帧的像素差值，得到M-1个像素值差值，i取值为2、3、……M，所述第一时间窗的长度为M个视频帧；
将所述M-1个像素值差值进行累加，并判断累加所得的数值是否小于预设阈值；
如果累加所得的数值小于所述预设阈值，则确定所述视频数据存在卡顿并输出卡顿检测结果。
其中一种可能的实现方式中，还包括：判断模块，用于判断所述视频数据的时间长度是否达到预设检测时间；
停止监测模块，用于如果所述视频数据的时间长度达到预测检测时间，则停止异常检测；
检测模块，用于否则，继续采集终端设备的视频数据进行异常检测。
其中一种可能的实现方式中，还包括：训练模块，用于通过异常样本与正常样本组成的数据集对画面质量检测模型进行训练，所述异常样本为实际工程实践所得样本，所述正常样本为从视频画面素材库中提取的样本。
第三方面，本发明实施例提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面提供的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的方法。
应当理解的是，本发明的第二～第四方面与本发明的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种视频异常检测方法的流程图；
图2为本发明实施例提供的一种视频异常监测装置的结构示意图；
图3为本发明电子设备一个实施例的结构示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
本发明实施例为了实现自动化检测视频是否存在异常，提出了一种视频异常检测方法。图1为本发明实施例提供的一种视频异常检测方法的流程图，如图1所示，上述视频异常检测方法可以包括：
步骤101，采集终端设备的视频数据。
在一些实施例中，实时采集被检测的终端设备的视频数据，视频数据中包含多个视频帧。
步骤102，将所述视频数据输入画面质量检测模型，所述画面质量检测模型用于确定所述视频数据是否存在画面异常区域并输出画面异常结果。
在一些实施例中，画面质量检测模型采用目标检测算法，对视频数据中每个视频帧内的可能存在的物体进行识别并确定物体的所属类别和位置信息。然后根据与相同类别的样本信息进行比对，确定每个视频帧内的画面异常区域。
具体地，通过异常样本与正常样本组成的数据集对画面质量检测模型进行训练，所述异常样本为实际工程实践所得样本，所述正常样本为从视频画面素材库中提取的样本。
在使用模型之前，需要对模型进行训练学习。通过从实际工程实践所得到的异常样本和从海量视频画面素材库中所得到的正常样本对模型进行训练学习，使此模型可以实现画面质量异常检测。
具体地，画面质量检测模型用于：识别每个所述视频帧的感兴趣区域；根据每个所述视频帧的感兴趣区域，确定每个所述视频帧包含的对象特征；将每个所述视频帧的所述对象特征与样本特征进行比对；根据所述比对的结果，确定所述各个所述视频帧的画面异常区域。
画面质量检测模型用于识别视频数据中的每个视频帧的感兴趣区域，每个感兴趣区域内可能包含物体。获取每个感兴趣区域的对象特征以与样本特征进行比对，如果对象特征相比于样本特征存在不同，则可确定视频帧中的感兴趣区域为画面异常区域。画面异常区域所存在的画面质量异常包括花屏、绿屏、马赛克等。
具体地，所述画面质量检测模型包括多层卷积子网络、分类子网络和回归子网络；根据每个所述视频帧的感兴趣区域，确定每个所述视频帧包含的对象特征，包括：所述多层卷积子网络获取所述每个视频帧的感兴趣区域的图像信息和边界框信息；所述分类子网络基于所述每个视频帧的感兴趣区域的图像信息确定每个视频帧的感兴趣区域所包含对象的类别；所述回归子网络基于所述边界框信息确定所述视频帧的感兴趣区域所包含对象的位置坐标，所述类别与位置坐标均为所述每个所述视频帧包含的对象特征。
画面质量检测模型包括多层卷积子网络、分类子网络和回归子网络，将每个视频帧的每个感兴趣区域合并在一起，并输入至画面质量检测模型的多层卷积子网络，多层卷积子网络可以获取每个感兴趣区域的图像信息和边界框信息。随后将感兴趣区域的图像信息输入分类子网络，分类子网络可以根据图像信息对感兴趣区域内的对象进行分类，得到每个对象的所属类别。回归子网络根据感兴趣区域的边界框信息，获取边界框的具体坐标，即可确定感兴趣区域所含对象的位置。其中，每个视频帧的感兴趣区域所含对象的所属类别和位置坐标即为每个视频帧的对象特征。
步骤103，将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定所述视频数据是否存在卡顿并输出卡顿检测结果。
在一些实施例中，画面卡顿指的是视频画面未按预期的帧率刷新的异常故障，可能是由于网络原因造成的视频数据接收不流畅，也可能是手机出现其他故障，造成无法正常播放视频。通过计算一定时间窗口内第一帧与后续帧的像素值差异，并累加差值。对最终的差值和与预设阈值进行比较，判定画面是否存在卡顿。
具体地，将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定第一时间窗的第i个视频帧与第一个视频帧的像素差值，得到M-1个像素值差值，i取值为2、3、……M，所述第一时间窗的长度为M个视频帧；将所述M-1个像素值差值进行累加，并判断累加所得的数值是否小于预设阈值；如果累加所得的数值小于所述预设阈值，则确定所述视频数据存在卡顿并输出卡顿检测结果。
第一时间窗包含M个视频帧，通过画面卡顿检测模型确定第一个视频帧和后续的M-1个视频帧，计算一定时间窗口内第一个视频帧与后续M-1个视频帧中第i个视频帧的像素值差异，得到M-1个差值并相加。计算公式如下：
Figure BDA0003584783290000081
其中，sum为M-1个差值累加所得数值，F0为第一个视频帧的像素值，Fi为第一个视频帧之后的第i个视频帧的像素值。
如果计算得到的差值累加所得到的数值小于预设预设阈值，则可判定画面存在卡顿。
步骤104，将所述画面异常结果和所述卡顿检测结果发送给目标处理设备。
在一些实施例中，如果视频画面存在画面质量异常或画面卡顿异常，又或是两种异常同时存在，则将画面异常结果或/和卡顿检测结果发送给目标处理设备供检测人员对异常结果进行分析。
具体地，将所述画面异常结果和所述卡顿检测结果发送给目标处理设备之后，还包括：判断所述视频数据的时间长度是否达到预设检测时间；如果所述所述视频数据的时间长度达到预测检测时间，则停止异常检测；否则，继续采集终端设备的视频数据进行异常检测。
当将异常结果发送给目标处理设备之后，需要判断视频数据的时间长度是否达到预设检测时间，如果没达到预设检测时间，则继续采集视频数据进行检测；否则，停止检测。
图2为本发明实施例提供的一种视频异常检测装置的结构示意图，如图2所示，上述视频异常检测装置200包括：采集模块201、第一输入模块202、第二输入模块203和发送模块204。其中，采集模块201用于采集终端设备的视频数据。第一输入模块202用于将所述视频数据输入画面质量检测模型，所述画面质量检测模型用于确定所述视频数据是否存在画面异常区域并输出画面异常结果。第二输入模块203用于将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定所述视频数据是否存在卡顿并输出卡顿检测结果。发送模块204用于将所述画面异常结果和所述卡顿检测结果发送给目标处理设备。
在本发明上述实施例中，可选地，所述视频数据中包含多个视频帧；所述第一输入模块202，具体用于将所述视频数据的各个视频帧输入所述画面质量检测模型，所述画面质量检测模型用于：识别每个所述视频帧的感兴趣区域；根据每个所述视频帧的感兴趣区域，确定每个所述视频帧包含的对象特征；将每个所述视频帧的所述对象特征与样本特征进行比对；根据所述比对的结果，确定各个所述视频帧的画面异常区域。
在本发明上述实施例中，可选地，所述画面质量检测模型包括多层卷积子网络、分类子网络和回归子网络；所述画面质量检测模型，还具体用于所述多层卷积子网络获取所述每个视频帧的感兴趣区域的图像信息和边界框信息；所述分类子网络基于所述每个视频帧的感兴趣区域的图像信息确定每个视频帧的感兴趣区域所包含对象的类别；所述回归子网络基于所述边界框信息确定所述视频帧的感兴趣区域所包含对象的位置坐标，所述类别与位置坐标即均为所述每个所述视频帧包含的对象特征。
在本发明上述实施例中，可选地，所述第二输入模型，具体用于将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定第一时间窗的第i个视频帧与第一个视频帧的像素差值，得到M-1个像素值差值，i取值为2、3、……M，所述第一时间窗的长度为M个视频帧；将所述M-1个像素值差值进行累加，并判断累加所得的数值是否小于预设阈值；如果累加所得的数值小于所述预设阈值，则确定所述视频数据存在卡顿并输出卡顿检测结果。
在本发明上述实施例中，可选地，还包括：判断模块，用于判断所述视频数据时间长度是否达到预设检测时间；停止监测模块，用于如果所述视频数据时间长度达到预设检测时间，则停止异常检测；检测模块，用于否则，继续采集终端设备的视频数据进行异常检测。
在本发明上述实施例中，可选地，还包括：训练模块，用于通过异常样本与正常样本组成的数据集对画面质量检测模型进行训练，所述异常样本为实际工程实践所得样本，所述正常样本为从视频画面素材库中提取的样本。
图3为本发明电子设备一个实施例的结构示意图，如图3所示，上述电子设备可以包括至少一个处理器；以及与上述处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，上述处理器调用上述程序指令能够执行本发明图1所示实施例提供的视频异常检测方法。
图3示出了适于用来实现本发明实施方式的示例性电子设备的框图。图3显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器410，存储器430，连接不同系统组件(包括存储器430和处理单元410)的通信总线440。
通信总线440表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器430可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)和/或高速缓存存储器。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器430可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器430中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本发明所描述的实施例中的功能和/或方法。
处理器410通过运行存储在存储器430中的程序，从而执行各种功能应用以及数据处理，例如实现本发明图1所示实施例提供的视频异常检测方法。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本发明图1所示实施例提供的视频异常检测方法。
上述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnly Memory；以下简称：ROM)、可擦式可编程只读存储器(Erasable Programmable ReadOnly Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network；以下简称：LAN)或广域网(Wide Area Network；以下简称：WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本发明中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本发明中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是，本发明实施例中所涉及的终端可以包括但不限于个人计算机(Personal Computer；以下简称：PC)、个人数字助理(Personal Digital Assistant；以下简称：PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、MP3播放器、MP4播放器等。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种视频异常检测方法，其特征在于，所述方法包括：
采集终端设备的视频数据；
将所述视频数据输入画面质量检测模型，所述画面质量检测模型用于确定所述视频数据是否存在画面异常并输出画面异常结果；
将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定所述视频数据是否存在卡顿并输出卡顿检测结果；
将所述画面异常结果和所述卡顿检测结果发送给目标处理设备。
2.根据权利要求1所述的方法，其特征在于，所述视频数据包含多个视频帧；将所述视频数据输入画面质量检测模型，所述画面质量检测模型用于确定所述视频数据是否存在画面异常并输出画面异常结果，包括：
将所述视频数据的各个视频帧输入所述画面质量检测模型，所述画面质量检测模型用于：
识别每个所述视频帧的感兴趣区域；
根据每个所述视频帧的感兴趣区域，确定每个所述视频帧包含的对象特征；
将每个所述视频帧的所述对象特征与样本特征进行比对；
根据所述比对的结果，确定各个所述视频帧的画面异常区域。
3.根据权利要求2所述的方法，其特征在于，所述画面质量检测模型包括多层卷积子网络、分类子网络和回归子网络；所述根据每个所述视频帧的感兴趣区域，确定每个所述视频帧包含的对象特征，包括：
所述多层卷积子网络获取所述每个视频帧的感兴趣区域的图像信息和边界框信息；
所述分类子网络基于所述每个视频帧的感兴趣区域的图像信息确定每个视频帧的感兴趣区域所包含对象的类别；
所述回归子网络基于所述边界框信息确定所述视频帧的感兴趣区域所包含对象的位置坐标，所述类别与位置坐标即均为所述每个所述视频帧包含的对象特征。
4.根据权利要求1所述的方法，其特征在于，将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定所述视频数据是否存在卡顿并输出卡顿检测结果，包括；
将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定第一时间窗的第i个视频帧与第一个视频帧的像素差值，得到M-1个像素值差值，i取值为2、3、……M，所述第一时间窗的长度为M个视频帧；
将所述M-1个像素值差值进行累加，并判断累加所得的数值是否小于预设阈值；
如果累加所得的数值小于所述预设阈值，则确定所述视频数据存在卡顿并输出卡顿检测结果。
5.根据权利要求1所述的方法，其特征在于，将所述画面异常结果和所述卡顿检测结果发送给目标处理设备之后，还包括：
判断所述视频数据的时间长度是否达到预设检测时间；
如果所述视频数据的时间长度达到预测检测时间，则停止异常检测；
否则，继续采集终端设备的视频数据进行异常检测。
6.根据权利要求1所述的方法，其特征在于，将所述视频数据输入画面质量检测模型之前，还包括：
通过异常样本与正常样本组成的数据集对画面质量检测模型进行训练，所述异常样本为实际工程实践所得样本，所述正常样本为从视频画面素材库中提取的样本。
7.一种视频异常检测装置，其特征在于，包括：
采集模块，用于采集终端设备的视频数据；
第一输入模块，用于将所述视频数据输入画面质量检测模型，所述画面质量检测模型用于确定所述视频数据是否存在画面异常区域并输出画面异常结果；
第二输入模块，用于将所述视频数据输入画面卡顿检测模型，所述画面卡顿检测模型用于确定所述视频数据是否存在卡顿并输出卡顿检测结果；
发送模块，用于将所述画面异常结果和所述卡顿检测结果发送给目标处理设备。
8.根据权利要求7所述的方法，其特征在于，所述视频数据中包含多个视频帧；所述第一输入模块，具体用于将所述视频数据的各个视频帧输入所述画面质量检测模型，所述画面质量检测模型具体用于：
识别每个所述视频帧的感兴趣区域；
根据每个所述视频帧的感兴趣区域，确定每个所述视频帧包含的对象特征；
将每个所述视频帧的所述对象特征与样本特征进行比对；
根据所述比对的结果，确定所述视频数据中的异常区域。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
CN202210363281.1A 2022-04-07 2022-04-07 视频异常检测方法、装置和电子设备 Pending CN114742992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210363281.1A CN114742992A (zh) 2022-04-07 2022-04-07 视频异常检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210363281.1A CN114742992A (zh) 2022-04-07 2022-04-07 视频异常检测方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN114742992A true CN114742992A (zh) 2022-07-12

Family

ID=82279165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210363281.1A Pending CN114742992A (zh) 2022-04-07 2022-04-07 视频异常检测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114742992A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116723350A (zh) * 2023-05-11 2023-09-08 广州道然信息科技有限公司 一种自动捕捉画面防干扰的方法
CN117061825A (zh) * 2023-10-12 2023-11-14 深圳云天畅想信息科技有限公司 流媒体视频坏帧检测方法、装置及计算机设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116723350A (zh) * 2023-05-11 2023-09-08 广州道然信息科技有限公司 一种自动捕捉画面防干扰的方法
CN116723350B (zh) * 2023-05-11 2024-05-31 广州道然信息科技有限公司 一种自动捕捉画面防干扰的方法
CN117061825A (zh) * 2023-10-12 2023-11-14 深圳云天畅想信息科技有限公司 流媒体视频坏帧检测方法、装置及计算机设备
CN117061825B (zh) * 2023-10-12 2024-01-26 深圳云天畅想信息科技有限公司 流媒体视频坏帧检测方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN107509107B (zh) 视频播放故障的检测方法、装置及设备、可读介质
CN114742992A (zh) 视频异常检测方法、装置和电子设备
CN111292327B (zh) 机房巡检方法、装置、设备及存储介质
CN109901996A (zh) 辅助测试的方法、装置、电子设备及可读存储介质
CN108156452B (zh) 一种检测传感器的方法、装置、设备及存储介质
CN113780163B (zh) 一种页面加载时间的检测方法、装置、电子设备及介质
CN116527879A (zh) 机顶盒测试方法、装置、介质和计算机装置
CN113255516A (zh) 活体检测方法、装置和电子设备
CN114996103A (zh) 页面异常检测方法、装置、电子设备和存储介质
CN114003473A (zh) 一种页面操作行为的回溯方法、装置及电子设备
CN113138916B (zh) 基于标注样本的图片结构化算法的自动测试方法及系统
CN111274130A (zh) 一种自动化测试方法、装置、设备及存储介质
CN116467110B (zh) 一种平板电脑的损坏检测方法及系统
CN111897672A (zh) 处理终端异常的方法、装置、终端和存储介质
CN115904883B (zh) 一种rpa流程执行可视化异常监控方法、装置及介质
CN110134601A (zh) 一种软件压测覆盖率测量方法、系统、介质和电子设备
CN115426534A (zh) 视频流质量检测方法、装置、设备及存储介质
CN112286808B (zh) 应用程序的测试方法、装置、电子设备及介质
CN113916567A (zh) 检测设备的方法、装置、电子设备、及存储介质
CN111124862A (zh) 智能设备性能测试方法、装置及智能设备
CN112770080A (zh) 一种抄表方法、抄表装置及电子设备
CN112783763B (zh) 软件质量检测方法、装置、电子设备以及存储介质
CN114173194B (zh) 页面流畅度的检测方法、装置、服务器和存储介质
CN111291901B (zh) 后门样本的检测方法、装置和电子设备
CN114116425A (zh) 一种应用程序卡顿的检测方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination