CN116189063B - 一种用于智能视频监控的关键帧优化方法及装置 - Google Patents

一种用于智能视频监控的关键帧优化方法及装置 Download PDF

Info

Publication number
CN116189063B
CN116189063B CN202310445243.5A CN202310445243A CN116189063B CN 116189063 B CN116189063 B CN 116189063B CN 202310445243 A CN202310445243 A CN 202310445243A CN 116189063 B CN116189063 B CN 116189063B
Authority
CN
China
Prior art keywords
key frame
frame image
extraction model
jump
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310445243.5A
Other languages
English (en)
Other versions
CN116189063A (zh
Inventor
汤云祥
朱广
李宝金
徐晋超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Runbangzeye Information Technology Co ltd
Original Assignee
Qingdao Runbangzeye Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Runbangzeye Information Technology Co ltd filed Critical Qingdao Runbangzeye Information Technology Co ltd
Priority to CN202310445243.5A priority Critical patent/CN116189063B/zh
Publication of CN116189063A publication Critical patent/CN116189063A/zh
Application granted granted Critical
Publication of CN116189063B publication Critical patent/CN116189063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能运算技术领域，特别是涉及一种用于智能视频监控的关键帧优化方法及装置。所述方法包括：获取监控视频文件，提取出关键帧图像；对所述关键帧图像进行处理，得到所述关键帧图像的深层特征；基于所述深层特征对所述关键帧图像进行标注，存储并记录标注后的所述关键帧图像；获取历史监控视频数据；将所述关键帧图像集与所述常规帧图像集进行对照，得到用于区分所述关键帧图像与常规帧图像的焦点特征；构建生成对抗网络模型，基于所述焦点特征以及所述历史监控视频数据生成用于训练所述关键帧提取模型的第一训练集。采用本方法能够扩大关键帧提取模型训练中的可靠样本的数量，从而提高关键帧提取模型的图像提取准确度。

Description

一种用于智能视频监控的关键帧优化方法及装置
技术领域
本申请涉及人工智能运算技术领域，特别是涉及一种用于智能视频监控的关键帧优化方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
视频监控（Cameras and Surveillance）是安全防范系统的重要组成部分。传统的监控系统通常包括前端摄像机、传输线缆、视频监控平台等。其中，摄像头可分为网络数字摄像机和模拟摄像机，可作为前端视频图像信号的采集工具；传输线缆用于实现前端摄像机与视频监控平台之间的信息沟通；视频监控平台用于实现对监控对象的状态判断和数据记录、存储等工作。视频监控作为一种防范能力较强的综合系统，以其直观、准确、及时和信息内容丰富而被广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展，在功能上，也发展出了能够对图像进行自动识别、存储和自动报警的智能功能。
随着人工智能的快速发展，基于机器学习的神经网络模型可以被用于在各类信息识别的场景中，相应的也能应用在对监控视频中的异常情况的检测和记录中。对监控视频中的异常检测中，神经网络模型需要对监控视频中的每一帧图像逐一进行异常判别并输出结果，但是监控视频数据的整体数据量较大，通过神经网络模型进行检测时所需的算力支持的负担较大，且运算效率也较低，难以高效精准地进行智能视频监控工作。
目前，为了提高智能视频监控的效率，通常在智能视频监控中利用对象识别技术来提取监控视频中的关键帧，并基于从监控视频中提取出的关键帧进行分析，从而得以降低智能视频监控中的整体计算量，提高计算的效率和精准度。
然而，目前的智能视频监控中的关键帧提取方法，存在如下的技术问题：
目前的关键帧提取方法依赖于在模型训练过程中人工标注的已知信息，导致关键帧提取模型的训练样本较少，容易出现难以精确识别及提取监控视频中关键帧的情况，导致智能视频监控的效果差的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够扩大关键帧提取模型训练中的可靠样本的数量，从而提高关键帧提取模型的图像提取准确度的一种用于智能视频监控的关键帧优化方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种用于智能视频监控的关键帧优化方法。所述方法包括：
获取监控视频文件，将所述监控视频文件输入预训练得到的关键帧提取模型，提取出所述监控视频文件中的关键帧图像；
调用预设的图像识别算法对所述关键帧图像进行处理，得到所述关键帧图像的深层特征，所述深层特征用于描述所述关键帧图像中所包含的事件信息；
基于所述深层特征对所述关键帧图像进行标注，存储并记录标注后的所述关键帧图像；
所述将所述监控视频文件输入预训练得到的关键帧提取模型，提取出所述监控视频文件中的关键帧图像之前，还包括：
获取历史监控视频数据，所述历史监控视频数据包括关键帧图像集以及常规帧图像集；
将所述关键帧图像集与所述常规帧图像集进行对照，得到用于区分所述关键帧图像与常规帧图像的焦点特征；
构建生成对抗网络模型，基于所述焦点特征以及所述历史监控视频数据生成用于训练所述关键帧提取模型的第一训练集。
在其中一个实施例中，所述构建生成对抗网络模型，基于所述焦点特征以及所述历史监控视频数据生成用于训练所述关键帧提取模型的第一训练集之后，还包括：
构建神经网络模型，基于所述第一训练集将所述神经网络模型训练至收敛，得到初始关键帧提取模型；
基于所述历史监控视频数据对所述初始关键帧提取模型进行训练，得到模型参数微调后的次级关键帧提取模型；
利用所述第一训练集对所述次级关键帧提取模型进行验证，获取所述次级关键帧提取模型输出的所述关键帧图像以及所述关键帧图像对应的置信度；
在所述第一训练集中去除所述置信度处于伪样本区间内的样本，得到第二训练集，所述伪样本区间包括概率上限以及概率下限，所述概率上限用于标注极真样本，所述概率下限用于标注极伪样本。
在其中一个实施例中，所述在所述第一训练集中去除所述置信度处于伪样本区间内的样本，得到第二训练集之后，还包括：
基于所述第二训练集对所述次级关键帧提取模型进行训练，得到第二关键帧提取模型；
在所述第二关键帧提取模型中随机插入若干个成对的跳跃指针，成对的所述跳跃指针分别设于所述第二关键帧提取模型中运算单元的输入端以及输出端，所述跳跃指针用于在数据输入运算单元前拦截数据并跳过所述运算单元，直接由相关联的所述跳跃指针处输出；
对所述跳跃指针进行筛选，得到目标跳跃指针，删除所述第二关键帧提取模型中的所述目标跳跃指针以外的剩余跳跃指针，得到关键帧提取模型。
在其中一个实施例中，所述对所述跳跃指针进行筛选，得到目标跳跃指针，删除所述第二关键帧提取模型中的所述目标跳跃指针以外的剩余跳跃指针，得到关键帧提取模型包括：
逐对激活所述第二关键帧提取模型中的成对的所述跳跃指针，利用所述第二训练集测试所述第二关键帧提取模型在不同的跳跃指针对激活时的鲁棒性；
选取出所述鲁棒性高于预设的筛选阈值的所述跳跃指针对作为所述目标跳跃指针。
在其中一个实施例中，所述获取监控视频文件，将所述监控视频文件输入预训练得到的关键帧提取模型，提取出所述监控视频文件中的关键帧图像之后，还包括：
在所述监控视频文件中获取在所述关键帧图像的时间轴节点预设范围内的目标常规帧图像，将所述目标常规帧图像标记为所述关键帧图像的补充帧图像；
应用所述补充帧图像辅助所述关键帧图像的标注。
在其中一个实施例中，所述应用所述补充帧图像辅助所述关键帧图像的标注之前，还包括：
对所述补充帧图像进行相似度识别，择一保留所述相似度高于预设的相似阈值的重复的所述补充帧图像。
第二方面，本申请还提供了一种用于智能视频监控的关键帧优化装置。所述装置包括：
关键帧图像提取模块，用于获取监控视频文件，将所述监控视频文件输入预训练得到的关键帧提取模型，提取出所述监控视频文件中的关键帧图像；
图像特征提取模块，用于调用预设的图像识别算法对所述关键帧图像进行处理，得到所述关键帧图像的深层特征，所述深层特征用于描述所述关键帧图像中所包含的事件信息；
图像标注模块，用于基于所述深层特征对所述关键帧图像进行标注，存储并记录标注后的所述关键帧图像；
所述关键帧图像提取模块之前，还包括：
历史监控视频数据模块，用于获取历史监控视频数据，所述历史监控视频数据包括关键帧图像集以及常规帧图像集；
焦点特征提取模块，用于将所述关键帧图像集与所述常规帧图像集进行对照，得到用于区分所述关键帧图像与常规帧图像的焦点特征；
训练集扩增模块，用于构建生成对抗网络模型，基于所述焦点特征以及所述历史监控视频数据生成用于训练所述关键帧提取模型的第一训练集。
在其中一个实施例中，所述训练集扩增模块之后，还包括：
初始关键帧模型模块，用于构建神经网络模型，基于所述第一训练集将所述神经网络模型训练至收敛，得到初始关键帧提取模型；
次级关键帧提取模型模块，用于基于所述历史监控视频数据对所述初始关键帧提取模型进行训练，得到模型参数微调后的次级关键帧提取模型；
模型验证模块，用于利用所述第一训练集对所述次级关键帧提取模型进行验证，获取所述次级关键帧提取模型输出的所述关键帧图像以及所述关键帧图像对应的置信度；
样本集修正模块，用于在所述第一训练集中去除所述置信度处于伪样本区间内的样本，得到第二训练集，所述伪样本区间包括概率上限以及概率下限，所述概率上限用于标注极真样本，所述概率下限用于标注极伪样本。
在其中一个实施例中，所述样本集修正模块之后，还包括：
第二关键帧提取模型模块，用于基于所述第二训练集对所述次级关键帧提取模型进行训练，得到第二关键帧提取模型；
跳跃指针插入模块，用于在所述第二关键帧提取模型中随机插入若干个成对的跳跃指针，成对的所述跳跃指针分别设于所述第二关键帧提取模型中运算单元的输入端以及输出端，所述跳跃指针用于在数据输入运算单元前拦截数据并跳过所述运算单元，直接由相关联的所述跳跃指针处输出；
跳跃指针筛选模块，用于对所述跳跃指针进行筛选，得到目标跳跃指针，删除所述第二关键帧提取模型中的所述目标跳跃指针以外的剩余跳跃指针，得到关键帧提取模型。
在其中一个实施例中，所述跳跃指针筛选模块包括：
跳跃指针对验证模块，用于逐对激活所述第二关键帧提取模型中的成对的所述跳跃指针，利用所述第二训练集测试所述第二关键帧提取模型在不同的跳跃指针对激活时的鲁棒性；
跳跃指针对选取模块，用于选取出所述鲁棒性高于预设的筛选阈值的所述跳跃指针对作为所述目标跳跃指针。
在其中一个实施例中，所述关键帧图像提取模块之后，还包括：
补充帧图像获取模块，用于在所述监控视频文件中获取在所述关键帧图像的时间轴节点预设范围内的目标常规帧图像，将所述目标常规帧图像标记为所述关键帧图像的补充帧图像；
补充帧图像辅助标注模块，用于应用所述补充帧图像辅助所述关键帧图像的标注。
在其中一个实施例中，所述补充帧图像辅助标注模块之前，还包括：
补充帧图像集筛重模块，用于对所述补充帧图像进行相似度识别，择一保留所述相似度高于预设的相似阈值的重复的所述补充帧图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项实施例所述的一种用于智能视频监控的关键帧优化方法中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任意一项实施例所述的一种用于智能视频监控的关键帧优化方法中的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面中任意一项实施例所述的一种用于智能视频监控的关键帧优化方法中的步骤。
上述用于智能视频监控的关键帧优化方法、装置、计算机设备、存储介质和计算机程序产品，通过独权中的技术特征进行推导，能够达到对应背景技术中的如下有益效果：
在关键帧提取模型的训练阶段，利用历史监控视频数据中人工标注出的关键帧图像集和常规帧图像集的对照，得到用于区分关键帧图像与常规帧图像的焦点特征，并结合焦点特征以及历史监控视频数据，利用生成对抗网络模型的架构中的生成器不断生成由焦点特征融合而来的人造关键帧图像，并利用生成对抗网络中的判别器对人造关键帧图像的真伪进行验证，在迭代中不断训练生成器，最终得到由人造关键帧提取模型和历史监控视频数据构成的第一训练集，从而大大扩增了关键帧提取模型在训练中所能遍历的样本数量，以及样本类别，有助于对关键帧提取模型进行优化，提高关键帧提取模型对关键帧图像进行识别的准确度以及识别效率。
附图说明
图1为一个实施例中用于智能视频监控的关键帧优化方法的流程示意图；
图2为一个实施例中用于智能视频监控的关键帧优化装置的结构框图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
随着人工智能的快速发展，基于机器学习的神经网络模型可以被用于在各类信息识别的场景中，相应的也能应用在对监控视频中的异常情况的检测和记录中。对监控视频中的异常检测中，神经网络模型需要对监控视频中的每一帧图像逐一进行异常判别并输出结果，但是监控视频数据的整体数据量较大，通过神经网络模型进行检测时所需的算力支持的负担较大，且运算效率也较低，难以高效精准地进行智能视频监控工作。
目前，为了提高智能视频监控的效率，通常在智能视频监控中利用对象识别技术来提取监控视频中的关键帧，并基于从监控视频中提取出的关键帧进行分析，从而得以降低智能视频监控中的整体计算量，提高计算的效率和精准度。
然而，目前的智能视频监控中的关键帧提取方法，存在如下的技术问题：
目前的关键帧提取方法依赖于在模型训练过程中人工标注的已知信息，导致关键帧提取模型的训练样本较少，容易出现难以精确识别及提取监控视频中关键帧的情况，导致智能视频监控的效果差的问题。
基于此，本申请提供了一种用于智能视频监控的关键帧优化方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤101：获取监控视频文件，将所述监控视频文件输入预训练得到的关键帧提取模型，提取出所述监控视频文件中的关键帧图像。
其中，关键帧提取模型可以指由技术人员预先训练得到的算法模型，可以用于在监控视频文件中提取出关键帧图像。应用中，关键帧提取模型可以以视频文件作为输入，并输出从视频文件中提取出的关键帧图像。
示例性地，终端可以预先在获得充分地授权和许可的前提下，在互联网中的公开数据库内获取少量已经过人工标注关键帧的视频文件，并构建神经网络模型。随后，终端可以利用上述的视频文件对神经网络模型进行训练，直至神经网络模型的迭代次数达到预设值，预设的迭代次数可以为100、200、500等，具体的迭代次数可以由技术人员根据视频文件的数据量进行设定，一般地，数据量越大，迭代次数越多。
这样，终端在获取监控视频文件后，可以将监控视频文件输入关键帧提取模型，从而通过关键帧提取模型提取出监控视频文件中的关键帧图像。
步骤103：调用预设的图像识别算法对所述关键帧图像进行处理，得到所述关键帧图像的深层特征，所述深层特征用于描述所述关键帧图像中所包含的事件信息。
其中，图像识别算法可以指用于对图像中特定对象进行识别并分类的人工智能算法，可以包括图像分类、目标定位、目标检测以及目标分割等任务过程。深层特征可以指图像中的高层信息，通常可以为抽象的语义信息。在本方案的应用中，深层特征可以指用于描述关键帧图像中所包含的事件信息的特征，例如：行人经过、车辆经过等。
示例性地，终端可以调用预设的图像识别算法来处理关键帧图像，从而得到关键帧图像的深层特征。
步骤105：基于所述深层特征对所述关键帧图像进行标注，存储并记录标注后的所述关键帧图像。
其中，标注可以指对关键帧图像赋予用于对关键帧图像中的特定信息进行辅助描述的信息的处理。在本方案的应用中，为了对关键帧图像中的事件进行标注，可以将步骤103中提取得到的深层特征作为标注，与关键帧图像绑定。
这样，终端可以得到携带有深层特征的关键帧图像，从而使得技术人员可以通过深层特征获知关键帧图像中描述的事件。随后，终端可以对标注后的关键帧图像进行存储和记录。
所述步骤101之前，还包括：
步骤107：获取历史监控视频数据，所述历史监控视频数据包括关键帧图像集以及常规帧图像集。
其中，历史监控视频数据可以指在互联网中的公开数据库中可以获取的监控视频数据，可以包括关键帧图像集和常规帧图像集。具体地，关键帧图像集可以指能够对监控中出现的特定事件进行记录和表达的画面图像，常规帧可以指在监控中作为常态出现的、携带信息较少的画面图像。
步骤109：将所述关键帧图像集与所述常规帧图像集进行对照，得到用于区分所述关键帧图像与常规帧图像的焦点特征。
其中，焦点特征可以指图像中用于区分关键帧图像与常规帧图像的特定信息。
示例性地，终端可以对历史监控视频数据进行分解，并基于历史监控视频数据的时间轴获取连续的、每一帧图像。此时，终端获取的每一帧图像中包括常规帧图像以及关键帧图像，常规帧图像与关键帧图像相互穿插。例如：一段历史监控视频数据包括30帧图像，其中，第一帧至第十帧为常规帧图像，第十一帧至第十五帧为关键帧图像，第十五帧至第三十帧为常规帧图像，其他情况与之类似，不做赘述。继续引用此例，终端为了获取焦点特征，可以将历史监控视频数据中的连续的常规帧图像与关键帧图像进行对照，例如第十帧图像（常规帧图像）与第十一帧图像（关键帧图像）进行对照，在对照中终端可以获取图像中的每个像素的向量以及坐标，并计算两个图像间坐标相同的两个像素点的向量相似度，若相似度低于一定的阈值，则可以认定为区别像素点。终端在检测到区别像素点后，可以获取由区别像素点构成的区别区域，从中筛选出面积达到特定大小的区域即可以作为常规帧图像与关键帧图像之间的焦点特征。在本方案的应用中，焦点特征通常可以为行人的图像、车辆的图像、物品的图像等。
步骤1011：构建生成对抗网络模型，基于所述焦点特征以及所述历史监控视频数据生成用于训练所述关键帧提取模型的第一训练集。
其中，生成对抗网络可以指一种用于在无监督环境下的图像生成应用的算法模型。生成对抗网络可以包括生成网络以及判别网络，其中生成网络用于捕捉样本数据的分布，判别网络用于判别输入的是真实数据还是生成的样本。
示例性地，在本方案的应用中，为了生成足够的训练关键帧提取模型所需的样本，终端可以构建一个生成对抗网络，生成对抗网络可以包括一个生成网络以及一个判别网络。具体地，生成网络可以以历史监控视频数据以及步骤109中得到的焦点特征作为输入，使得历史监控视频数据中的常规帧图像与焦点特征做融合，从而输出合成的关键帧图像。随后，判别网络可以以历史监控视频数据中真实的关键帧图像以及生成网络输出的合成的关键帧图像作为输入，对合成的关键帧图像的真伪进行判别。实施中，终端可以获取判别网络输出的损失值作为结果，来指导生成网络的参数调节。在后续的迭代中，判别网络随着训练逐步提高真伪鉴别能力，而生成网络则随着参数调整合成出尽可能真实的合成关键帧图像。
这样，终端可以通过生成对抗网络得到“足够真实”的合成关键帧图像，这部分合成关键帧图像可以携带在其合成中所使用的焦点特征，从而合成关键帧图像得以被标注。最终，终端可以获取一个包括了常规帧图像、关键帧图像以及合成关键帧图像的第一训练集。
上述用于智能视频监控的关键帧优化方法中，在关键帧提取模型的训练阶段，利用历史监控视频数据中人工标注出的关键帧图像集和常规帧图像集的对照，得到用于区分关键帧图像与常规帧图像的焦点特征，并结合焦点特征以及历史监控视频数据，利用生成对抗网络模型的架构中的生成器不断生成由焦点特征融合而来的人造关键帧图像，并利用生成对抗网络中的判别器对人造关键帧图像的真伪进行验证，在迭代中不断训练生成器，最终得到由人造关键帧提取模型和历史监控视频数据构成的第一训练集，从而大大扩增了关键帧提取模型在训练中所能遍历的样本数量，以及样本类别，有助于对关键帧提取模型进行优化，提高关键帧提取模型对关键帧图像进行识别的准确度以及识别效率。
在其中一个实施例中，所述步骤1011之后，还包括：
步骤201：构建神经网络模型，基于所述第一训练集将所述神经网络模型训练至收敛，得到初始关键帧提取模型。
步骤203：基于所述历史监控视频数据对所述初始关键帧提取模型进行训练，得到模型参数微调后的次级关键帧提取模型。
步骤205：利用所述第一训练集对所述次级关键帧提取模型进行验证，获取所述次级关键帧提取模型输出的所述关键帧图像以及所述关键帧图像对应的置信度。
步骤207：在所述第一训练集中去除所述置信度处于伪样本区间内的样本，得到第二训练集，所述伪样本区间包括概率上限以及概率下限，所述概率上限用于标注极真样本，所述概率下限用于标注极伪样本。
示例性地，在获取关键帧图像对应的置信度后，终端可以将获取的置信度逐一与伪样本区间进行比对，并筛选出置信度处于伪样本区间的关键帧图像。此时，被终端筛选出的关键帧图像其可靠程度较低，在模型后续训练中的价值较低，因此可以从第一训练集中去除。最终终端可以得到去除这部分关键帧图像后的第二训练集。
本实施例中，在构建得到第一训练集后，利用第一训练集训练得到一个用于提取关键帧图像的初始模型，随后可以利用历史监控视频数据对初始模型进行微调，由于历史监控视频数据中为人工标注的关键帧图像，有助于提高初始模型的精确度。得到次级模型后，利用次级模型对关键帧图像进行验证，有助于借助置信度对第一训练集进行删减，从而去除第一训练集中训练效用较低的数据，以极真和极伪两个极端属性的样本构建出弱监督学习的模型训练效果，从而有助于提高最终输出的模型效果。
在其中一个实施例中，所述步骤207之后，还包括：
步骤301：基于所述第二训练集对所述次级关键帧提取模型进行训练，得到第二关键帧提取模型。
步骤303：在所述第二关键帧提取模型中随机插入若干个成对的跳跃指针，成对的所述跳跃指针分别设于所述第二关键帧提取模型中运算单元的输入端以及输出端，所述跳跃指针用于在数据输入运算单元前拦截数据并跳过所述运算单元，直接由相关联的所述跳跃指针处输出。
步骤305：对所述跳跃指针进行筛选，得到目标跳跃指针，删除所述第二关键帧提取模型中的所述目标跳跃指针以外的剩余跳跃指针，得到关键帧提取模型。
本实施例中，借助跳跃指针对，有助于使得关键帧提取模型在应用中跳过部分无效的运算，从而提高模型的输出效率，并降低模型运算所需的总计算量。
在其中一个实施例中，所述步骤305包括：
步骤401：逐对激活所述第二关键帧提取模型中的成对的所述跳跃指针，利用所述第二训练集测试所述第二关键帧提取模型在不同的跳跃指针对激活时的鲁棒性。
步骤403：选取出所述鲁棒性高于预设的筛选阈值的所述跳跃指针对作为所述目标跳跃指针。
本实施例中，以鲁棒性作为模型的筛选依据，有助于提高跳跃指针选取的精准度，从而在尽可能提高模型计算效率的基础上，保证模型输出的准确度。
在其中一个实施例中，所述步骤101之后，还包括：
步骤501：在所述监控视频文件中获取在所述关键帧图像的时间轴节点预设范围内的目标常规帧图像，将所述目标常规帧图像标记为所述关键帧图像的补充帧图像。
示例性地，终端在提取出监控视频文件中关键帧图像后，在应用中需要对关键帧图像中所发生的事件进行分析和记录。例如：当终端从一段监控视频文件中提取出一段连续的关键帧图像后，连续的关键帧图像中表示一位行人出现在画面中。此时，若技术人员对本段关键帧图像进行分析，仅可以得到“该行人出现的某位置”这一信息，此时为了进一步进行分析，丰富可得到的信息。终端可以将监控视频文件的时间轴上，位于关键帧图像附近的常规帧图像选取出来，作为对已经得到的关键帧图像的补充，也即补充帧图像。这样，终端得到的补充后的图像可以包括：关键帧图像以及补充帧图像。作为补充的，终端在选取补充帧图像时可以选取在关键帧图像预设范围内的，例如关键帧图像的前、后五帧图像等，具体的选取范围由技术人员预先设定。
步骤503：应用所述补充帧图像辅助所述关键帧图像的标注。
示例性地，在终端获取补充帧图像后，可以延用步骤501中的事例；补充后的图像可以对行人出现前后监控画面中的信息进行补充。此时，当技术人员对本段图像进行判读时，可以得到“该行人从道路东侧进入监控画面，并最终从道路西侧离开监控画面”。显而易见地，终端提过补充帧图像辅助并增强了对关键帧图像的标注。
本实施例中，在关键帧图像的提取过程中，同时获取关键帧图像前后的补充帧图像，有助于提高在智能视频监控中对关键帧图像进行识别分析的效果。
在其中一个实施例中，所述步骤503之前，还包括：
步骤601：对所述补充帧图像进行相似度识别，择一保留所述相似度高于预设的相似阈值的重复的所述补充帧图像。
示例性地，终端可以调用图像相似度算法对全部的补充帧图像进行相似度识别，图像相似度算法可以包括平均哈希算法(aHash)、感知哈希算法你(pHash)和差异哈哈希算法(dHash)等。
这样，终端可以得到补充帧图像之间的相似度，随后终端可以利用预先设定的相似度阈值对补充帧图像进行“查重”，并随机择一保留。相似度阈值可以为80%、85%、90%等，具体的相似度阈值由技术人员预先进行设定，通常地，相似度阈值设定越高，被收纳的补充帧图像越多。
本实施例中，删除重复的补充帧图像，有助于降低由于补充帧的选取窗口过大，导致对重复的补充帧图像进行重复分析，导致算力浪费，计算效率低的情况，有助于提高对关键帧图像进行分析的效率。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的用于智能视频监控的关键帧优化方法的用于智能视频监控的关键帧优化装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个用于智能视频监控的关键帧优化装置实施例中的具体限定可以参见上文中对于用于智能视频监控的关键帧优化方法的限定，在此不再赘述。
在一个实施例中，如图2所示，提供了一种用于智能视频监控的关键帧优化装置，包括：关键帧图像提取模块、图像特征提取模块、图像标注模块、历史监控视频数据模块、焦点特征提取模块以及训练集扩增模块，其中：
关键帧图像提取模块，用于获取监控视频文件，将所述监控视频文件输入预训练得到的关键帧提取模型，提取出所述监控视频文件中的关键帧图像；
图像特征提取模块，用于调用预设的图像识别算法对所述关键帧图像进行处理，得到所述关键帧图像的深层特征，所述深层特征用于描述所述关键帧图像中所包含的事件信息；
图像标注模块，用于基于所述深层特征对所述关键帧图像进行标注，存储并记录标注后的所述关键帧图像；
所述关键帧图像提取模块之前，还包括：
历史监控视频数据模块，用于获取历史监控视频数据，所述历史监控视频数据包括关键帧图像集以及常规帧图像集；
焦点特征提取模块，用于将所述关键帧图像集与所述常规帧图像集进行对照，得到用于区分所述关键帧图像与常规帧图像的焦点特征；
训练集扩增模块，用于构建生成对抗网络模型，基于所述焦点特征以及所述历史监控视频数据生成用于训练所述关键帧提取模型的第一训练集。
在其中一个实施例中，所述训练集扩增模块之后，还包括：
初始关键帧模型模块，用于构建神经网络模型，基于所述第一训练集将所述神经网络模型训练至收敛，得到初始关键帧提取模型；
次级关键帧提取模型模块，用于基于所述历史监控视频数据对所述初始关键帧提取模型进行训练，得到模型参数微调后的次级关键帧提取模型；
模型验证模块，用于利用所述第一训练集对所述次级关键帧提取模型进行验证，获取所述次级关键帧提取模型输出的所述关键帧图像以及所述关键帧图像对应的置信度；
样本集修正模块，用于在所述第一训练集中去除所述置信度处于伪样本区间内的样本，得到第二训练集，所述伪样本区间包括概率上限以及概率下限，所述概率上限用于标注极真样本，所述概率下限用于标注极伪样本。
在其中一个实施例中，所述样本集修正模块之后，还包括：
第二关键帧提取模型模块，用于基于所述第二训练集对所述次级关键帧提取模型进行训练，得到第二关键帧提取模型；
跳跃指针插入模块，用于在所述第二关键帧提取模型中随机插入若干个成对的跳跃指针，成对的所述跳跃指针分别设于所述第二关键帧提取模型中运算单元的输入端以及输出端，所述跳跃指针用于在数据输入运算单元前拦截数据并跳过所述运算单元，直接由相关联的所述跳跃指针处输出；
跳跃指针筛选模块，用于对所述跳跃指针进行筛选，得到目标跳跃指针，删除所述第二关键帧提取模型中的所述目标跳跃指针以外的剩余跳跃指针，得到关键帧提取模型。
在其中一个实施例中，所述跳跃指针筛选模块包括：
跳跃指针对验证模块，用于逐对激活所述第二关键帧提取模型中的成对的所述跳跃指针，利用所述第二训练集测试所述第二关键帧提取模型在不同的跳跃指针对激活时的鲁棒性；
跳跃指针对选取模块，用于选取出所述鲁棒性高于预设的筛选阈值的所述跳跃指针对作为所述目标跳跃指针。
在其中一个实施例中，所述关键帧图像提取模块之后，还包括：
补充帧图像获取模块，用于在所述监控视频文件中获取在所述关键帧图像的时间轴节点预设范围内的目标常规帧图像，将所述目标常规帧图像标记为所述关键帧图像的补充帧图像；
补充帧图像辅助标注模块，用于应用所述补充帧图像辅助所述关键帧图像的标注。
在其中一个实施例中，所述补充帧图像辅助标注模块之前，还包括：
补充帧图像集筛重模块，用于对所述补充帧图像进行相似度识别，择一保留所述相似度高于预设的相似阈值的重复的所述补充帧图像。
上述用于智能视频监控的关键帧优化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种用于智能视频监控的关键帧优化方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (6)

1.一种用于智能视频监控的关键帧优化方法，其特征在于，所述方法包括：
获取监控视频文件，将所述监控视频文件输入预训练得到的关键帧提取模型，提取出所述监控视频文件中的关键帧图像；
调用预设的图像识别算法对所述关键帧图像进行处理，得到所述关键帧图像的深层特征，所述深层特征用于描述所述关键帧图像中所包含的事件信息；
基于所述深层特征对所述关键帧图像进行标注，存储并记录标注后的所述关键帧图像；
所述将所述监控视频文件输入预训练得到的关键帧提取模型，提取出所述监控视频文件中的关键帧图像之前，还包括：
获取历史监控视频数据，所述历史监控视频数据包括关键帧图像集以及常规帧图像集；
将所述关键帧图像集与所述常规帧图像集进行对照，得到用于区分所述关键帧图像与常规帧图像的焦点特征；
构建生成对抗网络模型，基于所述焦点特征以及所述历史监控视频数据生成用于训练所述关键帧提取模型的第一训练集；
所述构建生成对抗网络模型，基于所述焦点特征以及所述历史监控视频数据生成用于训练所述关键帧提取模型的第一训练集之后，还包括：
构建神经网络模型，基于所述第一训练集将所述神经网络模型训练至收敛，得到初始关键帧提取模型；
基于所述历史监控视频数据对所述初始关键帧提取模型进行训练，得到模型参数微调后的次级关键帧提取模型；
利用所述第一训练集对所述次级关键帧提取模型进行验证，获取所述次级关键帧提取模型输出的所述关键帧图像以及所述关键帧图像对应的置信度；
在所述第一训练集中去除所述置信度处于伪样本区间内的样本，得到第二训练集，所述伪样本区间包括概率上限以及概率下限，所述概率上限用于标注极真样本，所述概率下限用于标注极伪样本；
所述在所述第一训练集中去除所述置信度处于伪样本区间内的样本，得到第二训练集之后，还包括：
基于所述第二训练集对所述次级关键帧提取模型进行训练，得到第二关键帧提取模型；
在所述第二关键帧提取模型中随机插入若干个成对的跳跃指针，成对的所述跳跃指针分别设于所述第二关键帧提取模型中运算单元的输入端以及输出端，所述跳跃指针用于在数据输入运算单元前拦截数据并跳过所述运算单元，直接由相关联的所述跳跃指针处输出；
对所述跳跃指针进行筛选，得到目标跳跃指针，删除所述第二关键帧提取模型中的所述目标跳跃指针以外的剩余跳跃指针，得到关键帧提取模型；
所述对所述跳跃指针进行筛选，得到目标跳跃指针，删除所述第二关键帧提取模型中的所述目标跳跃指针以外的剩余跳跃指针，得到关键帧提取模型包括：
逐对激活所述第二关键帧提取模型中的成对的所述跳跃指针，利用所述第二训练集测试所述第二关键帧提取模型在不同的跳跃指针对激活时的鲁棒性；
选取出所述鲁棒性高于预设的筛选阈值的所述跳跃指针对作为所述目标跳跃指针。
2.根据权利要求1所述的一种用于智能视频监控的关键帧优化方法，其特征在于，所述获取监控视频文件，将所述监控视频文件输入预训练得到的关键帧提取模型，提取出所述监控视频文件中的关键帧图像之后，还包括：
在所述监控视频文件中获取在所述关键帧图像的时间轴节点预设范围内的目标常规帧图像，将所述目标常规帧图像标记为所述关键帧图像的补充帧图像；
应用所述补充帧图像辅助所述关键帧图像的标注。
3.根据权利要求2所述的一种用于智能视频监控的关键帧优化方法，其特征在于，所述应用所述补充帧图像辅助所述关键帧图像的标注之前，还包括：
对所述补充帧图像进行相似度识别，择一保留所述相似度高于预设的相似阈值的重复的所述补充帧图像。
4.一种用于智能视频监控的关键帧优化装置，其特征在于，所述装置包括：
关键帧图像提取模块，用于获取监控视频文件，将所述监控视频文件输入预训练得到的关键帧提取模型，提取出所述监控视频文件中的关键帧图像；
图像特征提取模块，用于调用预设的图像识别算法对所述关键帧图像进行处理，得到所述关键帧图像的深层特征，所述深层特征用于描述所述关键帧图像中所包含的事件信息；
图像标注模块，用于基于所述深层特征对所述关键帧图像进行标注，存储并记录标注后的所述关键帧图像；
所述关键帧图像提取模块之前，还包括：
历史监控视频数据模块，用于获取历史监控视频数据，所述历史监控视频数据包括关键帧图像集以及常规帧图像集；
焦点特征提取模块，用于将所述关键帧图像集与所述常规帧图像集进行对照，得到用于区分所述关键帧图像与常规帧图像的焦点特征；
训练集扩增模块，用于构建生成对抗网络模型，基于所述焦点特征以及所述历史监控视频数据生成用于训练所述关键帧提取模型的第一训练集；
所述训练集扩增模块之后，还包括：
初始关键帧模型模块，用于构建神经网络模型，基于所述第一训练集将所述神经网络模型训练至收敛，得到初始关键帧提取模型；
次级关键帧提取模型模块，用于基于所述历史监控视频数据对所述初始关键帧提取模型进行训练，得到模型参数微调后的次级关键帧提取模型；
模型验证模块，用于利用所述第一训练集对所述次级关键帧提取模型进行验证，获取所述次级关键帧提取模型输出的所述关键帧图像以及所述关键帧图像对应的置信度；
样本集修正模块，用于在所述第一训练集中去除所述置信度处于伪样本区间内的样本，得到第二训练集，所述伪样本区间包括概率上限以及概率下限，所述概率上限用于标注极真样本，所述概率下限用于标注极伪样本；
所述样本集修正模块之后，还包括：
第二关键帧提取模型模块，用于基于所述第二训练集对所述次级关键帧提取模型进行训练，得到第二关键帧提取模型；
跳跃指针插入模块，用于在所述第二关键帧提取模型中随机插入若干个成对的跳跃指针，成对的所述跳跃指针分别设于所述第二关键帧提取模型中运算单元的输入端以及输出端，所述跳跃指针用于在数据输入运算单元前拦截数据并跳过所述运算单元，直接由相关联的所述跳跃指针处输出；
跳跃指针筛选模块，用于对所述跳跃指针进行筛选，得到目标跳跃指针，删除所述第二关键帧提取模型中的所述目标跳跃指针以外的剩余跳跃指针，得到关键帧提取模型；
所述跳跃指针筛选模块包括：
跳跃指针对验证模块，用于逐对激活所述第二关键帧提取模型中的成对的所述跳跃指针，利用所述第二训练集测试所述第二关键帧提取模型在不同的跳跃指针对激活时的鲁棒性；
跳跃指针对选取模块，用于选取出所述鲁棒性高于预设的筛选阈值的所述跳跃指针对作为所述目标跳跃指针。
5.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
CN202310445243.5A 2023-04-24 2023-04-24 一种用于智能视频监控的关键帧优化方法及装置 Active CN116189063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310445243.5A CN116189063B (zh) 2023-04-24 2023-04-24 一种用于智能视频监控的关键帧优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310445243.5A CN116189063B (zh) 2023-04-24 2023-04-24 一种用于智能视频监控的关键帧优化方法及装置

Publications (2)

Publication Number Publication Date
CN116189063A CN116189063A (zh) 2023-05-30
CN116189063B true CN116189063B (zh) 2023-07-18

Family

ID=86452448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310445243.5A Active CN116189063B (zh) 2023-04-24 2023-04-24 一种用于智能视频监控的关键帧优化方法及装置

Country Status (1)

Country Link
CN (1) CN116189063B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079256B (zh) * 2023-10-18 2024-01-05 南昌航空大学 基于目标检测及关键帧快速定位的疲劳驾驶检测算法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475935A (zh) * 2013-09-06 2013-12-25 北京锐安科技有限公司 一种视频片段的检索方法及装置
CN109194965A (zh) * 2018-11-22 2019-01-11 联想(北京)有限公司 处理方法、处理装置、显示方法和显示装置
CN110705405A (zh) * 2019-09-20 2020-01-17 阿里巴巴集团控股有限公司 目标标注的方法及装置
CN111027439A (zh) * 2019-12-03 2020-04-17 西北工业大学 基于辅助分类生成对抗网络的sar目标识别方法
CN111242007A (zh) * 2020-01-10 2020-06-05 上海市崇明区生态农业科创中心 一种农事行为监管方法
CN111291707A (zh) * 2020-02-24 2020-06-16 南京甄视智能科技有限公司 异常行为的识别方法、装置、存储介质及服务器
CN112203053A (zh) * 2020-09-29 2021-01-08 北京市政建设集团有限责任公司 地铁施工人员行为智能监管方法及其系统
CN112446342A (zh) * 2020-12-07 2021-03-05 北京邮电大学 关键帧识别模型训练方法、识别方法及装置
CN113111782A (zh) * 2021-04-14 2021-07-13 中国工商银行股份有限公司 基于显著对象检测的视频监控方法及装置
CN113469062A (zh) * 2021-07-05 2021-10-01 中山大学 基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质
CN114157829A (zh) * 2020-09-08 2022-03-08 顺丰科技有限公司 模型训练优化方法、装置、计算机设备及存储介质
CN114332984A (zh) * 2021-12-06 2022-04-12 腾讯科技（深圳）有限公司 训练数据处理方法、装置和存储介质
CN114724085A (zh) * 2022-04-12 2022-07-08 智诚时空科技(浙江)有限公司 一种施工安全事件的检测与分析方法和系统
CN115131714A (zh) * 2022-07-19 2022-09-30 衢州职业技术学院 视频图像智能检测分析方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311584A (zh) * 2022-08-15 2022-11-08 贵州电网有限责任公司 一种基于深度学习的无人机高压电网视频巡检飘挂物方法
CN115482447A (zh) * 2022-09-02 2022-12-16 浙江理工大学 一种基于生成对抗网络的纺织品瑕疵样本数字化生成方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475935A (zh) * 2013-09-06 2013-12-25 北京锐安科技有限公司 一种视频片段的检索方法及装置
CN109194965A (zh) * 2018-11-22 2019-01-11 联想(北京)有限公司 处理方法、处理装置、显示方法和显示装置
CN110705405A (zh) * 2019-09-20 2020-01-17 阿里巴巴集团控股有限公司 目标标注的方法及装置
CN111027439A (zh) * 2019-12-03 2020-04-17 西北工业大学 基于辅助分类生成对抗网络的sar目标识别方法
CN111242007A (zh) * 2020-01-10 2020-06-05 上海市崇明区生态农业科创中心 一种农事行为监管方法
CN111291707A (zh) * 2020-02-24 2020-06-16 南京甄视智能科技有限公司 异常行为的识别方法、装置、存储介质及服务器
CN114157829A (zh) * 2020-09-08 2022-03-08 顺丰科技有限公司 模型训练优化方法、装置、计算机设备及存储介质
CN112203053A (zh) * 2020-09-29 2021-01-08 北京市政建设集团有限责任公司 地铁施工人员行为智能监管方法及其系统
CN112446342A (zh) * 2020-12-07 2021-03-05 北京邮电大学 关键帧识别模型训练方法、识别方法及装置
CN113111782A (zh) * 2021-04-14 2021-07-13 中国工商银行股份有限公司 基于显著对象检测的视频监控方法及装置
CN113469062A (zh) * 2021-07-05 2021-10-01 中山大学 基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质
CN114332984A (zh) * 2021-12-06 2022-04-12 腾讯科技（深圳）有限公司 训练数据处理方法、装置和存储介质
CN114724085A (zh) * 2022-04-12 2022-07-08 智诚时空科技(浙江)有限公司 一种施工安全事件的检测与分析方法和系统
CN115131714A (zh) * 2022-07-19 2022-09-30 衢州职业技术学院 视频图像智能检测分析方法及系统

Also Published As

Publication number Publication date
CN116189063A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
Zhang et al. Too far to see? Not really!—Pedestrian detection with scale-aware localization policy
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN111222500B (zh) 一种标签提取方法及装置
CN111160335A (zh) 基于人工智能的图像水印处理方法、装置及电子设备
CN112200081A (zh) 异常行为识别方法、装置、电子设备及存储介质
CN112183468A (zh) 一种基于多注意力联合多级特征的行人再识别方法
CN112507860A (zh) 一种视频标注方法、装置、设备及存储介质
Li et al. Image manipulation localization using attentional cross-domain CNN features
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN112257665A (zh) 图像内容的识别方法、图像识别模型的训练方法及介质
CN113221890A (zh) 一种基于ocr的云手机文字内容监管方法和系统和系统
CN115205855B (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
CN116189063B (zh) 一种用于智能视频监控的关键帧优化方法及装置
CN112329719A (zh) 行为识别方法、装置以及计算机可读存储介质
CN116311214B (zh) 车牌识别方法和装置
CN112257545A (zh) 一种违规行为实时监控分析方法、装置及存储介质
CN111241873A (zh) 图像翻拍检测方法及其模型的训练方法、支付方法及装置
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN115830399A (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
CN112348011B (zh) 一种车辆定损方法、装置及存储介质
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
CN116580232A (zh) 一种图像自动标注方法、系统及电子设备
CN110956097A (zh) 遮挡人体提取方法及模块、场景转换方法及装置
Vilgertshofer et al. Recognising railway infrastructure elements in videos and drawings using neural networks
CN116266412A (zh) 人脸真伪检测方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant