CN113792600A - 一种基于深度学习的视频抽帧方法和系统 - Google Patents

一种基于深度学习的视频抽帧方法和系统 Download PDF

Info

Publication number
CN113792600A
CN113792600A CN202110916228.5A CN202110916228A CN113792600A CN 113792600 A CN113792600 A CN 113792600A CN 202110916228 A CN202110916228 A CN 202110916228A CN 113792600 A CN113792600 A CN 113792600A
Authority
CN
China
Prior art keywords
image
frame
video
value
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110916228.5A
Other languages
English (en)
Other versions
CN113792600B (zh
Inventor
程德心
周风明
付玥
姚曦煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kotei Informatics Co Ltd
Original Assignee
Wuhan Kotei Informatics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Kotei Informatics Co Ltd filed Critical Wuhan Kotei Informatics Co Ltd
Priority to CN202110916228.5A priority Critical patent/CN113792600B/zh
Publication of CN113792600A publication Critical patent/CN113792600A/zh
Application granted granted Critical
Publication of CN113792600B publication Critical patent/CN113792600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于深度学习的视频抽帧方法和系统，通过人工和深度学习模型的辅助，对按设定的时间间隔对相应帧数图像进行模糊、过曝、敏感信息、目标识别，将识别的相应帧数信息存储每16帧生成一个4×4的多二维码画面插入视频最后帧中，可以减少审核人员筛选图片的时间提前过滤掉模糊和过曝帧数，同时每帧信息存储在视频末尾中，方便二次进行筛选，且不遮挡原先每帧的画面，且传统算法中图像模糊阈值较难确定，本系统为视频中的画面检测，在进行检测时，可将全视频帧数的平均值作为阈值参考，且判断时可人为设置参考前后设定时间的视频进行阈值调整来判断图片是否模糊。

Description

一种基于深度学习的视频抽帧方法和系统
技术领域
本发明实施例涉及视频图像分析技术领域，尤其涉及一种基于深度学习的视频抽帧方法和系统。
背景技术
智能化是汽车行业发展的重要趋势，自动驾驶技术是汽车智能化的一个重要分枝，也是目前各大厂商着重研究的方向。自动驾驶系统按智能化程度由低到高分为L0-L5六个等级，目前驾驶技术已发展至开发允许自动驾驶系统代替驾驶员独立驾驶车辆的L3等级。由于L3等级需要自动驾驶系统独立驾驶车辆，因此系统应用场景更加复杂，需要大量的样本数据进行自动驾驶模型的训练和验证。
为了进一步提升自动驾驶汽车上摄像头对目标的精准识别能力，常需采集到各种场景下的道路的大量视频图片对模型进行训练，训练前对采集到视频数据的抽帧预处理也属于重要的环节之一，传统视频预处理方法为人工在视频中手动标记需要抽帧的时间段，或在数据采集时人工打点，记录目标时刻。之后根据记录的时间段将视频中对应的帧数转换成图片后人工对每张图片进行筛选，通过人工审核过滤掉包含敏感信息、模糊、过曝、和不含目标物的图片，筛选完后还需要人工质检，过程繁琐且耗时，若采用打点等方式记录帧信息时还会产生信息需要存储在其他文件中，需考虑存储查找匹配等问题。
发明内容
本发明实施例提供一种基于深度学习的视频抽帧方法和系统，减少参与筛选图片的人力和时间，同时会整理视频帧的识别结果将对应的目标信息转换成帧目录存储在二维码中插入视频最后一帧，方便后续二次对视频中特定目标进行抽取。
第一方面，本发明实施例提供一种基于深度学习的视频抽帧方法，包括：
步骤S1、对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算检测视频的视频平均灰度图方差值；
步骤S2、基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
步骤S3、基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
步骤S4、基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
作为优选的，所述敏感目标包括限高标识、限重标识、军事区域、发电站、连续密集高压线、人脸、车道线、障碍物、预设特殊类型车辆和交通标志牌。
作为优选的，所述步骤S1具体包括：
基于计算机视觉和机器学习软件库opencv中的brightnessException对检测视频中每一帧图像进行亮度检测，得到每一帧图像的色偏度值cast和色偏方向值da；
将每一帧图像转换为灰度图，并基于计算机视觉和机器学习软件库opencv中的Laplacian算子计算灰度图方差值，并计算视频平均灰度图方差值。
作为优选的，若所述色偏度值cast＞1，则表示亮度异常；
若色偏度值cast＞1，且色偏方向值da＞0，则表示图像亮度过亮，若色偏度值cast＞1，且色偏方向值da＜0，则表示图像亮度过暗；否则表示图像亮度正常。
作为优选的，所述步骤S3具体包括：
步骤S31、根据检测视频开始时间戳和当前帧图像的帧数，确定每一帧图像对应的时间；
步骤S32、基于所述色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成每一帧图像的检测二维码；
S33、将与检测视频相同分辨率的二维码图像等分为16等份，将所述检测二维码按对应每一帧图像在检测视频中的先后顺序，依次插入二维码图像中对应位置。
作为优选的，所述步骤S4中，当前帧图像的模糊阈值小于设定值，且与视频平均阈值差的绝对值大于设定值时，以该帧图像前后设定时间段的模糊阈值平均值进行比较，如果设定时间段的模糊阈值平均值小于设定值，则认为该帧图像清晰，否则判断为该帧图像模糊。
第二方面，本发明实施例提供一种基于深度学习的视频抽帧系统，包括：
亮度及模糊检测模块，用于对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算视频平均灰度图方差值；
目标自动识别模块，用于基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
数据融合模块，用于基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
数据抽取模块，用于基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述基于深度学习的视频抽帧方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述基于深度学习的视频抽帧方法的步骤。
本发明实施例提供的一种基于深度学习的视频抽帧方法和系统，通过人工和深度学习模型的辅助，对按设定的时间间隔对相应帧数图像进行模糊、过曝、敏感信息、目标识别，将识别的相应帧数信息存储每16帧生成一个4×4的多二维码画面插入视频最后帧中，可以减少审核人员筛选图片的时间提前过滤掉模糊和过曝帧数，同时每帧信息存储在视频末尾中，方便二次进行筛选，且不遮挡原先每帧的画面，且传统算法中图像模糊阈值较难确定，本系统为视频中的画面检测，在进行检测时，可将全视频帧数的平均值作为阈值参考，且判断时可人为设置参考前后设定时间的视频进行阈值调整来判断图片是否模糊。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的基于深度学习的视频抽帧方法流程框图；
图2为根据本发明实施例的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统视频预处理方法为人工在视频中手动标记需要抽帧的时间段，或在数据采集时人工打点，记录目标时刻。之后根据记录的时间段将视频中对应的帧数转换成图片后人工对每张图片进行筛选，通过人工审核过滤掉包含敏感信息、模糊、过曝、和不含目标物的图片，筛选完后还需要人工质检，过程繁琐且耗时，若采用打点等方式记录帧信息时还会产生信息需要存储在其他文件中，需考虑存储查找匹配等问题。
因此，本发明实施例提供一种基于深度学习的视频抽帧方法和系统，其中包含间隔抽帧、脱敏处理、模糊过曝识别，目标识别，减少参与筛选图片的人力和时间，同时会整理视频帧的识别结果将对应的目标信息转换成帧目录存储在二维码中插入视频最后一帧，方便后续二次对视频中特定目标进行抽取。以下将通过多个实施例进行展开说明和介绍。
图1为本发明实施例提供一种基于深度学习的视频抽帧方法，包括：
步骤S1、对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算检测视频的视频平均灰度图方差值；
具体的，步骤S1具体包括：
基于计算机视觉和机器学习软件库opencv中的brightnessException对检测视频中每一帧图像进行亮度检测，得到每一帧图像的色偏度值cast和色偏方向值da；
通过计算灰度图的均值和方差，就可评估图像是否存在过曝光或曝光不足，采用opencv的brightnessException函数实现，输入为RGB图像，返回值为色偏度值cast、色偏方向值da。
若所述色偏度值cast＞1，则表示亮度异常；
若色偏度值cast＞1，且色偏方向值da＞0，则表示图像亮度过亮，若色偏度值cast＞1，且色偏方向值da＜0，则表示图像亮度过暗；否则表示图像亮度正常。亮度检测与色偏检测相似，计算图片在灰度图上的均值和方差，当存在亮度异常时，均值会偏离均值点(可以假设为128)，方差也会偏小；通过计算灰度图的均值和方差，就可评估图像是否存在过曝光或曝光不足。
将每一帧图像转换为灰度图，并基于计算机视觉和机器学习软件库opencv中的Laplacian算子计算灰度图方差值，并计算视频平均灰度图方差值。
步骤S2、基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
其中，所述敏感目标包括限高标识、限重标识、军事区域、发电站、连续密集高压线、人脸、车道线、障碍物、预设特殊类型车辆和交通标志牌。
本实施例中，可用yolov5模型进行预先训练，并进行预目标框预标注。
步骤S3、基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
步骤S3具体包括：
步骤S31、根据检测视频开始时间戳和当前帧图像的帧数，确定每一帧图像对应的时间，可精确到毫秒；
步骤S32、基于所述色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成每一帧图像的检测二维码；
S33、将与检测视频相同分辨率的二维码图像等分为16等份，将所述检测二维码按对应每一帧图像在检测视频中的先后顺序，依次插入二维码图像中对应位置。根据视频的原始分辨率将图像且分为4×4，即16等份，每份存储一帧图像的信息包含所含目标类型，目标框(敏感目标)位置，是否过曝，当前帧灰度图方差值，视频平均灰度图方差值，及该信息所对应原视频帧数。
步骤S4、基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
选择需要抽取的目标物、需要模糊的敏感目标、需要抽帧的间隔、及图片的亮度程度(过暗，正常，过亮)，及图片模糊阈值的设定值(默认为100，可根据视频分辨率不同进行调节)。当前帧图像的模糊阈值小于设定值，且与视频平均阈值差的绝对值大于设定值时，以该帧图像前后设定时间段的模糊阈值平均值进行比较，如果设定时间段的模糊阈值平均值小于设定值，则认为该帧图像清晰，否则判断为该帧图像模糊。
抽帧结束后会将每帧的信息写入以图片时间戳命名的json文件中其中包含目标类型，目标框位置，是否过曝，灰度图方差值，所对应原视频帧数，和对应的时间日期。
在一个实施例中，本发明实施例还提供一种基于深度学习的视频抽帧系统，基于上述各实施例中的基于深度学习的视频抽帧方法，包括：
亮度及模糊检测模块，用于对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算视频平均灰度图方差值；
目标自动识别模块，用于基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
数据融合模块，用于基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
数据抽取模块，用于基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
在一个实施例中，图2为本发明实施例提供的电子设备实体结构示意图，如图2所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述基于深度学习的视频抽帧方法的步骤。例如包括：
步骤S1、对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算视频平均灰度图方差值；
步骤S2、基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
步骤S3、基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
步骤S4、基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
在一个实施例中，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述基于深度学习的视频抽帧方法的步骤。例如包括：
步骤S1、对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算视频平均灰度图方差值；
步骤S2、基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
步骤S3、基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
步骤S4、基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
综上所述，本发明实施例提供的一种基于深度学习的视频抽帧方法和系统，通过人工和深度学习模型的辅助，对按设定的时间间隔对相应帧数图像进行模糊、过曝、敏感信息、目标识别，将识别的相应帧数信息存储每16帧生成一个4×4的多二维码画面插入视频最后帧中，可以减少审核人员筛选图片的时间提前过滤掉模糊和过曝帧数，同时每帧信息存储在视频末尾中，方便二次进行筛选，且不遮挡原先每帧的画面，且传统算法中图像模糊阈值较难确定，本系统为视频中的画面检测，在进行检测时，可将全视频帧数的平均值作为阈值参考，且判断时可人为设置参考前后设定时间的视频进行阈值调整来判断图片是否模糊。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (9)

1.一种基于深度学习的视频抽帧方法，其特征在于，包括：
步骤S1、对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算检测视频的视频平均灰度图方差值；
步骤S2、基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
步骤S3、基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
步骤S4、基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
2.根据权利要求1所述的基于深度学习的视频抽帧方法，其特征在于，所述敏感目标包括限高标识、限重标识、军事区域、发电站、连续密集高压线、人脸、车道线、障碍物、预设特殊类型车辆和交通标志牌。
3.根据权利要求1所述的基于深度学习的视频抽帧方法，其特征在于，所述步骤S1具体包括：
基于计算机视觉和机器学习软件库opencv中的brightnessException对检测视频中每一帧图像进行亮度检测，得到每一帧图像的色偏度值cast和色偏方向值da；
将每一帧图像转换为灰度图，并基于计算机视觉和机器学习软件库opencv中的Laplacian算子计算灰度图方差值，并计算视频平均灰度图方差值。
4.根据权利要求3所述的基于深度学习的视频抽帧方法，其特征在于，若所述色偏度值cast＞1，则表示亮度异常；
若色偏度值cast＞1，且色偏方向值da＞0，则表示图像亮度过亮，若色偏度值cast＞1，且色偏方向值da＜0，则表示图像亮度过暗；否则表示图像亮度正常。
5.根据权利要求1所述的基于深度学习的视频抽帧方法，其特征在于，所述步骤S3具体包括：
步骤S31、根据检测视频开始时间戳和当前帧图像的帧数，确定每一帧图像对应的时间；
步骤S32、基于所述色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成每一帧图像的检测二维码；
S33、将与检测视频相同分辨率的二维码图像等分为16等份，将所述检测二维码按对应每一帧图像在检测视频中的先后顺序，依次插入二维码图像中对应位置。
6.根据权利要求4所述的基于深度学习的视频抽帧方法，其特征在于，所述步骤S4中，当前帧图像的模糊阈值小于设定值，且与视频平均阈值差的绝对值大于设定值时，以该帧图像前后设定时间段的模糊阈值平均值进行比较，如果设定时间段的模糊阈值平均值小于设定值，则认为该帧图像清晰，否则判断为该帧图像模糊。
7.一种基于深度学习的视频抽帧系统，其特征在于，包括：
亮度及模糊检测模块，用于对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算视频平均灰度图方差值；
目标自动识别模块，用于基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
数据融合模块，用于基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
数据抽取模块，用于基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于深度学习的视频抽帧方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于深度学习的视频抽帧方法的步骤。
CN202110916228.5A 2021-08-10 2021-08-10 一种基于深度学习的视频抽帧方法和系统 Active CN113792600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110916228.5A CN113792600B (zh) 2021-08-10 2021-08-10 一种基于深度学习的视频抽帧方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110916228.5A CN113792600B (zh) 2021-08-10 2021-08-10 一种基于深度学习的视频抽帧方法和系统

Publications (2)

Publication Number Publication Date
CN113792600A true CN113792600A (zh) 2021-12-14
CN113792600B CN113792600B (zh) 2023-07-18

Family

ID=78875949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110916228.5A Active CN113792600B (zh) 2021-08-10 2021-08-10 一种基于深度学习的视频抽帧方法和系统

Country Status (1)

Country Link
CN (1) CN113792600B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612494A (zh) * 2023-05-05 2023-08-18 交通运输部水运科学研究所 一种基于深度学习的视频监控中行人目标检测方法及装置
CN117830311A (zh) * 2024-03-05 2024-04-05 中山大学 医学影像图片分段和关键帧标识方法、系统、设备及介质
CN118506285A (zh) * 2024-07-15 2024-08-16 浪潮通用软件有限公司 一种智能适配环境的违规监测方法、设备及介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014101539A1 (zh) * 2012-12-25 2014-07-03 深圳先进技术研究院 一种基于感知知识库的视频内容审查系统及方法
US20170140541A1 (en) * 2015-11-18 2017-05-18 Yi-Chih Lu Method for Identifying a Target Object in a Video File
WO2018076409A1 (zh) * 2016-10-28 2018-05-03 深圳大学 一种二维码的防拷贝实现方法及实现系统
CN109886963A (zh) * 2019-03-28 2019-06-14 北京奇艺世纪科技有限公司 一种图像处理方法及系统
CN110119757A (zh) * 2019-03-28 2019-08-13 北京奇艺世纪科技有限公司 模型训练方法、视频类别检测方法、装置、电子设备和计算机可读介质
WO2020087713A1 (zh) * 2018-11-02 2020-05-07 深圳壹账通智能科技有限公司 视频质检方法、装置、计算机设备及存储介质
CN111405288A (zh) * 2020-03-19 2020-07-10 北京字节跳动网络技术有限公司 视频抽帧方法、装置、电子设备及计算机可读存储介质
CN111738173A (zh) * 2020-06-24 2020-10-02 北京奇艺世纪科技有限公司 视频片段检测方法、装置、电子设备及存储介质
CN111930998A (zh) * 2020-09-09 2020-11-13 蘑菇车联信息科技有限公司 视频抽帧方法及装置
US20210049381A1 (en) * 2018-03-08 2021-02-18 Samsung Electronics Co., Ltd. Electronic device and method for vehicle driving assistance
CN112417990A (zh) * 2020-10-30 2021-02-26 四川天翼网络服务有限公司 一种考试学生违规行为识别方法及系统
CN112507892A (zh) * 2020-12-14 2021-03-16 公安部第三研究所 基于深度学习的特种场所重点人员穿着识别处理的系统、方法、装置、处理器及其存储介质
CN112532998A (zh) * 2020-12-01 2021-03-19 网易传媒科技（北京）有限公司 抽取视频帧的方法、装置、设备和可读存储介质
CN112541531A (zh) * 2020-12-02 2021-03-23 武汉光庭信息技术股份有限公司 一种道路视频数据的采集处理系统及方法
WO2021051885A1 (zh) * 2019-09-20 2021-03-25 创新先进技术有限公司 目标标注的方法及装置
CN112650885A (zh) * 2021-01-22 2021-04-13 百度在线网络技术（北京）有限公司 视频分类方法、装置、设备和介质
US20210142068A1 (en) * 2019-11-11 2021-05-13 Samsung Electronics Co., Ltd. Methods and systems for real-time data reduction
WO2021114688A1 (zh) * 2019-12-10 2021-06-17 苏宁云计算有限公司 基于深度学习的视频处理方法及装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014101539A1 (zh) * 2012-12-25 2014-07-03 深圳先进技术研究院 一种基于感知知识库的视频内容审查系统及方法
US20170140541A1 (en) * 2015-11-18 2017-05-18 Yi-Chih Lu Method for Identifying a Target Object in a Video File
WO2018076409A1 (zh) * 2016-10-28 2018-05-03 深圳大学 一种二维码的防拷贝实现方法及实现系统
US20210049381A1 (en) * 2018-03-08 2021-02-18 Samsung Electronics Co., Ltd. Electronic device and method for vehicle driving assistance
WO2020087713A1 (zh) * 2018-11-02 2020-05-07 深圳壹账通智能科技有限公司 视频质检方法、装置、计算机设备及存储介质
CN109886963A (zh) * 2019-03-28 2019-06-14 北京奇艺世纪科技有限公司 一种图像处理方法及系统
CN110119757A (zh) * 2019-03-28 2019-08-13 北京奇艺世纪科技有限公司 模型训练方法、视频类别检测方法、装置、电子设备和计算机可读介质
WO2021051885A1 (zh) * 2019-09-20 2021-03-25 创新先进技术有限公司 目标标注的方法及装置
US20210142068A1 (en) * 2019-11-11 2021-05-13 Samsung Electronics Co., Ltd. Methods and systems for real-time data reduction
WO2021114688A1 (zh) * 2019-12-10 2021-06-17 苏宁云计算有限公司 基于深度学习的视频处理方法及装置
CN111405288A (zh) * 2020-03-19 2020-07-10 北京字节跳动网络技术有限公司 视频抽帧方法、装置、电子设备及计算机可读存储介质
CN111738173A (zh) * 2020-06-24 2020-10-02 北京奇艺世纪科技有限公司 视频片段检测方法、装置、电子设备及存储介质
CN111930998A (zh) * 2020-09-09 2020-11-13 蘑菇车联信息科技有限公司 视频抽帧方法及装置
CN112417990A (zh) * 2020-10-30 2021-02-26 四川天翼网络服务有限公司 一种考试学生违规行为识别方法及系统
CN112532998A (zh) * 2020-12-01 2021-03-19 网易传媒科技（北京）有限公司 抽取视频帧的方法、装置、设备和可读存储介质
CN112541531A (zh) * 2020-12-02 2021-03-23 武汉光庭信息技术股份有限公司 一种道路视频数据的采集处理系统及方法
CN112507892A (zh) * 2020-12-14 2021-03-16 公安部第三研究所 基于深度学习的特种场所重点人员穿着识别处理的系统、方法、装置、处理器及其存储介质
CN112650885A (zh) * 2021-01-22 2021-04-13 百度在线网络技术（北京）有限公司 视频分类方法、装置、设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
裴楠;李珂;赵蕾;: "基于FPGA的速率自适应图像抽取算法", 现代电子技术, no. 19 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612494A (zh) * 2023-05-05 2023-08-18 交通运输部水运科学研究所 一种基于深度学习的视频监控中行人目标检测方法及装置
CN117830311A (zh) * 2024-03-05 2024-04-05 中山大学 医学影像图片分段和关键帧标识方法、系统、设备及介质
CN117830311B (zh) * 2024-03-05 2024-05-28 中山大学 医学影像图片分段和关键帧标识方法、系统、设备及介质
CN118506285A (zh) * 2024-07-15 2024-08-16 浪潮通用软件有限公司 一种智能适配环境的违规监测方法、设备及介质
CN118506285B (zh) * 2024-07-15 2024-09-17 浪潮通用软件有限公司 一种智能适配环境的违规监测方法、设备及介质

Also Published As

Publication number Publication date
CN113792600B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN113792600B (zh) 一种基于深度学习的视频抽帧方法和系统
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN111160301B (zh) 基于机器视觉的隧道病害目标智能识别及提取方法
CN111524100B (zh) 一种缺陷图像样本生成方法、装置及面板缺陷检测方法
CN110516514B (zh) 一种目标检测模型的建模方法和装置
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN111340749A (zh) 图像质量的检测方法、装置、设备及存储介质
CN115578326A (zh) 一种道路病害识别方法、系统、设备及存储介质
CN112949453A (zh) 烟火检测模型的训练方法、烟火检测方法及设备
CN113609980A (zh) 一种用于自动驾驶车辆的车道线感知方法及装置
CN117152513A (zh) 一种面向夜间场景的车辆边界定位方法
CN110443814B (zh) 车辆的定损方法、装置、设备和存储介质
CN115049675A (zh) 生成区域确定及光斑生成方法、设备、介质及程序产品
CN114495025A (zh) 一种车辆识别方法、装置、电子设备及存储介质
CN118038489A (zh) 视觉算法测试过程及数据的优化方法
CN114219758A (zh) 缺陷检测方法、系统、电子设备和计算机可读存储介质
CN113067980A (zh) 图像采集方法、装置、电子设备及存储介质
CN110688979A (zh) 违法车辆追踪方法及装置
CN112686851B (zh) 一种图像检测方法、装置及存储介质
CN111402185A (zh) 一种图像检测方法及装置
CN114781149A (zh) 一种场景元素信息自动获取方法及系统
CN113642353B (zh) 一种人脸检测模型的训练方法、存储介质及终端设备
CN114882469A (zh) 一种基于dl-ssd模型的交通标志检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant