CN112906818A - 一种减少视频数据集用于人工智能训练时冗余的方法 - Google Patents

一种减少视频数据集用于人工智能训练时冗余的方法 Download PDF

Info

Publication number
CN112906818A
CN112906818A CN202110283680.2A CN202110283680A CN112906818A CN 112906818 A CN112906818 A CN 112906818A CN 202110283680 A CN202110283680 A CN 202110283680A CN 112906818 A CN112906818 A CN 112906818A
Authority
CN
China
Prior art keywords
image
temporary variable
video data
similarity comparison
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110283680.2A
Other languages
English (en)
Inventor
陈轶
张文
牛少彰
崔浩亮
王茂森
王让定
冯亚辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast Digital Economic Development Research Institute
Zhejiang Zhuanzhuzhilian Technology Co ltd
Original Assignee
Southeast Digital Economic Development Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast Digital Economic Development Research Institute filed Critical Southeast Digital Economic Development Research Institute
Priority to CN202110283680.2A priority Critical patent/CN112906818A/zh
Publication of CN112906818A publication Critical patent/CN112906818A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种减少视频数据集用于人工智能训练时冗余的方法，包括如下步骤：1)将视频文件逐帧解析成图像文件，解析时使用检测算法进行图像模糊度检测；2)读取步骤1处理后的第一张图像保存为临时变量；3)读取下一张图像与临时变量使用相似度对比算法进行相似度对比；4)遍历步骤3中保留的图像文件，按顺序逐一与其他剩余图像进行相似度对比，如果相似度对比值高于阈值，则保留被对比图像，否则将对比图像进行删除操作。本发明属于互联网技术领域，具体是指一种可以有效降低视频数据用于人工智能模型训练时冗余性的方法。

Description

一种减少视频数据集用于人工智能训练时冗余的方法
技术领域
本发明属于互联网技术领域，具体是指一种减少视频数据集用于人工智能训练时冗余的方法。
背景技术
随着移动互联网的快速发展和网络摄像头应用的普及，数字社交、数字工业等数字经济领域内视频数据逐步代替图像数据作为信息载体，从以往的单张图像变成动态的视频。视频相对于图像更具全面性和有效性，可以帮助人们更直观地理解其中内容含义。但是，视频是由时间维度上多张连续图像组合而成，因此，当其作为人工智能算法训练阶段的数据源时会存在大量信息冗余。这些冗余不仅会极大地降低人工智能模型训练时的效率，而且也会加大数据标注时所花费的时间成本和人力成本，同时也不利于人工智能模型泛化能力的提升
发明内容
为了解决上述难题，本发明提供了一种减少视频数据集用于人工智能训练时冗余的方法。
为实现上述目的，本发明采取的技术方案如下：一种减少视频数据集用于人工智能训练时冗余的方法，包括如下步骤：
1)将视频文件逐帧解析成图像文件，解析时使用检测算法进行图像模糊度检测，设定模糊值阈值，如果高于设定阈值则认为该帧图像为清晰图像，进行本地存储，图像文件名称按照视频帧数顺序进行命名；
如果低于或等于设定阈值则认为该帧图像为模糊图像，进行删除操作；
2)读取步骤1处理后的第一张图像保存为临时变量；
3)读取下一张图像与临时变量使用相似度对比算法进行相似度对比，设定相似度对比阈值，如果该张图像与临时变量的相似度对比值高于设定阈值，则认为两者差异较大，将该张图像保存并赋值到临时变量；如果该张图像与临时变量的相似度对比值低于或等于阈值，则认为两者相似，删除该张图像，以此类推，完成路径下前后张图像间的相似度对比；
4)遍历步骤3中保留的图像文件，按顺序逐一与其他剩余图像进行相似度对比，如果相似度对比值高于阈值，则保留被对比图像，否则将对比图像进行删除操作。
进一步地，所述步骤1)中检测算法包括但不限于拉普拉斯方差算法、小波变换。
进一步地，所述步骤3)中相似度对比算法包括但不限于：感知哈希算法、SIFT算法。
本发明采取上述结构取得有益效果如下：本发明一种减少视频数据集用于人工智能训练时冗余的方法，图像间相似度对比先按照所属视频帧数进行前后对比，再逐一相互对比。在减轻计算复杂度的同时实现所有图像之间的相似度对比；删除差异性较小的图像可以减少相似图像的冗余性标记；删除差异性较小的图像可以增加数据集内的平均差异，提升人工智能模型学习数据效率。
附图说明
图1为一种减少视频数据集用于人工智能训练时冗余的方法的流程图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
一种减少视频数据集用于人工智能训练时冗余的方法，包括如下步骤：
1)将视频文件逐帧解析成图像文件，解析时使用检测算法进行图像模糊度检测，设定模糊值阈值，如果高于设定阈值则认为该帧图像为清晰图像，进行本地存储，图像文件名称按照视频帧数顺序进行命名；
如果低于或等于设定阈值则认为该帧图像为模糊图像，进行删除操作；
2)读取步骤1处理后的第一张图像保存为临时变量；
3)读取下一张图像与临时变量使用相似度对比算法进行相似度对比，设定相似度对比阈值，如果该张图像与临时变量的相似度对比值高于设定阈值，则认为两者差异较大，将该张图像保存并赋值到临时变量；如果该张图像与临时变量的相似度对比值低于或等于阈值，则认为两者相似，删除该张图像，以此类推，完成路径下前后张图像间的相似度对比；
4)遍历步骤3中保留的图像文件，按顺序逐一与其他剩余图像进行相似度对比，如果相似度对比值高于阈值，则保留被对比图像，否则将对比图像进行删除操作。
所述步骤1)中检测算法包括但不限于拉普拉斯方差算法、小波变换。
所述步骤3)中相似度对比算法包括但不限于：感知哈希算法、SIFT算法。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (3)

1.一种减少视频数据集用于人工智能训练时冗余的方法，其特征在于，包括如下步骤：
1)将视频文件逐帧解析成图像文件，解析时使用检测算法进行图像模糊度检测，设定模糊值阈值，如果高于设定阈值则认为该帧图像为清晰图像，进行本地存储，图像文件名称按照视频帧数顺序进行命名；如果低于或等于设定阈值则认为该帧图像为模糊图像，进行删除操作；
2)读取步骤1处理后的第一张图像保存为临时变量；
3)读取下一张图像与临时变量使用相似度对比算法进行相似度对比，设定相似度对比阈值，如果该张图像与临时变量的相似度对比值高于设定阈值，则认为两者差异较大，将该张图像保存并赋值到临时变量；如果该张图像与临时变量的相似度对比值低于或等于阈值，则认为两者相似，删除该张图像，以此类推，完成路径下前后张图像间的相似度对比；
4)遍历步骤3中保留的图像文件，按顺序逐一与其他剩余图像进行相似度对比，如果相似度对比值高于阈值，则保留被对比图像，否则将对比图像进行删除操作。
2.根据权利要求1所述的一种减少视频数据集用于人工智能训练时冗余的方法，其特征在于：所述步骤1)中检测算法包括拉普拉斯方差算法、小波变换。
3.根据权利要求1所述的一种减少视频数据集用于人工智能训练时冗余的方法，其特征在于：所述步骤3)中相似度对比算法包括感知哈希算法、SIFT算法。
CN202110283680.2A 2021-03-17 2021-03-17 一种减少视频数据集用于人工智能训练时冗余的方法 Pending CN112906818A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110283680.2A CN112906818A (zh) 2021-03-17 2021-03-17 一种减少视频数据集用于人工智能训练时冗余的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110283680.2A CN112906818A (zh) 2021-03-17 2021-03-17 一种减少视频数据集用于人工智能训练时冗余的方法

Publications (1)

Publication Number Publication Date
CN112906818A true CN112906818A (zh) 2021-06-04

Family

ID=76105316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110283680.2A Pending CN112906818A (zh) 2021-03-17 2021-03-17 一种减少视频数据集用于人工智能训练时冗余的方法

Country Status (1)

Country Link
CN (1) CN112906818A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114124908A (zh) * 2021-08-16 2022-03-01 沭阳林冉塑业有限公司 基于人工智能的设备生产中数据发送的控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747270A (zh) * 2013-12-19 2014-04-23 中山大学 一种胶囊内窥镜视频图像的去冗余方法及系统
CN103810711A (zh) * 2014-03-03 2014-05-21 郑州日兴电子科技有限公司 一种用于监控系统视频的关键帧提取方法及其系统
CN107844779A (zh) * 2017-11-21 2018-03-27 重庆邮电大学 一种视频关键帧提取方法
CN110781711A (zh) * 2019-01-21 2020-02-11 北京嘀嘀无限科技发展有限公司 目标对象识别方法、装置、电子设备及存储介质
CN111506773A (zh) * 2020-03-24 2020-08-07 中国科学院大学 一种基于无监督深度孪生网络的视频去重方法
CN111597911A (zh) * 2020-04-22 2020-08-28 成都运达科技股份有限公司 一种基于图像特征快速提取关键帧的方法和系统
CN112257612A (zh) * 2020-10-23 2021-01-22 华侨大学 一种基于边缘智能的无人机视频帧过滤方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747270A (zh) * 2013-12-19 2014-04-23 中山大学 一种胶囊内窥镜视频图像的去冗余方法及系统
CN103810711A (zh) * 2014-03-03 2014-05-21 郑州日兴电子科技有限公司 一种用于监控系统视频的关键帧提取方法及其系统
CN107844779A (zh) * 2017-11-21 2018-03-27 重庆邮电大学 一种视频关键帧提取方法
CN110781711A (zh) * 2019-01-21 2020-02-11 北京嘀嘀无限科技发展有限公司 目标对象识别方法、装置、电子设备及存储介质
CN111506773A (zh) * 2020-03-24 2020-08-07 中国科学院大学 一种基于无监督深度孪生网络的视频去重方法
CN111597911A (zh) * 2020-04-22 2020-08-28 成都运达科技股份有限公司 一种基于图像特征快速提取关键帧的方法和系统
CN112257612A (zh) * 2020-10-23 2021-01-22 华侨大学 一种基于边缘智能的无人机视频帧过滤方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶志强编著: "《社交电视 系统关键支撑技术与应用案例》", 31 January 2016, 中国广播电视出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114124908A (zh) * 2021-08-16 2022-03-01 沭阳林冉塑业有限公司 基于人工智能的设备生产中数据发送的控制方法

Similar Documents

Publication Publication Date Title
CN111260684A (zh) 基于帧差法和背景差分法结合的前景像素提取方法及系统
CN110852961A (zh) 一种基于卷积神经网络的实时视频去噪方法及系统
CN112767270B (zh) 褶皱文档图像矫正系统
WO2023035531A1 (zh) 文本图像超分辨率重建方法及其相关设备
CN106875278B (zh) 基于随机森林的社交网络用户画像方法
CN114973056B (zh) 基于信息密度的快速视频图像分割标注方法
CN114782355B (zh) 基于改进vgg16网络的胃癌数字病理切片检测方法
CN111723692B (zh) 基于卷积神经网络语义分类的标签特征的近重复视频检测方法
CN112906818A (zh) 一种减少视频数据集用于人工智能训练时冗余的方法
CN115761574A (zh) 基于边框标注的弱监督视频目标分割方法及装置
CN115270184A (zh) 视频脱敏、车辆的视频脱敏方法、车载处理系统
CN114333062A (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
CN116778164A (zh) 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法
CN116935476A (zh) 人脸关键点的识别方法、装置和视频直播系统
CN113297899B (zh) 一种基于深度学习的视频哈希算法
US11995144B2 (en) Webpage illustration processing method, system, device and storage medium
CN109977777B (zh) 基于新型RF-Net模型的手势识别方法
CN112036501A (zh) 基于卷积神经网络的图片的相似度检测方法及其相关设备
Chu et al. Deep Video Decaptioning.
CN114581337B (zh) 一种结合多尺度特征聚合和提升策略的低光图像增强方法
WO2022057054A1 (zh) 一种卷积运算优化方法、系统、终端以及存储介质
US20140126820A1 (en) Local Image Translating Method and Terminal with Touch Screen
An et al. Hole Detection with Texture-Suppression on Wooden Plate Surfaces
CN114979742B (zh) 视频处理方法、装置、设备及存储介质
CN114093027B (zh) 基于卷积神经网络的动态手势识别方法、装置及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230927

Address after: Room 1601, building 1, No. 288, Qinjiang East Road, West District, Quzhou City, Zhejiang Province

Applicant after: Southeast Digital Economic Development Research Institute

Applicant after: Zhejiang zhuanzhuzhilian Technology Co.,Ltd.

Address before: Room 1601, building 1, No. 288, Qinjiang East Road, West District, Quzhou City, Zhejiang Province

Applicant before: Southeast Digital Economic Development Research Institute

TA01 Transfer of patent application right