CN114332745A - 一种基于深度神经网络的近重复视频大数据清洗方法 - Google Patents

一种基于深度神经网络的近重复视频大数据清洗方法 Download PDF

Info

Publication number
CN114332745A
CN114332745A CN202210234973.6A CN202210234973A CN114332745A CN 114332745 A CN114332745 A CN 114332745A CN 202210234973 A CN202210234973 A CN 202210234973A CN 114332745 A CN114332745 A CN 114332745A
Authority
CN
China
Prior art keywords
video
feature vector
computer
key value
repetitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210234973.6A
Other languages
English (en)
Other versions
CN114332745B (zh
Inventor
叶鸥
段瑞
于振华
魏新力
付燕
邓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN202210234973.6A priority Critical patent/CN114332745B/zh
Publication of CN114332745A publication Critical patent/CN114332745A/zh
Application granted granted Critical
Publication of CN114332745B publication Critical patent/CN114332745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于深度神经网络的近重复视频大数据清洗方法，包括以下步骤：一、CNN‑LSTM神经网络对待处理视频的特征向量提取；二、利用MapReduce框架对提取的特征向量进行局部敏感哈希映射并获取视频的二值化哈希码；三、利用MapReduce框架归并具有相同二值化哈希码的数据点；四、根据归并后各个键值的欧式距离的分布情况得到近重复视频并删除从而完成近重复视频的清洗。本发明方法步骤简单，设计合理，可以快速有效地自动清洗视频大数据中的近重复视频数据，改善视频大数据的数据质量。

Description

一种基于深度神经网络的近重复视频大数据清洗方法
技术领域
本发明属于监控视频技术领域，尤其是涉及一种基于深度神经网络的近重复视频大数据清洗方法。
背景技术
目前，随着网络上的视频数据规模不断增加，近重复视频数据大量涌现，这些近重复视频既会影响正常视频数据的使用，又会引起版权纠纷等社会问题，由此造成视频的数据质量问题越来越突出。因此目前产生了很多针对近重复视频检测与清洗的研究，以对视频数据进行清洗删除近重复视频数据，提高视频质量。
现有的近重复视频检测方法包括基于低层特征的近重复视频检测方法、基于深度特征的近重复视频检测方法，但是现有的近重复视频检测方法只能识别出视频数据集中存在近重复视频，较难自动清洗和删除近重复视频这类数据，因此较难保证视频数据集的整体数据质量。
另外，现有对近重复视频的清洗大多还停留在少量视频的检测阶段，较难在大数据规模的条件下，高效、自动的清洗近重复视频数据，这对视频大数据的质量造成了很大的影响。
因此，现如今缺少一种基于深度神经网络的近重复视频大数据清洗方法，可以快速有效地自动清洗视频大数据中的近重复视频数据，改善视频大数据的数据质量。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于深度神经网络的近重复视频大数据清洗方法，其方法步骤简单，设计合理，可以快速有效地自动清洗视频大数据中的近重复视频数据，改善视频大数据的数据质量。
为解决上述技术问题，本发明采用的技术方案是：一种基于深度神经网络的近重复视频大数据清洗方法，其特征在于，该方法包括以下步骤：
步骤一、CNN-LSTM神经网络对待处理视频的特征向量提取：
采用计算机通过CNN-LSTM神经网络分别对
Figure 94540DEST_PATH_IMAGE001
个待处理视频进行特征向量提取的方法均相同，其中对任一个待处理视频进行特征向量提取，具体过程如下：
步骤101、采用计算机从任一个待处理视频中选取
Figure 949363DEST_PATH_IMAGE002
个视频帧，并将
Figure 260259DEST_PATH_IMAGE002
个视频帧分别输入VGG16神经网络中进行空间特征提取，得到
Figure 389889DEST_PATH_IMAGE002
个视频帧对应的空间特征向量；其中，
Figure 610786DEST_PATH_IMAGE002
为正整数；
步骤102、采用计算机将步骤101中
Figure 229986DEST_PATH_IMAGE002
个视频帧对应的空间特征向量输入到LSTM神经网络中，提取待处理视频的时空特征，得到一组初始特征向量
Figure 407939DEST_PATH_IMAGE003
；其中，第
Figure 137997DEST_PATH_IMAGE004
个初始特征向量
Figure 213401DEST_PATH_IMAGE005
为1024×1的向量，
Figure 941185DEST_PATH_IMAGE006
为正整数，且
Figure 226673DEST_PATH_IMAGE007
;
步骤103、采用计算机调用PCA主成分分析模块对步骤102中的一组初始特征向量进行降维处理，得到降维后特征向量，并存入HDFS中；其中，降维后特征向量为1024×1的向量，第
Figure 635789DEST_PATH_IMAGE008
个待处理视频的降维后特征向量记作第
Figure 893595DEST_PATH_IMAGE008
个特征向量
Figure 854597DEST_PATH_IMAGE009
，
Figure 502748DEST_PATH_IMAGE010
和
Figure 309030DEST_PATH_IMAGE011
均为正整数，且
Figure 123140DEST_PATH_IMAGE012
；
步骤二、利用MapReduce框架对提取的特征向量进行局部敏感哈希映射并获取视频的二值化哈希码：
步骤201、采用计算机利用Hadoop分布式平台的MapReduce框架从HDFS中读取特征向量；
步骤202、采用计算机利用MapReduce框架，在Map阶段调用利用哈希函数族
Figure 723885DEST_PATH_IMAGE013
对第
Figure 124911DEST_PATH_IMAGE014
个特征向量进行哈希映射，得到第
Figure 734884DEST_PATH_IMAGE014
个特征向量对应的
Figure 639386DEST_PATH_IMAGE015
位二值化哈希码，并记作第
Figure 145453DEST_PATH_IMAGE016
个待处理视频的二值化哈希码向量
Figure 892829DEST_PATH_IMAGE017
；其中，
Figure 181859DEST_PATH_IMAGE015
为正整数；
步骤203、多次重复步骤202，得到
Figure 268764DEST_PATH_IMAGE018
个待处理视频的二值化哈希码集合
Figure 8050DEST_PATH_IMAGE019
，且
Figure 351044DEST_PATH_IMAGE020
；
步骤三、利用MapReduce框架归并具有相同二值化哈希码的数据点：
步骤301、采用计算机利用MapReduce框架，在Map阶段将
Figure 506082DEST_PATH_IMAGE021
个待处理视频的二值化哈希码集合中二值化哈希码向量赋值给关键字
Figure 509810DEST_PATH_IMAGE022
，将特征向量赋值给关键字值
Figure 295364DEST_PATH_IMAGE023
，则输出各个键值对
Figure 955015DEST_PATH_IMAGE024
；
步骤302、采用计算机利用MapReduce框架，在Map阶段，对各个键值对
Figure 976061DEST_PATH_IMAGE025
进行分区、合并，并将每个数据分区输出合并后键值对作为Reduce阶段的输入键值对；
步骤303、采用计算机利用MapReduce框架，在Reduce阶段，将每个数据分区输出合并后键值对，根据关键字
Figure 48010DEST_PATH_IMAGE026
排序，并将相同的关键字
Figure 270044DEST_PATH_IMAGE027
对应的关键字值
Figure 416992DEST_PATH_IMAGE028
归并，得到归并后各个键值对并存入HDFS中；
步骤四、根据归并后各个键值的欧式距离的分布情况得到近重复视频并删除，从而完成近重复视频的清洗：
步骤401、采用计算机从HDFS中读取归并后各个键值，并将归并后每个键值的关键字值
Figure 851515DEST_PATH_IMAGE029
分别记作一个特征向量集合；
步骤402、采用计算机对各个特征向量集合根据欧式距离的分布情况得到近重复视频，并将该近重复视频从待处理视频中删除，完成近重复视频的清洗。
上述的一种基于深度神经网络的近重复视频大数据清洗方法，其特征在于：步骤202具体步骤如下：
步骤2021、设定哈希函数族
Figure 767518DEST_PATH_IMAGE030
由
Figure 488350DEST_PATH_IMAGE031
个哈希函数，第
Figure 293233DEST_PATH_IMAGE032
个哈希函数记作
Figure 656081DEST_PATH_IMAGE033
,
Figure 364274DEST_PATH_IMAGE034
为正整数且
Figure 256006DEST_PATH_IMAGE035
，第
Figure 49650DEST_PATH_IMAGE036
个哈希函数
Figure 950610DEST_PATH_IMAGE037
，如下：
Figure 247730DEST_PATH_IMAGE038
；
其中，
Figure 779206DEST_PATH_IMAGE039
表示哈希映射投影中实轴量化宽度，
Figure 184779DEST_PATH_IMAGE040
为[0,
Figure 263331DEST_PATH_IMAGE041
]范围内的随机数，
Figure 8434DEST_PATH_IMAGE042
为1024维向量，且每一维是一个独立选自满足p-Stable分布的随机变量，
Figure 773127DEST_PATH_IMAGE043
表示内积运算，
Figure 275784DEST_PATH_IMAGE044
表示向下取整操作；
步骤2022、采用计算机利用MapReduce框架，在Map阶段利用LSH算法哈希函数族
Figure 721809DEST_PATH_IMAGE045
对第
Figure 383734DEST_PATH_IMAGE046
个特征向量进行哈希映射，得到第
Figure 929116DEST_PATH_IMAGE046
个特征向量对应的
Figure 43703DEST_PATH_IMAGE047
位哈希码
Figure 699943DEST_PATH_IMAGE048
；其中，
Figure 950796DEST_PATH_IMAGE049
表示第
Figure 183192DEST_PATH_IMAGE050
个特征向量对应的第
Figure 785075DEST_PATH_IMAGE051
个哈希码，
Figure 510586DEST_PATH_IMAGE052
为正整数且
Figure 881524DEST_PATH_IMAGE053
；
步骤2023、采用计算机利用MapReduce框架根据
Figure 96605DEST_PATH_IMAGE054
，得到第
Figure 61150DEST_PATH_IMAGE055
个特征向量对应的第
Figure 449406DEST_PATH_IMAGE056
个二值化哈希码
Figure 284638DEST_PATH_IMAGE057
；其中，
Figure 467357DEST_PATH_IMAGE058
表示第
Figure 417733DEST_PATH_IMAGE059
个特征向量对应的
Figure 609680DEST_PATH_IMAGE060
位哈希码
Figure 564998DEST_PATH_IMAGE061
的中位数。
上述的一种基于深度神经网络的近重复视频大数据清洗方法，其特征在于：步骤302中采用计算机用MapReduce框架，在Map阶段，对各个键值对
Figure 387461DEST_PATH_IMAGE062
进行分区、合并，并将每个数据分区输出合并后键值对作为Reduce阶段的输入键值对，具体过程如下：
步骤3021、采用计算机将各个键值对
Figure 185652DEST_PATH_IMAGE062
，利用数据分区算法根据关键字
Figure 56656DEST_PATH_IMAGE063
将关键字值对分为多个数据分区；
步骤3022、采用计算机在每个数据分区分别根据关键字
Figure 194377DEST_PATH_IMAGE064
排序，并将相同的关键字
Figure 984478DEST_PATH_IMAGE064
对应的关键字值
Figure 410911DEST_PATH_IMAGE065
合并，则每个数据分区输出合并后键值对，并将每个数据分区输出合并后键值对作为Reduce阶段的输入键值对。
上述的一种基于深度神经网络的近重复视频大数据清洗方法，其特征在于：步骤402中采用计算机对各个特征向量集合根据欧式距离的分布情况得到近重复视频，具体过程如下：
步骤4021、采用计算机将第
Figure 413502DEST_PATH_IMAGE066
个键值的关键字值
Figure 841947DEST_PATH_IMAGE067
记作第
Figure 475054DEST_PATH_IMAGE068
个特征向量集合
Figure 982259DEST_PATH_IMAGE069
，
Figure 257382DEST_PATH_IMAGE070
为正整数，且
Figure 307378DEST_PATH_IMAGE071
，
Figure 439282DEST_PATH_IMAGE072
表示第
Figure 574728DEST_PATH_IMAGE073
个特征向量集合
Figure 387964DEST_PATH_IMAGE074
中特征向量的总数；
步骤4022、采用计算机判断第
Figure 682679DEST_PATH_IMAGE070
个特征向量集合
Figure 93806DEST_PATH_IMAGE069
中特征向量的数量是否为1，如果第
Figure 841182DEST_PATH_IMAGE070
个特征向量集合
Figure 130212DEST_PATH_IMAGE069
中特征向量的数量为1，则第
Figure 748275DEST_PATH_IMAGE070
个特征向量集合
Figure 97348DEST_PATH_IMAGE069
不存在近重复视频，否则，执行步骤4023至步骤4026；
步骤4023、采用计算机设定第
Figure 66441DEST_PATH_IMAGE070
个特征向量集合
Figure 159162DEST_PATH_IMAGE069
中各个特征向量分别记作
Figure 162890DEST_PATH_IMAGE075
，...，
Figure 745181DEST_PATH_IMAGE076
，...，
Figure 581331DEST_PATH_IMAGE077
；其中，
Figure 336798DEST_PATH_IMAGE078
表示第
Figure 70399DEST_PATH_IMAGE079
个特征向量集合
Figure 885908DEST_PATH_IMAGE069
中第
Figure 970538DEST_PATH_IMAGE080
个特征向量，
Figure 264117DEST_PATH_IMAGE080
和
Figure 180120DEST_PATH_IMAGE081
均为正整数，且
Figure 41897DEST_PATH_IMAGE082
，
Figure 738457DEST_PATH_IMAGE083
；
步骤4024、采用计算机获取第
Figure 209628DEST_PATH_IMAGE084
个特征向量集合
Figure 980138DEST_PATH_IMAGE085
中第
Figure 137449DEST_PATH_IMAGE086
个特征向量
Figure 196672DEST_PATH_IMAGE087
和原点之间的欧式距离
Figure 832053DEST_PATH_IMAGE088
，并将第
Figure 722649DEST_PATH_IMAGE089
个特征向量集合
Figure 926228DEST_PATH_IMAGE090
中
Figure 331801DEST_PATH_IMAGE091
个欧式距离进行均值处理，得到第
Figure 911819DEST_PATH_IMAGE092
个特征向量集合
Figure 656921DEST_PATH_IMAGE093
的欧式距离平均值
Figure 156035DEST_PATH_IMAGE094
；
步骤4025、采用计算机根据公式
Figure 422806DEST_PATH_IMAGE095
，得到第
Figure 399989DEST_PATH_IMAGE096
个特征向量
Figure 265177DEST_PATH_IMAGE097
的欧氏距离偏移量
Figure 810559DEST_PATH_IMAGE098
，并将各个欧氏距离偏移量从大到小排列，获取最小欧氏距离偏移量
Figure 190725DEST_PATH_IMAGE099
；
步骤4026、采用计算机将第
Figure 846965DEST_PATH_IMAGE100
个特征向量集合
Figure 566660DEST_PATH_IMAGE101
中大于
Figure 407577DEST_PATH_IMAGE102
的特征向量对应的视频记作近重复视频；
步骤4027、多次按照步骤4022至步骤4026所述的方法，完成所有特征向量集合的判断，得到近重复视频。
本发明与现有技术相比具有以下优点：
1、本发明方法步骤简单，设计合理，首先是CNN-LSTM神经网络对待处理视频的特征向量提取，接着是利用MapReduce框架对提取的特征向量进行局部敏感哈希映射并获取视频的二值化哈希码，然后利用MapReduce框架归并具有相同二值化哈希码的数据点，最后根据归并后各个键值的欧式距离的分布情况得到近重复视频并删除，从而完成近重复视频的清洗，适应近重复视频大数据清洗。
2、本发明利用深度神经网络对视频帧提取特征向量，利用MapReduce框架在Map阶段对提取的高维特征向量通过局部敏感哈希映射，并在Map阶段和Reduce阶段实现个键值对的合并、归并，便于根据欧式距离的分布情况进行近重复视频清洗，利用深度神经网络和MapReduce框架相结合，可实现分布式的近重复视频清洗工作，大大加快了视频数据的处理速度，从而高效的完成近重复视频大数据清洗。
综上所述，本发明方法步骤简单，设计合理，可以快速有效地自动清洗视频大数据中的近重复视频数据，改善视频大数据的数据质量。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
具体实施方式
如图1所示的一种基于深度神经网络的近重复视频大数据清洗方法，该方法包括以下步骤：
步骤一、CNN-LSTM神经网络对待处理视频的特征向量提取：
采用计算机通过CNN-LSTM神经网络分别对
Figure 150405DEST_PATH_IMAGE001
个待处理视频进行特征向量提取的方法均相同，其中对任一个待处理视频进行特征向量提取，具体过程如下：
步骤101、采用计算机从任一个待处理视频中选取
Figure 734970DEST_PATH_IMAGE002
个视频帧，并将
Figure 479810DEST_PATH_IMAGE002
个视频帧分别输入VGG16神经网络中进行空间特征提取，得到
Figure 694890DEST_PATH_IMAGE002
个视频帧对应的空间特征向量；其中，
Figure 518490DEST_PATH_IMAGE002
为正整数；
步骤102、采用计算机将步骤101中
Figure 47691DEST_PATH_IMAGE002
个视频帧对应的空间特征向量输入到LSTM神经网络中，提取待处理视频的时空特征，得到一组初始特征向量
Figure 273136DEST_PATH_IMAGE003
；其中，第
Figure 659118DEST_PATH_IMAGE004
个初始特征向量
Figure 110959DEST_PATH_IMAGE005
为1024×1的向量，
Figure 37327DEST_PATH_IMAGE006
为正整数，且
Figure 258224DEST_PATH_IMAGE007
;
步骤103、采用计算机调用PCA主成分分析模块对步骤102中的一组初始特征向量进行降维处理，得到降维后特征向量，并存入HDFS中；其中，降维后特征向量为1024×1的向量，第
Figure 80686DEST_PATH_IMAGE008
个待处理视频的降维后特征向量记作第
Figure 878878DEST_PATH_IMAGE008
个特征向量
Figure 711400DEST_PATH_IMAGE009
，
Figure 177016DEST_PATH_IMAGE010
和
Figure 170380DEST_PATH_IMAGE011
均为正整数，且
Figure 65655DEST_PATH_IMAGE012
；
步骤二、利用MapReduce框架对提取的特征向量进行局部敏感哈希映射并获取视频的二值化哈希码：
步骤201、采用计算机利用Hadoop分布式平台的MapReduce框架从HDFS中读取特征向量；
步骤202、采用计算机利用MapReduce框架，在Map阶段调用利用哈希函数族
Figure 864983DEST_PATH_IMAGE013
对第
Figure 794893DEST_PATH_IMAGE014
个特征向量进行哈希映射，得到第
Figure 693579DEST_PATH_IMAGE014
个特征向量对应的
Figure 466363DEST_PATH_IMAGE015
位二值化哈希码，并记作第
Figure 679170DEST_PATH_IMAGE016
个待处理视频的二值化哈希码向量
Figure 588220DEST_PATH_IMAGE017
；其中，
Figure 923386DEST_PATH_IMAGE015
为正整数；
步骤203、多次重复步骤202，得到
Figure 291788DEST_PATH_IMAGE018
个待处理视频的二值化哈希码集合
Figure 432920DEST_PATH_IMAGE019
，且
Figure 665318DEST_PATH_IMAGE020
；
步骤三、利用MapReduce框架归并具有相同二值化哈希码的数据点：
步骤301、采用计算机利用MapReduce框架，在Map阶段将
Figure 577910DEST_PATH_IMAGE021
个待处理视频的二值化哈希码集合中二值化哈希码向量赋值给关键字
Figure 590866DEST_PATH_IMAGE022
，将特征向量赋值给关键字值
Figure 879896DEST_PATH_IMAGE023
，则输出各个键值对
Figure 966800DEST_PATH_IMAGE024
；
步骤302、采用计算机利用MapReduce框架，在Map阶段，对各个键值对
Figure 174928DEST_PATH_IMAGE025
进行分区、合并，并将每个数据分区输出合并后键值对作为Reduce阶段的输入键值对；
步骤303、采用计算机利用MapReduce框架，在Reduce阶段，将每个数据分区输出合并后键值对，根据关键字
Figure 284966DEST_PATH_IMAGE026
排序，并将相同的关键字
Figure 502321DEST_PATH_IMAGE027
对应的关键字值
Figure 614371DEST_PATH_IMAGE028
归并，得到归并后各个键值对并存入HDFS中；
步骤四、根据归并后各个键值的欧式距离的分布情况得到近重复视频并删除，从而完成近重复视频的清洗：
步骤401、采用计算机从HDFS中读取归并后各个键值，并将归并后每个键值的关键字值
Figure 462242DEST_PATH_IMAGE029
分别记作一个特征向量集合；
步骤402、采用计算机对各个特征向量集合根据欧式距离的分布情况得到近重复视频，并将该近重复视频从待处理视频中删除，完成近重复视频的清洗。
本实施例中，步骤202具体步骤如下：
步骤2021、设定哈希函数族
Figure 918631DEST_PATH_IMAGE030
由
Figure 549463DEST_PATH_IMAGE031
个哈希函数，第
Figure 673277DEST_PATH_IMAGE032
个哈希函数记作
Figure 364153DEST_PATH_IMAGE033
,
Figure 245521DEST_PATH_IMAGE034
为正整数且
Figure 804678DEST_PATH_IMAGE035
，第
Figure 658365DEST_PATH_IMAGE036
个哈希函数
Figure 644775DEST_PATH_IMAGE037
，如下：
Figure 279019DEST_PATH_IMAGE038
；
其中，
Figure 750189DEST_PATH_IMAGE039
表示哈希映射投影中实轴量化宽度，
Figure 583016DEST_PATH_IMAGE040
为[0,
Figure 943590DEST_PATH_IMAGE041
]范围内的随机数，
Figure 471655DEST_PATH_IMAGE042
为1024维向量，且每一维是一个独立选自满足p-Stable分布的随机变量，
Figure 372615DEST_PATH_IMAGE043
表示内积运算，
Figure 200893DEST_PATH_IMAGE044
表示向下取整操作；
步骤2022、采用计算机利用MapReduce框架，在Map阶段利用LSH算法哈希函数族
Figure 529106DEST_PATH_IMAGE045
对第
Figure 872363DEST_PATH_IMAGE046
个特征向量进行哈希映射，得到第
Figure 452380DEST_PATH_IMAGE046
个特征向量对应的
Figure 994220DEST_PATH_IMAGE047
位哈希码
Figure 696597DEST_PATH_IMAGE048
；其中，
Figure 703648DEST_PATH_IMAGE049
表示第
Figure 946410DEST_PATH_IMAGE050
个特征向量对应的第
Figure 749281DEST_PATH_IMAGE051
个哈希码，
Figure 419297DEST_PATH_IMAGE052
为正整数且
Figure 471567DEST_PATH_IMAGE053
；
步骤2023、采用计算机利用MapReduce框架根据
Figure 658966DEST_PATH_IMAGE054
，得到第
Figure 175398DEST_PATH_IMAGE055
个特征向量对应的第
Figure 219577DEST_PATH_IMAGE056
个二值化哈希码
Figure 431247DEST_PATH_IMAGE057
；其中，
Figure 281391DEST_PATH_IMAGE058
表示第
Figure 26231DEST_PATH_IMAGE059
个特征向量对应的
Figure 241311DEST_PATH_IMAGE060
位哈希码
Figure 330490DEST_PATH_IMAGE061
的中位数。
本实施例中，步骤302中采用计算机用MapReduce框架，在Map阶段，对各个键值对
Figure 594112DEST_PATH_IMAGE062
进行分区、合并，并将每个数据分区输出合并后键值对作为Reduce阶段的输入键值对，具体过程如下：
步骤3021、采用计算机将各个键值对
Figure 85137DEST_PATH_IMAGE062
，利用数据分区算法根据关键字
Figure 471119DEST_PATH_IMAGE063
将关键字值对分为多个数据分区；
步骤3022、采用计算机在每个数据分区分别根据关键字
Figure 657380DEST_PATH_IMAGE064
排序，并将相同的关键字
Figure 849327DEST_PATH_IMAGE064
对应的关键字值
Figure 398120DEST_PATH_IMAGE065
合并，则每个数据分区输出合并后键值对，并将每个数据分区输出合并后键值对作为Reduce阶段的输入键值对。
本实施例中，步骤402中采用计算机对各个特征向量集合根据欧式距离的分布情况得到近重复视频，具体过程如下：
步骤4021、采用计算机将第
Figure 627108DEST_PATH_IMAGE066
个键值的关键字值
Figure 690878DEST_PATH_IMAGE067
记作第
Figure 794838DEST_PATH_IMAGE068
个特征向量集合
Figure 198138DEST_PATH_IMAGE069
，
Figure 722660DEST_PATH_IMAGE070
为正整数，且
Figure 149093DEST_PATH_IMAGE071
，
Figure 682843DEST_PATH_IMAGE072
表示第
Figure 940649DEST_PATH_IMAGE073
个特征向量集合
Figure 511439DEST_PATH_IMAGE074
中特征向量的总数；
步骤4022、采用计算机判断第
Figure 549802DEST_PATH_IMAGE070
个特征向量集合
Figure 497029DEST_PATH_IMAGE069
中特征向量的数量是否为1，如果第
Figure 609342DEST_PATH_IMAGE070
个特征向量集合
Figure 741246DEST_PATH_IMAGE069
中特征向量的数量为1，则第
Figure 375227DEST_PATH_IMAGE070
个特征向量集合
Figure 250779DEST_PATH_IMAGE069
不存在近重复视频，否则，执行步骤4023至步骤4026；
步骤4023、采用计算机设定第
Figure 217598DEST_PATH_IMAGE070
个特征向量集合
Figure 661349DEST_PATH_IMAGE069
中各个特征向量分别记作
Figure 143146DEST_PATH_IMAGE075
，...，
Figure 432176DEST_PATH_IMAGE076
，...，
Figure 519081DEST_PATH_IMAGE077
；其中，
Figure 258367DEST_PATH_IMAGE078
表示第
Figure 102826DEST_PATH_IMAGE079
个特征向量集合
Figure 523443DEST_PATH_IMAGE069
中第
Figure 261592DEST_PATH_IMAGE080
个特征向量，
Figure 297679DEST_PATH_IMAGE080
和
Figure 19648DEST_PATH_IMAGE081
均为正整数，且
Figure 978376DEST_PATH_IMAGE082
，
Figure 649660DEST_PATH_IMAGE083
；
步骤4024、采用计算机获取第
Figure 199590DEST_PATH_IMAGE084
个特征向量集合
Figure 18642DEST_PATH_IMAGE085
中第
Figure 843378DEST_PATH_IMAGE086
个特征向量
Figure 930021DEST_PATH_IMAGE087
和原点之间的欧式距离
Figure 119694DEST_PATH_IMAGE088
，并将第
Figure 550675DEST_PATH_IMAGE089
个特征向量集合
Figure 523310DEST_PATH_IMAGE090
中
Figure 356137DEST_PATH_IMAGE091
个欧式距离进行均值处理，得到第
Figure 716711DEST_PATH_IMAGE092
个特征向量集合
Figure 244776DEST_PATH_IMAGE093
的欧式距离平均值
Figure 145736DEST_PATH_IMAGE094
；
步骤4025、采用计算机根据公式
Figure 974014DEST_PATH_IMAGE095
，得到第
Figure 302227DEST_PATH_IMAGE096
个特征向量
Figure 645484DEST_PATH_IMAGE097
的欧氏距离偏移量
Figure 458457DEST_PATH_IMAGE098
，并将各个欧氏距离偏移量从大到小排列，获取最小欧氏距离偏移量
Figure 265876DEST_PATH_IMAGE099
；
步骤4026、采用计算机将第
Figure 640357DEST_PATH_IMAGE100
个特征向量集合
Figure 470909DEST_PATH_IMAGE101
中大于
Figure 713672DEST_PATH_IMAGE102
的特征向量对应的视频记作近重复视频；
步骤4027、多次按照步骤4022至步骤4026所述的方法，完成所有特征向量集合的判断，得到近重复视频。
本实施例中，
Figure 250964DEST_PATH_IMAGE103
为大于1的正整数。
本实施例中，
Figure 124242DEST_PATH_IMAGE103
个视频帧的大小均为w×h×c，w×h表示视频帧的大小，c表示视频帧的通道数，且w和h均为224，c＝3。
本实施例中，VGG16神经网络由于其网络的深度，可以用于提取空间特征和高精度的图像识别，在解决图像定位与分类问题中表现出优异的性能。但是，VGG16神经网络较难准确地表示输入视频序列的时序关系。为了克服这种局限性，采用LSTM网络来提取视频流中的动态时序行为特征。
本实施例中，VGG16神经网络包括13个卷积层和3个全连接层，卷积层和全连接层的激活函数均为ReLu激活函数，3个全连接层分别为FC1全连接层，FC2全连接层和FC3全连接层，FC1全连接层，FC2全连接层和FC3全连接层的神经元个数分别为4096，4096,1000，每个卷积层的滑动步长为1，每个卷积层的卷积核为3×3×3。
本实施例中，实际使用时，FC3全连接层用于分类任务，本发明只需要提取特征不用分类，因此经过FC1全连接层和FC2全连接层后得到空间特征向量，且各个视频帧对应的空间特征向量均为4096维的空间特征向量。
本实施例中，哈希函数族
Figure 238828DEST_PATH_IMAGE104
采用局部敏感哈希函数，LSH算法即局部敏感哈希(Locality Sensitive Hashing,LSH)算法。
本实施例中，例如设
Figure 160648DEST_PATH_IMAGE105
=12,则映射得到12位哈希码,假设映射得到12位哈希码
Figure 677080DEST_PATH_IMAGE106
,如果按照从大到小排序后为n1>n3>n5>n7>n9>n11>n2>n4>n6>n8>n10>n12,那么二值化哈希码向量为(1,0,1,0,1,0,1,0,1,0,1,0)。
本实施例中，本发明的目的是进行近重复视频的清洗，所以关键在于找到数据中的近重复视频，所以本方法采用欧式距离的分布情况分析，找到近重复视频，完成近重复视频的清洗。
综上所述，本发明方法步骤简单，设计合理，可以快速有效地自动清洗视频大数据中的近重复视频数据，改善视频大数据的数据质量。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (4)

1.一种基于深度神经网络的近重复视频大数据清洗方法，其特征在于，该方法包括以下步骤：
步骤一、CNN-LSTM神经网络对待处理视频的特征向量提取：
采用计算机通过CNN-LSTM神经网络分别对
Figure 961036DEST_PATH_IMAGE001
个待处理视频进行特征向量提取的方法均相同，其中对任一个待处理视频进行特征向量提取，具体过程如下：
步骤101、采用计算机从任一个待处理视频中选取
Figure 828498DEST_PATH_IMAGE002
个视频帧，并将
Figure 288429DEST_PATH_IMAGE002
个视频帧分别输入VGG16神经网络中进行空间特征提取，得到
Figure 862630DEST_PATH_IMAGE002
个视频帧对应的空间特征向量；其中，
Figure 874448DEST_PATH_IMAGE002
为正整数；
步骤102、采用计算机将步骤101中
Figure 104572DEST_PATH_IMAGE002
个视频帧对应的空间特征向量输入到LSTM神经网络中，提取待处理视频的时空特征，得到一组初始特征向量
Figure 430511DEST_PATH_IMAGE003
；其中，第
Figure 655956DEST_PATH_IMAGE004
个初始特征向量
Figure 979622DEST_PATH_IMAGE005
为1024×1的向量，
Figure 556096DEST_PATH_IMAGE006
为正整数，且
Figure 685726DEST_PATH_IMAGE007
;
步骤103、采用计算机调用PCA主成分分析模块对步骤102中的一组初始特征向量进行降维处理，得到降维后特征向量，并存入HDFS中；其中，降维后特征向量为1024×1的向量，第
Figure 405158DEST_PATH_IMAGE008
个待处理视频的降维后特征向量记作第
Figure 24359DEST_PATH_IMAGE008
个特征向量
Figure 25813DEST_PATH_IMAGE009
，
Figure 631238DEST_PATH_IMAGE010
和
Figure 96854DEST_PATH_IMAGE011
均为正整数，且
Figure 496742DEST_PATH_IMAGE012
；
步骤二、利用MapReduce框架对提取的特征向量进行局部敏感哈希映射并获取视频的二值化哈希码：
步骤201、采用计算机利用Hadoop分布式平台的MapReduce框架从HDFS中读取特征向量；
步骤202、采用计算机利用MapReduce框架，在Map阶段调用利用哈希函数族
Figure 985493DEST_PATH_IMAGE013
对第
Figure 253663DEST_PATH_IMAGE014
个特征向量进行哈希映射，得到第
Figure 449152DEST_PATH_IMAGE014
个特征向量对应的
Figure 613417DEST_PATH_IMAGE015
位二值化哈希码，并记作第
Figure 386201DEST_PATH_IMAGE016
个待处理视频的二值化哈希码向量
Figure 837823DEST_PATH_IMAGE017
；其中，
Figure 12452DEST_PATH_IMAGE015
为正整数；
步骤203、多次重复步骤202，得到
Figure 82039DEST_PATH_IMAGE018
个待处理视频的二值化哈希码集合
Figure 217486DEST_PATH_IMAGE019
，且
Figure 93038DEST_PATH_IMAGE020
；
步骤三、利用MapReduce框架归并具有相同二值化哈希码的数据点：
步骤301、采用计算机利用MapReduce框架，在Map阶段将
Figure 325436DEST_PATH_IMAGE021
个待处理视频的二值化哈希码集合中二值化哈希码向量赋值给关键字
Figure 503608DEST_PATH_IMAGE022
，将特征向量赋值给关键字值
Figure 250984DEST_PATH_IMAGE023
，则输出各个键值对
Figure 540014DEST_PATH_IMAGE024
；
步骤302、采用计算机利用MapReduce框架，在Map阶段，对各个键值对
Figure 626918DEST_PATH_IMAGE025
进行分区、合并，并将每个数据分区输出合并后键值对作为Reduce阶段的输入键值对；
步骤303、采用计算机利用MapReduce框架，在Reduce阶段，将每个数据分区输出合并后键值对，根据关键字
Figure 100625DEST_PATH_IMAGE026
排序，并将相同的关键字
Figure 709199DEST_PATH_IMAGE027
对应的关键字值
Figure 660974DEST_PATH_IMAGE028
归并，得到归并后各个键值对并存入HDFS中；
步骤四、根据归并后各个键值的欧式距离的分布情况得到近重复视频并删除，从而完成近重复视频的清洗：
步骤401、采用计算机从HDFS中读取归并后各个键值，并将归并后每个键值的关键字值
Figure 867965DEST_PATH_IMAGE029
分别记作一个特征向量集合；
步骤402、采用计算机对各个特征向量集合根据欧式距离的分布情况得到近重复视频，并将该近重复视频从待处理视频中删除，完成近重复视频的清洗。
2.按照权利要求1所述的一种基于深度神经网络的近重复视频大数据清洗方法，其特征在于：步骤202具体步骤如下：
步骤2021、设定哈希函数族
Figure 653518DEST_PATH_IMAGE030
由
Figure 109907DEST_PATH_IMAGE031
个哈希函数，第
Figure 740740DEST_PATH_IMAGE032
个哈希函数记作
Figure 536658DEST_PATH_IMAGE033
,
Figure 617746DEST_PATH_IMAGE034
为正整数且
Figure 436797DEST_PATH_IMAGE035
，第
Figure 199217DEST_PATH_IMAGE036
个哈希函数
Figure 911958DEST_PATH_IMAGE037
，如下：
Figure 272270DEST_PATH_IMAGE038
；
其中，
Figure 703251DEST_PATH_IMAGE039
表示哈希映射投影中实轴量化宽度，
Figure 3783DEST_PATH_IMAGE040
为[0,
Figure 977555DEST_PATH_IMAGE041
]范围内的随机数，
Figure 869288DEST_PATH_IMAGE042
为1024维向量，且每一维是一个独立选自满足p-Stable分布的随机变量，
Figure 990827DEST_PATH_IMAGE043
表示内积运算，
Figure 767154DEST_PATH_IMAGE044
表示向下取整操作；
步骤2022、采用计算机利用MapReduce框架，在Map阶段利用LSH算法哈希函数族
Figure 454487DEST_PATH_IMAGE045
对第
Figure 658066DEST_PATH_IMAGE046
个特征向量进行哈希映射，得到第
Figure 1323DEST_PATH_IMAGE046
个特征向量对应的
Figure 971553DEST_PATH_IMAGE047
位哈希码
Figure 887294DEST_PATH_IMAGE048
；其中，
Figure 589671DEST_PATH_IMAGE049
表示第
Figure 216961DEST_PATH_IMAGE050
个特征向量对应的第
Figure 600669DEST_PATH_IMAGE051
个哈希码，
Figure 997015DEST_PATH_IMAGE052
为正整数且
Figure 870293DEST_PATH_IMAGE053
；
步骤2023、采用计算机利用MapReduce框架根据
Figure 860246DEST_PATH_IMAGE054
，得到第
Figure 906700DEST_PATH_IMAGE055
个特征向量对应的第
Figure 626394DEST_PATH_IMAGE056
个二值化哈希码
Figure 342677DEST_PATH_IMAGE057
；其中，
Figure 210139DEST_PATH_IMAGE058
表示第
Figure 186184DEST_PATH_IMAGE059
个特征向量对应的
Figure 557122DEST_PATH_IMAGE060
位哈希码
Figure 772203DEST_PATH_IMAGE061
的中位数。
3.按照权利要求1所述的一种基于深度神经网络的近重复视频大数据清洗方法，其特征在于：步骤302中采用计算机用MapReduce框架，在Map阶段，对各个键值对
Figure 471169DEST_PATH_IMAGE062
进行分区、合并，并将每个数据分区输出合并后键值对作为Reduce阶段的输入键值对，具体过程如下：
步骤3021、采用计算机将各个键值对
Figure 125004DEST_PATH_IMAGE062
，利用数据分区算法根据关键字
Figure 225815DEST_PATH_IMAGE063
将关键字值对分为多个数据分区；
步骤3022、采用计算机在每个数据分区分别根据关键字
Figure 611797DEST_PATH_IMAGE064
排序，并将相同的关键字
Figure 188272DEST_PATH_IMAGE064
对应的关键字值
Figure 255585DEST_PATH_IMAGE065
合并，则每个数据分区输出合并后键值对，并将每个数据分区输出合并后键值对作为Reduce阶段的输入键值对。
4.按照权利要求1所述的一种基于深度神经网络的近重复视频大数据清洗方法，其特征在于：步骤402中采用计算机对各个特征向量集合根据欧式距离的分布情况得到近重复视频，具体过程如下：
步骤4021、采用计算机将第
Figure 335536DEST_PATH_IMAGE066
个键值的关键字值
Figure 157999DEST_PATH_IMAGE067
记作第
Figure 330092DEST_PATH_IMAGE068
个特征向量集合
Figure 325730DEST_PATH_IMAGE069
，
Figure 135554DEST_PATH_IMAGE070
为正整数，且
Figure 925655DEST_PATH_IMAGE071
，
Figure 414406DEST_PATH_IMAGE072
表示第
Figure 823521DEST_PATH_IMAGE073
个特征向量集合
Figure 878065DEST_PATH_IMAGE074
中特征向量的总数；
步骤4022、采用计算机判断第
Figure 42330DEST_PATH_IMAGE070
个特征向量集合
Figure 424901DEST_PATH_IMAGE069
中特征向量的数量是否为1，如果第
Figure 762341DEST_PATH_IMAGE070
个特征向量集合
Figure 310872DEST_PATH_IMAGE069
中特征向量的数量为1，则第
Figure 380459DEST_PATH_IMAGE070
个特征向量集合
Figure 640539DEST_PATH_IMAGE069
不存在近重复视频，否则，执行步骤4023至步骤4026；
步骤4023、采用计算机设定第
Figure 125879DEST_PATH_IMAGE070
个特征向量集合
Figure 420594DEST_PATH_IMAGE069
中各个特征向量分别记作
Figure 661082DEST_PATH_IMAGE075
，...，
Figure 283825DEST_PATH_IMAGE076
，...，
Figure 697488DEST_PATH_IMAGE077
；其中，
Figure 722076DEST_PATH_IMAGE078
表示第
Figure 195783DEST_PATH_IMAGE079
个特征向量集合
Figure 368138DEST_PATH_IMAGE069
中第
Figure 693815DEST_PATH_IMAGE080
个特征向量，
Figure 963122DEST_PATH_IMAGE080
和
Figure 217517DEST_PATH_IMAGE081
均为正整数，且
Figure 673906DEST_PATH_IMAGE082
，
Figure 632635DEST_PATH_IMAGE083
；
步骤4024、采用计算机获取第
Figure 366236DEST_PATH_IMAGE084
个特征向量集合
Figure 447324DEST_PATH_IMAGE085
中第
Figure 266376DEST_PATH_IMAGE086
个特征向量
Figure 763216DEST_PATH_IMAGE087
和原点之间的欧式距离
Figure 475957DEST_PATH_IMAGE088
，并将第
Figure 107708DEST_PATH_IMAGE089
个特征向量集合
Figure 538689DEST_PATH_IMAGE090
中
Figure 839221DEST_PATH_IMAGE091
个欧式距离进行均值处理，得到第
Figure 281834DEST_PATH_IMAGE092
个特征向量集合
Figure 439146DEST_PATH_IMAGE093
的欧式距离平均值
Figure 498369DEST_PATH_IMAGE094
；
步骤4025、采用计算机根据公式
Figure 133750DEST_PATH_IMAGE095
，得到第
Figure 24345DEST_PATH_IMAGE096
个特征向量
Figure 227925DEST_PATH_IMAGE097
的欧氏距离偏移量
Figure 633498DEST_PATH_IMAGE098
，并将各个欧氏距离偏移量从大到小排列，获取最小欧氏距离偏移量
Figure 712050DEST_PATH_IMAGE099
；
步骤4026、采用计算机将第
Figure 457153DEST_PATH_IMAGE100
个特征向量集合
Figure 956267DEST_PATH_IMAGE101
中大于
Figure 724503DEST_PATH_IMAGE102
的特征向量对应的视频记作近重复视频；
步骤4027、多次按照步骤4022至步骤4026所述的方法，完成所有特征向量集合的判断，得到近重复视频。
CN202210234973.6A 2022-03-11 2022-03-11 一种基于深度神经网络的近重复视频大数据清洗方法 Active CN114332745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210234973.6A CN114332745B (zh) 2022-03-11 2022-03-11 一种基于深度神经网络的近重复视频大数据清洗方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210234973.6A CN114332745B (zh) 2022-03-11 2022-03-11 一种基于深度神经网络的近重复视频大数据清洗方法

Publications (2)

Publication Number Publication Date
CN114332745A true CN114332745A (zh) 2022-04-12
CN114332745B CN114332745B (zh) 2022-05-31

Family

ID=81034018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210234973.6A Active CN114332745B (zh) 2022-03-11 2022-03-11 一种基于深度神经网络的近重复视频大数据清洗方法

Country Status (1)

Country Link
CN (1) CN114332745B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704414A (zh) * 2023-06-13 2023-09-05 西安科技大学 基于byol无监督深度对比学习的近重复视频清洗方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320773A (zh) * 2015-11-03 2016-02-10 中国人民解放军理工大学 一种基于Hadoop平台的分布式重复数据删除系统和方法
CN105677661A (zh) * 2014-09-30 2016-06-15 华东师范大学 一种检测社交媒体重复数据的方法
CN107885764A (zh) * 2017-09-21 2018-04-06 银江股份有限公司 基于多任务深度学习快速哈希车辆检索方法
CN110674673A (zh) * 2019-07-31 2020-01-10 国家计算机网络与信息安全管理中心 一种关键视频帧抽取方法、装置和存储介质
US20210117232A1 (en) * 2019-10-18 2021-04-22 Splunk Inc. Data ingestion pipeline anomaly detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677661A (zh) * 2014-09-30 2016-06-15 华东师范大学 一种检测社交媒体重复数据的方法
CN105320773A (zh) * 2015-11-03 2016-02-10 中国人民解放军理工大学 一种基于Hadoop平台的分布式重复数据删除系统和方法
CN107885764A (zh) * 2017-09-21 2018-04-06 银江股份有限公司 基于多任务深度学习快速哈希车辆检索方法
CN110674673A (zh) * 2019-07-31 2020-01-10 国家计算机网络与信息安全管理中心 一种关键视频帧抽取方法、装置和存储介质
US20210117232A1 (en) * 2019-10-18 2021-04-22 Splunk Inc. Data ingestion pipeline anomaly detection

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAEHOON KIM等: "Near Duplicate Image Discovery on One Billion Images", 《2015 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 *
SHAOWEI CHEN: "A Data Fusion-based Methodology of Constructing Health Indicators for Anomaly Detection and Prognostics", 《2018 INTERNATIONAL CONFERENCE ON SENSING, DIAGNOSTICS, PROGNOSTICS, AND CONTROL》 *
付燕等: "针对近重复视频的 FD-Means 聚类清洗算法", 《计算机工程与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704414A (zh) * 2023-06-13 2023-09-05 西安科技大学 基于byol无监督深度对比学习的近重复视频清洗方法

Also Published As

Publication number Publication date
CN114332745B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
Zhong et al. An end-to-end dense-inceptionnet for image copy-move forgery detection
Yalniz et al. Billion-scale semi-supervised learning for image classification
Du et al. Towards explanation of dnn-based prediction with guided feature inversion
Fu et al. Hin2vec: Explore meta-paths in heterogeneous information networks for representation learning
CN103336957B (zh) 一种基于时空特征的网络同源视频检测方法
CN111737551A (zh) 一种基于异构图注意力神经网络的暗网线索检测方法
CN114244603B (zh) 异常检测及对比嵌入模型训练、检测方法、装置及介质
CN111182364B (zh) 一种短视频版权检测方法及系统
WO2017143907A1 (zh) 一种字符串距离计算方法和装置
Hao et al. Detecting shilling attacks with automatic features from multiple views
CN112434553A (zh) 一种基于深度字典学习的视频鉴别方法及系统
US20230056760A1 (en) Method and apparatus for processing graph data, device, storage medium, and program product
CN111639230B (zh) 一种相似视频的筛选方法、装置、设备和存储介质
CN114332745B (zh) 一种基于深度神经网络的近重复视频大数据清洗方法
Han et al. L-Net: lightweight and fast object detector-based ShuffleNetV2
Markatopoulou et al. Cascade of classifiers based on binary, non-binary and deep convolutional network descriptors for video concept detection
CN110110120B (zh) 一种基于深度学习的图像检索方法和装置
CN116821053B (zh) 数据上报方法、装置、计算机设备和存储介质
CN112036495A (zh) 一种基于网络爬虫和迁移学习的服装图像分类方法
Lin et al. Full-scale selective transformer for semantic segmentation
CN109670071B (zh) 一种序列化多特征指导的跨媒体哈希检索方法和系统
CN116861022A (zh) 一种基于深度卷积神经网络和局部敏感哈希算法相结合的图像检索方法
Ni et al. Camera-agnostic person re-identification via adversarial disentangling learning
CN112861965B (zh) 基于多特征交叉一致性模型的图像匹配方法
Van Dam et al. Duplicate detection in web shops using LSH to reduce the number of computations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant