CN114064954A - 一种光盘库中图像清理方法及系统 - Google Patents
一种光盘库中图像清理方法及系统 Download PDFInfo
- Publication number
- CN114064954A CN114064954A CN202210051350.5A CN202210051350A CN114064954A CN 114064954 A CN114064954 A CN 114064954A CN 202210051350 A CN202210051350 A CN 202210051350A CN 114064954 A CN114064954 A CN 114064954A
- Authority
- CN
- China
- Prior art keywords
- vector
- subtractive
- updated
- weight
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000003287 optical effect Effects 0.000 title claims abstract description 37
- 238000004140 cleaning Methods 0.000 title claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 219
- 238000006243 chemical reaction Methods 0.000 claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 230000005484 gravity Effects 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims description 16
- 230000017105 transposition Effects 0.000 claims description 2
- 239000002131 composite material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Optical Recording Or Reproduction (AREA)
- Optical Head (AREA)
Abstract
本发明公开了一种光盘库中图像清理方法及系统。所述方法,包括:对光盘库中目标图像的全像素矩阵进行建模,得到目标图像的减性向量、转换向量和全局向量;在减性向量中增加权重,得到更新后的减性向量;由更新后的减性向量构建减性权重力;基于减性权重力,采用交叉学习法对转换向量进行更新,得到更新后的转换向量;采用更新后的转换向量对减性权重力进行更新,得到更新后的减性权重力;将更新后的减性权重力与全局向量进行交叉学习,得到全局减性向量;基于全局减性向量和更新后的减性向量,确定遗忘力向量;根据遗忘力向量确定是否对目标图像进行清理。本发明能提高清理效率和光盘库的存储效率。
Description
技术领域
本发明涉及光盘存储技术领域,特别是涉及一种光盘库中图像清理方法及系统。
背景技术
光盘库中的图像存储占据了光盘库90%以上的存储空间,而其中一半以上的图像属于无意义图像,因此,如何找出这些无意义的图像,并进行有效清理,更好地释放光盘库空间,一直是光盘存储中亟待解决的问题。
目前,对于光盘库中图像的清理,大多采用人工筛选的方法,通过人工判断,哪些图像不重要,可以进行删除,从而将垃圾图片进行手动删除。这种方法效率低下,大量耗费人力,且海量图片会造成时间堆积,导致光盘库存储效率低。
发明内容
基于此,本发明实施例提供一种光盘库中图像清理方法及系统,以提高清理效率和光盘库的存储效率。
为实现上述目的,本发明提供了如下方案:
一种光盘库中图像清理方法,包括:
对光盘库中目标图像的全像素矩阵进行建模,得到所述目标图像的减性向量、转换向量和全局向量;
在所述减性向量中增加权重,得到更新后的减性向量;
由所述更新后的减性向量构建减性权重力;
基于所述减性权重力,采用交叉学习法对所述转换向量进行更新,得到更新后的转换向量;所述更新后的转换向量具有减性特性;
采用所述更新后的转换向量对所述减性权重力进行更新,得到更新后的减性权重力;
将所述更新后的减性权重力与所述全局向量进行交叉学习,得到全局减性向量;
基于所述全局减性向量和所述更新后的减性向量,确定遗忘力向量;
根据所述遗忘力向量确定是否对所述目标图像进行清理。
可选的,所述对光盘库中目标图像的全像素矩阵进行建模,得到所述目标图像的减性向量、转换向量和全局向量,具体包括:
采用减性遗忘头、转换遗忘头和全局遗忘头分别对目标图像的全像素矩阵进行建模,得到所述目标图像的减性向量、转换向量和全局向量。
可选的,所述减性权重力为
可选的,所述更新后的转换向量为:
可选的,所述采用所述更新后的转换向量对所述减性权重力进行更新,得到更新后的减性权重力,具体包括:
确定所述更新后的转换向量的权重分布;
计算所述权重分布和所述更新后的转换向量之间的交叉信息;
基于所述交叉信息,对所述减性权重力进行更新,得到更新后的减性权重力。
可选的,所述基于所述全局减性向量和所述更新后的减性向量,确定遗忘力向量,具体包括:
采用超参数矩阵对所述全局减性向量进行更新,得到更新后的全局减性向量;
将所述更新后的全局减性向量与所述更新后的减性向量作差,得到遗忘力向量。
可选的,所述根据所述遗忘力向量确定是否对所述目标图像进行清理,具体包括:
将所述遗忘力向量输入全连接层,得到所述全连接层的输出结果;
若所述输出结果为0,则保留所述目标图像;
若所述输出结果为1,则清理所述目标图像。
可选的,所述计算所述权重分布和所述更新后的转换向量之间的交叉信息,具体包括:
计算所述权重分布和所述更新后的转换向量的点积;
将所述点积确定为所述权重分布和所述更新后的转换向量之间的交叉信息。
可选的,所述基于所述交叉信息,对所述减性权重力进行更新,得到更新后的减性权重力具体包括:
对所述交叉信息中所有的元素进行求和,得到更新后的减性权重力。
本发明还提供了一种光盘库中图像清理系统,包括:
建模模块,用于对光盘库中目标图像的全像素矩阵进行建模,得到所述目标图像的减性向量、转换向量和全局向量;
减性向量更新模块,用于在所述减性向量中增加权重,得到更新后的减性向量;
减性权重力构建模块,用于由所述更新后的减性向量构建减性权重力;
转换向量更新模块,用于基于所述减性权重力,采用交叉学习法对所述转换向量进行更新,得到更新后的转换向量;所述更新后的转换向量具有减性特性;
减性权重力更新模块,用于采用所述更新后的转换向量对所述减性权重力进行更新,得到更新后的减性权重力;
全局减性向量确定模块,用于将所述更新后的减性权重力与所述全局向量进行交叉学习,得到全局减性向量;
遗忘力向量确定模块,用于基于所述全局减性向量和所述更新后的减性向量,确定遗忘力向量;
图像清理模块,用于根据所述遗忘力向量确定是否对所述目标图像进行清理。
与现有技术相比,本发明的有益效果是:
本发明实施例提出了一种光盘库中图像清理方法及系统,通过对图像的全像素矩阵建模,构建减性权重力,并基于交叉学习法实现与图像内容进行交互,进而进行计算遗忘力矩阵,根据遗忘力矩阵对图像进行清理,可以有效去除光盘库中的无意义图像文件,大大释放光盘库空间,提升了光盘库的存储效率,并且与人工筛选的方法相比,实现了对光盘库中的图像的自动清理,提高了清理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的光盘库中图像清理方法的流程图;
图2为本发明实施例提供的光盘库中图像清理系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例提供的光盘库中图像清理方法的流程图。参见图1,本实施例的光盘库中图像清理方法,包括:
步骤101:对光盘库中目标图像的全像素矩阵进行建模,得到所述目标图像的减性向量、转换向量和全局向量。具体的:
记目标图像的全像素矩阵为I,其中,I∈R h×w×c ,h为图像长,w为图像宽,c为图像通道,R h×w×c 表示维度为h×w×c的空间,采用3个独立遗忘头(减性遗忘头、转换遗忘头和全局遗忘头)分别对目标图像的全像素矩阵进行建模,得到所述目标图像的减性向量M、转换向量T和全局向量G。具体建模方法为:
为了减掉目标图像中的冗余信息,构建减性向量M=[m 1,m 2,...,m p-1,m p ]=K T m I,其中,p为向量维度,K T m 为减性遗忘头超参数矩阵,K T m 的上标T表示转置,m p 表示减性向量中的第p个元素,该元素描述了冗余信息。同理,m 1、m 2和m p-1分别对应减性向量中的第1、2和p-1个元素。
为了对目标图像中的信息进行转换传递,构建转换向量T=[t 1,t 2,...,t p-1,t p ]=K T t I,其中,K T t 为转换遗忘头超参数矩阵,K T t 的上标T表示转置,t p 表示转换向量中的第p个元素,该元素描述了转换信息。同理,t 1、t 2和t p-1分别对应转换向量中的第1、2和p-1个元素。
构建携带有目标图像的全局信息的全局向量G=[g 1,g 2,...,g p-1,g p ]=K T g I,其中,K T g 为全局遗忘头超参数矩阵,K T g 的上标T表示转置,g p 表示全局向量中的第p个元素,该元素描述了全局信息。同理,g 1、g 2和g p-1分别对应全局向量中的第1、2和p-1个元素。
步骤102:在所述减性向量中增加权重,得到更新后的减性向量,并由所述更新后的减性向量构建减性权重力。具体的:
将得到的减性向量M经过权重均衡调整后,得到减性权重力W,减性权重力W携带有图像是否应该被剔除的特征信息,具体过程为:
由更新后的减性向量确定的减性权重力为
步骤103:基于所述减性权重力,采用交叉学习法对所述转换向量进行更新,得到更新后的转换向量。所述更新后的转换向量具有减性特性。具体的:
步骤104:采用所述更新后的转换向量对所述减性权重力进行更新,得到更新后的减性权重力。
所述步骤104,具体包括:
1)确定所述更新后的转换向量的权重分布S。
其中,s j 表示S中的第j个元素,j∈[1,n]。
2)计算所述权重分布和所述更新后的转换向量之间的交叉信息L。具体的:计算所述权重分布和所述更新后的转换向量的点积;将所述点积确定为所述权重分布和所述更新后的转换向量之间的交叉信息。交叉信息L为:
步骤105:将所述更新后的减性权重力与所述全局向量进行交叉学习,得到全局减性向量。全局减性向量G M 为:
步骤106:基于所述全局减性向量和所述更新后的减性向量,确定遗忘力向量。具体的:
2)将所述更新后的全局减性向量与所述更新后的减性向量作差,得到遗忘力向量F。计算公式为:
步骤107:根据所述遗忘力向量确定是否对所述目标图像进行清理。具体的:
构建全连接层(Fully Connected layers,FC),全连接层起到“分类器”的作用,遗忘力向量代表了目标图像是否要被清理的信息,将所述遗忘力向量输入全连接层,得到所述全连接层的输出结果;若所述输出结果为0,则保留所述目标图像;若所述输出结果为1,则清理所述目标图像。
本实施例的步骤101-107实现过程,可称之为forgetformer机制,通过步骤101-107的计算后,得到目标图像是否被清理的指令,程序自动对光盘库中的图像进行清理,大大提升了光盘库的存储效率,为光盘库节省了存储空间,间接提升了光盘库的存储性能,达到缩减光盘库容量的目的。
本发明还提供了一种光盘库中图像清理系统,图2为本发明实施例提供的光盘库中图像清理系统的结构图。参见图2,所述系统,包括:
建模模块201,用于对光盘库中目标图像的全像素矩阵进行建模,得到所述目标图像的减性向量、转换向量和全局向量。
减性向量更新模块202,用于在所述减性向量中增加权重,得到更新后的减性向量。
减性权重力构建模块203,用于由所述更新后的减性向量构建减性权重力。
转换向量更新模块204,用于基于所述减性权重力,采用交叉学习法对所述转换向量进行更新,得到更新后的转换向量;所述更新后的转换向量具有减性特性。
减性权重力更新模块205,用于采用所述更新后的转换向量对所述减性权重力进行更新,得到更新后的减性权重力。
全局减性向量确定模块206,用于将所述更新后的减性权重力与所述全局向量进行交叉学习,得到全局减性向量。
遗忘力向量确定模块207,用于基于所述全局减性向量和所述更新后的减性向量,确定遗忘力向量。
图像清理模块208,用于根据所述遗忘力向量确定是否对所述目标图像进行清理。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种光盘库中图像清理方法,其特征在于,包括:
对光盘库中目标图像的全像素矩阵进行建模,得到所述目标图像的减性向量、转换向量和全局向量;
在所述减性向量中增加权重,得到更新后的减性向量;
由所述更新后的减性向量构建减性权重力;
基于所述减性权重力,采用交叉学习法对所述转换向量进行更新,得到更新后的转换向量;所述更新后的转换向量具有减性特性;
采用所述更新后的转换向量对所述减性权重力进行更新,得到更新后的减性权重力;
将所述更新后的减性权重力与所述全局向量进行交叉学习,得到全局减性向量;
基于所述全局减性向量和所述更新后的减性向量,确定遗忘力向量;
根据所述遗忘力向量确定是否对所述目标图像进行清理。
2.根据权利要求1所述的一种光盘库中图像清理方法,其特征在于,所述对光盘库中目标图像的全像素矩阵进行建模,得到所述目标图像的减性向量、转换向量和全局向量,具体包括:
采用减性遗忘头、转换遗忘头和全局遗忘头分别对目标图像的全像素矩阵进行建模,得到所述目标图像的减性向量、转换向量和全局向量。
5.根据权利要求1所述的一种光盘库中图像清理方法,其特征在于,所述采用所述更新后的转换向量对所述减性权重力进行更新,得到更新后的减性权重力,具体包括:
确定所述更新后的转换向量的权重分布;
计算所述权重分布和所述更新后的转换向量之间的交叉信息;
基于所述交叉信息,对所述减性权重力进行更新,得到更新后的减性权重力。
6.根据权利要求1所述的一种光盘库中图像清理方法,其特征在于,所述基于所述全局减性向量和所述更新后的减性向量,确定遗忘力向量,具体包括:
采用超参数矩阵对所述全局减性向量进行更新,得到更新后的全局减性向量;
将所述更新后的全局减性向量与所述更新后的减性向量作差,得到遗忘力向量。
7.根据权利要求1所述的一种光盘库中图像清理方法,其特征在于,所述根据所述遗忘力向量确定是否对所述目标图像进行清理,具体包括:
将所述遗忘力向量输入全连接层,得到所述全连接层的输出结果;
若所述输出结果为0,则保留所述目标图像;
若所述输出结果为1,则清理所述目标图像。
8.根据权利要求5所述的一种光盘库中图像清理方法,其特征在于,所述计算所述权重分布和所述更新后的转换向量之间的交叉信息,具体包括:
计算所述权重分布和所述更新后的转换向量的点积;
将所述点积确定为所述权重分布和所述更新后的转换向量之间的交叉信息。
9.根据权利要求5所述的一种光盘库中图像清理方法,其特征在于,所述基于所述交叉信息,对所述减性权重力进行更新,得到更新后的减性权重力具体包括:
对所述交叉信息中所有的元素进行求和,得到更新后的减性权重力。
10.一种光盘库中图像清理系统,其特征在于,包括:
建模模块,用于对光盘库中目标图像的全像素矩阵进行建模,得到所述目标图像的减性向量、转换向量和全局向量;
减性向量更新模块,用于在所述减性向量中增加权重,得到更新后的减性向量;
减性权重力构建模块,用于由所述更新后的减性向量构建减性权重力;
转换向量更新模块,用于基于所述减性权重力,采用交叉学习法对所述转换向量进行更新,得到更新后的转换向量;所述更新后的转换向量具有减性特性;
减性权重力更新模块,用于采用所述更新后的转换向量对所述减性权重力进行更新,得到更新后的减性权重力;
全局减性向量确定模块,用于将所述更新后的减性权重力与所述全局向量进行交叉学习,得到全局减性向量;
遗忘力向量确定模块,用于基于所述全局减性向量和所述更新后的减性向量,确定遗忘力向量;
图像清理模块,用于根据所述遗忘力向量确定是否对所述目标图像进行清理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210051350.5A CN114064954B (zh) | 2022-01-18 | 2022-01-18 | 一种光盘库中图像清理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210051350.5A CN114064954B (zh) | 2022-01-18 | 2022-01-18 | 一种光盘库中图像清理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114064954A true CN114064954A (zh) | 2022-02-18 |
CN114064954B CN114064954B (zh) | 2022-05-10 |
Family
ID=80231191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210051350.5A Active CN114064954B (zh) | 2022-01-18 | 2022-01-18 | 一种光盘库中图像清理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114064954B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080298700A1 (en) * | 2007-06-04 | 2008-12-04 | Slipstream Data Inc. | Method and device for selecting transform matrices for down-sampling dct image using learning with forgetting algorithm |
CN110991513A (zh) * | 2019-11-27 | 2020-04-10 | 佛山科学技术学院 | 一种具有类人连续学习能力的图像目标识别系统及方法 |
CN113408577A (zh) * | 2021-05-12 | 2021-09-17 | 桂林电子科技大学 | 一种基于注意力机制的图像分类方法 |
CN113688261A (zh) * | 2021-08-25 | 2021-11-23 | 深圳极视角科技有限公司 | 图像数据清理方法、装置、电子设备及可读存储介质 |
CN113791929A (zh) * | 2021-11-17 | 2021-12-14 | 北京中科开迪软件有限公司 | 一种基于图像识别的光盘库故障自动恢复方法及系统 |
-
2022
- 2022-01-18 CN CN202210051350.5A patent/CN114064954B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080298700A1 (en) * | 2007-06-04 | 2008-12-04 | Slipstream Data Inc. | Method and device for selecting transform matrices for down-sampling dct image using learning with forgetting algorithm |
CN110991513A (zh) * | 2019-11-27 | 2020-04-10 | 佛山科学技术学院 | 一种具有类人连续学习能力的图像目标识别系统及方法 |
CN113408577A (zh) * | 2021-05-12 | 2021-09-17 | 桂林电子科技大学 | 一种基于注意力机制的图像分类方法 |
CN113688261A (zh) * | 2021-08-25 | 2021-11-23 | 深圳极视角科技有限公司 | 图像数据清理方法、装置、电子设备及可读存储介质 |
CN113791929A (zh) * | 2021-11-17 | 2021-12-14 | 北京中科开迪软件有限公司 | 一种基于图像识别的光盘库故障自动恢复方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114064954B (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111062951B (zh) | 一种基于语义分割类内特征差异性的知识蒸馏方法 | |
JP2023036862A5 (zh) | ||
CN115239638A (zh) | 一种工业缺陷检测方法、装置、设备及可读存储介质 | |
CN111161161B (zh) | 一种颜色保持的特征融合去雾方法 | |
CN112990077A (zh) | 基于联合学习与光流估计的面部动作单元识别方法及装置 | |
CN114064954B (zh) | 一种光盘库中图像清理方法及系统 | |
CN114067385A (zh) | 基于度量学习的跨模态人脸检索哈希方法 | |
CN115618051B (zh) | 一种基于互联网的智慧校园监控视频存储方法 | |
CN115249313A (zh) | 一种基于元模块融合增量学习的图像分类方法 | |
CN116630285A (zh) | 基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法 | |
CN115375948A (zh) | 基于全局注意力的卷积-Transformer的RGB-T目标跟踪网络 | |
CN116245861A (zh) | 基于交叉多尺度的无参考图像质量评价方法 | |
CN106780570A (zh) | 一种基于在线学习的实时目标跟踪方法 | |
CN113051408B (zh) | 一种基于信息增强的稀疏知识图谱推理方法 | |
CN114926335A (zh) | 基于深度学习的视频超分辨率方法及系统、计算机设备 | |
CN111986121B (zh) | 基于Framelet l0范数约束的模糊图像非盲复原方法 | |
CN116432750B (zh) | 一种基于盒嵌入的少样本知识图谱补全方法 | |
CN110324585B (zh) | 基于高速移动平台的slam系统的实现方法 | |
JPS62131383A (ja) | 画像列における動き推定方法及び装置 | |
CN116681631A (zh) | 基于对偶网络的低质量胶片图像修复增强方法及系统 | |
CN116403142A (zh) | 视频处理方法、装置、电子设备及介质 | |
CN111046958A (zh) | 基于数据依赖的核学习和字典学习的图像分类及识别方法 | |
CN115937374A (zh) | 一种数字人体建模方法、装置、设备及介质 | |
CN109002802A (zh) | 基于自适应鲁棒主成分分析的视频前景分离方法和系统 | |
CN115063713A (zh) | 视频生成模型的训练方法、视频生成方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |