CN114201118B - 一种基于光盘库的存储方法及系统 - Google Patents

一种基于光盘库的存储方法及系统 Download PDF

Info

Publication number
CN114201118B
CN114201118B CN202210134845.4A CN202210134845A CN114201118B CN 114201118 B CN114201118 B CN 114201118B CN 202210134845 A CN202210134845 A CN 202210134845A CN 114201118 B CN114201118 B CN 114201118B
Authority
CN
China
Prior art keywords
characteristic diagram
image
compressed
compression
convolution kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210134845.4A
Other languages
English (en)
Other versions
CN114201118A (zh
Inventor
张理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kds Datacenter Solution Co ltd
Original Assignee
Beijing Kds Datacenter Solution Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kds Datacenter Solution Co ltd filed Critical Beijing Kds Datacenter Solution Co ltd
Priority to CN202210134845.4A priority Critical patent/CN114201118B/zh
Publication of CN114201118A publication Critical patent/CN114201118A/zh
Application granted granted Critical
Publication of CN114201118B publication Critical patent/CN114201118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0677—Optical disk device, e.g. CD-ROM, DVD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于光盘库的存储方法及系统，该方法包括：构建图像压缩网络；图像压缩网络包括预测阶段和压缩阶段；预测阶段用于对输入的待处理图像进行特征提取，获得压缩特征图，根据映射矩阵对压缩特征图进行同质化映射确定压缩比例；压缩阶段用于根据压缩比例对待处理图像进行压缩后输出；对图像压缩网络进行训练，获得训练好的图像压缩网络；将进入光盘库缓存层之后，固化到光盘库光盘层之前的图像输入训练好的图像压缩网络，将训练好的图像压缩网络输出的图像输入光盘库光盘层进行固化。本发明提高了光盘库的存储效率。

Description

一种基于光盘库的存储方法及系统
技术领域
本发明涉及信息存储技术领域，特别是涉及一种基于光盘库的存储方法及系统。
背景技术
由于光盘库中存储介质为光存储，数据一旦落入光盘，便不可再轻易更改，这就意味着若将大文件写入光盘库，光盘库就浪费一定的存储容量，如何降低文件在光盘库中的存储容量，有效提升光盘库的存储能效一直是业界亟待解决的问题。
发明内容
本发明的目的是提供一种基于光盘库的存储方法及系统，提高了光盘库的存储效率。
为实现上述目的，本发明提供了如下方案：
一种基于光盘库的存储方法，包括：
构建图像压缩网络；所述图像压缩网络包括预测阶段和压缩阶段；所述预测阶段用于对输入的待处理图像进行特征提取，获得压缩特征图，根据映射矩阵对所述压缩特征图进行同质化映射确定压缩比例；所述压缩阶段用于根据所述压缩比例对所述待处理图像进行压缩后输出；
对所述图像压缩网络进行训练，获得训练好的图像压缩网络；
将进入光盘库缓存层之后，固化到光盘库光盘层之前的图像输入训练好的图像压缩网络，将训练好的图像压缩网络输出的图像输入光盘库光盘层进行固化。
可选地，所述对输入的待处理图像进行特征提取，获得压缩特征图，根据映射矩阵对所述压缩特征图进行同质化映射确定压缩比例，具体包括：
对输入的待处理图像分别通过第一卷积核C 1、第二卷积核C 2、第三卷积核C 3、第四卷积核C 4和第五卷积核C 5进行卷积，获得第一特征图T 1、第一特征图T 2、第一特征图T 3、第一特征图T 4和第一特征图T 5；
将第一特征图T 1通过第一卷积核C 1卷积后的输出与第一特征图T 1相加，获得第二特征图T 1’；
将第一特征图T 2通过第二卷积核C 2卷积后的输出与第一特征图T 2相加，获得第二特征图T 2’；
将第一特征图T 3通过第二卷积核C 3卷积后的输出与第一特征图T 3相加，获得第二特征图T 3’；
将第一特征图T 4通过第二卷积核C 4卷积后的输出与第一特征图T 4相加，获得第二特征图T 4’；
将第一特征图T 5通过第二卷积核C 5卷积后的输出与第一特征图T 5相加，获得第二特征图T 5’；
对第二特征图T 1’通过第一卷积核C 1进行卷积，获得压缩特征图P 1；
对第二特征图T 2’通过第二卷积核C 2进行卷积，获得压缩特征图P 2；
对第二特征图T 3’通过第三卷积核C 3进行卷积，获得压缩特征图P 3；
对第二特征图T 4’通过第四卷积核C 4进行卷积，获得压缩特征图P 4；
对第二特征图T 5’通过第五卷积核C 5进行卷积，获得压缩特征图P 5。
可选地，所述根据映射矩阵对所述压缩特征图进行同质化映射确定压缩比例，具体包括：
通过公式C=[M 1 P 1⊕M 2 P 2⊕M 3 P 3⊕M 4 P 4⊕M 5 P 5]获得映射后的压缩特征图；其中C表示映射后的压缩特征图，M 1表示第一映射矩阵，M 2表示第二映射矩阵，M 3表示第三映射矩阵，M 4表示第四映射矩阵，M 5表示第五映射矩阵，P 1表示归一化处理后的所述压缩特征图P 1，P 2表示归一化处理后的所述压缩特征图P 2，P 3表示归一化处理后的所述压缩特征图P 3，P 4表示归一化处理后的所述压缩特征图P 4，P 5表示归一化处理后的所述压缩特征图P 5，⊕表示concatenate运算；
将映射后的压缩特征图C输入全连接层，获得5个压缩比例；
5个压缩比例通过softmax函数输出对应5个压缩比例的概率值；
将5个压缩比例的概率值中最大概率值对应的压缩比例作为所述预测阶段输出的压缩比例。
可选地，所述对所述图像压缩网络进行训练，获得训练好的图像压缩网络，具体包括：
将所述待处理图像输入所述图像压缩网络，输出压缩图像；
通过损失函数计算所述待处理图像通过VGGNet网络分类后的概率值与所述压缩图像通过VGGNet网络分类后的概率值之间的损失值；
通过所述损失值对所述图像压缩网络中的网络参数进行更新。
可选地，所述损失函数为交叉熵损失函数。
本发明还公开了一种基于光盘库的存储系统，包括：
图像压缩网络构建模块，用于构建图像压缩网络；所述图像压缩网络包括预测阶段和压缩阶段；所述预测阶段用于对输入的待处理图像进行特征提取，获得压缩特征图，根据映射矩阵对所述压缩特征图进行同质化映射确定压缩比例；所述压缩阶段用于根据所述压缩比例对所述待处理图像进行压缩后输出；
图像压缩网络训练模块，用于对所述图像压缩网络进行训练，获得训练好的图像压缩网络；
光盘库存储模块，用于将进入光盘库缓存层之后，固化到光盘库光盘层之前的图像输入训练好的图像压缩网络，将训练好的图像压缩网络输出的图像输入光盘库光盘层进行固化。
可选地，所述图像压缩网络构建模块，具体包括：
第一特征图获得单元，用于对输入的待处理图像分别通过第一卷积核C 1、第二卷积核C 2、第三卷积核C 3、第四卷积核C 4和第五卷积核C 5进行卷积，获得第一特征图T 1、第一特征图T 2、第一特征图T 3、第一特征图T 4和第一特征图T 5；
第二特征图确定单元，用于将第一特征图T 1通过第一卷积核C 1卷积后的输出与第一特征图T 1相加，获得第二特征图T 1’；将第一特征图T 2通过第二卷积核C 2卷积后的输出与第一特征图T 2相加，获得第二特征图T 2’；将第一特征图T 3通过第二卷积核C 3卷积后的输出与第一特征图T 3相加，获得第二特征图T 3’；将第一特征图T 4通过第二卷积核C 4卷积后的输出与第一特征图T 4相加，获得第二特征图T 4’；将第一特征图T 5通过第二卷积核C 5卷积后的输出与第一特征图T 5相加，获得第二特征图T 5’；
压缩特征图确定单元，用于对第二特征图T 1’通过第一卷积核C 1进行卷积，获得压缩特征图P 1；对第二特征图T 2’通过第二卷积核C 2进行卷积，获得压缩特征图P 2；对第二特征图T 3’通过第三卷积核C 3进行卷积，获得压缩特征图P 3；对第二特征图T 4’通过第四卷积核C 4进行卷积，获得压缩特征图P 4；对第二特征图T 5’通过第五卷积核C 5进行卷积，获得压缩特征图P 5。
可选地，所述图像压缩网络构建模块，具体还包括：
映射单元，用于通过公式C=[M 1 P 1⊕M 2 P 2⊕M 3 P 3⊕M 4 P 4⊕M 5 P 5]获得映射后的压缩特征图；其中C表示映射后的压缩特征图，M 1表示第一映射矩阵，M 2表示第二映射矩阵，M 3表示第三映射矩阵，M 4表示第四映射矩阵，M 5表示第五映射矩阵，P 1表示归一化处理后的所述压缩特征图P 1，P 2表示归一化处理后的所述压缩特征图P 2，P 3表示归一化处理后的所述压缩特征图P 3，P 4表示归一化处理后的所述压缩特征图P 4，P 5表示归一化处理后的所述压缩特征图P 5，⊕表示concatenate运算；
压缩比例输出单元，用于将映射后的压缩特征图C输入全连接层，获得5个压缩比例；
概率值输出单元，用于5个压缩比例通过softmax函数输出对应5个压缩比例的概率值；
压缩比例确定单元，用于将5个压缩比例的概率值中最大概率值对应的压缩比例作为所述预测阶段输出的压缩比例。
可选地，所述图像压缩网络训练模块，具体还包括：
图像压缩网络图像处理单元，用于将所述待处理图像输入所述图像压缩网络，输出压缩图像；
损失值确定单元，用于通过损失函数计算所述待处理图像通过VGGNet网络分类后的概率值与所述压缩图像通过VGGNet网络分类后的概率值之间的损失值；
网络参数更新单元，用于通过所述损失值对所述图像压缩网络中的网络参数进行更新。
可选地，所述损失函数为交叉熵损失函数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过图像压缩网络对进入光盘库缓存层之后，固化到光盘库光盘层之前的图像进行压缩，缩减了固化在光盘层的图像占用空间，提高了光盘库的存储效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于光盘库的存储方法流程示意图；
图2为本发明一种基于光盘库的存储系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于光盘库的存储方法及系统，提高了光盘库的存储效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于光盘库的存储方法流程示意图，如图1所示，一种基于光盘库的存储方法，包括：
步骤101：构建图像压缩网络；图像压缩网络包括预测阶段和压缩阶段；预测阶段用于对输入的待处理图像进行特征提取，获得压缩特征图，根据映射矩阵对压缩特征图进行同质化映射确定压缩比例；压缩阶段用于根据压缩比例对待处理图像进行压缩后输出。
其中步骤101，具体包括：
对输入的待处理图像分别通过第一卷积核C 1、第二卷积核C 2、第三卷积核C 3、第四卷积核C 4和第五卷积核C 5进行卷积，获得第一特征图T 1、第一特征图T 2、第一特征图T 3、第一特征图T 4和第一特征图T 5。
将第一特征图T 1通过第一卷积核C 1卷积后的输出与第一特征图T 1相加，获得第二特征图T 1’。
将第一特征图T 2通过第二卷积核C 2卷积后的输出与第一特征图T 2相加，获得第二特征图T 2’。
将第一特征图T 3通过第二卷积核C 3卷积后的输出与第一特征图T 3相加，获得第二特征图T 3’。
将第一特征图T 4通过第二卷积核C 4卷积后的输出与第一特征图T 4相加，获得第二特征图T 4’。
将第一特征图T 5通过第二卷积核C 5卷积后的输出与第一特征图T 5相加，获得第二特征图T 5’。
对第二特征图T 1’通过第一卷积核C 1进行卷积，获得压缩特征图P 1。
对第二特征图T 2’通过第二卷积核C 2进行卷积，获得压缩特征图P 2。
对第二特征图T 3’通过第三卷积核C 3进行卷积，获得压缩特征图P 3。
对第二特征图T 4’通过第四卷积核C 4进行卷积，获得压缩特征图P 4。
对第二特征图T 5’通过第五卷积核C 5进行卷积，获得压缩特征图P 5。
通过公式C=[M 1 P 1⊕M 2 P 2⊕M 3 P 3⊕M 4 P 4⊕M 5 P 5]获得映射后的压缩特征图；其中C表示映射后的压缩特征图，M 1表示第一映射矩阵，M 2表示第二映射矩阵，M 3表示第三映射矩阵，M 4表示第四映射矩阵，M 5表示第五映射矩阵，P 1表示归一化处理后的压缩特征图P 1，P 2表示归一化处理后的压缩特征图P 2，P 3表示归一化处理后的压缩特征图P 3，P 4表示归一化处理后的压缩特征图P 4，P 5表示归一化处理后的压缩特征图P 5，⊕表示concatenate运算。
将映射后的压缩特征图C输入全连接层，获得5个压缩比例。
5个压缩比例通过softmax函数输出对应5个压缩比例的概率值。
将5个压缩比例的概率值中最大概率值对应的压缩比例作为预测阶段输出的压缩比例。
步骤102：对图像压缩网络进行训练，获得训练好的图像压缩网络。
采集训练集；训练集中包括多个待处理图像；
基于训练集对图像压缩网络进行训练。
其中，步骤102具体包括：
将待处理图像输入图像压缩网络，输出压缩图像。
通过损失函数计算待处理图像通过VGGNet网络分类后的概率值与压缩图像通过VGGNet网络分类后的概率值之间的损失值。
通过损失值对图像压缩网络中的网络参数进行更新。
通过迭代方法进行图像压缩网络中的网络参数的更新，直到损失值到达收敛条件。
损失函数为交叉熵损失函数。
步骤103：将进入光盘库缓存层之后，固化到光盘库光盘层之前的图像输入训练好的图像压缩网络，将训练好的图像压缩网络输出的图像输入光盘库光盘层进行固化。
下面详细说明本发明一种基于光盘库的存储方法。
rationet网络（图像压缩网络）分为三个插件：第一插件为学习插件，第二插件为压缩插件，第三插件为预测插件。
学习插件分为三个阶段：第一阶段为预测阶段，第二阶段为压缩阶段，第三阶段为评价阶段。
预测插件只有一个阶段：预测阶段。压缩插件只有一个阶段：压缩阶段。
预测阶段的输入是图像，输出是0.1，0.3，0.5，0.7，0.9区间的5个压缩比例中的一个。处理方法为：
对输入的图像，分别并行应用C 1、C 2、C 3、C 4和C 55个卷积核对图像进行卷积，卷积核C 1的尺寸为1×1，卷积核C 2的尺寸为3×3，卷积核C 3的尺寸为5×5，卷积核C 4的尺寸为7×7，卷积核C 5的尺寸为9×9，得到5种第一特征图T 1、T 2、T 3、T 4和T 5。对第一特征图T 1、T 2、T 3、T 4和T 5再次应用相同的C 1、C 2、C 3、C 4和C 55个卷积核进行卷积，得到第二特征图T 1’、T 2’、T 3’、T 4’和T 5’。
更新第二特征图：将第一特征图分别与第二特征图相加，得到更新后的第二特征图T 1’、T 2’、T 3’、T 4’和T 5’，更新方式为：
T 1’=T 1’+T 1；
T 2’=T 2’+T 2；
T 3’=T 3’+T 3；
T 4’=T 4’+T 4；
T 5’=T 5’+T 5。
得到压缩特征图：对更新后的第二特征图T 1’、T 2’、T 3’、T 4’和T 5’再次分别并行应用C 1、C 2、C 3、C 4和C 55个卷积核对图像进行卷积，得到压缩特征图P 1、P 2、P 3、P 4和P 5。
对压缩特征图进行归一化处理：
Figure 904232DEST_PATH_IMAGE001
；i∈[1,2,3,4,5];
其中，ε表示无穷小量，δ i为P i的方差，μ i为P i的均值，β i为归一化偏置项系数，γ i为归一化权重系数。
映射压缩特征图：由映射矩阵M 1、M 2、M 3、M 4和M 5分别对归一化处理后的压缩特征图P 1、P 2、P 3、P 4和P 5进行压缩比例第一次维度同质化映射，得到映射后的压缩特征图，具体方法为：
C=[M 1 P 1⊕M 2 P 2⊕M 3 P 3⊕M 4 P 4⊕M 5 P 5]；
其中，⊕为concatenate运算。
维度同质化主要是为了特征对齐。
预测压缩比例：由压缩特征图经过全连接层，输出5分类值（压缩比例），经过softmax输出对应的5个压缩比例的概率值，取最大概率对应的压缩比例即为预测出的压缩比例值。输出5分类值的方法为：
R=[r 1,r 2,r 3,r 4,r 5]=softmax(f 3(f 2(f 1(C))))；
其中，R为压缩比例r 1、r 2、r 3、r 4和r 5的合集，f 3、f 2和f 1均为全连接层函数，f 1的神经元个数为256，f 2的神经元个数为64，f 3的神经元个数为5。
预测阶段的最终输出的压缩比例为R中的最大概率值对应的压缩比例。
压缩阶段的输入是预测阶段的输出的压缩比例，输出是压缩后的图像，压缩方法为：
由图像尺寸宽w，高h，以及压缩比例r得到压缩后的图像尺寸，宽为w*r，高为h*r。
用maxpooling（最大池化）最大化下采样的方法进行压缩图像，其中maxpooling的采样核大小为2*2，stride（步长）为1/r。
用maxpooling方法压缩完后，得到压缩后的图像。
评价阶段：对压缩后的图像，与压缩前的图像进行评价，确保压缩前后的图像，不影响数据使用。评价阶段的作用是为了防止预测阶段的压缩值太小，导致图像无法使用。评价方法为：
用vggnet对两张图像进行图像分类，计算压缩前的图像经过vggnet分类后的概率值与压缩后的图像经过vggnet分类后的概率值之间的损失，损失函数使用cross entrophy（交叉熵）损失函数。损失值用户对本发明中的所有网络参数更新，更新方式为梯度反向传播。
学习（图像压缩网络模型训练）完毕后，用学习插件的预测阶段更新预测插件的预测阶段，更新方式为参数共享。
图像在进入光盘库缓存层之后，在固化到光盘层之前，经过rationet网络的第三个插件预测插件的处理，得到候选压缩比例，再经过rationet网络的第二个插件压缩插件，将图像按照得到的候选压缩比例进行压缩，得到rationet网络最终处理过后的图像，送入光盘层进行固化烧录。由于经过rationet网络的缩小，相比源图像，文件大小变小，使得固化在光盘上的占用空间变小，直接降低了光盘库存储容量，提升了光盘库的存储效率，使得单一光盘库节约了大量的存储空间，提升了光盘库的海量数据存储性能。
图2为本发明一种基于光盘库的存储系统结构示意图，如图2所示，一种基于光盘库的存储系统，包括：
图像压缩网络构建模块201，用于构建图像压缩网络；图像压缩网络包括预测阶段和压缩阶段；预测阶段用于对输入的待处理图像进行特征提取，获得压缩特征图，根据映射矩阵对压缩特征图进行同质化映射确定压缩比例；压缩阶段用于根据压缩比例对待处理图像进行压缩后输出。
图像压缩网络训练模块202，用于对图像压缩网络进行训练，获得训练好的图像压缩网络。
光盘库存储模块203，用于将进入光盘库缓存层之后，固化到光盘库光盘层之前的图像输入训练好的图像压缩网络，将训练好的图像压缩网络输出的图像输入光盘库光盘层进行固化。
图像压缩网络构建模块201，具体包括：
第一特征图获得单元，用于对输入的待处理图像分别通过第一卷积核C 1、第二卷积核C 2、第三卷积核C 3、第四卷积核C 4和第五卷积核C 5进行卷积，获得第一特征图T 1、第一特征图T 2、第一特征图T 3、第一特征图T 4和第一特征图T 5。
第二特征图确定单元，用于将第一特征图T 1通过第一卷积核C 1卷积后的输出与第一特征图T 1相加，获得第二特征图T 1’；将第一特征图T 2通过第二卷积核C 2卷积后的输出与第一特征图T 2相加，获得第二特征图T 2’；将第一特征图T 3通过第二卷积核C 3卷积后的输出与第一特征图T 3相加，获得第二特征图T 3’；将第一特征图T 4通过第二卷积核C 4卷积后的输出与第一特征图T 4相加，获得第二特征图T 4’；将第一特征图T 5通过第二卷积核C 5卷积后的输出与第一特征图T 5相加，获得第二特征图T 5’。
压缩特征图确定单元，用于对第二特征图T 1’通过第一卷积核C 1进行卷积，获得压缩特征图P 1；对第二特征图T 2’通过第二卷积核C 2进行卷积，获得压缩特征图P 2；对第二特征图T 3’通过第三卷积核C 3进行卷积，获得压缩特征图P 3；对第二特征图T 4’通过第四卷积核C 4进行卷积，获得压缩特征图P 4；对第二特征图T 5’通过第五卷积核C 5进行卷积，获得压缩特征图P 5。
映射单元，用于通过公式C=[M 1 P 1⊕M 2 P 2⊕M 3 P 3⊕M 4 P 4⊕M 5 P 5]获得映射后的压缩特征图；其中C表示映射后的压缩特征图，M 1表示第一映射矩阵，M 2表示第二映射矩阵，M 3表示第三映射矩阵，M 4表示第四映射矩阵，M 5表示第五映射矩阵，P 1表示归一化处理后的压缩特征图P 1，P 2表示归一化处理后的压缩特征图P 2，P 3表示归一化处理后的压缩特征图P 3，P 4表示归一化处理后的压缩特征图P 4，P 5表示归一化处理后的压缩特征图P 5，⊕表示concatenate运算。
压缩比例输出单元，用于将映射后的压缩特征图C输入全连接层，获得5个压缩比例。
概率值输出单元，用于5个压缩比例通过softmax函数输出对应5个压缩比例的概率值。
压缩比例确定单元，用于将5个压缩比例的概率值中最大概率值对应的压缩比例作为预测阶段输出的压缩比例。
图像压缩网络训练模块202，具体包括：
图像压缩网络图像处理单元，用于将待处理图像输入图像压缩网络，输出压缩图像。
损失值确定单元，用于通过损失函数计算待处理图像通过VGGNet网络分类后的概率值与压缩图像通过VGGNet网络分类后的概率值之间的损失值。
网络参数更新单元，用于通过损失值对图像压缩网络中的网络参数进行更新。
损失函数为交叉熵损失函数。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于光盘库的存储方法，其特征在于，包括：
构建图像压缩网络；所述图像压缩网络包括预测阶段和压缩阶段；所述预测阶段用于对输入的待处理图像进行特征提取，获得压缩特征图，根据映射矩阵对所述压缩特征图进行同质化映射确定压缩比例；所述压缩阶段用于根据所述压缩比例对所述待处理图像进行压缩后输出；
对所述图像压缩网络进行训练，获得训练好的图像压缩网络；
将进入光盘库缓存层之后，固化到光盘库光盘层之前的图像输入训练好的图像压缩网络，将训练好的图像压缩网络输出的图像输入光盘库光盘层进行固化。
2.根据权利要求1所述的基于光盘库的存储方法，其特征在于，所述对输入的待处理图像进行特征提取，获得压缩特征图，根据映射矩阵对所述压缩特征图进行同质化映射确定压缩比例，具体包括：
对输入的待处理图像分别通过第一卷积核C 1、第二卷积核C 2、第三卷积核C 3、第四卷积核C 4和第五卷积核C 5进行卷积，获得第一特征图T 1、第一特征图T 2、第一特征图T 3、第一特征图T 4和第一特征图T 5；
将第一特征图T 1通过第一卷积核C 1卷积后的输出与第一特征图T 1相加，获得第二特征图T 1’；
将第一特征图T 2通过第二卷积核C 2卷积后的输出与第一特征图T 2相加，获得第二特征图T 2’；
将第一特征图T 3通过第三卷积核C 3卷积后的输出与第一特征图T 3相加，获得第二特征图T 3’；
将第一特征图T 4通过第四卷积核C 4卷积后的输出与第一特征图T 4相加，获得第二特征图T 4’；
将第一特征图T 5通过第五卷积核C 5卷积后的输出与第一特征图T 5相加，获得第二特征图T 5’；
对第二特征图T 1’通过第一卷积核C 1进行卷积，获得压缩特征图P 1；
对第二特征图T 2’通过第二卷积核C 2进行卷积，获得压缩特征图P 2；
对第二特征图T 3’通过第三卷积核C 3进行卷积，获得压缩特征图P 3；
对第二特征图T 4’通过第四卷积核C 4进行卷积，获得压缩特征图P 4；
对第二特征图T 5’通过第五卷积核C 5进行卷积，获得压缩特征图P 5。
3.根据权利要求2所述的基于光盘库的存储方法，其特征在于，所述根据映射矩阵对所述压缩特征图进行同质化映射确定压缩比例，具体包括：
通过公式C=[M 1 P 1⊕M 2 P 2⊕M 3 P 3⊕M 4 P 4⊕M 5 P 5]获得映射后的压缩特征图；其中C表示映射后的压缩特征图，M 1表示第一映射矩阵，M 2表示第二映射矩阵，M 3表示第三映射矩阵，M 4表示第四映射矩阵，M 5表示第五映射矩阵，P 1表示归一化处理后的所述压缩特征图P 1，P 2表示归一化处理后的所述压缩特征图P 2，P 3表示归一化处理后的所述压缩特征图P 3，P 4表示归一化处理后的所述压缩特征图P 4，P 5表示归一化处理后的所述压缩特征图P 5，⊕表示concatenate运算；
将映射后的压缩特征图C输入全连接层，获得5个压缩比例；
5个压缩比例通过softmax函数输出对应5个压缩比例的概率值；
将5个压缩比例的概率值中最大概率值对应的压缩比例作为所述预测阶段输出的压缩比例。
4.根据权利要求1所述的基于光盘库的存储方法，其特征在于，所述对所述图像压缩网络进行训练，获得训练好的图像压缩网络，具体包括：
将所述待处理图像输入所述图像压缩网络，输出压缩图像；
通过损失函数计算所述待处理图像通过VGGNet网络分类后的概率值与所述压缩图像通过VGGNet网络分类后的概率值之间的损失值；
通过所述损失值对所述图像压缩网络中的网络参数进行更新。
5.根据权利要求4所述的基于光盘库的存储方法，其特征在于，所述损失函数为交叉熵损失函数。
6.一种基于光盘库的存储系统，其特征在于，包括：
图像压缩网络构建模块，用于构建图像压缩网络；所述图像压缩网络包括预测阶段和压缩阶段；所述预测阶段用于对输入的待处理图像进行特征提取，获得压缩特征图，根据映射矩阵对所述压缩特征图进行同质化映射确定压缩比例；所述压缩阶段用于根据所述压缩比例对所述待处理图像进行压缩后输出；
图像压缩网络训练模块，用于对所述图像压缩网络进行训练，获得训练好的图像压缩网络；
光盘库存储模块，用于将进入光盘库缓存层之后，固化到光盘库光盘层之前的图像输入训练好的图像压缩网络，将训练好的图像压缩网络输出的图像输入光盘库光盘层进行固化。
7.根据权利要求6所述的基于光盘库的存储系统，其特征在于，所述图像压缩网络构建模块，具体包括：
第一特征图获得单元，用于对输入的待处理图像分别通过第一卷积核C 1、第二卷积核C 2、第三卷积核C 3、第四卷积核C 4和第五卷积核C 5进行卷积，获得第一特征图T 1、第一特征图T 2、第一特征图T 3、第一特征图T 4和第一特征图T 5；
第二特征图确定单元，用于将第一特征图T 1通过第一卷积核C 1卷积后的输出与第一特征图T 1相加，获得第二特征图T 1’；将第一特征图T 2通过第二卷积核C 2卷积后的输出与第一特征图T 2相加，获得第二特征图T 2’；将第一特征图T 3通过第三卷积核C 3卷积后的输出与第一特征图T 3相加，获得第二特征图T 3’；将第一特征图T 4通过第四卷积核C 4卷积后的输出与第一特征图T 4相加，获得第二特征图T 4’；将第一特征图T 5通过第五卷积核C 5卷积后的输出与第一特征图T 5相加，获得第二特征图T 5’；
压缩特征图确定单元，用于对第二特征图T 1’通过第一卷积核C 1进行卷积，获得压缩特征图P 1；对第二特征图T 2’通过第二卷积核C 2进行卷积，获得压缩特征图P 2；对第二特征图T 3’通过第三卷积核C 3进行卷积，获得压缩特征图P 3；对第二特征图T 4’通过第四卷积核C 4进行卷积，获得压缩特征图P 4；对第二特征图T 5’通过第五卷积核C 5进行卷积，获得压缩特征图P 5。
8.根据权利要求7所述的基于光盘库的存储系统，其特征在于，所述图像压缩网络构建模块，具体还包括：
映射单元，用于通过公式C=[M 1 P 1⊕M 2 P 2⊕M 3 P 3⊕M 4 P 4⊕M 5 P 5]获得映射后的压缩特征图；其中C表示映射后的压缩特征图，M 1表示第一映射矩阵，M 2表示第二映射矩阵，M 3表示第三映射矩阵，M 4表示第四映射矩阵，M 5表示第五映射矩阵，P 1表示归一化处理后的所述压缩特征图P 1，P 2表示归一化处理后的所述压缩特征图P 2，P 3表示归一化处理后的所述压缩特征图P 3，P 4表示归一化处理后的所述压缩特征图P 4，P 5表示归一化处理后的所述压缩特征图P 5，⊕表示concatenate运算；
压缩比例输出单元，用于将映射后的压缩特征图C输入全连接层，获得5个压缩比例；
概率值输出单元，用于5个压缩比例通过softmax函数输出对应5个压缩比例的概率值；
压缩比例确定单元，用于将5个压缩比例的概率值中最大概率值对应的压缩比例作为所述预测阶段输出的压缩比例。
9.根据权利要求6所述的基于光盘库的存储系统，其特征在于，所述图像压缩网络训练模块，具体还包括：
图像压缩网络图像处理单元，用于将所述待处理图像输入所述图像压缩网络，输出压缩图像；
损失值确定单元，用于通过损失函数计算所述待处理图像通过VGGNet网络分类后的概率值与所述压缩图像通过VGGNet网络分类后的概率值之间的损失值；
网络参数更新单元，用于通过所述损失值对所述图像压缩网络中的网络参数进行更新。
10.根据权利要求9所述的基于光盘库的存储系统，其特征在于，所述损失函数为交叉熵损失函数。
CN202210134845.4A 2022-02-15 2022-02-15 一种基于光盘库的存储方法及系统 Active CN114201118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210134845.4A CN114201118B (zh) 2022-02-15 2022-02-15 一种基于光盘库的存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210134845.4A CN114201118B (zh) 2022-02-15 2022-02-15 一种基于光盘库的存储方法及系统

Publications (2)

Publication Number Publication Date
CN114201118A CN114201118A (zh) 2022-03-18
CN114201118B true CN114201118B (zh) 2022-05-17

Family

ID=80658925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210134845.4A Active CN114201118B (zh) 2022-02-15 2022-02-15 一种基于光盘库的存储方法及系统

Country Status (1)

Country Link
CN (1) CN114201118B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145276A (zh) * 2019-12-18 2020-05-12 河南大学 基于深度学习和分布式信源编码的高光谱图像压缩方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062780B (zh) * 2017-12-29 2019-08-09 百度在线网络技术（北京）有限公司 图像压缩方法和装置
CN110113609B (zh) * 2019-04-26 2020-09-08 深圳市华星光电技术有限公司 图像压缩方法及装置
CN112581414B (zh) * 2019-09-30 2024-04-23 京东方科技集团股份有限公司 一种卷积神经网络、图像处理的方法及电子设备
CN111787323B (zh) * 2020-05-23 2021-09-03 清华大学 一种基于对抗学习的可变比特率生成式压缩方法
CN112906721B (zh) * 2021-05-07 2021-07-23 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN113554720A (zh) * 2021-07-22 2021-10-26 南京航空航天大学 一种基于多方向卷积神经网络的多光谱图像压缩方法及系统
CN113947136A (zh) * 2021-09-30 2022-01-18 清华大学 图像压缩和分类方法、装置及电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145276A (zh) * 2019-12-18 2020-05-12 河南大学 基于深度学习和分布式信源编码的高光谱图像压缩方法

Also Published As

Publication number Publication date
CN114201118A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
Mei et al. Pyramid attention network for image restoration
CN108830855B (zh) 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN109087258B (zh) 一种基于深度学习的图像去雨方法及装置
CN110826684B (zh) 卷积神经网络的压缩方法、装置、电子设备和介质
CN109522945B (zh) 一种群体情感识别方法、装置、智能设备及存储介质
CN111460818B (zh) 一种基于增强胶囊网络的网页文本分类方法及存储介质
CN113269224B (zh) 一种场景图像分类方法、系统及存储介质
CN111160488A (zh) 融合注意力选择机制的CondenseNet算法
CN114049194A (zh) 一种基于图片背景相似性的欺诈检测识别方法及设备
CN111062431A (zh) 图像聚类方法、图像聚类装置、电子设备及存储介质
CN114972753A (zh) 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统
CN110728352A (zh) 一种基于深度卷积神经网络的大规模图像分类方法
CN114201118B (zh) 一种基于光盘库的存储方法及系统
CN113743533B (zh) 一种图片聚类方法、装置及存储介质
CN113505253B (zh) 基于区块链的图片上传方法、装置、服务器及存储介质
CN112862655B (zh) 一种基于通道空间注意力机制的jpeg图像隐写分析方法
CN113516025B (zh) 一种基于模型构建的高光谱图像处理方法、设备及介质
CN115331081A (zh) 图像目标检测方法与装置
CN111190952B (zh) 一种基于图像金字塔提取城市画像多尺度特征并持久化的方法
CN110544221B (zh) 训练方法及装置、去雨方法、终端设备、存储介质
CN113947154A (zh) 一种目标检测方法、系统、电子设备及存储介质
CN114120046A (zh) 一种基于幻影卷积的轻量级工程结构裂缝识别方法及系统
CN116542311A (zh) 神经网络模型压缩方法和系统
CN114202694A (zh) 基于流形混合插值和对比学习的小样本遥感场景图像分类方法
CN117893975B (zh) 一种电力监控识别场景下的多精度残差量化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant