CN115546326B - 一种基于元学习的云图像集编码方法 - Google Patents

一种基于元学习的云图像集编码方法 Download PDF

Info

Publication number
CN115546326B
CN115546326B CN202211312093.2A CN202211312093A CN115546326B CN 115546326 B CN115546326 B CN 115546326B CN 202211312093 A CN202211312093 A CN 202211312093A CN 115546326 B CN115546326 B CN 115546326B
Authority
CN
China
Prior art keywords
cloud image
image set
new
parameters
fine tuning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211312093.2A
Other languages
English (en)
Other versions
CN115546326A (zh
Inventor
沙丽娜
陈高锋
吴炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Yangling Vocational and Technical College
Original Assignee
Xidian University
Yangling Vocational and Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University, Yangling Vocational and Technical College filed Critical Xidian University
Priority to CN202211312093.2A priority Critical patent/CN115546326B/zh
Publication of CN115546326A publication Critical patent/CN115546326A/zh
Application granted granted Critical
Publication of CN115546326B publication Critical patent/CN115546326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于元学习的云图像集编码方法，包括：将云存储的图像划分为多个类别；将每一类别下的图像聚类为多个云图像集；针对每一类别，利用该类别下的部分云图像集生成第一隐变量集合；利用第一隐变量集合学习部分云图像集的基本参数和微调参数；为该类别下的任一新云图像集生成第二隐变量集合；将第一隐变量集合学习到的基本参数和微调参数迁移给新云图像集，并基于第二隐变量集合为新云图像集仅学习相应的微调参数，得到新云图像集的基本参数和最终学习到的微调参数，完成新云图像集的编码。本发明无需重新生成全新编码参数，只在现有云图像集学习到的基本参数和微调参数基础上为同一类新云图像集学习微调参数，因此计算复杂度较低。

Description

一种基于元学习的云图像集编码方法
技术领域
本发明属于云计算和大数据领域，具体涉及一种基于元学习的云图像集编码方法。
背景技术
二十一世纪以来，随着互联网、大数据和云计算等相关产业的飞速发展，数字图像、视频和语音等多媒体数据也呈现出爆炸式的增长。据全球最大社交网络服务公司Facebook报告，其存储的照片已经接近三千多亿张，并正以每天三亿多张的速度剧增。由于图像、视频需要较多的空间进行存储，因而规模巨大的多媒体大数据为云存储等方面带来了极大的压力。为此，学术界和工业界一直在研究新的数字图像压缩技术。
由于云服务器中存储的大量图像中包含很多相同场景下拍摄的照片，这些照片具有很大的相似性。不过，若使用传统的JPEG、JPEG-2000、H.264帧内编码、HEVC帧内编码技术以及H.266帧内编码方法对它们进行压缩，会存在存储空间大、编码效率不够高的问题。那么，很有必要利用图像之间的相似性，使用视觉内容分析技术进行分析，建立对应的视觉模型或视觉联系，这样会有助于消除相似图像间的视觉冗余，提升编码性能。通常使用最小树形图技术将很多相似图像放在一个树形图中，然后对这个树形图的每个分支采用视频编码方法，生成相应的云图像集。目前，有以下几种云图像集编码方法。
第一种是基于物体库的云图像构建方法。例如，吴炜等人提出的基于物体库的云图像编码方法，该方法在获取编码文件时，通过云图像中的编码信息和物体库中的物体图像获取候选参考编码图像，并将候选参考编码图像作为编码参考图像对其进行HEVC帧内编码，考虑了图像中的物体信息，减少了编码文件中包含的物体冗余信息。
第二种是基于三维点云的编码方法。例如，Shao T、Liu D、Li H等人于2015年9月在ICIP国际会议上发表的论文“Inter-picture prediction based on 3D point cloudmodel”中提出的基于三维点云的云图像预测方法。该方法要求从云端采集某一特定兴趣点(如地标建筑)的图像，生成该建筑对应的三维点云模型。在三维点云模型的基础上，采用光照补偿和帧间预测技术对标志性建筑的相似图像进行压缩。
第三种是基于多参考图像选择的编码方法。例如，沙丽娜于2021年6月发表的博士学位论文“图像集压缩与图像删除技术研究”中提出的基于多参考图像选择的云图像集编码方法，该方法将所在层数比当前图像的层数更小的所有图像组成的集合，作为当前图像的候选参考图像集；然后使用每个候选参考图像，对当前图像进行预测编码，计算出相应的率失真代价，并根据所有的率失真代价确定当前图像的多个参考图像；最后使用类视频压缩技术完成图像集编码。
第四种方法是用于具有单优先级的相似图像的编码方法。例如，沙丽娜于2021年6月发表的博士学位论文“图像集压缩与图像删除技术研究”中提出的单优先级相似图像的压缩编码方法。该方法为每个图像只分配一个优先级，采用深度和单优先级约束最小树形图生成技术，为相似图像组成的集合确定相应的树形图，然后根据获得的深度和单优先级约束最小树形图，通过类视频压缩技术完成云图像集编码。
然而，以上方法都是对每一个云图像集使用最小树形图技术，获得当前编码图像的参考图像，并使用类视频编码方法进行压缩，完成云图像集的编码。在这些方法中，对于一个新的云图像集，无法利用已编码云图像集的编码信息，而是必须使用各自的技术重新对该新的云图像集进行编码，从而导致计算复杂度较大。
发明内容
为了解决现有技术中存在的上述问题，本发明实施例提供了一种基于元学习的云图像集编码方法。具体技术方案如下：
将云存储的图像划分为多个类别；
将每一类别下的图像聚类为多个云图像集；
针对每一类别，利用该类别下的部分云图像集生成第一隐变量集合；
利用所述第一隐变量集合学习所述部分云图像集的基本参数和微调参数；
为该类别下的任一新云图像集生成第二隐变量集合；
将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，并基于所述第二隐变量集合为所述新云图像集仅学习相应的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，完成所述新云图像集的编码。
在本发明的一个实施例中，将云存储的图像划分为多个类别时的依据，包括：
拍摄地点、天气、光照和图像内容。
在本发明的一个实施例中，所述将每一类别下的图像聚类为多个云图像集，包括：
利用近邻传播方法将每一类别下的图像聚类为多个云图像集。
在本发明的一个实施例中，所述针对每一类别，利用该类别下的部分云图像集生成第一隐变量集合，包括：
针对每一类别，将该类别下的部分云图像集利用预设VGG网络分别生成相应图像的卷积特征作为隐变量，将所述部分云图像集得到的所有隐变量构成第一隐变量集合；
相应的，所述为该类别下的任一新云图像集生成第二隐变量集合，包括：
将该类别下的任一新云图像集利用所述预设VGG网络生成相应图像的卷积特征作为隐变量，将所述任一新云图像集得到的所有隐变量构成第二隐变量集合。
在本发明的一个实施例中，所述预设VGG网络，包括：
预设VGG16网络；
其中，所述预设VGG16网络的架构包括：conv3-64、conv3-64、maxpool、conv3-128、conv3-128、maxpool、conv3-256、conv3-256、conv3-256、maxpool、conv3-512、conv3-512、conv3-512、maxpool、conv3-512、conv3-512、conv3-512；其中，conv3-x表示采用的是3×3的卷积核和x个通道的卷积层，所述预设VGG16网络中x＝64、128、256、512，maxpool表示最大池化。
在本发明的一个实施例中，所述利用所述第一隐变量集合学习所述部分云图像集的基本参数和微调参数，包括：
将所述第一隐变量集合利用预设的调整模块，通过元学习方式，学习所述部分云图像集的基本参数和微调参数；其中，所述调整模块由残差网络构成。
在本发明的一个实施例中，所述将所述第一隐变量集合利用预设的调整模块，通过元学习方式，学习所述部分云图像集的基本参数和微调参数，包括：
步骤a1，针对所述部分云图像集中的每一个云图像集，将该云图像集按照一定比例划分为支持集和查询集；
步骤a2，将所述第一隐变量集合中的隐变量融合后输入所述调整模块，并进行所述部分云图像集的迭代参数初始化；其中，初始化的迭代参数包括：所述部分云图像集的数目M、所述部分云图像集的基本参数Φ1、微调参数Φ2、步长β、最大迭代次数N、最大循环轮数L，以及当前迭代次数n＝1、当前循环轮数l＝1、当前抽样集合的序号m＝1；
步骤a3，从第m个云图像集的支持集中随机抽样K张图像的隐变量Γsu,m；其中，K＝2k，k为大于0的自然数；
步骤a4，根据当前的Φ1和Φ2，计算损失函数
Figure BDA0003908268980000041
其中，Isu,m,h是从第m个云图像集的支持集随机抽样得到的K张图像中的第h张图像，
Figure BDA0003908268980000042
是所述调整模块对Isu,m,h进行处理生成的重构图像；·2表示欧式距离；
步骤a5，利用第一更新公式
Figure BDA0003908268980000051
的计算结果更新Φ2；
其中，
Figure BDA0003908268980000052
表示对Φ2采用梯度下降法；
步骤a6，对n加一后更新，并判断当前的n是否大于或等于N；若是，执行步骤a7；否则，返回步骤a4；
步骤a7，从第m个云图像集的查询集中随机抽样K张图像的隐变量Γqu,m；
步骤a8，根据当前的Φ1和Φ2，计算损失函数
Figure BDA0003908268980000053
其中，Iqu,m,h是从第m个云图像集的查询集随机抽样得到的K张图像中的第h张图像，
Figure BDA0003908268980000054
是所述调整模块对Iqu,m,h进行处理生成的重构图像；
步骤a9，利用第二更新公式Φ-Adam(Ψ(Φ1,Φ2,Γqu,m))的计算结果更新Φ1和Φ2；
其中，Φ＝{Φ1,Φ2}；Adam(·)表示深度学习中常用的自适应距估计优化器；
步骤a10，对m加一后更新，并判断当前的m是否大于或等于M；若是，执行步骤a11；否则，返回步骤a3；
步骤a11，对l加一后更新，并判断当前的l是否大于或等于L；若是，获得所述第一隐变量集合学习到的基本参数和微调参数；否则，返回步骤a3。
在本发明的一个实施例中，将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，并基于所述第二隐变量集合为所述新云图像集仅学习相应的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，完成所述新云图像集的编码，包括：
将所述第二隐变量集合作为所述调整模块的输入，将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，通过元学习方式仅学习所述新云图像集的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，完成所述新云图像集的编码。
在本发明的一个实施例中，将所述第二隐变量集合作为所述调整模块的输入，将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，通过元学习方式仅学习所述新云图像集的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，包括：
步骤b1，将所述第二隐变量集合中的隐变量融合后输入所述调整模块，并进行所述新云图像集的迭代参数初始化；其中，初始化的迭代参数包括：最大循环轮数L*和当前循环轮数l*＝1；所述新云图像集的基本参数Φ1,new和微调参数Φ2,new分别为所述第一隐变量集合学习到的基本参数Φ1和微调参数Φ2；
步骤b2，从所述新云图像集中随机抽样K张图像的隐变量Γnew；
步骤b3，根据当前的Φ1,new和Φ2,new，计算损失函数
Figure BDA0003908268980000061
其中，Inew,h是从所述新云图像集随机抽样得到的K张图像中的第h张图像，
Figure BDA0003908268980000062
是所述调整模块对Inew,h进行处理生成的重构图像；
步骤b4，利用第三更新公式Φ2,new-Adam(Ψ(Φ1,new,Φ2,new,Γnew))的计算结果更新Φ2,new；
步骤b5，对l*加一后更新，并判断当前的l*是否大于所述最大循环轮数L*；若是，获得所述新云图像集的基本参数和最终学习到的微调参数；否则，返回步骤b2。
在本发明的一个实施例中，所述调整模块，包括：
连续的16个残差块；
其中，每个残差块的架构包括：conv3-x、ReLU激活函数、conv3-x、ReLU激活函数，以及一个跳跃连接；每个残差块中通道数x分别是64、64、128、128、256、256、256、512、512、256、256、256、128、128、64和64。
本发明的有益效果：
本发明实施例所提供的方案中，首先将云存储的图像划分为多个类别；其次，将每一类别下的图像聚类为多个云图像集；再次，针对每一类别，利用该类别下的部分云图像集生成第一隐变量集合；接下来，利用所述第一隐变量集合学习所述部分云图像集的基本参数和微调参数；然后，为该类别下的任一新云图像集生成第二隐变量集合；最后，将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，并基于所述第二隐变量集合为所述新云图像集仅学习相应的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，完成所述新云图像集的编码。
本发明实施例利用元学习的“学会如何学习”的能力，将元学习技术用于云图像集编码中，借鉴先前多个云图像集压缩时得到的基本参数和微调参数，把这些参数直接迁移给同一类别的新云图像集，并仅学习相应的微调参数，实现新云图像集的编码。在编码新云图像集的过程中，本发明实施例无需重新生成全新的编码参数，而是利用已编码云图像集的编码信息，且在已编码云图像集的基本参数和微调参数基础上，为同一类别的新云图像集仅学习相应的微调参数，因此，具有较低的计算复杂度，适用于目前云中大规模图像数据的编码。
附图说明
图1为本发明实施例所提供的一种基于元学习的云图像集编码方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了利用已编码云图像集的编码信息，对一个新的云图像集进行编码，降低计算复杂度，本发明实施例提供了一种基于元学习的云图像集编码方法。
其中，元学习指Meta Learning，含义为学会学习，该学习方法希望使得模型获取一种学会学习调参的能力，使其可以在获取已有知识的基础上快速学习新的任务，元学习可以有效缓解大量调参和任务切换模型重新训练所带来的计算成本问题。
需要说明的是，本发明实施例所提供的一种基于元学习的云图像集编码方法的执行主体可以为一种基于元学习的云图像集编码装置，所述装置可以运行于电子设备中。其中，该电子设备可以为一服务器或终端设备，比如云端的处理器等，当然并不局限于此。
本发明实施例所提供的一种基于元学习的云图像集编码方法，是一种针对云服务器中存储的云图像集的编码方法，可用于压缩云端存储的相似图像，以及构建图像数据库场景中的图像集。如图1所示，该方法可以包括如下步骤：
S1，将云存储的图像划分为多个类别；
云服务器中存储的图像通常可以有几万亿张甚至更多，而每张图像的背景、内容等可能都不相同，为了提高后续云图像集的编码效率，可以将具有相似性的云中图像先进行类别的划分。
可以理解的是，云中图像是各种各样的，比如有在室内拍摄的图像，也有在室外拍摄的图像；而在室内拍摄时，光照可能较强，也可能较暗；在室外拍摄时，有天气晴朗时拍摄的图像，也有阴天、雾天、下雨、下雪等天气时拍摄的图像；图像的内容可以为动物，也可以为植物、建筑物、风景、车辆等等。因此，可以设置一定的类别划分依据，将云存储的图像划分为多个类别。
比如，可选的一种实施方式中，将云存储的图像划分为多个类别时的依据，可以包括：
拍摄地点、天气、光照和图像内容。其中，拍摄地点比如可以包括室内或室外。天气可以包括阴天、晴天或雨天等各种天气类型。光照可以包括较强或较弱等。图像内容可以包括动物、植物、建筑物等内容。并且，类别划分越细越有利于提高云图像集的编码效率。
当然，本发明实施例对云存储的图像划分的依据不限于以上所述。
S2，将每一类别下的图像聚类为多个云图像集；
本发明实施例可以采用现有的任意一种聚类方法对每一类别下的所有图像进行聚类。
可选的一种实施方式中，S2可以包括：
利用近邻传播方法将每一类别下的图像聚类为多个云图像集。
针对每一类别，近邻传播方法是在该类别下，计算每个图像的中心节点，根据中心节点的计算结果，将该类别下的图像聚类为多个云图像集。
近邻传播方法是2007年发表在顶级期刊《Science》上的聚类算法。其核心思想是通过在不同点之间不断地传递信息，从而选出聚类中心。该算法具有以下优点：不需要预先给定聚类集合的个数；将已有的数据作为聚类中心，而不是新生成一个中心；模型对数据初始值不敏感；结果的平方差误差较小。
具体的，近邻传播方法是将图像作为节点，把所有的节点都当做潜在的中心点，通过节点之间的距离矩阵，不断递归传递消息，直到找到最好的集合为止，因此，在初始时刻不需要给出准确的集合数以及每个集合的中心点。
具体聚类过程可以包括以下步骤：
S21，计算距离矩阵S[s(i,q)]；
其中，s(i,q)表示的是节点q和节点i之间的相似性，其一般用负欧式距离来表征。s(q,q)是节点q作为集合聚类中心的合适程度，也将其称为参考度p。参考度p通常影响集合个数，p越大，说明每个节点作为集合聚类中心的可能性大，则会生成数目较多的集合；相反，p越小，节点选择其他节点作为聚类中心的可能性相应变大，则会生成数目较少的集合。当所有节点的参考度p都相同时，说明每个节点都可能作为集合聚类中心。
S22，参数初始化；
具体的，设最大迭代次数G＝100、当前迭代次数g＝1、a(i,q)＝0。
近邻传播方法中有两种类型消息，分别称为吸引度信息和归属度信息。其中，吸引度信息r(i,q)是从节点i发送到候选聚类中心点q，其反映的是在考虑其他潜在聚类中心后，节点q作为节点i的聚类中心的合适程度；归属度信息a(i,q)是从候选聚类中心点q发送到节点i，其反映的是在考虑其他节点支持节点q成为聚类中心后，节点i选择节点q作为聚类中心的合适程度。
S23，对每个节点i计算r(i,q)；
其中，计算公式为：
Figure BDA0003908268980000101
对每个节点i计算r(i,q)说明任意一个候选聚类中心点都可以对节点i产生影响，允许所有的候选聚类中心点参与到对节点i的吸引中。
S24，计算每个节点i的r(i,q)+a(i,q)，取值最大的节点k作为每个节点i的聚类中心。
S25，g加一后更新，并且根据相应公式更新a(i,g)和r(i,g)；
该步骤中，当i≠q时a(i,q)表示为自我吸引度r(q,q)加上从其他节点获得的积极的吸引度(即r(i',q)>0)，而i＝q时a(i,q)等于从其他节点获得的吸引度之和。
其中，该步骤中利用的相应公式包括S23中的公式和以下公式。
Figure BDA0003908268980000102
S26，判断当前的迭代次数g是否大于最大迭代次数G，若是，则终止迭代，得到每个节点的聚类中心，并根据这些节点的聚类中心确定云图像集；否则，返回S25。
关于近邻传播方法的详细过程请参见相关技术理解，在此不做过多说明。
S3，针对每一类别，利用该类别下的部分云图像集生成第一隐变量集合；
可选的一种实施方式中，S3可以包括：
针对每一类别，将该类别下的部分云图像集利用预设VGG(Visual GeometryGroup，视觉几何小组)网络分别生成相应图像的卷积特征作为隐变量，将所述部分云图像集得到的所有隐变量构成第一隐变量集合。
其中，VGG是牛津大学的视觉几何小组提出的。VGG模型以较深的网络结构，较小的卷积核和池化采样域，使得其能够在获得更多图像特征的同时控制参数的个数，避免过多的计算量以及过于复杂的结构。
现有的VGG包括两种结构，分别是VGG16和VGG19，两者并没有本质上的区别，只是网络深度不同。VGG16和VGG19分别有16个和19个隐藏层。
可选的一种实施方式中，所述预设VGG网络，包括：
预设VGG16网络。
其中，所述预设VGG16网络的架构包括：conv3-64、conv3-64、maxpool、conv3-128、conv3-128、maxpool、conv3-256、conv3-256、conv3-256、maxpool、conv3-512、conv3-512、conv3-512、maxpool、conv3-512、conv3-512、conv3-512；其中，conv3-x表示采用的是3×3的卷积核和x个通道的卷积层，所述预设VGG16网络中x＝64、128、256、512，maxpool表示最大池化。
该步骤可以从同一类别下所有云图像集中，选择部分云图像集，将所述部分云图像集中每一图像输入所述预设VGG16网络，所述预设VGG16网络最后一个卷积层conv3-512生成得到的卷积特征即为该图像得到的隐变量。由所述部分云图像集得到的所有隐变量构成第一隐变量集合。而在该步骤中，同一类别下未被选取的云图像集可以作为该类别下的新云图像集。
可选的一种实施方式中，同一类别下，所述部分云图像集的数量可以小于所述新云图像集的数量。
当然，本发明实施例的预设VGG网络也可以采用VGG19或者其余VGG网络，具体架构在此不做详细说明。
S4，利用所述第一隐变量集合学习所述部分云图像集的基本参数和微调参数；
可选的一种实施方式中，S4可以包括：
将所述第一隐变量集合利用预设的调整模块，通过元学习方式，学习所述部分云图像集的基本参数和微调参数。其中，所述调整模块由残差网络构成。
本发明实施例可以采样任意一种残差网络构建调整模块，在此不作限制。
可选的一种实施方式中，所述调整模块，包括：
连续的16个残差块。
其中，每个残差块的架构包括：conv3-x、ReLU激活函数、conv3-x、ReLU激活函数，以及一个跳跃连接；每个残差块中通道数x分别是64、64、128、128、256、256、256、512、512、256、256、256、128、128、64和64。
当然，所述调整模块的结构不限于以上所述。
需要指出的是，根据神经网络领域的一般规则，本发明实施例中所述预设VGG16网络和每个残差块中的通道数均以x表示，但数值形式并不相同，具体请结合对应部分的内容进行理解。
针对上述实施方式，可选的一种示例下，所述将所述第一隐变量集合利用预设的调整模块，通过元学习方式，学习所述部分云图像集的基本参数和微调参数，可以包括以下步骤：
步骤a1，针对所述部分云图像集中的每一个云图像集，将该云图像集按照一定比例划分为支持集和查询集；
其中，将一个云图像集划分为支持集和查询集的比例可以根据需要设定，比如可以为7:3等，在此不做具体限定。
步骤a2，将所述第一隐变量集合中的隐变量融合后输入所述调整模块，并进行所述部分云图像集的迭代参数初始化；
其中，初始化的迭代参数包括：所述部分云图像集的数目M、所述部分云图像集的基本参数Φ1、微调参数Φ2、步长β、最大迭代次数N、最大循环轮数L，以及当前迭代次数n＝1、当前循环轮数l＝1、当前抽样集合的序号m＝1。
具体的，M表示所述部分云图像集的图像集个数，本发明实施例可以选取M为20等。
基本参数Φ1表示所述部分云图像集中图像的共同特征。每个云图像集图像具有的不同于其他云图像集图像的特征即为其特有特征，微调参数Φ2表示的是所有的特有特征。在初始化时，基本参数和微调参数进行随机赋值。
初始化时可以设定β＝10-5、N＝3、L＝400等。由于是首次进行迭代，可以设定当前迭代次数n＝1、当前循环轮数l＝1、当前抽样集合的序号m＝1。
当然，上述初始化数值仅作为可选的实施方式。其中M、N、L、n、l、m均为大于0的自然数。
步骤a3，从第m个云图像集的支持集中随机抽样K张图像的隐变量Γsu,m；
其中，K＝2k，k为大于0的自然数。比如，可选的一种实施方式中，K可以为16等。
随机抽样K张图像所得到的K个隐变量合并为Γsu,m。
步骤a4，根据当前的Φ1和Φ2，计算损失函数
Figure BDA0003908268980000131
其中，Isu,m,h是从第m个云图像集的支持集随机抽样得到的K张图像中的第h张图像，
Figure BDA0003908268980000132
是所述调整模块对Isu,m,h进行处理生成的重构图像；||·||2表示欧式距离。
其中，所述调整模块类似深度学习领域，编码器-解码器网络结构中的解码器，其重构图像的原理和具体过程在此不做详细说明。
步骤a5，利用第一更新公式
Figure BDA0003908268980000133
的计算结果更新Φ2；
其中，
Figure BDA0003908268980000134
表示对Φ2采用梯度下降法。
利用第一更新公式
Figure BDA0003908268980000135
的计算结果更新Φ2后，得到“当前的Φ2”。
步骤a6，对n加一后更新，并判断当前的n是否大于或等于N；若是，执行步骤a7；否则，返回步骤a4；
该步骤中，n加一后对n完成更新，得到“当前的n”，此时判断“当前的n”是否大于或等于最大迭代次数N。
步骤a7，从第m个云图像集的查询集中随机抽样K张图像的隐变量Γqu,m；
该步骤和步骤a3类似。
步骤a8，根据当前的Φ1和Φ2，计算损失函数
Figure BDA0003908268980000141
其中，Iqu,m,h是从第m个云图像集的查询集随机抽样得到的K张图像中的第h张图像，
Figure BDA0003908268980000142
是所述调整模块对Iqu,m,h进行处理生成的重构图像。该步骤和步骤a4类似。
步骤a9，利用第二更新公式Φ-Adam(Ψ(Φ1,Φ2,Γqu,m))的计算结果更新Φ1和Φ2；
其中，Φ＝{Φ1,Φ2}；Adam(·)表示深度学习中常用的自适应距估计优化器。
步骤a10，对m加一后更新，并判断当前的m是否大于或等于M；若是，执行步骤a11；否则，返回步骤a3；
可以理解的是，该步骤中，m加一后对m完成更新，得到“当前的m”。
步骤a11，对l加一后更新，并判断当前的l是否大于或等于L；若是，获得所述第一隐变量集合学习到的基本参数和微调参数；否则，返回步骤a3。
可以理解的是，该步骤中，l加一后对l完成更新，得到“当前的l”。
通过上述迭代过程，最终获得所述第一隐变量集合学习到的基本参数和微调参数，在此仍以Φ1和Φ2表示。
需要理解的是，在本发明实施例的迭代过程中，以相同符号表征参数的变化和更新过程，请结合具体步骤理解为当前的参数即可。
S5，为该类别下的任一新云图像集生成第二隐变量集合；
相应于S3，可选的一种实施方式中，S5可以包括：
将该类别下的任一新云图像集利用所述预设VGG网络生成相应图像的卷积特征作为隐变量，将所述任一新云图像集得到的所有隐变量构成第二隐变量集合。
具体过程可以参见S3理解，在此不做赘述。
可以理解的是，该类别下若有多个新云图像集，多个新云图像集可以并行执行S5以及后续步骤。
S6，将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，并基于所述第二隐变量集合为所述新云图像集仅学习相应的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，完成所述新云图像集的编码。
相应于S4，可选的一种实施方式中，S6可以包括：
将所述第二隐变量集合作为所述调整模块的输入，将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，通过元学习方式仅学习所述新云图像集的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，完成所述新云图像集的编码。
针对上述实施方式，可选的一种示例下，将所述第二隐变量集合作为所述调整模块的输入，将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，通过元学习方式仅学习所述新云图像集的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，可以包括以下步骤：
步骤b1，将所述第二隐变量集合中的隐变量融合后输入所述调整模块，并进行所述新云图像集的迭代参数初始化；
其中，初始化的迭代参数包括：最大循环轮数L*和当前循环轮数l*＝1；所述新云图像集的基本参数Φ1,new和微调参数Φ2,new分别为所述第一隐变量集合学习到的基本参数Φ1和微调参数Φ2。
为了区分，所述新云图像集的基本参数和微调参数分别以Φ1,new和Φ2,new表示。最大循环轮数和当前循环轮数分别以L*和l*表示，其中，L*取值可以和L相同。
步骤b2，从所述新云图像集中随机抽样K张图像的隐变量Γnew；
该步骤类似于步骤a3，区别在于所述新云图像集不再划分为支持集和查询集，是从整个新云图像集中随机抽样。
步骤b3，根据当前的Φ1,new和Φ2,new，计算损失函数
Figure BDA0003908268980000161
其中，Inew,h是从所述新云图像集随机抽样得到的K张图像中的第h张图像，
Figure BDA0003908268980000162
是所述调整模块对Inew,h进行处理生成的重构图像。
同样的，该步骤类似步骤a4。
步骤b4，利用第三更新公式Φ2,new-Adam(Ψ(Φ1,new,Φ2,new,Γnew))的计算结果更新Φ2,new；
同样的，该步骤类似步骤a5。
步骤b5，对l*加一后更新，并判断当前的l*是否大于所述最大循环轮数L*；若是，获得所述新云图像集的基本参数和最终学习到的微调参数；否则，返回步骤b2。
同样的，该步骤类似步骤a6。
可以理解的是，通过上述步骤，Φ2,new得到了更新，而Φ1,new仍是所述第一隐变量集合学习到的基本参数Φ1。在得到所述新云图像集的基本参数和最终学习到的微调参数后即完成了所述新云图像集的编码。
可见，本发明实施例中，新云图像集获取同一类云图像集学习到的已有基本参数和的微调参数后，仅需要学习并不复杂的微调参数就可以完成自身编码。
本发明实施例所提供的方案中，首先将云存储的图像划分为多个类别；其次，将每一类别下的图像聚类为多个云图像集；再次，针对每一类别，利用该类别下的部分云图像集生成第一隐变量集合；接下来，利用所述第一隐变量集合学习所述部分云图像集的基本参数和微调参数；然后，为该类别下的任一新云图像集生成第二隐变量集合；最后，将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，并基于所述第二隐变量集合为所述新云图像集仅学习相应的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，完成所述新云图像集的编码。
本发明实施例利用元学习的“学会如何学习”的能力，将元学习技术用于云图像集编码中，借鉴先前多个云图像集压缩时得到的基本参数和微调参数，把这些参数直接迁移给同一类的新云图像集，并仅学习相应的微调参数，实现新云图像集的编码。在编码新云图像集的过程中，本发明实施例无需重新生成全新的编码参数，而是利用已编码云图像集的编码信息，且在已编码云图像集的基本参数和微调参数基础上，为同一类的新云图像集仅学习相应的微调参数，因此，具有较低的计算复杂度，适用于目前云中大规模图像数据的编码。
以下通过仿真实验，对本发明实施例方法的技术效果作进一步说明：
1)实验条件：
采用Ubuntu 20.4操作系统，处理器为Intel Xeon二十核E5-2698V4(2.2GHZ)，显卡为NVIDIA RTX 3080GPU，RAM为128GB。编程语言为Python,编程软件为PyTorch。
实验中首先对著名的ImageNet图像数据库中的图像进行分类，形成城堡、狗、鸟等多个类别。然后针对城堡、狗、鸟等类别，将每一类别下的所有图像进行聚类，以在每一类别下形成多个图像集。再选取每个类别中的20个图像集进行训练作为所述部分云图像集，生成图像的隐变量，并学习这些云图像集的基本参数和微调参数。最后为每个类别中新的图像集生成相应的隐变量，以及学习相应的微调参数。
实验测试所用的新云图像集的详细信息如表1所示：
表1
新云图像集名称 图像个数 图像分辨率
第21个城堡集合 100 256×256
第21个狗集合 100 256×256
第21个鸟集合 100 256×256
2)实验内容及结果分析：
使用本发明实施例方法分别对表1中三个类别中的新云图像集学习相应的微调参数，完成云图像集的编码。表2给出了使用本发明实施例方法和目前先进的基于树形图的云图像集编码方法，得到的每个图像集的平均每张图像的编码时间对比，如表2所示。在表2中，编码时间越少，则计算复杂度越低。
表2
云图像集名称 本发明实施例方法(秒) 基于树形图的云图像集编码方法(秒)
第21个城堡集合 0.06 0.35
第21个狗集合 0.03 0.17
第21个鸟集合 0.04 0.20
从表2可以看出：使用本发明实施例方法可以完成云图像集的编码，相比于目前先进的基于树形图的云图像集编码方法，采用本发明实施例方法构建的图像集所需的编码时间更少，表明本发明实施例的云图像集编码方法具有更低的计算复杂度。
综上，本发明实施例能够实现基于元学习的云图像集编码，减少构建图像集所需的编码时间，进一步降低计算复杂度。本发明实施例方法可应用于压缩云端存储的相似图像，以及构建图像数据库场景中的图像集。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于元学习的云图像集编码方法，其特征在于，包括：
将云存储的图像划分为多个类别；
将每一类别下的图像聚类为多个云图像集；
针对每一类别，利用该类别下的部分云图像集生成第一隐变量集合；
利用所述第一隐变量集合学习所述部分云图像集的基本参数和微调参数；
为该类别下的任一新云图像集生成第二隐变量集合；
将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，并基于所述第二隐变量集合为所述新云图像集仅学习相应的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，完成所述新云图像集的编码。
2.根据权利要求1所述的基于元学习的云图像集编码方法，其特征在于，将云存储的图像划分为多个类别时的依据，包括：
拍摄地点、天气、光照和图像内容。
3.根据权利要求1所述的基于元学习的云图像集编码方法，其特征在于，所述将每一类别下的图像聚类为多个云图像集，包括：
利用近邻传播方法将每一类别下的图像聚类为多个云图像集。
4.根据权利要求1所述的基于元学习的云图像集编码方法，其特征在于，所述针对每一类别，利用该类别下的部分云图像集生成第一隐变量集合，包括：
针对每一类别，将该类别下的部分云图像集利用预设VGG网络分别生成相应图像的卷积特征作为隐变量，将所述部分云图像集得到的所有隐变量构成第一隐变量集合；
相应的，所述为该类别下的任一新云图像集生成第二隐变量集合，包括：
将该类别下的任一新云图像集利用所述预设VGG网络生成相应图像的卷积特征作为隐变量，将所述任一新云图像集得到的所有隐变量构成第二隐变量集合。
5.根据权利要求4所述的基于元学习的云图像集编码方法，其特征在于，所述预设VGG网络，包括：
预设VGG16网络；
其中，所述预设VGG16网络的架构包括：conv3-64、conv3-64、maxpool、conv3-128、conv3-128、maxpool、conv3-256、conv3-256、conv3-256、maxpool、conv3-512、conv3-512、conv3-512、maxpool、conv3-512、conv3-512、conv3-512；其中，conv3-x表示采用的是3×3的卷积核和x个通道的卷积层，所述预设VGG16网络中x＝64、128、256、512，maxpool表示最大池化。
6.根据权利要求1或5所述的基于元学习的云图像集编码方法，其特征在于，所述利用所述第一隐变量集合学习所述部分云图像集的基本参数和微调参数，包括：
将所述第一隐变量集合利用预设的调整模块，通过元学习方式，学习所述部分云图像集的基本参数和微调参数；其中，所述调整模块由残差网络构成。
7.根据权利要求6所述的基于元学习的云图像集编码方法，其特征在于，所述将所述第一隐变量集合利用预设的调整模块，通过元学习方式，学习所述部分云图像集的基本参数和微调参数，包括：
步骤a1，针对所述部分云图像集中的每一个云图像集，将该云图像集按照一定比例划分为支持集和查询集；
步骤a2，将所述第一隐变量集合中的隐变量融合后输入所述调整模块，并进行所述部分云图像集的迭代参数初始化；其中，初始化的迭代参数包括：所述部分云图像集的数目M、所述部分云图像集的基本参数Φ1、微调参数Φ2、步长β、最大迭代次数N、最大循环轮数L，以及当前迭代次数n＝1、当前循环轮数l＝1、当前抽样集合的序号m＝1；
步骤a3，从第m个云图像集的支持集中随机抽样K张图像的隐变量Γsu,m；其中，K＝2k，k为大于0的自然数；
步骤a4，根据当前的Φ1和Φ2，计算损失函数
Figure FDA0003908268970000031
其中，Isu,m,h是从第m个云图像集的支持集随机抽样得到的K张图像中的第h张图像，
Figure FDA0003908268970000032
是所述调整模块对Isu,m,h进行处理生成的重构图像；||·||2表示欧式距离；
步骤a5，利用第一更新公式
Figure FDA0003908268970000033
的计算结果更新Φ2；
其中，
Figure FDA0003908268970000034
表示对Φ2采用梯度下降法；
步骤a6，对n加一后更新，并判断当前的n是否大于或等于N；若是，执行步骤a7；否则，返回步骤a4；
步骤a7，从第m个云图像集的查询集中随机抽样K张图像的隐变量Γqu,m；
步骤a8，根据当前的Φ1和Φ2，计算损失函数
Figure FDA0003908268970000035
其中，Iqu,m,h是从第m个云图像集的查询集随机抽样得到的K张图像中的第h张图像，
Figure FDA0003908268970000036
是所述调整模块对Iqu,m,h进行处理生成的重构图像；
步骤a9，利用第二更新公式Φ-Adam(Ψ(Φ1,Φ2,Γqu,m))的计算结果更新Φ1和Φ2；
其中，Φ＝{Φ1,Φ2}；Adam(·)表示深度学习中常用的自适应距估计优化器；
步骤a10，对m加一后更新，并判断当前的m是否大于或等于M；若是，执行步骤a11；否则，返回步骤a3；
步骤a11，对l加一后更新，并判断当前的l是否大于或等于L；若是，获得所述第一隐变量集合学习到的基本参数和微调参数；否则，返回步骤a3。
8.根据权利要求7所述的基于元学习的云图像集编码方法，其特征在于，将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，并基于所述第二隐变量集合为所述新云图像集仅学习相应的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，完成所述新云图像集的编码，包括：
将所述第二隐变量集合作为所述调整模块的输入，将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，通过元学习方式仅学习所述新云图像集的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，完成所述新云图像集的编码。
9.根据权利要求8所述的基于元学习的云图像集编码方法，其特征在于，将所述第二隐变量集合作为所述调整模块的输入，将所述第一隐变量集合学习到的基本参数和微调参数迁移给所述新云图像集，通过元学习方式仅学习所述新云图像集的微调参数，得到所述新云图像集的基本参数和最终学习到的微调参数，包括：
步骤b1，将所述第二隐变量集合中的隐变量融合后输入所述调整模块，并进行所述新云图像集的迭代参数初始化；其中，初始化的迭代参数包括：最大循环轮数L*和当前循环轮数l*＝1；所述新云图像集的基本参数Φ1,new和微调参数Φ2,new分别为所述第一隐变量集合学习到的基本参数Φ1和微调参数Φ2；
步骤b2，从所述新云图像集中随机抽样K张图像的隐变量Γnew；
步骤b3，根据当前的Φ1,new和Φ2,new，计算损失函数
Figure FDA0003908268970000041
其中，Inew,h是从所述新云图像集随机抽样得到的K张图像中的第h张图像，
Figure FDA0003908268970000042
是所述调整模块对Inew,h进行处理生成的重构图像；
步骤b4，利用第三更新公式Φ2,new-Adam(Ψ(Φ1,new,Φ2,new,Γnew))的计算结果更新Φ2,new；
步骤b5，对l*加一后更新，并判断当前的l*是否大于所述最大循环轮数L*；若是，获得所述新云图像集的基本参数和最终学习到的微调参数；否则，返回步骤b2。
10.根据权利要求6所述的基于元学习的云图像集编码方法，其特征在于，所述调整模块，包括：
连续的16个残差块；
其中，每个残差块的架构包括：conv3-x、ReLU激活函数、conv3-x、ReLU激活函数，以及一个跳跃连接；每个残差块中通道数x分别是64、64、128、128、256、256、256、512、512、256、256、256、128、128、64和64。
CN202211312093.2A 2022-10-25 2022-10-25 一种基于元学习的云图像集编码方法 Active CN115546326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211312093.2A CN115546326B (zh) 2022-10-25 2022-10-25 一种基于元学习的云图像集编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211312093.2A CN115546326B (zh) 2022-10-25 2022-10-25 一种基于元学习的云图像集编码方法

Publications (2)

Publication Number Publication Date
CN115546326A CN115546326A (zh) 2022-12-30
CN115546326B true CN115546326B (zh) 2023-05-02

Family

ID=84717802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211312093.2A Active CN115546326B (zh) 2022-10-25 2022-10-25 一种基于元学习的云图像集编码方法

Country Status (1)

Country Link
CN (1) CN115546326B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363290A (zh) * 2019-07-19 2019-10-22 广东工业大学 一种基于混合神经网络模型的图像识别方法、装置及设备
CN112861759A (zh) * 2021-02-24 2021-05-28 北京瑞莱智慧科技有限公司 一种对抗样本生成方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363290A (zh) * 2019-07-19 2019-10-22 广东工业大学 一种基于混合神经网络模型的图像识别方法、装置及设备
CN112861759A (zh) * 2021-02-24 2021-05-28 北京瑞莱智慧科技有限公司 一种对抗样本生成方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"自然图像的有效编码和集成迁移分类方法研究";凌然;《万方数据》;第一章至第四章 *
应用迁移学习的卷积神经网络花卉图像识别;曹晓杰 等;计算机应用与软件;37(第08期);第142-148页 *

Also Published As

Publication number Publication date
CN115546326A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN109543838B (zh) 一种基于变分自编码器的图像增量学习方法
CN111819580A (zh) 用于密集图像预测任务的神经架构搜索
CN113658051A (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
KR20200018283A (ko) 컨볼루션 순환 신경망을 훈련시키는 방법 및 훈련된 컨볼루션 순환 신경망을 사용하는 입력된 비디오의 의미적 세그먼트화 방법
CN110516724B (zh) 可视化作战场景的高性能多层字典学习特征图像处理方法
CN111460979A (zh) 一种基于多层时空框架的关键镜头视频摘要方法
CN112766062B (zh) 一种基于双流深度神经网络的人体行为识别方法
CN111242180A (zh) 一种基于轻量化卷积神经网络的图像识别方法及系统
CN111667068A (zh) 一种基于掩码的深度图卷积神经网络模型剪枝方法与系统
CN114286093A (zh) 一种基于深度神经网络的快速视频编码方法
CN113837940A (zh) 基于密集残差网络的图像超分辨率重建方法及系统
CN113312505A (zh) 一种基于离散在线哈希学习的跨模态检索方法及系统
CN111694974A (zh) 一种融合注意力机制的深度哈希车辆图像检索方法
CN114926770A (zh) 视频动作识别方法、装置、设备和计算机可读存储介质
Löhdefink et al. GAN-vs. JPEG2000 image compression for distributed automotive perception: Higher peak SNR does not mean better semantic segmentation
CN115618051A (zh) 一种基于互联网的智慧校园监控视频存储方法
CN115546326B (zh) 一种基于元学习的云图像集编码方法
CN116030537B (zh) 基于多分支注意力图卷积的三维人体姿态估计方法
CN115438755B (zh) 分类模型的增量训练方法、装置和计算机设备
CN109982095B (zh) 基于cnn与gep的分形图像压缩编码方法
CN110728217A (zh) Sar图像识别方法、装置、设备和存储介质
CN113518229B (zh) 环路滤波网络的训练方法、装置、计算机设备和存储介质
CN113886607B (zh) 基于图神经网络的哈希检索方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant