CN116503679A - 一种基于迁移性图谱的图像分类方法、装置、设备和介质 - Google Patents

一种基于迁移性图谱的图像分类方法、装置、设备和介质 Download PDF

Info

Publication number
CN116503679A
CN116503679A CN202310773223.0A CN202310773223A CN116503679A CN 116503679 A CN116503679 A CN 116503679A CN 202310773223 A CN202310773223 A CN 202310773223A CN 116503679 A CN116503679 A CN 116503679A
Authority
CN
China
Prior art keywords
source domain
domain model
model
source
mobility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310773223.0A
Other languages
English (en)
Other versions
CN116503679B (zh
Inventor
叶玥
苏慧
王瑾
程乐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310773223.0A priority Critical patent/CN116503679B/zh
Publication of CN116503679A publication Critical patent/CN116503679A/zh
Application granted granted Critical
Publication of CN116503679B publication Critical patent/CN116503679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于迁移性图谱的图像分类方法、装置、设备和介质，其中，基于迁移性图谱的图像分类方法包括：基于至少一个源域模型以及至少一个源域数据集，获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱；确定各所述源域数据集对应的至少一个可选的源域模型；基于用户选择的源域数据集和源域模型对目标域模型进行优化；将待分类图像输入到所述优化后的目标域模型，获得分类结果。可在海量源域数据集和源域模型中快速在不同源域数据集下选择合适的源域模型进行迁移学习，提高迁移学习效果，提高图像分类的精度。

Description

一种基于迁移性图谱的图像分类方法、装置、设备和介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于迁移性图谱的图像分类方法、装置、设备和介质。
背景技术
随着深度学习的快速发展，大量深度神经网络模型在开源社区发布。这些模型往往针对不同任务，有着不同的架构。当我们解决实际问题时，能够获取到的标注数据通常较少，为了更好地解决目标任务并且降低对运算资源的消耗，重用已训练好的现有模型进行迁移学习。迁移学习的核心是分析和发现源领域和目标领域的相似性，并对其加以利用，其中基于模型的迁移方法是指从源域和目标域中找到他们之间共享的参数信息，以实现迁移的方法。
在现实研究中，可供选择的源域数据集达到千万级，开源社区发布的源域模型也是海量的。传统方法一般依赖科研人员借助领域经验或人工进行一一对比实验确定两个领域之间的关系，更无法直观展示在海量源域数据集下海量的源域模型与目标域模型的迁移性关系。如果科研人员选择的源域数据集和源域模型的信息没有用，反而会对目标域产生负迁移，无法真正达到模型优化的目的，导致图像分类精度低。
发明内容
基于此，有必要针对上述技术问题，提供一种基于迁移性图谱的图像分类方法、装置、设备和介质。
第一方面，本申请实施例提供了一种基于迁移性图谱的图像分类方法，所述方法包括：
基于至少一个源域模型以及至少一个源域数据集，获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱；
基于所述迁移性图谱，确定各所述源域数据集对应的至少一个可选的源域模型；
基于用户选择的源域数据集和源域模型，及，目标域数据集和所述目标域模型，采用基于模型的迁移学习方法优化所述目标域模型，获得优化后的目标域模型；
将待分类图像输入到所述优化后的目标域模型，获得分类结果。
在其中一个实施例中，所述获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度包括：
获取所述目标域模型以及各所述源域模型的模型属性；
基于所述模型属性，采用对应的可迁移性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度。
在其中一个实施例中，所述模型属性包括训练框架、网络架构、任务类型。
在其中一个实施例中，所述基于所述模型属性，采用对应的可迁移性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度包括：
若所述目标域模型与所述源域模型的训练框架不同，则所述目标域模型与所述源域模型之间不存在可迁移性；
若所述目标域模型与所述源域模型的网络架构相同，则采用同构网络迁移下的度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
在所述目标域模型与所述源域模型的网络架构不同的情况下，若所述目标域模型与所述源域模型的任务类型相同，则采用模型适应的度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
在所述目标域模型与所述源域模型的网络架构不同的情况下，若所述目标域模型与所述源域模型的任务类型不同，则采用跨任务类型的任务相关性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度。
在其中一个实施例中，所述基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱包括：
基于各所述源域数据集，分别以所述目标域模型以及所述至少一个源域模型作为节点，以所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度作为边，生成对应的迁移性图谱。
在其中一个实施例中，所述基于所述迁移性图谱，确定各所述源域数据集下至少一个可选的源域模型包括：
基于各所述源域数据集对应的所述迁移性图谱中的迁移性强度，分别确定各所述源域数据集下至少一个可选的源域模型；其中，所述至少一个可选的源域模型按照所述迁移性强度从高到低的顺序进行排序。
在其中一个实施例中，所述基于用户选择的源域数据集和源域模型，及，目标域数据集和所述目标域模型，采用基于模型的迁移学习方法优化所述目标域模型，获得优化后的目标域模型包括：
基于所述用户选择的源域模型，获取所述源域模型的唯一标识信息；
基于所述唯一标识信息，获取所述源域模型的计算机文件、模型参数、网络架构；
基于所述计算机文件、所述模型参数以及所述网络架构，采用基于模型的迁移学习方法对所述目标域模型进行训练和微调，获得优化后的目标域模型。
第二方面，本申请实施例还提供了一种基于迁移性图谱的图像分类装置，所述装置包括：
获得模块，用于基于至少一个源域模型以及至少一个源域数据集，获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
生成模块，用于基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱；
确定模块，用于基于所述迁移性图谱，确定各所述源域数据集对应的至少一个可选的源域模型；
优化模块，用于基于用户选择的源域数据集和源域模型，及，目标域数据集和所述目标域模型，采用基于模型的迁移学习方法优化所述目标域模型，获得优化后的目标域模型；
分类模块，用于将待分类图像输入所述优化后的目标域模型，获得分类结果。
第三方面，本申请实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面方法。
上述基于迁移性图谱的图像分类方法、装置、设备和介质，通过基于至少一个源域模型以及至少一个源域数据集，获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱；基于所述迁移性图谱，确定各所述源域数据集对应的至少一个可选的源域模型；基于用户选择的源域数据集和源域模型，及，目标域数据集和所述目标域模型，采用基于模型的迁移学习方法优化所述目标域模型，获得优化后的目标域模型；将待分类图像输入到所述优化后的目标域模型，获得分类结果。可在海量的源域数据集和源域模型中快速的在不同源域数据集下选择合适的源域模型进行迁移学习，提高迁移学习的效果，提高了图像分类的精度。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是一个实施例中基于迁移性图谱的图像分类方法的应用环境示意图；
图2是一个实施例中基于迁移性图谱的图像分类方法的流程示意图；
图3是一个实施例中执行S201具体步骤的流程示意图；
图4是一个实施例中执行S302具体步骤的流程示意图；
图5是一个实施例中执行S204具体步骤的流程示意图；
图6是一个实施例中执行目标域模型优化的流程示意图；
图7是另一个实施例中执行目标域模型优化的流程示意图；
图8是一个实施例中基于迁移性图谱的图像分类装置的结构框图；
图9是一个实施例中计算机设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的基于迁移性图谱的图像分类方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的基于迁移性图谱的图像分类方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterfaceController，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(RadioFrequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本申请实施例提供了一种基于迁移性图谱的图像分类方法，如图2所示，所述方法包括以下步骤：
步骤S201，基于至少一个源域模型以及至少一个源域数据集，获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
具体地，本申请中的源域模型和源域数据集作为预置数据持久化存储在关系型数据中，目标域模型和目标域数据集作为用户数据持久化存储关系型数据中，关系型数据库常用的有Mysql、Oracle。预置数据指的是方法提供者创建的公共数据，可通过开源社区获取，预置数据还包括基于模型的迁移学习方法以及可迁移性度量算法。用户数据指的是不同用户创建的私有数据。
在面对海量源域数据集和源域模型的场景下，通过实时读取关系型数据库中预置数据和用户数据，批量计算获得目标域模型在各源域数据集下与各个源域模型的迁移性强度。
步骤S202，基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱；
步骤S203，基于所述迁移性图谱，确定各所述源域数据集对应的至少一个可选的源域模型；
步骤S204，基于用户选择的源域数据集和源域模型，及，目标域数据集和所述目标域模型，采用基于模型的迁移学习方法优化所述目标域模型，获得优化后的目标域模型；
步骤S205，将待分类图像输入到所述优化后的目标域模型，获得分类结果。
上述步骤S201至步骤S205，通过基于至少一个源域模型以及至少一个源域数据集，获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱；基于所述迁移性图谱，确定各所述源域数据集对应的至少一个可选的源域模型；基于用户选择的源域数据集和源域模型，及，目标域数据集和所述目标域模型，采用基于模型的迁移学习方法优化所述目标域模型，获得优化后的目标域模型；将待分类图像输入到所述优化后的目标域模型，获得分类结果。可在海量的源域数据集和源域模型中快速地在不同源域数据集下选择合适的源域模型进行迁移学习，提高迁移学习的效果，提高了图像分类的精度。
在其中一个实施例中，如图3所示，所述获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度包括以下步骤：
步骤S301，获取所述目标域模型以及各所述源域模型的模型属性；
其中，源域模型包含模型数据以及模型属性两个部分，其中模型数据即方法提供者训练得到的一组计算机文件，模型属性包含训练框架、网络架构、任务类型、模型名称等信息。目标域模型包含模型数据以及模型属性两个部分，其中模型数据即用户训练得到的一组计算机文件，模型属性包含训练框架、网络架构、任务类型、模型名称等信息。本实施例步骤S301中的模型属性包括训练框架、网络架构、任务类型。
步骤S302，基于所述模型属性，采用对应的可迁移性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度。
具体地，源域模型与目标域模型间的可迁移性强度与源域数据集相关联，针对每 一个源域数据集，计算产生一个迁移性度量结果；示例性地，假设共有L个源域模型，N个源 域数据集，则目标域模型M0与指定源域模型Mi的可迁移性强度表示为：=func(M0,Mi, Dk),i∈[0,L],k∈[0,N]，其中，Dk为N个源域数据集中的第K个源域数据集。模型优化引擎批 量完成计算N个源域数据集上，L个源域模型和目标域模型M0间的可迁移性度量，输出和模 型迁移性强度线性相关的数值，即迁移性强度。
在其中一个实施例中，如图4所示，所述基于所述模型属性，采用对应的可迁移性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度包括以下步骤：
步骤S401，若所述目标域模型与所述源域模型的训练框架不同，则所述目标域模 型与所述源域模型之间不存在可迁移性；则不采用任何可迁移性度量算法计算迁移性强 度，令，表示目标域模型与源域模型之间不具备可迁移性。
步骤S402，若所述目标域模型与所述源域模型的网络架构相同，则采用同构网络迁移下的度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
步骤S403，在所述目标域模型与所述源域模型的网络架构不同的情况下，若所述目标域模型与所述源域模型的任务类型相同，则采用模型适应的度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
步骤S404，在所述目标域模型与所述源域模型的网络架构不同的情况下，若所述目标域模型与所述源域模型的任务类型不同，则采用跨任务类型的任务相关性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度。
本实施例，根据源域模型和目标域模型的模型属性不同，将可迁移性度量算法分成多个类别。此外，源域数据集D0和目标域数据集的数据分布差异在各类可迁移性度量算法中都对迁移性度量结果产生影响。因此根据源域模型和目标域模型的模型属性，采用对应的可迁移性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度。
在其中一个实施例中，所述基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱包括：
基于各所述源域数据集，分别以所述目标域模型以及所述至少一个源域模型作为节点，以所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度作为边，生成对应的迁移性图谱。
具体地，通过运行数据库中预置不同类别的迁移性度量算法，计算得到不同源域数据集下，目标域模型与所有源域模型之间的迁移性强度，并组成“实体-关系-实体”的三元组结构化数据。其中，实体代表模型，即源域模型和目标域模型，关系代表模型间的迁移性强度，并将结构化数据添加到持久化存储到图数据库中的图谱数据，常用的图数据库有Neo4j、Nebula Graph等。Neo4j是一个高性能的，NOSQL（Not only SQL）图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，将结构化数据存储在网络上而不是表中。Nebula Graph是一款开源的分布式图数据库，擅长处理千亿个顶点和万亿条边的超大规模数据集。
其中，该结构化数据表示为；其中E为实体，即所有的源域模型和目标域 模型，可表示源域模型以及目标域模型具体的属性；其中表示的是指定源域数据集下 所有的源域模型和目标域模型之间的迁移性强度，即步骤S302中的集合。
模型优化前端读取图数据库中的图谱数据，以可视化图谱的形式在前 端展示给用户。具体地，可视化图谱包含基于不同源域数据集的N个子图，每个子图中E表示 映射到图谱中的点，V映射到图谱中的边，特别地，若，则表示可迁移性强度的边 V不存在。
在其中一个实施例中，所述基于所述迁移性图谱，确定各所述源域数据集下至少一个可选的源域模型包括：
基于各所述源域数据集对应的所述迁移性图谱中的迁移性强度，分别确定各所述源域数据集下至少一个可选的源域模型；其中，所述至少一个可选的源域模型按照所述迁移性强度从高到低的顺序进行排序。
具体地，根据迁移性强度，分别确定各所述源域数据集下TOPK个迁移性强的源域模型作为推荐的源域模型，保证在迁移学习过程中达到正向迁移的效果，达到较好的优化效果，可训练得到优化模型。在用户选定源域数据集后，将TOPK推荐的源域模型在前端展示给用户，并且将上述TOPK个源域模型按照迁移性强度从高至低进行排序，显示在界面上供用户选择。针对每一个源域数据集，计算确定得到TOPK推荐的源域模型作为推荐可选的源域模型，并存储到图数据库中的图谱数据中。
在其中一个实施例中，如图5所示，所述基于用户选择的源域数据集和源域模型，及，目标域数据集和所述目标域模型，采用基于模型的迁移学习方法优化所述目标域模型，获得优化后的目标域模型包括以下步骤：
步骤S501，基于所述用户选择的源域模型，获取所述源域模型的唯一标识信息；
步骤S502，基于所述唯一标识信息，获取所述源域模型的计算机文件、模型参数、网络架构；
步骤S503，基于所述计算机文件、所述模型参数以及所述网络架构，采用基于模型的迁移学习方法对所述目标域模型进行训练和微调，获得优化后的目标域模型。
具体地，用户可从TOPK个推荐可选的源域模型中选择出迁移学习的源域模型后，由可视化界面将该源域模型唯一标识信息（VID）传入到迁移性学习后端。用户在模型优化前端选择确定后的源域数据集，以及对应源域数据集推荐的源域模型后，进入到迁移学习的模型优化阶段；迁移学习模块通过唯一标识信息（VID）查询图数据库中的节点信息，结合关系型数据库中的预置数据，获取到被选择为源域模型的计算机文件，模型参数、网络架构等，共享该源域模型的计算机文件，模型参数、网络架构等，对用户的目标域模型进行训练和微调，达到优化目标域模型性能的目标。
优化后的目标域模型也作为用户数据持久化存储到关系型数据库中，并且将优化后的目标域模型也作为源域模型之一持久化存储到关系型数据库中的预置数据中，以实现对源域模型的持续补充。因此，当用户第n次创建目标域模型时，重复以上可迁移性度量计算步骤之外，模型优化引擎进一步地计算该目标域模型与该用户其他n-1个已优化模型间的可迁移性强度。
下面通过优选实施例对本实施例进行描述和说明。
基于迁移性图谱的目标域模型优化的过程如图6和图7所示，迁移性度量模块读取数据存储层中的预置数据和用户数据，采用迁移性度量算法，计算获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度，生成多对多的结构化数据，并将结构化数据写入数据存储层中的图谱数据。并基于迁移性强度计算结果，获取各所述源域数据集下迁移性强的TOPK源域模型，将TOPK源域模型也存储到图谱数据中。
迁移性图谱可视化界面是配合图数据库使用的可视化工具，它直接连接图数据库，通过GUI（Graphics User Interface）界面用户进行查询、获取数据，并以一定的图结构在页面展示图数据库中存入的迁移性度量数据，向用户展示生成的迁移性关系图谱、推荐的TOPK源域模型，以及供用户选择源域模型。目标域模型与源域模型之间的迁移性强度可用图谱中边的距离dij可视化衡量，当迁移性强度值越大，则表示关联性越强，对应图谱中的边越短，其中，i表示目标域模型，j表示源域模型。如图7所示，在子图中目标域模型s与其它源域模型（源域模型c、源域模型a、源域模型x、源域模型b、源域模型y）之间边的大小关系为：dsc<dsa<dsx<dsb<dsy，即表示源域模型c与目标域模型s的迁移性强度最高，源域模型y与目标域模型s的迁移性强度最低。
迁移性图谱可视化界面实时获取与用户目标域模型可迁移性最强的TOPK个源域模型，将这些源域模型的唯一标识信息（VID）也存入到图数据库中。同时将上述TOPK个源域模型按照可迁移性强度从高至低排序，显示在界面上供用户选择。用户从可推荐的源域模型中选择作为迁移学习的源域模型后，采用基于模型的迁移学习方法对目标域模型进行优化微调，获得优化后的目标域模型。
本申请实施例还提供了一种基于迁移性图谱的图像分类装置，如图8所示，所述装置包括：
获得模块610，用于基于至少一个源域模型以及至少一个源域数据集，获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
生成模块620，用于基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱；
确定模块630，用于基于所述迁移性图谱，确定各所述源域数据集对应的至少一个可选的源域模型；
优化模块640，用于基于用户选择的源域数据集和源域模型，及，目标域数据集和所述目标域模型，采用基于模型的迁移学习方法优化所述目标域模型，获得优化后的目标域模型；
分类模块650，用于将待分类图像输入所述优化后的目标域模型，获得分类结果。
本实施例提供的装置，可在海量的源域数据集和源域模型中快速的在不同源域数据集下选择合适的源域模型进行迁移学习，提高迁移学习的效果，提高了图像分类的精度。
在一个实施例中，获得模块610还用于：
获取所述目标域模型以及各所述源域模型的模型属性；
基于所述模型属性，采用对应的可迁移性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度。
在一个实施例中，模型属性包括训练框架、网络架构、任务类型。
在一个实施例中，获得模块610还用于：
若所述目标域模型与所述源域模型的训练框架不同，则所述目标域模型与所述源域模型之间不存在可迁移性；
若所述目标域模型与所述源域模型的网络架构相同，则采用同构网络迁移下的度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
在所述目标域模型与所述源域模型的网络架构不同的情况下，若所述目标域模型与所述源域模型的任务类型相同，则采用模型适应的度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
在所述目标域模型与所述源域模型的网络架构不同的情况下，若所述目标域模型与所述源域模型的任务类型不同，则采用跨任务类型的任务相关性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度。
在一个实施例中，生成模块620还用于：
基于各所述源域数据集，分别以所述目标域模型以及所述至少一个源域模型作为节点，以所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度作为边，生成对应的迁移性图谱。
在一个实施例中，生成模块620还用于：
基于各所述源域数据集对应的所述迁移性图谱中的迁移性强度，分别确定各所述源域数据集下至少一个可选的源域模型；其中，所述至少一个可选的源域模型按照所述迁移性强度从高到低的顺序进行排序。
在一个实施例中，优化模块640还用于：
基于所述用户选择的源域模型，获取所述源域模型的唯一标识信息；
基于所述唯一标识信息，获取所述源域模型的计算机文件、模型参数、网络架构；
基于所述计算机文件、所述模型参数以及所述网络架构，采用基于模型的迁移学习方法对所述目标域模型进行训练和微调，获得优化后的目标域模型。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种基于迁移性图谱的图像分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项基于迁移性图谱的图像分类实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于迁移性图谱的图像分类方法，其特征在于，所述方法包括：
基于至少一个源域模型以及至少一个源域数据集，获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱；
基于所述迁移性图谱，确定各所述源域数据集对应的至少一个可选的源域模型；
基于用户选择的源域数据集和源域模型，及，目标域数据集和所述目标域模型，采用基于模型的迁移学习方法优化所述目标域模型，获得优化后的目标域模型；
将待分类图像输入到所述优化后的目标域模型，获得分类结果。
2.根据权利要求1所述的方法，其特征在于，所述获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度包括：
获取所述目标域模型以及各所述源域模型的模型属性；
基于所述模型属性，采用对应的可迁移性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度。
3.根据权利要求2所述的方法，其特征在于，所述模型属性包括训练框架、网络架构、任务类型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述模型属性，采用对应的可迁移性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度包括：
若所述目标域模型与所述源域模型的训练框架不同，则所述目标域模型与所述源域模型之间不存在可迁移性；
若所述目标域模型与所述源域模型的网络架构相同，则采用同构网络迁移下的度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
在所述目标域模型与所述源域模型的网络架构不同的情况下，若所述目标域模型与所述源域模型的任务类型相同，则采用模型适应的度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
在所述目标域模型与所述源域模型的网络架构不同的情况下，若所述目标域模型与所述源域模型的任务类型不同，则采用跨任务类型的任务相关性度量算法计算所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度。
5.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱包括：
基于各所述源域数据集，分别以所述目标域模型以及所述至少一个源域模型作为节点，以所述目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度作为边，生成对应的迁移性图谱。
6.根据权利要求5所述的方法，其特征在于，所述基于所述迁移性图谱，确定各所述源域数据集下至少一个可选的源域模型包括：
基于各所述源域数据集对应的所述迁移性图谱中的迁移性强度，分别确定各所述源域数据集下至少一个可选的源域模型；其中，所述至少一个可选的源域模型按照所述迁移性强度从高到低的顺序进行排序。
7.根据权利要求1所述的方法，其特征在于，所述基于用户选择的源域数据集和源域模型，及，目标域数据集和所述目标域模型，采用基于模型的迁移学习方法优化所述目标域模型，获得优化后的目标域模型包括：
基于所述用户选择的源域模型，获取所述源域模型的唯一标识信息；
基于所述唯一标识信息，获取所述源域模型的计算机文件、模型参数、网络架构；
基于所述计算机文件、所述模型参数以及所述网络架构，采用基于模型的迁移学习方法对所述目标域模型进行训练和微调，获得优化后的目标域模型。
8.一种基于迁移性图谱的图像分类装置，其特征在于，所述装置包括：
获得模块，用于基于至少一个源域模型以及至少一个源域数据集，获得目标域模型在各所述源域数据集下与各所述源域模型的迁移性强度；
生成模块，用于基于所述至少一个源域模型、所述目标域模型以及所述迁移性强度，生成迁移性图谱；
确定模块，用于基于所述迁移性图谱，确定各所述源域数据集对应的至少一个可选的源域模型；
优化模块，用于基于用户选择的源域数据集和源域模型，及，目标域数据集和所述目标域模型，采用基于模型的迁移学习方法优化所述目标域模型，获得优化后的目标域模型；
分类模块，用于将待分类图像输入所述优化后的目标域模型，获得分类结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至权利要求7中任一项所述的方法。
CN202310773223.0A 2023-06-28 2023-06-28 一种基于迁移性图谱的图像分类方法、装置、设备和介质 Active CN116503679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310773223.0A CN116503679B (zh) 2023-06-28 2023-06-28 一种基于迁移性图谱的图像分类方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310773223.0A CN116503679B (zh) 2023-06-28 2023-06-28 一种基于迁移性图谱的图像分类方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN116503679A true CN116503679A (zh) 2023-07-28
CN116503679B CN116503679B (zh) 2023-09-05

Family

ID=87327061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310773223.0A Active CN116503679B (zh) 2023-06-28 2023-06-28 一种基于迁移性图谱的图像分类方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN116503679B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180218284A1 (en) * 2017-01-31 2018-08-02 Xerox Corporation Method and system for learning transferable feature representations from a source domain for a target domain
WO2020009652A1 (en) * 2018-07-06 2020-01-09 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for dynamic service performance prediction using transfer learning
WO2021037840A1 (en) * 2019-08-28 2021-03-04 International Business Machines Corporation Transfer learning based on cross-domain homophily influences
WO2021114130A1 (zh) * 2019-12-11 2021-06-17 中国科学院深圳先进技术研究院 一种无监督自适应乳腺病变分割方法
CN113344016A (zh) * 2020-02-18 2021-09-03 深圳云天励飞技术有限公司 深度迁移学习方法、装置、电子设备及存储介质
WO2022143723A1 (zh) * 2020-12-31 2022-07-07 中兴通讯股份有限公司 语音识别模型训练方法、语音识别方法及相应装置
CN115620160A (zh) * 2022-10-21 2023-01-17 中国地质大学（武汉） 基于多分类器对抗主动迁移学习的遥感图像分类方法
CN116049639A (zh) * 2023-03-31 2023-05-02 同心智医科技(北京)有限公司 脑电图信号的选择性迁移学习方法、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180218284A1 (en) * 2017-01-31 2018-08-02 Xerox Corporation Method and system for learning transferable feature representations from a source domain for a target domain
WO2020009652A1 (en) * 2018-07-06 2020-01-09 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for dynamic service performance prediction using transfer learning
WO2021037840A1 (en) * 2019-08-28 2021-03-04 International Business Machines Corporation Transfer learning based on cross-domain homophily influences
WO2021114130A1 (zh) * 2019-12-11 2021-06-17 中国科学院深圳先进技术研究院 一种无监督自适应乳腺病变分割方法
CN113344016A (zh) * 2020-02-18 2021-09-03 深圳云天励飞技术有限公司 深度迁移学习方法、装置、电子设备及存储介质
WO2022143723A1 (zh) * 2020-12-31 2022-07-07 中兴通讯股份有限公司 语音识别模型训练方法、语音识别方法及相应装置
CN115620160A (zh) * 2022-10-21 2023-01-17 中国地质大学（武汉） 基于多分类器对抗主动迁移学习的遥感图像分类方法
CN116049639A (zh) * 2023-03-31 2023-05-02 同心智医科技(北京)有限公司 脑电图信号的选择性迁移学习方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孟欠欠;沈龙凤;李晓;胡贺军;: "基于迁移局部线性编码的跨域图像表示方法", 河南科技学院学报(自然科学版), no. 01 *
沈杰;刘解放;杭文龙;梁爽;: "选择性直推式迁移学习", 计算机工程与设计, no. 08 *
谢小红;李文韬;: "基于迁移学习的图像分类训练方法研究", 信息与电脑(理论版), no. 07 *

Also Published As

Publication number Publication date
CN116503679B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
WO2023005133A1 (zh) 联邦学习建模优化方法、设备、可读存储介质及程序产品
US9256693B2 (en) Recommendation system with metric transformation
WO2021232278A1 (zh) 地图获取方法、装置、计算机设备和存储介质
WO2020047921A1 (zh) 基于层次三元组损失函数的深度度量学习方法及其装置
CN110866469B (zh) 一种人脸五官识别方法、装置、设备及介质
CN108900320B (zh) 一种互联网测试床拓扑结构大比例规模缩减方法及装置
CN111553279B (zh) 兴趣点的表征学习、识别方法、装置、设备及存储介质
Du et al. New iterative closest point algorithm for isotropic scaling registration of point sets with noise
CN111158828A (zh) 应用程序app的用户界面确定方法及装置、存储介质
CN111860484B (zh) 一种区域标注方法、装置、设备及存储介质
CN114612531B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN107452003A (zh) 一种含有深度信息的图像分割的方法及装置
CN114821140A (zh) 基于曼哈顿距离的图像聚类方法、终端设备及存储介质
Yang et al. Efficient knowledge management for heterogeneous federated continual learning on resource-constrained edge devices
CN106503245A (zh) 一种支撑点集合的选择方法及装置
CN116503679B (zh) 一种基于迁移性图谱的图像分类方法、装置、设备和介质
CN117058022A (zh) 深度图像去噪方法、装置、计算机设备及存储介质
CN115953330A (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN116681470A (zh) 门店选址方法、装置、计算机设备、存储介质和产品
Gong et al. A superpixel segmentation algorithm based on differential evolution
CN116030466A (zh) 图像文本信息识别与处理方法、装置及计算机设备
CN116229130A (zh) 模糊图像的类型识别方法、装置、计算机设备和存储介质
Hu et al. CVT-based 3D image segmentation and quality improvement of tetrahedral/hexahedral meshes using anisotropic Giaquinta-Hildebrandt operator
CN114548229A (zh) 训练数据增广方法、装置、设备和存储介质
CN111685723A (zh) 一种适用于眼部常规视力检查的便携式系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant