CN112364916B - 基于迁移学习的图像分类方法、相关设备及存储介质 - Google Patents

基于迁移学习的图像分类方法、相关设备及存储介质 Download PDF

Info

Publication number
CN112364916B
CN112364916B CN202011250391.4A CN202011250391A CN112364916B CN 112364916 B CN112364916 B CN 112364916B CN 202011250391 A CN202011250391 A CN 202011250391A CN 112364916 B CN112364916 B CN 112364916B
Authority
CN
China
Prior art keywords
image data
domain image
target
target domain
source domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011250391.4A
Other languages
English (en)
Other versions
CN112364916A (zh
Inventor
罗闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202011250391.4A priority Critical patent/CN112364916B/zh
Publication of CN112364916A publication Critical patent/CN112364916A/zh
Application granted granted Critical
Publication of CN112364916B publication Critical patent/CN112364916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种基于迁移学习的图像分类方法、相关设备及存储介质,涉及人工智能技术领域,该方法包括:获取源域图像数据和目标域图像数据中的数据点的目标表示;利用目标表示对源域图像数据和目标域图像数据的整体类心进行对齐,得到对齐后的源域图像数据;利用对齐后的源域图像数据构建分类器,采用构建好的分类器对目标域图像数据分类,得到目标域图像数据的预测标签;基于预测标签对所述目标域图像数据分类,得到分类结果。本申请实施例有利于提高迁移学习中目标域图像数据的预测标签的精度,利用更为精确的预测标签对目标域图像数据分类,有利于提高分类的准确度。此外,本申请还涉及区块链技术,构建的分类器可存储于区块链节点中。

Description

基于迁移学习的图像分类方法、相关设备及存储介质
技术领域
本申请涉及机器学习技术领域,尤其涉及一种基于迁移学习的图像分类方法、相关设备及存储介质。
背景技术
随着人工智能的发展,迁移学习被广泛应用于机器学习中,它可以运用已有的知识解决不同但是相关领域的问题,克服了传统机器学习算法在分类问题中训练数据和测试数据具有相同数据分布假设的局限,能有效处理训练数据与测试数据分布不同的情况。数据类心对齐是迁移学习中的常规操作,源域数据中各类别数据的类心可由真实标签得到,而目标域数据由于不存在标签信息,因此,需要对其进行标签预测,目标域数据中各类别数据的类心由预测标签估算得到。但是,目前迁移学习中目标域数据标签的预测精度无法得到保证,这就会导致类心估计不准确,从而影响到分类效果。
发明内容
针对上述问题,本申请提供了一种基于迁移学习的图像分类方法、相关设备及存储介质,有利于提高目标域图像数据标签的预测精度,从而提高目标域图像数据分类的准确度。
为实现上述目的,本申请实施例第一方面提供了一种基于迁移学习的图像分类方法,该方法包括:
获取源域图像数据和目标域图像数据中的数据点的目标表示;
利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据;
利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签;
基于所述预测标签对所述目标域图像数据分类,得到分类结果。
在一种可能的实施方式中,所述获取源域图像数据和目标域图像数据中的数据点的目标表示,包括:
获取所述源域图像数据中的数据点的第一空间近邻点;
获取所述第一空间近邻点的平均像素特征;
将所述第一空间近邻点的平均像素特征作为所述源域图像数据中的数据点的第一目标表示;以及,
获取所述目标域图像数据中的数据点的第二空间近邻点;
获取所述第二空间近邻点的平均像素特征;
将所述第二空间近邻点的平均像素特征作为所述目标域图像数据中的数据点的第二目标表示。
在一种可能的实施方式中,所述利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据,包括:
利用所述第一目标表示计算所述源域图像数据的整体类心;
利用所述第二目标表示计算所述目标域图像数据的整体类心;
根据所述源域图像数据的整体类心和所述目标域图像数据的整体类心计算得到所述源域图像数据的移动方向;
按照所述移动方向移动所述源域图像数据得到对齐后的所述源域图像数据。
在一种可能的实施方式中,所述利用对齐后的所述源域图像数据构建分类器,包括:
构建目标函数;所述目标函数包括待求解的映射矩阵;
求解所述目标函数,得到所述映射矩阵;
基于所述映射矩阵以及对齐后的所述源域图像数据得到映射后的所述源域图像数据;
利用映射后的所述源域图像数据对分类器进行训练,得到构建好的分类器。
在一种可能的实施方式中,所述采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签,包括:
基于所述映射矩阵以及所述目标域图像数据得到映射后的所述目标域图像数据;
利用构建好的分类器对映射后的所述目标域图像数据进行分类,得到所述目标域图像数据的预测标签。
在一种可能的实施方式中,所述基于所述预测标签对所述目标域图像数据分类,得到分类结果,包括:
利用所述预测标签求取所述目标域图像数据各个类别的平均光谱,得到所述目标域图像数据各个类别的类心;
将所述目标域图像数据分类到所述目标域图像数据各个类别的类心,得到分类结果。
本申请实施例第二方面提供了一种基于迁移学习的图像分类装置,该装置包括:
空间滤波模块,用于获取源域图像数据和目标域图像数据中的数据点的目标表示;
整体类心对齐模块,用于利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据;
预测标签获取模块,用于利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签;
图像分类模块,用于基于所述预测标签对所述目标域图像数据分类,得到分类结果。
本申请实施例第三方面提供了一种电子设备,该电子设备包括输入设备和输出设备,还包括处理器,适于实现一条或多条指令;以及,计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行上述第一方面任一种实施方式中的步骤。
本申请实施例第四方面提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行上述第一方面任一种实施方式中的步骤。
可以看出,本申请实施例通过获取源域图像数据和目标域图像数据中的数据点的目标表示;利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据;利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签;基于所述预测标签对所述目标域图像数据分类,得到分类结果。这样以源域图像数据和目标域图像数据的目标表示对二者进行整体类心对齐,有利于提高分类器得到目标域图像数据的预测标签的精度,利用更为精确的预测标签对目标域图像数据分类,有利于提高分类的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种网络系统架构的示意图;
图2为本申请实施例提供的一种基于迁移学习的图像分类方法的流程示意图;
图3为本申请提供的一种寻找数据点的空间近邻点的示例图;
图4为本申请实施例提供的一种源域图像数据与目标域图像数据整体类心对齐的示例图;
图5为本申请实施例提供的另一种基于迁移学习的图像分类方法的流程示意图;
图6为本申请实施例提供的一种基于迁移学习的图像分类装置的结构示意图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,术语“第一”、“第二”和“第三”等是用于区别不同的对象,而并非用于描述特定的顺序。
以下结合相关附图对本申请实施例提供的基于迁移学习的图像分类方法进行详细阐述。
请参见图1,图1为本申请实施例提供的一种网络系统架构的示意图,如图1所示,该网络系统架构可以包括终端10、数据库20、服务器30,各部分通过有线或无线网络40通信连接。其中,终端10用于进行人机交互,接收用户输入的指令,基于该指令生成相关请求,以请求服务器30执行图像分类的相关处理,例如:基于用户输入的程序指令,生成图像获取请求,以请求服务器30从数据库20中获取预先存储的图像集,比如人脸图像集、车辆图像集等,并执行图像处理算法,提取图像集中图像的特征数据,得到迁移学习用的源域图数据,再例如:基于用户输入的图像分类指令,生成图像分类请求,以请求服务器30从数据库20获取源域图像数据和目标域图像数据,并对源域图像数据和目标域图像数据进行空间滤波,针对源域图像数据和目标域图像数据中的每个数据点,以该数据点的空间近邻点的平均值表示该数据点,然后对空间滤波后的源域图像数据和目标域图像数据进行整体类心的对齐,利用对齐后的源域图像数据构建分类器,以预测目标域图像数据的标签,按照目标域图像数据的预测标签对目标域图像数据进行分类,将分类结果存储在数据库20,或者返回到终端10进行展示。其中,数据库20用于存储源域图像数据和目标域图像数据,以及存储最终的分类结果,服务器30可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云计算、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器,数据库20可以是服务器30的数据库,也可以是独立于服务器30的数据库。
请参见图2,图2为本申请实施例提供的一种基于迁移学习的图像分类方法的流程示意图,应用于服务器,如图2所示,包括步骤S21-S24:
S21,获取源域图像数据和目标域图像数据中的数据点的目标表示。
本申请具体实施例中,源域图像数据是指带有大量标签信息的图像,目标域图像数据是指缺少标签信息的图像,例如:源域图像数据可以是开源数据库中的图像,也可以是对本地存储的图像进行标注后的图像,其中,本地存储的图像可以是闸机通道、路口、医疗等任何场景下采集的图像,目标域图像数据也可以是上述场景下采集的图像,区别在于未带有标签信息。
在迁移学习的过程中,为了保持图像的空间信息,首先采用空间滤波对源域图像数据和目标域图像数据进行预处理,以空间近邻点的平均值表示源域图像数据和目标域图像数据中的数据点。在一种可能的实施方式中,上述获取源域图像数据和目标域图像数据中的数据点的目标表示,包括:
获取所述源域图像数据中的数据点的第一空间近邻点;
获取所述第一空间近邻点的平均像素特征;
将所述第一空间近邻点的平均像素特征作为所述源域图像数据中的数据点的第一目标表示;以及,
获取所述目标域图像数据中的数据点的第二空间近邻点;
获取所述第二空间近邻点的平均像素特征;
将所述第二空间近邻点的平均像素特征作为所述目标域图像数据中的数据点的第二目标表示。
具体的,如图3所示,对于源域图像数据,采用预设滑动窗口在图像平面滑动,对于每个数据点,以该数据点为中心,将滑动窗口覆盖范围内的数据点确定为该数据点的第一空间近邻点,例如:以3*3的滑动窗口进行空间滤波,当前滑动窗口的中心数据点为X,则滑动窗口所覆盖的X1,X2,…,X8即为数据点X的第一空间近邻点,然后计算X1,X2,…,X8的平均像素特征,以该平均像素特征表示数据点X。对于目标域图像数据中的数据点的第二目标表示,也是采用相同的方式获取。因为图像在空间上相邻的数据点往往都属于同一个类别,将每个数据点用其空间近邻点的平均像素特征表示,在一定程度上能够拉近同类别数据点之间的距离并增加不同类别数据点之间的距离,另外,也可以排除单个数据点的像素所受到的噪声干扰。
S22,利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据。
本申请具体实施例中,一个域的整体类心可以代表该域数据的平均像素属性,对齐源域图像数据和目标域图像数据的整体类心可以减小两个域之间的整体分布差异。整体类心对齐即将源域图像数据整体向目标域图像数据移动,移动的方向即为两个域的图像数据整体类心的矢量差。
在一种可能的实施方式中,如图4所示,利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据,包括:
利用所述第一目标表示计算所述源域图像数据的整体类心;
利用所述第二目标表示计算所述目标域图像数据的整体类心;
根据所述源域图像数据的整体类心和所述目标域图像数据的整体类心计算得到所述源域图像数据的移动方向;
按照所述移动方向移动所述源域图像数据得到对齐后的所述源域图像数据。
例如:针对源域图像数据Xs,利用其第一目标表示计算得到整体类心ms,针对目标域图像数据Xt,利用其第二目标表示计算得到整体类心mt,计算ms和mt的差异Δm,公式为:Δm=ms-mt,该差异Δm即表示源域图像数据的移动方向,将源域图像数据按照该移动方向移动得到对齐后的源域数据表示为:/>此时,源域图像数据Xs与目标域图像数据Xt的整体类心已经对齐。
S23,利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签。
本申请具体实施例中,通过最小化源域和目标域各个类别类心之间的距离减小两个域各个类别之间的数据分布差异,并且加入流形正则化保持两个域各自域内的局部几何结构,使得数据在公共子空间中依然能够保持原始空间中的相对关系。
在一种可能的实施方式中,所述利用对齐后的所述源域图像数据构建分类器,包括:
构建目标函数;所述目标函数包括待求解的映射矩阵;
进一步的,目标函数表示为:
s.t.FTXDXTF=I
其中,F表示待求解的映射矩阵;表示联合拉普拉斯矩阵,ns和nt分别表示源域图像数据和目标域图像数据中各类别的数据点数目,Ls=Ds-Ws和LtDt-Wt,分别表示源域图像数据和目标域图像数据的图拉普拉斯矩阵,Ds=∑jWs和Dt=∑jWt分别表示源域图像数据和目标域图像数据的对角矩阵,Ws和Wt分别表示源域图像数据和目标域图像数据的图邻接矩阵,代表了源域图像数据和目标域图像数据域内数据之间的相似性关系;/>表示联合对角矩阵;X=Xs;Xt]包含了源域图像数据和目标域图像数据;β和η为预设系数;Mc表示系数矩阵,I表示单位矩阵。
求解所述目标函数,得到所述映射矩阵;
基于所述映射矩阵以及对齐后的所述源域图像数据得到映射后的所述源域图像数据;即按照映射矩阵将对齐后的源域图像数据映射为新的源域图像数据,得到映射后的源域图像数据,表示为:Zs=FTXs,其中,Zs表示映射后的源域图像数据;
利用映射后的所述源域图像数据对分类器进行训练,得到构建好的分类器。可选的,该分类器可以是支持向量机(Support Vector Machine,SVM)。在一些实施例中,本申请构建好的分类器还可以存储于区块链节点中。
在一种可能的实施方式中,所述采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签,包括:
基于所述映射矩阵以及所述目标域图像数据得到映射后的所述目标域图像数据;即按照映射矩阵将对齐后的目标域图像数据映射为新的目标域图像数据,得到映射后的目标域图像数据,表示为:Zt=FTXt,其中,Zt表示映射后的目标域图像数据;
利用构建好的分类器对映射后的所述目标域图像数据进行分类,得到所述目标域图像数据的预测标签。即将Zt输入构建好的分类器进行分类预测,其输出为目标域图像数据的预测标签,例如:某个目标域图像数据的预测标签为:A某的人脸。
S24,基于所述预测标签对所述目标域图像数据分类,得到分类结果。
本申请具体实施例中,用目标域图像数据的预测标签求取目标域图像数据各个类别的平均光谱,即得到目标域图像数据各个类别的类心,从而实现源域图像数据和目标域图像数据各个类别类心的对齐,其具体表示为:
其中,系数矩阵Mc表示为:
其中,和/>分别表示源域图像数据的真实标签和目标域图像数据的预测标签,和/>分别表示源域图像数据和目标域图像数据中第c个类别的数据点数目,Xi和Xj表示和/>组成的集合中的任意两个数据。基于目标域图像数据各类别的类心即可完成对目标域图像数据的分类,得到目标域图像数据最终的分类结果。
可以看来,本申请实施例通过获取源域图像数据和目标域图像数据中的数据点的目标表示;利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据;利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签;基于所述预测标签对所述目标域图像数据分类,得到分类结果。这样以源域图像数据和目标域图像数据的目标表示对二者进行整体类心对齐,有利于提高分类器得到目标域图像数据的预测标签的精度,更精确的预测标签有利于实现源域图像数据和目标域图像数据各个类别类心的对齐,因此,利用更为精确的预测标签对目标域图像数据分类,有利于提高分类的准确度。
请参见图5,图5为本申请实施例提供的另一种基于迁移学习的图像分类方法的流程示意图,如图5所示,包括步骤S51-S57:
S51,获取源域图像数据中的数据点的第一空间近邻点;
S52,获取所述第一空间近邻点的平均像素特征,将所述第一空间近邻点的平均像素特征作为所述源域图像数据中的数据点的第一目标表示;
S53,获取目标域图像数据中的数据点的第二空间近邻点;
S54,获取所述第二空间近邻点的平均像素特征,将所述第二空间近邻点的平均像素特征作为所述目标域图像数据中的数据点的第二目标表示;
S55,利用所述第一目标表示和所述第二目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据;
其中,该步骤利用第一目标表示计算源域图像数据的整体类心,利用第二目标表示计算目标域图像数据的整体类心;根据源域图像数据的整体类心和目标域图像数据的整体类心计算得到源域图像数据的移动方向;按照该移动方向移动源域图像数据即可得到对齐后的源域图像数据。
S56,利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签;
S57,基于所述预测标签对所述目标域图像数据分类,得到分类结果。
其中,上述步骤S51-S57的具体实施方式,在图2所示的实施例中已有相关说明,且能达到相同或相似的有益效果,此处不再赘述。
基于图1或图5所示方法实施例的描述,本申请实施例还提供一种基于迁移学习的图像分类装置,请参见图6,图6为本申请实施例提供的一种基于迁移学习的图像分类装置的结构示意图,如图6所示,该装置包括:
空间滤波模块61,用于获取源域图像数据和目标域图像数据中的数据点的目标表示;
整体类心对齐模块62,用于利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据;
预测标签获取模块63,用于利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签;
图像分类模块64,用于基于所述预测标签对所述目标域图像数据分类,得到分类结果。
在一种可能的实施方式中,在获取源域图像数据和目标域图像数据中的数据点的目标表示方面,所述空间滤波模块61具体用于:
获取所述源域图像数据中的数据点的第一空间近邻点;
获取所述第一空间近邻点的平均像素特征;
将所述第一空间近邻点的平均像素特征作为所述源域图像数据中的数据点的第一目标表示;以及,
获取所述目标域图像数据中的数据点的第二空间近邻点;
获取所述第二空间近邻点的平均像素特征;
将所述第二空间近邻点的平均像素特征作为所述目标域图像数据中的数据点的第二目标表示。
在一种可能的实施方式中,在利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据方面,所述整体类心对齐模块62具体用于:
利用所述第一目标表示计算所述源域图像数据的整体类心;
利用所述第二目标表示计算所述目标域图像数据的整体类心;
根据所述源域图像数据的整体类心和所述目标域图像数据的整体类心计算得到所述源域图像数据的移动方向;
按照所述移动方向移动所述源域图像数据得到对齐后的所述源域图像数据。
在一种可能的实施方式中,在利用对齐后的所述源域图像数据构建分类器方面,所述预测标签获取模块63具体用于:
构建目标函数;所述目标函数包括待求解的映射矩阵;
求解所述目标函数,得到所述映射矩阵;
基于所述映射矩阵以及对齐后的所述源域图像数据得到映射后的所述源域图像数据;
利用映射后的所述源域图像数据对分类器进行训练,得到构建好的分类器。
在一种可能的实施方式中,在采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签方面,所述预测标签获取模块63具体用于:
基于所述映射矩阵以及所述目标域图像数据得到映射后的所述目标域图像数据;
利用构建好的分类器对映射后的所述目标域图像数据进行分类,得到所述目标域图像数据的预测标签。
在一种可能的实施方式中,在基于所述预测标签对所述目标域图像数据分类,得到分类结果方面,所述图像分类模块64具体用于:
利用所述预测标签求取所述目标域图像数据各个类别的平均光谱,得到所述目标域图像数据各个类别的类心;
将所述目标域图像数据分类到所述目标域图像数据各个类别的类心,得到分类结果。
本申请实施例提供的基于迁移学习的图像分类装置,通过设置空间滤波模块61获取源域图像数据和目标域图像数据中的数据点的目标表示;整体类心对齐模块62利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据;预测标签获取模块63利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签;图像分类模块64基于所述预测标签对所述目标域图像数据分类,得到分类结果。这样以源域图像数据和目标域图像数据的目标表示对二者进行整体类心对齐,有利于提高分类器得到目标域图像数据的预测标签的精度,更精确的预测标签有利于实现源域图像数据和目标域图像数据各个类别类心的对齐,因此,利用更为精确的预测标签对目标域图像数据分类,有利于提高分类的准确度。
根据本申请的一个实施例,图6所示的基于迁移学习的图像分类装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于迁移学习的图像分类装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图1或图5中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图6所示的基于迁移学习的图像分类装置设备,以及来实现本申请实施例的基于迁移学习的图像分类方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
基于上述方法实施例和装置实施例的描述,本申请实施例还提供一种电子设备。请参见图7,该电子设备至少包括处理器71、输入设备72、输出设备73以及计算机存储介质74。其中,电子设备内的处理器71、输入设备72、输出设备73以及计算机存储介质74可通过总线或其他方式连接。
计算机存储介质74可以存储在电子设备的存储器中,所述计算机存储介质74用于存储计算机程序,所述计算机程序包括程序指令,所述处理器71用于执行所述计算机存储介质74存储的程序指令。处理器71(或称CPU(Central Processing Unit,中央处理器))是电子设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中,本申请实施例提供的电子设备的处理器71可以用于进行一系列基于迁移学习的图像分类处理:
获取源域图像数据和目标域图像数据中的数据点的目标表示;
利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据;
利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签;
基于所述预测标签对所述目标域图像数据分类,得到分类结果。
再一个实施例中,处理器71执行所述获取源域图像数据和目标域图像数据中的数据点的目标表示,包括:
获取所述源域图像数据中的数据点的第一空间近邻点;
获取所述第一空间近邻点的平均像素特征;
将所述第一空间近邻点的平均像素特征作为所述源域图像数据中的数据点的第一目标表示;以及,
获取所述目标域图像数据中的数据点的第二空间近邻点;
获取所述第二空间近邻点的平均像素特征;
将所述第二空间近邻点的平均像素特征作为所述目标域图像数据中的数据点的第二目标表示。
再一个实施例中,处理器71执行所述利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据,包括:
利用所述第一目标表示计算所述源域图像数据的整体类心;
利用所述第二目标表示计算所述目标域图像数据的整体类心;
根据所述源域图像数据的整体类心和所述目标域图像数据的整体类心计算得到所述源域图像数据的移动方向;
按照所述移动方向移动所述源域图像数据得到对齐后的所述源域图像数据。
再一个实施例中,处理器71执行所述利用对齐后的所述源域图像数据构建分类器,包括:
构建目标函数;所述目标函数包括待求解的映射矩阵;
求解所述目标函数,得到所述映射矩阵;
基于所述映射矩阵以及对齐后的所述源域图像数据得到映射后的所述源域图像数据;
利用映射后的所述源域图像数据对分类器进行训练,得到构建好的分类器。
再一个实施例中,处理器71执行所述采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签,包括:
基于所述映射矩阵以及所述目标域图像数据得到映射后的所述目标域图像数据;
利用构建好的分类器对映射后的所述目标域图像数据进行分类,得到所述目标域图像数据的预测标签。
再一个实施例中,处理器71执行所述基于所述预测标签对所述目标域图像数据分类,得到分类结果,包括:
利用所述预测标签求取所述目标域图像数据各个类别的平均光谱,得到所述目标域图像数据各个类别的类心;
将所述目标域图像数据分类到所述目标域图像数据各个类别的类心,得到分类结果。
示例性的,上述电子设备可以是电脑主机、服务器、云服务器、服务器集群等,电子设备可包括但不仅限于处理器71、输入设备72、输出设备73以及计算机存储介质74,输入设备72可以是键盘、触摸屏等,输出设备73可以是扬声器、显示器、射频发送器等。本领域技术人员可以理解,所述示意图仅仅是电子设备的示例,并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。
需要说明的是,由于电子设备的处理器71执行计算机程序时实现上述的基于迁移学习的图像分类方法中的步骤,因此上述基于迁移学习的图像分类方法的实施例均适用于该电子设备,且均能达到相同或相似的有益效果。
本申请实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是电子设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器71加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器71的计算机存储介质。在一个实施例中,可由处理器71加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关基于迁移学习的图像分类方法的相应步骤。
具体实现中,计算机存储介质中的一条或多条指令由处理器71加载并执行如下步骤:
获取源域图像数据和目标域图像数据中的数据点的目标表示;
利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据;
利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签;
基于所述预测标签对所述目标域图像数据分类,得到分类结果。
再一种示例中,计算机存储介质中的一条或多条指令由处理器71加载时还执行如下步骤:
获取所述源域图像数据中的数据点的第一空间近邻点;
获取所述第一空间近邻点的平均像素特征;
将所述第一空间近邻点的平均像素特征作为所述源域图像数据中的数据点的第一目标表示;以及,
获取所述目标域图像数据中的数据点的第二空间近邻点;
获取所述第二空间近邻点的平均像素特征;
将所述第二空间近邻点的平均像素特征作为所述目标域图像数据中的数据点的第二目标表示。
再一种示例中,计算机存储介质中的一条或多条指令由处理器71加载时还执行如下步骤:
利用所述第一目标表示计算所述源域图像数据的整体类心;
利用所述第二目标表示计算所述目标域图像数据的整体类心;
根据所述源域图像数据的整体类心和所述目标域图像数据的整体类心计算得到所述源域图像数据的移动方向;
按照所述移动方向移动所述源域图像数据得到对齐后的所述源域图像数据。
再一种示例中,计算机存储介质中的一条或多条指令由处理器71加载时还执行如下步骤:
构建目标函数;所述目标函数包括待求解的映射矩阵;
求解所述目标函数,得到所述映射矩阵;
基于所述映射矩阵以及对齐后的所述源域图像数据得到映射后的所述源域图像数据;
利用映射后的所述源域图像数据对分类器进行训练,得到构建好的分类器。
再一种示例中,计算机存储介质中的一条或多条指令由处理器71加载时还执行如下步骤:
基于所述映射矩阵以及所述目标域图像数据得到映射后的所述目标域图像数据;
利用构建好的分类器对映射后的所述目标域图像数据进行分类,得到所述目标域图像数据的预测标签。
再一种示例中,计算机存储介质中的一条或多条指令由处理器71加载时还执行如下步骤:
利用所述预测标签求取所述目标域图像数据各个类别的平均光谱,得到所述目标域图像数据各个类别的类心;
将所述目标域图像数据分类到所述目标域图像数据各个类别的类心,得到分类结果。
示例性的,计算机存储介质的计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,由于计算机存储介质的计算机程序被处理器执行时实现上述的基于迁移学习的图像分类方法中的步骤,因此上述基于迁移学习的图像分类方法的所有实施例均适用于该计算机存储介质,且均能达到相同或相似的有益效果。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种基于迁移学习的图像分类方法,其特征在于,所述方法包括:
获取源域图像数据和目标域图像数据中的数据点的目标表示;
利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据;
利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签;
基于所述预测标签对所述目标域图像数据分类,得到分类结果;
所述利用对齐后的所述源域图像数据构建分类器,包括:
构建目标函数;所述目标函数包括待求解的映射矩阵;其中,目标函数表示为:
其中,表示待求解的映射矩阵;/>,表示联合拉普拉斯矩阵,/>和/>分别表示源域图像数据和目标域图像数据中各类别的数据点数目,/>和/>,分别表示源域图像数据和目标域图像数据的图拉普拉斯矩阵,/>和/>分别表示源域图像数据和目标域图像数据的对角矩阵,/>和/>分别表示源域图像数据和目标域图像数据的图邻接矩阵,代表了源域图像数据和目标域图像数据域内数据之间的相似性关系;/>表示联合对角矩阵;/>包含了源域图像数据和目标域图像数据;/>和/>为预设系数;/>表示系数矩阵,/>表示单位矩阵;
求解所述目标函数,得到所述映射矩阵;
基于所述映射矩阵以及对齐后的所述源域图像数据得到映射后的所述源域图像数据;
利用映射后的所述源域图像数据对分类器进行训练,得到构建好的分类器;
所述基于所述预测标签对所述目标域图像数据分类,得到分类结果,包括:
利用所述预测标签求取所述目标域图像数据各个类别的平均光谱,得到所述目标域图像数据各个类别的类心;具体表示为:
其中,系数矩阵表示为:/>
其中,和/>分别表示源域图像数据的真实标签和目标域图像数据的预测标签,/>分别表示源域图像数据和目标域图像数据中第/>个类别的数据点数目,/>和/>表示/>组成的集合中的任意两个数据;
将所述目标域图像数据分类到所述目标域图像数据各个类别的类心,得到分类结果。
2.根据权利要求1所述的方法,其特征在于,所述获取源域图像数据和目标域图像数据中的数据点的目标表示,包括:
获取所述源域图像数据中的数据点的第一空间近邻点;
获取所述第一空间近邻点的平均像素特征;
将所述第一空间近邻点的平均像素特征作为所述源域图像数据中的数据点的第一目标表示;以及,
获取所述目标域图像数据中的数据点的第二空间近邻点;
获取所述第二空间近邻点的平均像素特征;
将所述第二空间近邻点的平均像素特征作为所述目标域图像数据中的数据点的第二目标表示。
3.根据权利要求2所述的方法,其特征在于,所述利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据,包括:
利用所述第一目标表示计算所述源域图像数据的整体类心;
利用所述第二目标表示计算所述目标域图像数据的整体类心;
根据所述源域图像数据的整体类心和所述目标域图像数据的整体类心计算得到所述源域图像数据的移动方向;
按照所述移动方向移动所述源域图像数据得到对齐后的所述源域图像数据。
4.根据权利要求1所述的方法,其特征在于,所述采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签,包括:
基于所述映射矩阵以及所述目标域图像数据得到映射后的所述目标域图像数据;
利用构建好的分类器对映射后的所述目标域图像数据进行分类,得到所述目标域图像数据的预测标签。
5.一种基于迁移学习的图像分类装置,其特征在于,所述装置包括:
空间滤波模块,用于获取源域图像数据和目标域图像数据中的数据点的目标表示;
整体类心对齐模块,用于利用所述目标表示对所述源域图像数据和所述目标域图像数据的整体类心进行对齐,得到对齐后的所述源域图像数据;
预测标签获取模块,用于利用对齐后的所述源域图像数据构建分类器,采用构建好的分类器对所述目标域图像数据分类,得到所述目标域图像数据的预测标签;
在利用对齐后的所述源域图像数据构建分类器方面,所述预测标签获取模块具体用于:
构建目标函数;所述目标函数包括待求解的映射矩阵;其中,目标函数表示为:
其中,表示待求解的映射矩阵;/>,表示联合拉普拉斯矩阵,/>和/>分别表示源域图像数据和目标域图像数据中各类别的数据点数目,/>和/>,分别表示源域图像数据和目标域图像数据的图拉普拉斯矩阵,/>和/>分别表示源域图像数据和目标域图像数据的对角矩阵,/>和/>分别表示源域图像数据和目标域图像数据的图邻接矩阵,代表了源域图像数据和目标域图像数据域内数据之间的相似性关系;/>表示联合对角矩阵;/>包含了源域图像数据和目标域图像数据;/>和/>为预设系数;/>表示系数矩阵,/>表示单位矩阵;
求解所述目标函数,得到所述映射矩阵;
基于所述映射矩阵以及对齐后的所述源域图像数据得到映射后的所述源域图像数据;
利用映射后的所述源域图像数据对分类器进行训练,得到构建好的分类器;
图像分类模块,用于基于所述预测标签对所述目标域图像数据分类,得到分类结果;
在基于所述预测标签对所述目标域图像数据分类,得到分类结果方面,所述图像分类模块具体用于:
利用所述预测标签求取所述目标域图像数据各个类别的平均光谱,得到所述目标域图像数据各个类别的类心;具体表示为:
其中,系数矩阵表示为:/>
其中,和/>分别表示源域图像数据的真实标签和目标域图像数据的预测标签,/>分别表示源域图像数据和目标域图像数据中第/>个类别的数据点数目,/>和/>表示/>组成的集合中的任意两个数据;
将所述目标域图像数据分类到所述目标域图像数据各个类别的类心,得到分类结果。
6.根据权利要求5所述的装置,其特征在于,在获取源域图像数据和目标域图像数据中的数据点的目标表示方面,所述空间滤波模块具体用于:
获取所述源域图像数据中的数据点的第一空间近邻点;
获取所述第一空间近邻点的平均像素特征;
将所述第一空间近邻点的平均像素特征作为所述源域图像数据中的数据点的第一目标表示;以及,
获取所述目标域图像数据中的数据点的第二空间近邻点;
获取所述第二空间近邻点的平均像素特征;
将所述第二空间近邻点的平均像素特征作为所述目标域图像数据中的数据点的第二目标表示。
7.一种电子设备,包括输入设备和输出设备,其特征在于,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-4任一项所述的方法。
8.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如权利要求1-4任一项所述的方法。
CN202011250391.4A 2020-11-10 2020-11-10 基于迁移学习的图像分类方法、相关设备及存储介质 Active CN112364916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011250391.4A CN112364916B (zh) 2020-11-10 2020-11-10 基于迁移学习的图像分类方法、相关设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011250391.4A CN112364916B (zh) 2020-11-10 2020-11-10 基于迁移学习的图像分类方法、相关设备及存储介质

Publications (2)

Publication Number Publication Date
CN112364916A CN112364916A (zh) 2021-02-12
CN112364916B true CN112364916B (zh) 2023-10-27

Family

ID=74508651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011250391.4A Active CN112364916B (zh) 2020-11-10 2020-11-10 基于迁移学习的图像分类方法、相关设备及存储介质

Country Status (1)

Country Link
CN (1) CN112364916B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222997A (zh) * 2021-03-31 2021-08-06 上海商汤智能科技有限公司 神经网络的生成、图像处理方法、装置、电子设备及介质
CN113535951B (zh) * 2021-06-21 2023-02-17 深圳大学 用于进行信息分类的方法、装置、终端设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469109A (zh) * 2015-11-19 2016-04-06 中国地质大学(武汉) 一种用于遥感图像分类的基于类心对齐的迁移学习方法
CN107273853A (zh) * 2017-06-16 2017-10-20 中国地质大学(武汉) 一种基于类心和协方差对齐的遥感图像迁移学习方法
CN108921216A (zh) * 2018-06-29 2018-11-30 咪咕文化科技有限公司 一种图像分类模型的处理方法、装置及存储介质
KR20190138238A (ko) * 2018-06-04 2019-12-12 삼성전자주식회사 딥 블라인드 전의 학습
CN111723661A (zh) * 2020-05-18 2020-09-29 华南理工大学 一种基于流形嵌入分布对齐的脑机接口迁移学习方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469109A (zh) * 2015-11-19 2016-04-06 中国地质大学(武汉) 一种用于遥感图像分类的基于类心对齐的迁移学习方法
CN107273853A (zh) * 2017-06-16 2017-10-20 中国地质大学(武汉) 一种基于类心和协方差对齐的遥感图像迁移学习方法
KR20190138238A (ko) * 2018-06-04 2019-12-12 삼성전자주식회사 딥 블라인드 전의 학습
CN108921216A (zh) * 2018-06-29 2018-11-30 咪咕文化科技有限公司 一种图像分类模型的处理方法、装置及存储介质
CN111723661A (zh) * 2020-05-18 2020-09-29 华南理工大学 一种基于流形嵌入分布对齐的脑机接口迁移学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
重构迁移学习的红外目标分类;毛远宏;贺占庄;马钟;;电子科技大学学报(第04期);全文 *

Also Published As

Publication number Publication date
CN112364916A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112348081B (zh) 用于图像分类的迁移学习方法、相关装置及存储介质
CN110910391B (zh) 一种双模块神经网络结构视频对象分割方法
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
CN113673425B (zh) 一种基于Transformer的多视角目标检测方法及系统
CN114092820A (zh) 目标检测方法及应用其的移动目标跟踪方法
Zhang et al. Road recognition from remote sensing imagery using incremental learning
CN113807399B (zh) 一种神经网络训练方法、检测方法以及装置
CN112364916B (zh) 基于迁移学习的图像分类方法、相关设备及存储介质
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
US11255678B2 (en) Classifying entities in digital maps using discrete non-trace positioning data
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
WO2021086857A1 (en) Image translation for image recognition to compensate for source image regional differences
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN104573699A (zh) 基于中等场强磁共振解剖成像的实蝇识别方法
CN112990282A (zh) 一种细粒度小样本图像的分类方法及装置
Alsanad et al. Real-time fuel truck detection algorithm based on deep convolutional neural network
Baghel et al. Analysis of Ex-YOLO algorithm with other real-time algorithms for emergency vehicle detection
CN110728229B (zh) 图像处理方法、装置、设备和存储介质
Ke et al. Dense small face detection based on regional cascade multi‐scale method
Palle et al. Automated image and video object detection based on hybrid heuristic-based U-net segmentation and faster region-convolutional neural network-enabled learning
CN116362294A (zh) 一种神经网络搜索方法、装置和可读存储介质
CN113139540B (zh) 背板检测方法及设备
CN112241736A (zh) 一种文本检测的方法及装置
CN115359468A (zh) 一种目标网站识别方法、装置、设备及介质
Lin et al. Learning correlation filter with fused feature and reliable response for real-time tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant