CN117435916B - 航片ai解译中的自适应迁移学习方法 - Google Patents

航片ai解译中的自适应迁移学习方法 Download PDF

Info

Publication number
CN117435916B
CN117435916B CN202311738578.2A CN202311738578A CN117435916B CN 117435916 B CN117435916 B CN 117435916B CN 202311738578 A CN202311738578 A CN 202311738578A CN 117435916 B CN117435916 B CN 117435916B
Authority
CN
China
Prior art keywords
data set
model
domain
source domain
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311738578.2A
Other languages
English (en)
Other versions
CN117435916A (zh
Inventor
袁俊江
林彬
黄涛
姜枭
邓小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yunshi Information Technology Co ltd
Original Assignee
Sichuan Yunshi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yunshi Information Technology Co ltd filed Critical Sichuan Yunshi Information Technology Co ltd
Priority to CN202311738578.2A priority Critical patent/CN117435916B/zh
Publication of CN117435916A publication Critical patent/CN117435916A/zh
Application granted granted Critical
Publication of CN117435916B publication Critical patent/CN117435916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/096Transfer learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明公开了航片AI解译中的自适应迁移学习方法,涉及神经网络技术领域,所述方法包括:步骤1:获取源领域数据集和目标领域数据集;步骤2:通过最小化源领域上的损失函数来优化参数;步骤3:从基础模型中提取特征,将源领域数据集和目标领域数据集映射到一个共享的特征空间;步骤4:基于源领域特征和目标领域特征,使用差分进化算法来学习源领域数据集和目标领域数据集之间的自适应权重;步骤5:构建自适应迁移学习的目标函数;步骤6:在目标领域上进行对训练后的基础模型进行基于判别器网络的模型校正,将模型校正后的参数作为最终参数。本发明提高了航片解译的准确率和效率。

Description

航片AI解译中的自适应迁移学习方法
技术领域
本发明涉及神经网络技术领域,特别涉及航片AI解译中的自适应迁移学习方法。
背景技术
近年来,随着计算机视觉和人工智能领域的迅速发展,航空摄影测量技术在军事、民用、工程等领域的应用也得到了广泛的关注和推广。其中,航空影像解译是航空摄影测量技术的重要组成部分,它可以通过分析和解释航空摄影图像中的信息来提供地理空间数据和地图制作等应用。然而,航空影像解译依赖于专业的操作员,且受到数据质量、遥感图像的多样性和时效性等问题的挑战。
在传统的航空影像解译中,操作员需要手动标注和识别图像中的各种地物和特征,这需要大量的时间和人力资源,并且容易受到主观因素的影响,导致解译结果的不一致性。此外,随着遥感技术的发展,获取到的遥感图像数量庞大,处理这些大规模数据也成为了一个挑战。因此,如何提高航空影像解译的自动化程度和准确性,以满足实际应用需求,成为了一个迫切需要解决的问题。
在过去的几十年中,研究人员和工程师们已经提出了多种方法和技术来改善航空影像解译的自动化和准确性。在早期,传统的机器学习方法如支持向量机(SVM)、决策树和随机森林等被广泛用于航空影像解译。这些方法通过手工提取图像特征和训练分类器来进行地物分类。然而,这些方法依赖于手工设计的特征,对图像的变化和多样性不够鲁棒,难以处理大规模的高分辨率影像数据。近年来,深度学习方法在航空影像解译中取得了显著的进展。卷积神经网络(CNN)等深度学习模型可以自动从图像中学习特征,并在一些任务中取得了优异的表现。这些模型在目标检测、图像分类和语义分割等方面有广泛应用。然而,深度学习模型需要大量的标注数据进行训练,而获取大规模的标注数据对于航空影像解译来说通常是困难的,尤其是在特定领域和应用中。迁移学习是一种利用已有知识来帮助新任务的机器学习方法。在航空影像解译中,迁移学习可以通过在源领域上训练模型,然后将其应用于目标领域来提高解译性能。这种方法可以利用源领域的数据和知识来加速目标领域的解译,但通常需要解决领域差异性的问题,以确保模型的泛化性能。
尽管已经有许多方法和技术用于改善航空影像解译,但仍然存在一些问题和挑战:
数据多样性和质量问题:不同地区和时间获取的航空影像数据具有差异性,这导致了模型在不同场景下的适应性问题。此外,遥感数据中可能存在噪声和不完整性,对模型的稳健性提出了挑战。
标注数据不足:深度学习模型通常需要大量标注数据进行训练,但在实际应用中,获取大规模的标注数据通常成本高昂且耗时。这限制了深度学习方法的应用范围。
领域适应问题:航空影像解译涉及不同领域的数据,如不同地区和季节的图像。模型在不同领域之间的适应性不足,需要解决领域迁移问题。
自动化程度不高:传统的机器学习方法需要手工设计特征,而深度学习方法通常需要复杂的模型和大量的计算资源。这些方法的自动化程度有限,难以满足高效和自动化的解译需求。
发明内容
本发明的目的是提供航片AI解译中的自适应迁移学习方法,提高了航片解译的准确率和效率。
为解决上述技术问题,本发明提供航片AI解译中的自适应迁移学习方法,所述方法包括:
航片AI解译中的自适应迁移学习方法,所述方法包括:
步骤1:获取源领域数据集和目标领域数据集;导入基础模型,定义度量源领域数据集和目标领域数据集之间的数据分布差异的差异度量函数;
步骤2:基于源领域数据集训练基础模型,通过最小化源领域上的损失函数来优化参数;
步骤3:从基础模型中提取特征,将源领域数据集和目标领域数据集映射到一个共享的特征空间,得到源领域特征和目标领域特征;
步骤4:基于源领域特征和目标领域特征,使用差分进化算法来学习源领域数据集和目标领域数据集之间的自适应权重;
步骤5:构建自适应迁移学习的目标函数;通过最小化自适应迁移学习的目标函数来优化参数和自适应权重;
步骤6:在目标领域上进行对训练后的基础模型进行基于判别器网络的模型校正,将模型校正后的参数作为最终参数。
进一步的,设源领域数据集为,其中/>是源领域中的输入数据,/>是相应的标签;目标领域数据集/>,其中/>是目标领域中的输入数据,/>是相应的标签;设基础模型为/>,其中/>是模型参数;定义源领域数据集和目标领域数据集之间的差异度度量函数为/>;/>和/>分别表示从源领域数据集和目标领域数据集中提取的特征向量集合;
基础模型的表达式为:
其中,是输入数据,/>和/>是权重矩阵,/>和/>是偏置向量,/>表示激活函数;为参数;差异度度量函数使用如下公式进行表示:
其中,为源领域数据集中样本的数量;/>为目标领域数据集中样本的数量。
进一步的,使用如下公式使用源领域数据集训练基础模型,通过最小化源领域上的损失函数来优化参数/>,以得到优化后的参数/>
其中,表示在对基础模型训练过程中找到的使损失函数最小化的参数;/>为归一化因子,表示每个样本的损失对整体损失的贡献;/>表示对源领域数据集/>中的所有样本进行求和操作;/>为损失函数,用于测量模型的预测结果/>与实际标签/>之间的差异;/>为正则化参数;/>为L2正则化项,用于惩罚模型参数的平方和。
进一步的,步骤3中从基础模型中提取特征,将源领域数据集和目标领域数据集映射到一个共享的特征空间的方法包括:将源领域数据集或目标领域数据集中的输入数据转换为灰度图像,并将其展平为向量;计算源领域数据集或目标领域数据集中的输入数据的均值图像;将每个源领域数据集或目标领域数据集中的输入数据减去均值图像以去除亮度差异;计算协方差矩阵;对协方差矩阵进行特征值分解,获得主成分和对应的特征向量;选择向量值最大的特征向量,投影到主成分的空间中;设特征提取函数为;则源领域特征为/>;目标领域特征为/>
进一步的,步骤4中,使用如下公式,基于源领域特征和目标领域特征,使用差分进化算法来学习源领域数据集和目标领域数据集之间的自适应权重:
其中,为自适应权重;/>为学习后的自适应权重;/>表示核函数。
进一步的,核函数为高斯核函数。
进一步的,步骤5中构建的自适应迁移学习的目标函数使用如下公式进行表示:
其中,为判别器网络,用于度量特征映射的领域差异,判别器网络的目标是最大化其对领域的区分能力,以使特征映射不同;/>为特征映射相似性损失项的权重参数;是领域对抗性损失;/>是领域对抗性损失的权重参数;;其中,其中/>表示标签的类别数,/>表示模型对第/>个类别的预测概率。
进一步的,步骤7中使用如下公式,最小化自适应迁移学习的目标函数来优化参数、判别器网络和自适应权重:
其中,为优化后的自适应权重;/>为优化后的参数;/>为优化后的判别器网络。
进一步的,领域对抗性损失使用如下公式计算得到:
其中,为范数系数;/>是一个正则化项,用于鼓励权重矩阵/>的稳定性;是权重矩阵/>的L1范数;/>为熵系数;/>是一个熵正则化项,用于鼓励判别器网络/>的熵增加,增加其不确定性,以帮助判别器网络更好地学习特征映射之间的差异;是判别器网络输出的熵,/>是判别器网络对不同领域的预测概率。
进一步的,步骤6中,使用如下公式,在目标领域上进行对训练后的基础模型进行基于判别器网络的模型校正,将模型校正后的参数作为最终参数:
其中,为模型校正后的参数。
本发明的航片AI解译中的自适应迁移学习方法,具有以下有益效果:在航空影像解译领域,准确性是至关重要的,因为解译结果直接影响到地图制作、资源管理、城市规划等各个领域的应用。传统的解译方法通常受到数据多样性和领域差异性的限制,导致在不同场景下的解译准确性不高。本发明引入了自适应迁移学习的方法,通过在源领域上训练模型,然后将其应用于目标领域,实现了跨领域的知识迁移。这使得模型可以更好地适应不同领域的数据,提高了解译准确性。自适应迁移学习方法还利用了特征映射相似性损失项,通过度量源领域和目标领域数据的相似性,进一步提高了解译准确性。此外,引入领域对抗性损失,通过最大化判别器网络的输出来使特征映射尽可能不同,从而提高了解译的鲁棒性。这些技术的综合应用使本发明的解译准确性显著提高,为实际应用提供了更可靠的数据支持。传统的深度学习方法通常需要大量的标注数据进行模型训练,然而,在实际应用中,获取大规模的标注数据通常是困难和昂贵的。本发明通过自适应迁移学习,可以在源领域上进行模型训练,然后将模型应用于目标领域,减少了对目标领域标注数据的需求。这意味着,即使在目标领域标注数据有限或不足的情况下,仍然可以获得高质量的解译结果。此外,本发明的领域对抗性损失和熵正则化项有助于提高模型的泛化性能,减少了对大规模标注数据的依赖。这些技术使解译模型更具鲁棒性,能够处理来自不同领域的数据,降低了标注成本,提高了解译的可行性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的航片AI解译中的自适应迁移学习方法的方法流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:参考图1,航片AI解译中的自适应迁移学习方法,所述方法包括:
步骤1:获取源领域数据集和目标领域数据集;导入基础模型,定义度量源领域数据集和目标领域数据集之间的数据分布差异的差异度量函数;源领域数据集是已有的航片解译数据,而目标领域数据集则是当前需要解译的新航片数据。这两个数据集具有不同的数据分布,因为它们来自不同地区、不同时间或不同传感器。差异度度量函数的作用是为后续的迁移学习步骤提供信息,以便系统可以根据领域之间的差异来调整模型的参数和权重,以更好地适应目标领域的数据分布。这有助于提高解译性能。
步骤2:基于源领域数据集训练基础模型,通过最小化源领域上的损失函数来优化参数;首先引入一个基础模型,它通常是一个机器学习模型,例如深度神经网络。这个模型用于执行航片解译任务。使用源领域数据集中的标注数据(航片图像和相应的标签),对基础模型进行训练。训练过程通过最小化损失函数来优化模型的参数。基础模型的训练过程旨在找到一组参数,使模型能够最好地拟合源领域数据的特性。这通过最小化损失函数来实现,损失函数度量模型的预测结果与实际标签之间的差异。训练过程的目标是找到最优的模型参数,使损失函数达到最小值。这通常通过梯度下降或其他优化算法来实现。训练过程反复迭代,直到达到停止条件或训练次数。训练过程通过最小化损失函数来调整模型参数,以使模型的预测结果与实际标签尽一致。最小化损失函数的作用是使基础模型能够更好地拟合源领域数据,从而提高在源领域上的性能。模型的参数被优化以使其适应源领域的特性。
步骤3:从基础模型中提取特征,将源领域数据集和目标领域数据集映射到一个共享的特征空间,得到源领域特征和目标领域特征;特征提取过程旨在将原始数据(航片图像)转换为高级抽象的表示,这些表示捕获了数据的重要特征和模式。基础模型已经在步骤2中训练好,因此可以将这个模型用作特征提取器。共享特征空间的想法是使源领域和目标领域的数据在同一特征空间中表示,以便它们可以更容易地进行比较和迁移学习。这可以通过使源领域和目标领域特征的分布在共享空间中接近来实现。共享特征空间的作用是为后续的自适应迁移学习步骤提供一个统一的特征表示,从而使模型能够更好地适应目标领域的数据分布。这有助于提高解译性能。
步骤4:基于源领域特征和目标领域特征,使用差分进化算法来学习源领域数据集和目标领域数据集之间的自适应权重;自适应权重的学习是为了在特征空间中对源领域和目标领域的特征进行加权组合,以最小化它们之间的差异。这样可以使特征在共享空间中更加一致,有助于提高迁移学习的性能。自适应权重的作用是调整源领域和目标领域特征的重要性,使它们更加一致。这有助于减小领域之间的特征差异,从而改善模型在目标领域上的性能。自适应权重学习的目标是最小化源领域特征和目标领域特征之间的差异,通常通过度量它们之间的距离或差异性来实现。通过最小化特征差异,权重学习可以使源领域和目标领域的特征表示在共享空间中更加一致,从而提高模型在目标领域上的泛化性能。自适应权重学习是自适应迁移学习的关键组成部分,因为它使模型能够根据源领域和目标领域的数据分布差异自动调整特征的权重。自适应性的作用是使模型具有适应不同领域的能力,而不需要手动调整权重。这增强了模型的泛化能力,使其能够更好地适应目标领域的数据。
步骤5:构建自适应迁移学习的目标函数;通过最小化自适应迁移学习的目标函数来优化参数和自适应权重;自适应迁移学习的目标函数是一个组合函数,它综合考虑了多个部分,包括模型在源领域上的性能、源领域和目标领域特征之间的差异以及领域对抗性损失。构建目标函数的目的是通过组合不同的损失项来平衡模型在源领域和目标领域的性能以及领域间的差异性。这有助于优化模型参数和权重,以提高在目标领域上的性能。目标函数的作用是为了最大程度地减小源领域和目标领域之间的特征差异,从而提高模型在目标领域上的性能。它还包括领域对抗性损失,以增强模型的鲁棒性。目标函数的作用是指导优化算法,使模型参数和权重在考虑源领域和目标领域的性能差异的同时,尽减小领域间的特征差异。这有助于模型更好地适应目标领域的数据分布,提高解译性能。
步骤6:在目标领域上进行对训练后的基础模型进行基于判别器网络的模型校正,将模型校正后的参数作为最终参数。判别器网络的引入是为了增强迁移学习的鲁棒性,通过最大化判别器网络的输出来减小源领域和目标领域特征之间的相似性。这有助于模型更好地适应目标领域的数据分布。判别器网络的作用是评估特征表示在共享特征空间中的相似性,并提供关于哪些特征属于源领域和哪些特征属于目标领域的信息。这个信息可以用来校正模型,使其更好地适应目标领域。模型校正的目的是通过根据判别器网络的输出来调整模型的参数,使模型更好地适应目标领域的数据。模型校正的作用是增强模型的泛化能力,使其能够更好地适应目标领域的特征分布。通过校正模型,可以减小源领域和目标领域之间的差异,从而提高解译性能。
实施例2:设源领域数据集为,其中/>是源领域中的输入数据,/>是相应的标签;目标领域数据集/>,其中/>是目标领域中的输入数据,/>是相应的标签;设基础模型为/>,其中/>是模型参数;定义源领域数据集和目标领域数据集之间的差异度度量函数为/>;/>和/>分别表示从源领域数据集和目标领域数据集中提取的特征向量集合;
基础模型的表达式为:
输入数据通过权重矩阵/>和偏置向量/>进行线性组合,然后经过激活函数/>进行非线性变换,得到第一个隐藏层的输出。第一个隐藏层的输出再次通过权重矩阵/>和偏置向量/>进行线性组合,然后再经过激活函数/>进行非线性变换,得到最终的模型输出。这个模型的目标是通过调整参数/>,使得模型能够对输入数据进行准确的预测。通常,模型的训练过程会使用损失函数来衡量预测值与真实标签之间的差异,并通过反向传播算法来更新参数/>,使损失最小化,从而优化模型的性能。
其中,是输入数据,/>和/>是权重矩阵,/>和/>是偏置向量,/>表示激活函数;为参数;差异度度量函数使用如下公式进行表示:
其中,为源领域数据集中样本的数量;/>为目标领域数据集中样本的数量。
具体的,源领域数据集包括一组输入数据/>和相应的标签/>,这些数据来自源领域。源领域通常指的是已经有标签的数据集,这些数据集用于训练基础模型。目标领域数据集/>包括一组输入数据/>和相应的标签/>,这些数据来自目标领域。目标领域通常指的是希望将模型迁移到的新领域,其中没有足够的标签数据,或者目标领域的数据分布与源领域不同。
基础模型的表达式为一个多层神经网络,包括两个隐藏层和激活函数/>。模型参数包括权重矩阵/>和/>,以及偏置向量/>和/>。模型的输入是/>,输出是模型对输入数据的预测。这个模型是要在源领域上训练的基础模型。
差异度度量函数用于度量源领域和目标领域数据集之间的差异。在这里,/>表示从源领域数据集中提取的特征向量集合,/>表示从目标领域数据集中提取的特征向量集合。公式中的/>表示了源领域和目标领域特征之间的平方欧氏距离。通过最小化这个距离,可以使特征在共享的特征空间中更加一致,从而提高迁移学习的性能。
目标是通过自适应迁移学习来提高基础模型在目标领域上的性能。这包括在训练中调整模型参数/>和差异度度量函数/>的权重,以最小化差异并最大程度地适应目标领域。自适应迁移学习的目标是在源领域的知识的基础上,通过考虑源领域和目标领域之间的差异来提高模型的泛化性能。
实施例3:使用如下公式使用源领域数据集训练基础模型,通过最小化源领域上的损失函数来优化参数/>,以得到优化后的参数/>
其中,表示在对基础模型训练过程中找到的使损失函数最小化的参数;/>为归一化因子,表示每个样本的损失对整体损失的贡献;/>表示对源领域数据集/>中的所有样本进行求和操作;/>为损失函数,用于测量模型的预测结果/>与实际标签/>之间的差异;/>为正则化参数;/>为L2正则化项,用于惩罚模型参数的平方和。
具体的,这个公式描述了在源领域数据集上训练基础模型/>的过程。目标是找到最优的模型参数/>,使得基础模型能够在源领域数据上做出最佳的预测。这是迁移学习中的第一步,通过在源领域上训练一个良好的基础模型,可以为后续的自适应迁移学习做好准备。
公式的主要作用是优化基础模型的参数,以最小化损失函数。通过不断调整/>,试图使基础模型的预测结果/>与实际标签/>尽接近。这有助于使模型在源领域数据上表现得更好。公式中的/>部分是正则化项。它的作用是对模型参数/>进行正则化,限制其大小,以避免模型过于复杂,从而减少过拟合的风险。正则化项的强度由/>控制,较大的/>值会增加正则化的影响。/>是一个归一化因子,确保每个样本的损失对整体损失的贡献是平等的。这有助于使训练过程更公平,不受数据集大小的影响。每个样本的损失都被均等地考虑。
总体来说,这个公式的作用是在源领域上训练一个基础模型,使其能够更好地拟合源领域数据,并通过正则化来控制模型的复杂性。在自适应迁移学习中,这个步骤是为了利用源领域的知识,为后续的迁移学习任务奠定基础,以提高模型在目标领域上的性能。
:这是希望找到的最优参数,它使损失函数最小化。在训练过程中,通过调整/>来不断优化模型,以使其在源领域数据上的预测结果与实际标签更接近。/>:这是一个归一化因子,用于确保每个样本的损失对整体损失的贡献是平等的。它表示每个样本的损失被均匀地纳入总损失中,以便更好地优化模型。/>:这个符号表示对源领域数据集中的所有样本进行求和操作。这意味着要考虑每个样本的损失,并将它们相加,得到总损失。/>:这是损失函数,用于衡量模型的预测结果/>与实际标签/>之间的差异。损失函数的选择取决于具体的任务,例如,对于回归问题,可以使用均方误差损失,对于分类问题,可以使用交叉熵损失等。/>:这是正则化参数,用于控制正则化项的强度。正则化的目的是防止模型过拟合源领域数据,促使模型更加泛化。较大的/>值会增加正则化项的权重。/>:这是/>正则化项,它用于惩罚模型参数/>的平方和。这有助于限制模型参数的大小,以防止过拟合。/>正则化项的效果在公式中由/>来调节。
实施例4:步骤3中从基础模型中提取特征,将源领域数据集和目标领域数据集映射到一个共享的特征空间的方法包括:将源领域数据集或目标领域数据集中的输入数据转换为灰度图像,并将其展平为向量;计算源领域数据集或目标领域数据集中的输入数据的均值图像;将每个源领域数据集或目标领域数据集中的输入数据减去均值图像以去除亮度差异;计算协方差矩阵;对协方差矩阵进行特征值分解,获得主成分和对应的特征向量;选择向量值最大的特征向量,投影到主成分的空间中;设特征提取函数为;则源领域特征为/>;目标领域特征为/>
具体的,将输入数据转换为灰度图像。这一步的目的是将原始数据转化为灰度图像,以便后续处理更容易。将灰度图像展平为向量。这将图像数据转换为一维向量,以便进行矩阵计算。
计算源领域数据集或目标领域数据集中输入数据的均值图像。均值图像表示了数据集的平均特征。将每个输入数据减去均值图像,以去除亮度差异。这有助于消除数据中的亮度变化,使特征更加稳定。计算去除亮度差异后的数据的协方差矩阵。协方差矩阵用于描述数据之间的关系。对协方差矩阵进行特征值分解,获得主成分和对应的特征向量。特征值分解可以将数据降维,并找到数据中最重要的方向。选择具有最大特征值的特征向量,这些特征向量对应于数据中的主要变化方向。将数据投影到主成分的空间中,得到最终的特征表示。
这个方法的主要作用是进行特征提取。通过将数据转化为灰度图像,计算均值图像,去除亮度差异,并进行特征值分解,可以获得更具代表性的数据特征。这些特征将在后续的自适应迁移学习中使用。特征值分解可以将数据降维到主要变化方向上,减少特征的维度。这有助于减少计算复杂度,并提高模型的训练效率。通过将源领域数据和目标领域数据映射到共享的特征空间,为后续的自适应迁移学习任务做好了准备。因为它们现在共享相似的特征表示,模型可以更容易地从源领域迁移到目标领域。这有助于提高迁移学习的效果。
实施例5:步骤4中,使用如下公式,基于源领域特征和目标领域特征,使用差分进化算法来学习源领域数据集和目标领域数据集之间的自适应权重:
其中,为自适应权重;/>为学习后的自适应权重;/>表示核函数。
具体的,通过调整自适应权重,使得源领域特征/>和目标领域特征/>在共享的特征空间中更加相似。核心思想是通过自适应权重的优化,使得特征在共享的特征空间中更加对齐,从而促进迁移学习。通过优化自适应权重/>,这个方法的主要作用是学习如何将源领域特征和目标领域特征结合起来以获得更有用的特征表示。自适应权重的调整可以使源领域和目标领域的特征在共享的特征空间中更加相似,有助于迁移学习的效果。核函数/>用于衡量两个特征集合之间的相似度。这里的核函数可以根据具体问题的需求选择,常见的核函数包括线性核、高斯核等。通过核函数的应用,可以度量特征之间的相似性,从而确定如何调整自适应权重。学习自适应权重是为了为后续的自适应迁移学习做准备。通过优化权重,可以更好地对齐源领域和目标领域的特征表示,使得模型在目标领域上更容易适应,提高解译性能。
实施例6:核函数为高斯核函数。
具体的,高斯核函数用于度量两个特征向量之间的相似性。当两个特征向量越相似时,核函数的值越接近1;当它们差异较大时,核函数的值越接近0。这有助于捕捉源领域和目标领域数据之间的相似性和差异性。高斯核函数可以隐式地将输入特征映射到一个高维空间中,使得数据在高维空间中更容易分离。这有助于增强迁移学习模型的性能,特别是在非线性问题上。
实施例7:步骤5中构建的自适应迁移学习的目标函数使用如下公式进行表示:
其中,为判别器网络,用于度量特征映射的领域差异,判别器网络的目标是最大化其对领域的区分能力,以使特征映射不同;/>为特征映射相似性损失项的权重参数;是领域对抗性损失;/>是领域对抗性损失的权重参数;;其中,其中/>表示标签的类别数,/>表示模型对第/>个类别的预测概率。
具体的,源领域损失项():这部分损失项用于衡量模型在源领域上的性能。它的目标是最小化模型在源领域数据上的预测误差,以确保基础模型在源领域上具有良好的性能。特征映射相似性损失项(/>):这部分损失项用于衡量源领域特征和目标领域特征之间的相似性。通过最小化这一项,目标是使源领域和目标领域的特征在共享的特征空间中更加相似,以促进迁移学习。领域对抗性损失项(/>):这部分损失项通过判别器网络/>来度量源领域和目标领域之间的特征映射差异。判别器网络的目标是最大化对领域的区分能力,以使特征映射不同。通过最大化这一项,可以增强模型对领域的适应性。
这个目标函数综合了源领域损失、特征映射相似性损失和领域对抗性损失,以平衡不同的优化目标。通过综合考虑这些损失项,可以更好地优化模型参数和自适应权重,以提高模型的性能。特征映射相似性损失项和领域对抗性损失项的权重参数和/>可以根据任务需求来调整。增大/>可以加强特征相似性,而增大/>可以加强领域对抗性。这允许根据具体问题来平衡特征映射的相似性和领域的适应性。通过优化这个综合目标函数,可以使模型更好地适应目标领域,提高解译性能。这有助于模型在目标领域中的应用,例如航片AI解译。
实施例8:步骤7中使用如下公式,最小化自适应迁移学习的目标函数来优化参数、判别器网络和自适应权重:
其中,为优化后的自适应权重;/>为优化后的参数;/>为优化后的判别器网络。
具体的,最终的优化目标是通过调整模型参数、自适应权重/>和判别器网络/>来实现自适应迁移学习的目标。优化的过程是一个联合优化过程,通过最小化目标函数来找到最佳的/>、/>和,以达到以下目标:通过调整模型参数/>,可以使模型在目标领域上表现更好,提高解译性能。通过调整自适应权重/>,可以使源领域和目标领域的特征映射更加相似,有助于适应目标领域。通过调整判别器网络/>,可以最大程度地区分源领域和目标领域的特征映射,以增强模型对目标领域的适应性。/>
最终优化过程将所有关键组件(参数、自适应权重、判别器网络)联合优化,以综合考虑模型的性能、特征相似性和领域对抗性。通过最终的优化,可以使模型在目标领域上的性能最大化。这包括提高解译性能、减少领域差异,以及更好地适应目标领域的数据。通过优化自适应权重,可以自适应地调整源领域和目标领域的特征映射,以适应不同领域的数据特性。
实施例9:领域对抗性损失使用如下公式计算得到:
其中,为范数系数;/>是一个正则化项,用于鼓励权重矩阵/>的稳定性;是权重矩阵/>的L1范数;/>为熵系数;/>是一个熵正则化项,用于鼓励判别器网络/>的熵增加,增加其不确定性,以帮助判别器网络更好地学习特征映射之间的差异;是判别器网络输出的熵,/>是判别器网络对不同领域的预测概率。
具体的,第一项是针对源领域的损失项。这一项的目的是鼓励判别器网络/>正确识别源领域特征映射。它通过以下原理来实现:对每个源领域样本/>计算/>,其中/>是基础模型,它生成源领域的特征映射/>。使用自适应权重/>进行特征映射的变换/>,这是为了将特征映射映射到一个共享的特征空间。通过判别器网络/>将变换后的特征映射输入,然后应用Sigmoid激活函数,得到,表示判别器网络对源领域特征映射的预测。这一项的作用是使判别器网络能够识别源领域特征映射,并使它们更具可辨识性。如果判别器网络能够正确识别源领域特征映射,损失将减小。
第二项针对目标领域的损失项。它的原理与源领域损失项类似,但它的目的是鼓励判别器网络识别目标领域特征映射。具体原理和作用与源领域损失项相似。
第三项是关于自适应权重矩阵/>的正则化项。它采用了L1范数,这是一种正则化手段,有助于稳定模型。这一项的作用是防止过度拟合,使权重矩阵/>不会变得过于复杂,从而提高模型的泛化性能。
最后一项是关于判别器网络/>的熵正则化项。它的原理是通过增加判别器网络的不确定性来改善其性能。具体原理和作用如下:使用熵函数/>计算判别器网络的输出的熵,其中/>是判别器网络对不同领域的预测概率。这一项通过最大化熵,鼓励判别器网络更全面地学习领域的差异,从而提高特征映射之间的差异性。
通过源领域损失项和目标领域损失项,领域对抗性损失帮助模型识别源领域和目标领域的差异,从而减少领域间的特征差异。正则化项有助于提高模型的稳定性,防止过度拟合。熵正则化项鼓励判别器网络更全面地学习领域的差异,提高了模型的泛化性。领域对抗性损失通过权重矩阵的优化,自适应地调整源领域和目标领域的特征映射,有助于模型更好地适应目标领域。
实施例10:步骤6中,使用如下公式,在目标领域上进行对训练后的基础模型进行基于判别器网络的模型校正,将模型校正后的参数作为最终参数:
其中,为模型校正后的参数。
具体的,第一项衡量了在源领域上的损失,即模型对源领域数据的拟合程度。目标是最小化源领域数据的预测误差,以保持源领域性能。第二项/>是特征映射相似性损失项。它通过度量特征映射之间的相似性来促进源领域和目标领域的适应性。这项的目标是最大化特征映射之间的相似性。第三项是领域对抗性损失项,其中/>表示领域对抗性损失。它的目标是通过最大化判别器网络/>的输出来使源领域和目标领域之间的特征映射尽不同。这有助于模型更好地适应目标领域。公式中的正则化项/>和/>分别是领域对抗性损失项和特征映射相似性损失项的权重参数。它们用于控制这两项在目标函数中的相对重要性。
第一项目标领域损失项确保在源领域上模型性能的保持,即模型对源领域的数据仍然有较好的拟合。第二项特征映射相似性损失项通过度量特征映射之间的相似性,鼓励源领域和目标领域之间的特征映射更加接近,以实现领域适应。领域对抗性损失项通过最大化判别器网络的输出来减小源领域和目标领域的特征映射之间的相似性,促进领域适应性。
以上对本发明进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.航片AI解译中的自适应迁移学习方法,其特征在于,所述方法包括:
步骤1:获取源领域数据集和目标领域数据集;导入基础模型,定义度量源领域数据集和目标领域数据集之间的数据分布差异的差异度量函数;
步骤2:基于源领域数据集训练基础模型,通过最小化源领域上的损失函数来优化参数;
步骤3:从基础模型中提取特征,将源领域数据集和目标领域数据集映射到一个共享的特征空间,得到源领域特征和目标领域特征;
步骤4:基于源领域特征和目标领域特征,使用差分进化算法来学习源领域数据集和目标领域数据集之间的自适应权重;
步骤5:构建自适应迁移学习的目标函数;通过最小化自适应迁移学习的目标函数来优化参数和自适应权重;
步骤6:在目标领域上进行对训练后的基础模型进行基于判别器网络的模型校正,将模型校正后的参数作为最终参数;
设源领域数据集为,其中/>是源领域中的输入数据,/>是相应的标签;目标领域数据集/>,其中/>是目标领域中的输入数据,/>是相应的标签;设基础模型为/>,其中/>是模型参数;定义源领域数据集和目标领域数据集之间的差异度度量函数为/>;/>和/>分别表示从源领域数据集和目标领域数据集中提取的特征向量集合;
基础模型的表达式为:
其中,是输入数据,/>和/>是权重矩阵,/>和/>是偏置向量,/>表示激活函数;/>为参数;差异度度量函数使用如下公式进行表示:
其中,为源领域数据集中样本的数量;/>为目标领域数据集中样本的数量;
步骤3中从基础模型中提取特征,将源领域数据集和目标领域数据集映射到一个共享的特征空间的方法包括:将源领域数据集或目标领域数据集中的输入数据转换为灰度图像,并将其展平为向量;计算源领域数据集或目标领域数据集中的输入数据的均值图像;将每个源领域数据集或目标领域数据集中的输入数据减去均值图像以去除亮度差异;计算协方差矩阵;对协方差矩阵进行特征值分解,获得主成分和对应的特征向量;选择向量值最大的特征向量,投影到主成分的空间中;设特征提取函数为;则源领域特征为;目标领域特征为/>
步骤4中,使用如下公式,基于源领域特征和目标领域特征,使用差分进化算法来学习源领域数据集和目标领域数据集之间的自适应权重:
其中,为自适应权重;/>为学习后的自适应权重;/>表示核函数;
步骤5中构建的自适应迁移学习的目标函数使用如下公式进行表示:
其中,为判别器网络,用于度量特征映射的领域差异,判别器网络的目标是最大化其对领域的区分能力,以使特征映射不同;/>为特征映射相似性损失项的权重参数;是领域对抗性损失;/>是领域对抗性损失的权重参数;;其中,其中/>表示标签的类别数,/>表示模型对第/>个类别的预测概率。
2.如权利要求1所述的航片AI解译中的自适应迁移学习方法,其特征在于,使用如下公式使用源领域数据集训练基础模型,通过最小化源领域上的损失函数来优化参数/>,以得到优化后的参数/>
其中,表示在对基础模型训练过程中找到的使损失函数最小化的参数;/>为归一化因子,表示每个样本的损失对整体损失的贡献;/>表示对源领域数据集/>中的所有样本进行求和操作;/>为损失函数,用于测量模型的预测结果/>与实际标签/>之间的差异;/>为正则化参数;/>为L2正则化项,用于惩罚模型参数的平方和。
3.如权利要求2所述的航片AI解译中的自适应迁移学习方法,其特征在于,核函数为高斯核函数。
4.如权利要求3所述的航片AI解译中的自适应迁移学习方法,其特征在于,步骤7中使用如下公式,最小化自适应迁移学习的目标函数来优化参数、判别器网络和自适应权重:
其中,为优化后的自适应权重;/>为优化后的参数;/>为优化后的判别器网络。
5.如权利要求4所述的航片AI解译中的自适应迁移学习方法,其特征在于,领域对抗性损失使用如下公式计算得到:
其中,为范数系数;/>是一个正则化项,用于鼓励权重矩阵/>的稳定性;是权重矩阵/>的L1范数;/>为熵系数;/>是一个熵正则化项,用于鼓励判别器网络/>的熵增加,增加其不确定性,以帮助判别器网络更好地学习特征映射之间的差异;是判别器网络输出的熵,/>是判别器网络对不同领域的预测概率。
6.如权利要求5所述的航片AI解译中的自适应迁移学习方法,其特征在于,步骤6中,使用如下公式,在目标领域上进行对训练后的基础模型进行基于判别器网络的模型校正,将模型校正后的参数作为最终参数:
其中,为模型校正后的参数。
CN202311738578.2A 2023-12-18 2023-12-18 航片ai解译中的自适应迁移学习方法 Active CN117435916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311738578.2A CN117435916B (zh) 2023-12-18 2023-12-18 航片ai解译中的自适应迁移学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311738578.2A CN117435916B (zh) 2023-12-18 2023-12-18 航片ai解译中的自适应迁移学习方法

Publications (2)

Publication Number Publication Date
CN117435916A CN117435916A (zh) 2024-01-23
CN117435916B true CN117435916B (zh) 2024-03-12

Family

ID=89551853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311738578.2A Active CN117435916B (zh) 2023-12-18 2023-12-18 航片ai解译中的自适应迁移学习方法

Country Status (1)

Country Link
CN (1) CN117435916B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
US10839269B1 (en) * 2020-03-20 2020-11-17 King Abdulaziz University System for fast and accurate visual domain adaptation
CN111968666A (zh) * 2020-08-20 2020-11-20 南京工程学院 基于深度域自适应网络的助听器语音增强方法
CN112308158A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于部分特征对齐的多源领域自适应模型及方法
CN113065581A (zh) * 2021-03-18 2021-07-02 重庆大学 基于参数共享对抗域自适应网络的振动故障迁移诊断方法
CN114358123A (zh) * 2021-12-03 2022-04-15 华南理工大学 一种基于深度对抗迁移网络的广义开放集故障诊断方法
CN115035068A (zh) * 2022-06-15 2022-09-09 杭州电子科技大学 一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法
CN117131022A (zh) * 2023-09-25 2023-11-28 广州东方电力有限公司 一种电力信息系统的异构数据迁移方法
CN117193537A (zh) * 2023-09-23 2023-12-08 北京航空航天大学 一种基于自适应迁移学习的双分支卷积神经网络运动想象意图解码方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902798A (zh) * 2018-05-31 2019-06-18 华为技术有限公司 深度神经网络的训练方法和装置
EP3736740A1 (en) * 2019-05-06 2020-11-11 Dassault Systèmes Experience learning in virtual world
US20230162023A1 (en) * 2021-11-25 2023-05-25 Mitsubishi Electric Research Laboratories, Inc. System and Method for Automated Transfer Learning with Domain Disentanglement

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
US10839269B1 (en) * 2020-03-20 2020-11-17 King Abdulaziz University System for fast and accurate visual domain adaptation
CN111968666A (zh) * 2020-08-20 2020-11-20 南京工程学院 基于深度域自适应网络的助听器语音增强方法
CN112308158A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于部分特征对齐的多源领域自适应模型及方法
CN113065581A (zh) * 2021-03-18 2021-07-02 重庆大学 基于参数共享对抗域自适应网络的振动故障迁移诊断方法
CN114358123A (zh) * 2021-12-03 2022-04-15 华南理工大学 一种基于深度对抗迁移网络的广义开放集故障诊断方法
CN115035068A (zh) * 2022-06-15 2022-09-09 杭州电子科技大学 一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法
CN117193537A (zh) * 2023-09-23 2023-12-08 北京航空航天大学 一种基于自适应迁移学习的双分支卷积神经网络运动想象意图解码方法
CN117131022A (zh) * 2023-09-25 2023-11-28 广州东方电力有限公司 一种电力信息系统的异构数据迁移方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Comprehensive Survey on Transfer Learning;Fuzhen Zhuang 等;《arXiv》;20200623;1-31 *
Discriminative feature-based adaptive distribution alignment (DFADA) for rotating machine fault diagnosis under variable working conditions;Weiwei Qian 等;《Applied Soft Computing Journal》;20201105;1-12 *
多源领域自适应方法研究与应用;王光军;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220115(第1期);I138-2550 *
遥感图像中跨域目标检测研究;秦雨欣;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20230115(第1期);C028-446 *

Also Published As

Publication number Publication date
CN117435916A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN111127364B (zh) 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN110119753B (zh) 一种重构纹理识别岩性的方法
CN110889865B (zh) 一种基于局部加权稀疏特征选择的视频目标跟踪方法
CN112541458A (zh) 基于元学习的域自适应的人脸识别方法、系统、装置
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
Liu et al. Generative self-training for cross-domain unsupervised tagged-to-cine mri synthesis
TWI792560B (zh) 資訊處理裝置及資訊處理方法
CN113743474A (zh) 基于协同半监督卷积神经网络的数字图片分类方法与系统
CN114723994A (zh) 一种基于双分类器对抗增强网络的高光谱图像分类方法
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN115564983A (zh) 目标检测方法、装置、电子设备、存储介质及其应用
CN112883931A (zh) 基于长短期记忆网络的实时真假运动判断方法
CN117152503A (zh) 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法
CN114266321A (zh) 一种基于无约束先验信息模式的弱监督模糊聚类算法
CN117435916B (zh) 航片ai解译中的自适应迁移学习方法
CN117152606A (zh) 一种基于置信度动态学习的遥感图像跨域小样本分类方法
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN116468948A (zh) 支持检测未知类的城市垃圾增量学习检测方法及系统
CN113780245B (zh) 一种多场景下的物品检索方法及系统
CN114943741A (zh) 一种动态场景下基于目标检测和几何概率的视觉slam方法
CN114462466A (zh) 一种面向深度学习的数据去偏方法
CN110728292A (zh) 一种多任务联合优化下的自适应特征选择算法
CN117611932B (zh) 基于双重伪标签细化和样本重加权的图像分类方法及系统
CN116310463B (zh) 一种无监督学习的遥感目标分类方法
CN117315380B (zh) 一种基于深度学习的肺炎ct图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant