CN116629363A - 一种基于深度网络的模型抽象推理泛化能力评价方法 - Google Patents
一种基于深度网络的模型抽象推理泛化能力评价方法 Download PDFInfo
- Publication number
- CN116629363A CN116629363A CN202310585213.4A CN202310585213A CN116629363A CN 116629363 A CN116629363 A CN 116629363A CN 202310585213 A CN202310585213 A CN 202310585213A CN 116629363 A CN116629363 A CN 116629363A
- Authority
- CN
- China
- Prior art keywords
- model
- samples
- abstract
- reasoning
- generalization capability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 45
- 238000009792 diffusion process Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 230000007547 defect Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 210000000988 bone and bone Anatomy 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 230000035508 accumulation Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 229910000831 Steel Inorganic materials 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 239000010959 steel Substances 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001504505 Troglodytes troglodytes Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000008309 brain mechanism Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于机器学习技术领域，具体涉及一种基于深度网络的模型抽象推理泛化能力评价方法，包括：获取的抽象元素，设置预设规则；采用预设规则对抽象元素进行变换，得到少量样本；将少量样本输入到深度模型中生成大量样本；将大量样本输入到训练好的被测推理模型中进行测试，得到模型抽象推理泛化能力评价结果；本发明根据预设规则可以自动且灵活的构建出用于深度网络抽象推理能力评价所需的抽象推理数据集，并且可以在少量样本中通过样本中的基本元素构建出大量基于原始抽象元素的新样本作为测试集来评价深度网络的泛化能力，提高了模型抽象推理泛化能力评价的效率。
Description
技术领域
本发明属于机器学习技术领域，具体涉及一种基于深度网络的模型抽象推理泛化能力评价方法。
背景技术
近年来神经网络越来越多的应用于各大领域，特别是在图像和语音识别等领域较之先前的相关技术取得了很大的成果，机器通过深度学习算法模仿人类的视听和思考等活动，使AI领域取得巨大进步，解决了模式识别中很多复杂的难题，同时神经网络模型在搜索技术，语言处理，计算机视觉，推荐技术等相关领域都取得了不错的效果，深度学习作为机器学习中的一个热门领域，其目的是想要构建且模仿人脑活动进行学习分析的神经网络，它通过学习特定样本进而训练模型从而模仿人脑的机制来解释数据。
当前深度学习领域对于泛化能力的训练和测试，主要是通过对带标签样本进行数据增强以求扩大训练样本来提高模型的泛化能力，而对泛化能力的评估是通过将训练好的模型通过原始数据的测试集进行测试，用评价指标来评价其泛化能力，但是模型也许只是浅显地学习到统计数据，而不是学习到了带标签样本深层次的抽象推理，同时由于训练集和测试集都来自相近的分布信息，所以用原始数据集里的测试集测试模型泛化性能并不具有太强的说服力，虽然深度模型近来取得了很多成果，但是无数的实验也证明，在自己的实验样本中拥有很好的泛化能力的模型，其本质也只是能够解决某类或几类问题。虽然这些模型的精度、识别率等很高，但是却很难进行抽象概念推理。
发明内容
为解决以上现有技术存在的问题，本发明提出了一种基于深度网络的模型抽象推理泛化能力评价方法，该方法包括：获取的抽象元素，设置预设规则；采用预设规则对抽象元素进行变换，得到少量样本；将少量样本输入到深度模型中生成大量样本；将大量样本输入到训练好的被测推理模型中进行测试，得到模型抽象推理泛化能力评价结果；根据模型抽象推理泛化能力评价结果对模型进行筛选，得到最优的被测推理模型。
优选的，抽象元素为通过已知样本数据构造的各种抽象元素，其中抽象元素为根据源域中的原始数据集而构造，数据集采用东北大学采集的钢材缺陷公开数据集NEU-DET，选取少量的每种缺陷图片，对其进行阈值分割，得到背景和目标的集合，将目标集合作为抽象元素。
优选的，设置预设规则包括：设置一个四元组(t，o，m，r)，将四元组数据所代表的变化规律作为预设规则，四元组的四个元素分别表示为属性t、对象o、措施m以及关系r；其中，属性包括形状大小、像素值、颜色和位置，对象包括元素种类、线条和形状，措施包括旋转、缩小、拼接和融合，关系包括异或、递减和交并。
优选的，采用预设规则对抽象元素进行变换的过程包括：将两个抽象元素的坐标转换为齐次坐标；将两个元素的齐次坐标拼接成矩阵，根据拼接矩阵构建一个表示新样本形状顶点坐标在抽象元素中的位置矩阵，对位置矩阵进行求解，得到变换矩阵T；将变换矩阵T乘以初始矩阵，得到新样本形状矩阵；采用变换矩阵T对将抽象元素像素点的齐次坐标进行处理，得到该像素点在新样本形状的位置坐标；将所有经过预设规则处理的抽象元素进行集合，得到少量样本。
优选的，采用深度模型对少量样本进行处理的过程包括：深度模型为扩散模型；将少量样本输入到扩散模型中，经过一个马尔科夫链的前向采样，即在扩散过程中通过多次累积对输入样本添加高斯噪声，得到具有标准高斯噪声分布的样本；将具有标准高斯噪声分布的样本输入到扩散模型中进行逆扩散训练，在逆扩散中，通过极大似然估计获取逆扩散中马尔科夫链的概率分布；根据马尔科夫链的概率分布还原输入样本的分布，生成新的样本和伪标签。
优选的，对被测推理模型进行训练的过程包括：
S1：在源域中获取数据集，并对数据集进行预处理；其中预处理包括对数据集中的数据进行清洗、归一化处理，对归一化处理后的数据进行划分，得到训练数据集；
S2：构建被测推理模型，并对模型进行初始化；
S3：将训练集中的数据输入到被测推理模型中进行前向传播，得到模型输出结果和模型参数；
S4：根据模型输出结果和模型参数计算模型的损失函数；
S5：将训练就中的数据输入到被测推理模型中进行反向传播，并采用梯度下降算法对模型参数进行优化；
S6：重复步骤S3～S5，当损失函数收敛时，完成模型的训练；
S7：将大量样本输入到训练好的被测推理模型进行泛化能力的评估。
本发明的有益效果：
本发明根据预设规则可以自动且灵活的构建出用于深度网络抽象推理能力评价所需的抽象推理数据集，并且可以在少量样本中通过样本中的基本元素构建出大量基于原始抽象元素的新样本作为测试集来评价深度网络的泛化能力，提高了模型抽象推理泛化能力评价的效率，并且针对模型的泛化性能的评价结果，可以较好的区分出模型是只学习到了数据的统计信息还是深层次的抽象推理。
附图说明
图1为本发明的基于深度网络的模型抽象推理泛化能力评价方法流程图；
图2为本发明的深度生成器模型生成大量样本的流程图；
图3为本发明的被测推理模型对大量样本进行处理的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于深度网络的模型抽象推理泛化能力评价方法，如图1所示，该方法包括：获取的抽象元素，设置预设规则；采用预设规则对抽象元素进行变换，得到少量样本；将少量样本输入到深度模型中生成大量样本；将大量样本输入到训练好的被测推理模型中进行测试，得到模型抽象推理泛化能力评价结果；根据模型抽象推理泛化能力评价结果对模型进行筛选，得到最优的被测推理模型。
一种基于深度网络的模型抽象推理泛化能力评价方法的具体实施方式，主要包括被测推理模型、深度生成器模型、训练样本、所述被测推理模型根据带标签训练样本学习抽象元素间关联关系，系统还包括若干不同形式的预设规则，预设规则用于自动化创建基本元素间具有变化规律的数据集，但是针对大量样本的创建存在难题，所述深度生成器模型根据预设规则生成大量样本用于被测推理模型的测试。
被测推理模型：被测推理模型可以是很多领域里面的模型，如CNN、ResNet等经典深度网络，在本发明采用计算机视觉领域的目标检测模型和WReN等举例，被测推理模型用于完成指定的任务，如分类、回归等。被测推理模型首先通过原始数据集输入进而学习数据集特征，如deepmind用神经网络完成视觉智商测试(RPMs)，通过输入的题目和答案深度网络会学习输入数据的特征和元素间的一些关联关系，其在本发明中的主要作用是通过自动化生成数据集来评价被测推理模型的泛化能力。
训练样本：训练样本指的是原始数据集的训练集，是首先要输入到被测推理模型中对模型进行训练的样本，在RPMs中其包含8个图片和8个多项选择，在目标检测中其是多种不同类型目标和人工标定框，如猫、狗、人等。
进一步的，所述被测推理模型根据训练样本学习抽象元素间关联关系，在训练样本输入模型后，模型特征提取层会对其提取形状、大小、颜色等图像特征，通过学习训练样本中的抽象元素间的关联关系，如在学习递增关系的时候，输入八张图片，这八张图片每一张里面的元素会多一个三角形，模型会学习统计这八张图片每张有多少图形等属性，找到其递增关系，再根据输入的八个多项选择图片进行分类，得到每一个选项的得分，最高分即为答案。特别说明，此训练过程只有一个关系约束也就是形状数量的递增，并没有颜色变化等其它属性的关系约束。
需要说明的是上述步骤中的训练样本、被测推理模型以及对模型进行训练的方式不作限定。
图2为本发明S2的流程图，如图2中S203所示，构建抽象元素，设定预设规则生成少量样本，将少量样本输入深度生成器模型中生成大量样本，该方法包括但不限于以下步骤：
完成上述针对原始数据集的深度模型的训练后，进一步的，在训练样本中提取或自行构建抽象元素，可以选择对目标对象进行裁剪或直接使用原始数据，也可以选择手动构造一些简单的抽象元素如三角形、正方形等，对抽象元素的构建方式和抽象元素的形式、内容等不做限定。
设定预设规则，预设规则可依据不同领域进行设置，例如在RPMs中可以设置成一个四元组(t，o，m，r)代表变化规律，四元组的四个元素分别代表属性(t)、对象(o)、措施(m)、关系(r)，属性可以包括形状大小、几何类型、像素值、颜色、目标数目、目标位置等，对象可以包括目标种类、线条、几何形状等，措施可以包括旋转、缩小等，关系可以包括异或、递减、且、交并、递增等，以上规则可以组合出多种变化规律，使得新生成的样本在原始数据基础上有更多的不同于原始数据的关联组合，如在上文所述的递增关系中只有图像数量递增，此时根据原始数据集的图像数量递增再加上对图像的颜色变化或者将上述中的三角形变成正方形、圆形。由此，一种关联关系就转换成了两种或多种关联关系，实现新生成的样本具有比原始样本更加多样的关系，也可以采用一阶逻辑公式对多样和不规则的变化进行建模，构建一个矩阵自动生成器，以此达到测试模型逻辑、几何演变等推理能力的目的。
采用预设规则对抽象元素进行变换的过程包括：将两个抽象元素的坐标转换为齐次坐标；将两个元素的齐次坐标拼接成矩阵，根据拼接矩阵构建一个表示新样本形状顶点坐标在抽象元素中的位置矩阵，对位置矩阵进行求解，得到变换矩阵T；将变换矩阵T乘以初始矩阵，得到新样本形状矩阵；采用变换矩阵T对将抽象元素像素点的齐次坐标进行处理，得到该像素点在新样本形状的位置坐标；将所有经过预设规则处理的抽象元素进行集合，得到又少量样本。
特别说明，预设规则不仅限于此，比如在目标检测算法中，预设规则可以变为对目标进行拼接、重合、改变目标底色等操作。以缺陷检测算法为例，深度模型如yolo或fasterrcnn在原始数据集上进行训练，模型通过对带标签样本进行分类和回归后，用设定预设规则对原始缺陷数据的一些缺陷样本进行翻转、多种缺陷重叠、改变缺陷底色、或随机对缺陷裁剪，以此生成新的数据集评价模型的泛化性能。
采用深度模型对少量样本进行处理的过程包括：深度模型为扩散模型；将少量样本输入到扩散模型中，经过一个马尔科夫链的前向采样，即在扩散过程中通过多次累积对输入样本添加高斯噪声，得到具有标准高斯噪声分布的样本；将具有标准高斯噪声分布的样本输入到扩散模型中进行逆扩散训练，在逆扩散中，通过极大似然估计获取逆扩散中马尔科夫链的概率分布；根据马尔科夫链的概率分布还原输入样本的分布，生成新的样本。
进一步的，通过两种方法实现数据集的自动化生成。
第一种：如上文所述得到抽象元素、预设好规则后，选择少量抽象元素输入到深度生成器模型中，在每次抽象元素batchsize输入即进行一次迭代之前，利用预设好的规则对抽象元素进行变化，以生成少量样本，再将少量样本输入深度生成器模型中，深度生成器模型可以选择GAN、VAE、Diffusion Model等模型，最后深度生成网络生成大量样本。
第二种：构造抽象元素，所述抽象元素包括已知样本数据中或手动构造的各种抽象元素，可以选择手动构造如正方形、三角形等元素，或者对训练样本中的目标对象进行裁剪、提取等，设定如上所述的预设规则，将抽象元素输入基于引导的扩散模型，基于引导的扩散模型引入预设规则y，除了给扩散模型输入随机高斯噪声外，同时给噪声估计模型加入规则y，结合有条件和无条件两种训练方式，使模型反向传播模拟预测梯度方向，去控制逆向过程的采样和生成，改变其逆向传播的均值中心，从而让扩散模型可以进行无条件和有条件生成。
主要公式如下：
其中，∈θ(xt)表示噪声估计模型，∈θ(xt,y)表示给噪声估计模型加入规则y；s为系数，它的大小会影响生成的可控性和真实性，用有条件的预测减去无条件预测可以代替基于分类器引导的扩散模型对梯度的引导。
扩散模型：存在一些服从标准高斯分布的噪声传入模型，将输入数据转变为纯高斯噪声，再将前向传播后的噪声复原回输入数据。该模型与GAN网络很像，都是模型通过噪声生成数据，但是扩散模型的噪声和数据是一样的纬度。
前向扩散公式：
其中，xt为第t时刻的图片；为第t时刻的权重项累乘，是已知的先验知识，控制加入的噪声；zt为第t时刻加入的噪声。
前向传播过程就是在数据上加入服从标准高斯分布的噪声的过程，这是理解扩散模型以及构建训练样本的关键，加入的噪声会作为模型训练的标签。逆向传播得到均值的公式如下：
其中，zt为每一个时刻要估计的噪声；αt为第t时刻的权重项，是已知的先验知识，控制加入的噪声；βt为第t时刻的衰减函数，是已知项，αt＝1-βt。
反向过程就是模型的去噪复原过程，模型通过逐步得到反向后的分布，就可以从服从完全标准的高斯分布中还原输入数据。通过向扩散模型嵌入预设规则，模型经过前向和反向传播进行训练，最后生成大量数据作为测试集。
图3为本发明S4的流程图，如图3所示，该方法包括但不限于以下步骤：通过深度生成模型得到大量数据后，将其作为测试集对被测推理模型进行测试，通过使用召回率、平均精度、准确率等评价指标等得到被测推理模型在自动化生成的数据集上的测试效果，进而评价被测推理模型的泛化性能，并且能较好评判模型是否学习到了抽象推理。
对被测推理模型进行训练的过程包括：
S1：在源域中获取数据集，并对数据集进行预处理；其中预处理包括对数据集中的数据进行清洗、归一化处理，对归一化处理后的数据进行划分，得到训练数据集；
S2：构建被测推理模型，并对模型进行初始化；
S3：将训练集中的数据输入到被测推理模型中进行前向传播，得到模型输出结果和模型参数；
S4：根据模型输出结果和模型参数计算模型的损失函数；
S5：将训练就中的数据输入到被测推理模型中进行反向传播，并采用梯度下降算法对模型参数进行优化；
S6：重复步骤S3～S5，当损失函数收敛时，完成模型的训练；
S7：将大量样本输入到训练好的被测推理模型进行泛化能力的评估。
在本实施例中，被测推理模型由backbone模块和neck模块两部分组成，backbone模块有9层结构，分别为5层卷积层、4层C2F模块以及SPPF池化模块；backbone模块用于提取特征，neck模块是特征金字塔融合网络，其目的在于融合特征信息，加强特征的位置和语义信息；在neck部分的最后是检测层，在特征融合网络中输出三个特征层进行目标的检测。
在本实施例中，被测推理模型由多个Stage组合构成；Stage0的第一层为一个卷积核大小为7×7的卷积层，后接一个BN层，然后再使用ReLU函数进行非线性激活，第二层为一个最大池化层；Stage1及后续Stage均都包含两个Bottleneck结构；Bottleneck1为三个卷积层加上ReLU函数，并且并行一个卷积核为1×1的残差分支；Bottleneck2为三个卷积层加上ReLU函数，Bottleneck2直接与输入进行残差连接，且不影响其输出通道数。
对被测推理模型进行训练的过程包括：将目标域中所生成的大量样本作为输入样本，将样本输入到被测推理模型中进行预测；被测推理模型浅层网络提取输入样本的浅层特征；采用深层网络提取输入样本深层特征；将浅层特征和深层特征进行融合，得到融合特征；根据融合特征得到预测结果；将预测结果与真实标签进行比较，利用准确率、精确率、召回率性能指标对结果进行评估。
模型的损失函数表达式为：损失函数采用softmax交叉熵损失函数。其表达式为：
其中N表示样本数量，C表示类别数量，yij表示样本i的标签，表示样本i在类别j上的预测概率。
使用Adam作为优化器，Adam是一种常用的自适应优化算法，它根据梯度的一阶矩估计和二阶矩估计来自适应地调整学习率，从而优化神经网络中的参数。其进行参数优化的过程为，首先进行梯度计算，在训练过程中计算softmax函数对于参数的梯度。接着进行初始化变量，将梯度的一阶矩估计和二阶矩估计进行初始化，通常初始化为0。然后通过指数加权移动平均分别对一阶矩估计和二阶矩估计进行更新。随后为了消除一阶矩估计和二阶矩估计初始化时的偏差，分别将其除以对应的偏差校正系数。最后根据一阶矩估计和二阶矩估计的值来更新参数。
具体的，采用梯度下降算法对模型参数进行优化的过程包括：被测推理模型采用的损失函数分别为分类损失和回归损失，分类损失为VFL Loss，回归损失采用CIOU Loss+DFL的形式；具体过程包括：初始模型变量，计算模型损失函数对于参数的梯度；对梯度的一阶矩估计和二阶矩估计进行初始化，其表达式为：
mt＝β1·mt-1+(1-β1)·gt
vt＝β2·vt-1+(1-β2)·(gt)2
其中，mt和vt分別表示t时刻梯度的一阶和二阶矩估计，β1和β2表示平滑的参数，gt为t时刻的梯度；
通过指数加权移动平均分别对一阶矩估计和二阶矩估计进行更新，其表达式为：
其中，θt表示t时刻的参数，η表示学习率，ε为不为0的常数，和/>为mt和vt的偏差校正，其表达式为：
将更新后的一阶矩估计和二阶矩估计除以其对应的偏差校正系数，得到优化后的一阶矩估计值和二阶矩估计值；根据的优化后的一阶矩估计值和二阶矩估计值更新模型参数。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度网络的模型抽象推理泛化能力评价方法，其特征在于，包括：获取的抽象元素，设置预设规则；采用预设规则对抽象元素进行变换，得到少量样本；将少量样本输入到深度模型中生成大量样本；将大量样本输入到训练好的被测推理模型中进行测试，得到模型抽象推理泛化能力评价结果；根据模型抽象推理泛化能力评价结果对模型进行筛选，得到最优的被测推理模型。
2.根据权利要求1所述的一种基于深度网络的模型抽象推理泛化能力评价方法，其特征在于，抽象元素为通过已知样本数据构造的各种抽象元素，其中抽象元素为根据源域中的原始数据集而构造，数据集采用东北大学采集的钢材缺陷公开数据集NEU-DET，选取少量的每种缺陷图片，对其进行阈值分割，得到背景和目标的集合，将目标集合作为抽象元素。
3.根据权利要求1所述的一种基于深度网络的模型抽象推理泛化能力评价方法，其特征在于，设置预设规则包括：设置一个四元组(t，o，m，r)，将四元组数据所代表的变化规律作为预设规则，四元组的四个元素分别表示为属性t、对象o、措施m以及关系r；其中，属性包括形状大小、像素值、颜色和位置，对象包括元素种类、线条和形状，措施包括旋转、缩小、拼接和融合，关系包括异或、递减和交并。
4.根据权利要求1所述的一种基于深度网络的模型抽象推理泛化能力评价方法，其特征在于，采用预设规则对抽象元素进行变换的过程包括：将两个抽象元素的坐标转换为齐次坐标；将两个元素的齐次坐标拼接成矩阵，根据拼接矩阵构建一个表示新样本形状顶点坐标在抽象元素中的位置矩阵，对位置矩阵进行求解，得到变换矩阵T；将变换矩阵T乘以初始矩阵，得到新样本形状矩阵；采用变换矩阵T对将抽象元素像素点的齐次坐标进行处理，得到该像素点在新样本形状的位置坐标；将所有经过预设规则处理的抽象元素进行集合，得到少量样本。
5.根据权利要求1所述的一种基于深度网络的模型抽象推理泛化能力评价方法，其特征在于，采用深度模型对少量样本进行处理的过程包括：深度模型为扩散模型；将少量样本输入到扩散模型中，经过一个马尔科夫链的前向采样，即在扩散过程中通过多次累积对输入样本添加高斯噪声，得到具有标准高斯噪声分布的样本；将具有标准高斯噪声分布的样本输入到扩散模型中进行逆扩散训练，在逆扩散中，通过极大似然估计获取逆扩散中马尔科夫链的概率分布；根据马尔科夫链的概率分布还原输入样本的分布，生成新的样本和伪标签。
6.根据权利要求1所述的一种基于深度网络的模型抽象推理泛化能力评价方法，其特征在于，对被测推理模型进行训练的过程包括：
S1：在源域中获取数据集，并对数据集进行预处理；其中预处理包括对数据集中的数据进行清洗、归一化处理，对归一化处理后的数据进行划分，得到训练数据集；
S2：构建被测推理模型，并对模型进行初始化；
S3：将训练集中的数据输入到被测推理模型中进行前向传播，得到模型输出结果和模型参数；
S4：根据模型输出结果和模型参数计算模型的损失函数；
S5：将训练就中的数据输入到被测推理模型中进行反向传播，并采用梯度下降算法对模型参数进行优化；
S6：重复步骤S3～S5，当损失函数收敛时，完成模型的训练；
S7：将大量样本输入到训练好的被测推理模型进行泛化能力的评估。
7.根据权利要求6所述的一种基于深度网络的模型抽象推理泛化能力评价方法，其特征在于，被测推理模型由backbone模块和neck模块两部分组成，backbone模块有9层结构，分别为5层卷积层、4层C2F模块以及SPPF池化模块；backbone模块用于提取特征，neck模块是特征金字塔融合网络，其目的在于融合特征信息，加强特征的位置和语义信息；在neck部分的最后是检测层，在特征融合网络中输出三个特征层进行目标的检测。
8.根据权利要求6所述的一种基于深度网络的模型抽象推理泛化能力评价方法，其特征在于，对被测推理模型进行训练的过程包括：将目标域中所生成的大量样本作为输入样本，将样本输入到被测推理模型中进行预测；被测推理模型浅层网络提取输入样本的浅层特征；采用深层网络提取输入样本深层特征；将浅层特征和深层特征进行融合，得到融合特征；根据融合特征得到预测结果；将预测结果与真实标签进行比较，利用准确率、精确率、召回率性能指标对结果进行评估。
9.根据权利要求6所述的一种基于深度网络的模型抽象推理泛化能力评价方法，其特征在于，采用梯度下降算法对模型参数进行优化的过程包括：被测推理模型采用的损失函数分别为分类损失和回归损失，分类损失为VFL Loss，回归损失采用CIOU Loss+DFL的形式；具体过程包括：初始模型变量，计算模型损失函数对于参数的梯度；对梯度的一阶矩估计和二阶矩估计进行初始化，其表达式为：
mt＝β1·mt-1+(1-β1)·gt
vt＝β2·vt-1+(1-β2)·(gt)2
其中，mt和vt分別表示t时刻梯度的一阶和二阶矩估计，β1和β2表示平滑的参数，gt为t时刻的梯度；
通过指数加权移动平均分别对一阶矩估计和二阶矩估计进行更新，其表达式为：
其中，θt表示t时刻的参数，η表示学习率，ε为不为0的常数，和/>为mt和vt的偏差校正，其表达式为：
将更新后的一阶矩估计和二阶矩估计除以其对应的偏差校正系数，得到优化后的一阶矩估计值和二阶矩估计值；根据的优化后的一阶矩估计值和二阶矩估计值更新模型参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310585213.4A CN116629363A (zh) | 2023-05-23 | 2023-05-23 | 一种基于深度网络的模型抽象推理泛化能力评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310585213.4A CN116629363A (zh) | 2023-05-23 | 2023-05-23 | 一种基于深度网络的模型抽象推理泛化能力评价方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116629363A true CN116629363A (zh) | 2023-08-22 |
Family
ID=87620805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310585213.4A Pending CN116629363A (zh) | 2023-05-23 | 2023-05-23 | 一种基于深度网络的模型抽象推理泛化能力评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116629363A (zh) |
-
2023
- 2023-05-23 CN CN202310585213.4A patent/CN116629363A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977918B (zh) | 一种基于无监督域适应的目标检测定位优化方法 | |
| CN108399428B (zh) | 一种基于迹比准则的三元组损失函数设计方法 | |
| CN110781924B (zh) | 一种基于全卷积神经网络的侧扫声纳图像特征提取方法 | |
| US20190228268A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| CN110766038B (zh) | 无监督式的地貌分类模型训练和地貌图构建方法 | |
| CN107636691A (zh) | 用于识别图像中的文本的方法和设备 | |
| CN108629370B (zh) | 一种基于深度置信网络的分类识别算法及装置 | |
| JP2020502665A (ja) | ターゲット・ドメイン画像へのソース・ドメイン画像の変換 | |
| CN110516539A (zh) | 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备 | |
| CN110349185B (zh) | 一种rgbt目标跟踪模型的训练方法及装置 | |
| CN112949647B (zh) | 三维场景描述方法、装置、电子设备和存储介质 | |
| CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
| CN107274029A (zh) | 一种利用动态场景内交互作用介质的未来预测方法 | |
| CN112541508A (zh) | 果实分割识别方法及系统、果实采摘机器人 | |
| CN112580728B (zh) | 一种基于强化学习的动态链路预测模型鲁棒性增强方法 | |
| CN114821204A (zh) | 一种基于元学习嵌入半监督学习图像分类方法与系统 | |
| CN111695640A (zh) | 地基云图识别模型训练方法及地基云图识别方法 | |
| CN112101364A (zh) | 基于参数重要性增量学习的语义分割方法 | |
| CN113205103A (zh) | 一种轻量级的文身检测方法 | |
| CN114511710A (zh) | 一种基于卷积神经网络的图像目标检测方法 | |
| CN113673482A (zh) | 基于动态标签分配的细胞抗核抗体荧光识别方法及系统 | |
| CN114266988A (zh) | 基于对比学习的无监督视觉目标跟踪方法及系统 | |
| CN117079132A (zh) | 基于高斯距离损失的遥感图像目标检测方法 | |
| CN114399661A (zh) | 一种实例感知主干网络训练方法 | |
| CN109934352B (zh) | 智能模型的自动进化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |