CN117235580A

CN117235580A - 样本类型检测、类别置信度确定模型生成方法和装置

Info

Publication number: CN117235580A
Application number: CN202311256052.0A
Authority: CN
Inventors: 戈维峰; 江南羲
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2023-09-26
Filing date: 2023-09-26
Publication date: 2023-12-15

Abstract

本申请公开了一种样本类型检测、类别置信度确定模型生成方法和装置，应用于客户端，其中，样本类型检测方法包括：确定第一样本；将第一样本输入至类别置信度确定模型，类别置信度确定模型包括多个类别置信度确定模块，类别置信度确定模块包括目标类别对应的目标类别置信度确定函数，由类别置信度确定模型通过目标类别置信度确定函数，确定第一样本和目标类别之间的分布距离，得到多个目标类别置信度；根据多个目标类别置信度，确定第一样本相对于目标类别的样本类型，样本类型包括分布内样本和分布外样本。如此，提升了样本类型检测的准确性，能够准确完成分布外样本检测任务。

Description

样本类型检测、类别置信度确定模型生成方法和装置

技术领域

本申请涉及视觉识别技术领域，特别涉及一种样本类型检测、类别置信度确定模型生成方法和装置。

背景技术

神经网络模型的训练需要包含大量样本的数据集，这些样本通常是属于同一分布的样本，即为分布内样本。但是在现实场景中，在一些难以预料的场景中，也会存在属于其他不同分布的分布外样本。

利用神经网络模型识别分布外样本的任务被称为分布外(Out-of-Distribution，OOD)检测，也可以称为异常检测。现有技术中，OOD检测算法通过建立概率模型来描述例如训练数据集包括的样本的样本分布，并且根据建立的概率模型构建出一个得分函数来确定待测试样本的分布内得分，进而根据待测试样本的分布内得分确定待测试样本是否为OOD样本，即确定待测试样本的类型。由于现有技术中，是将整个训练数据集包括的样本构建成为一个分布进行训练得到一个得分函数，并且是利用一个得分函数计算待测试样本的分布内得分，以确定待测试样本的类型。因此，得到的待测试样本的类型并不准确。

发明内容

本申请提供了一种样本类型检测、类别置信度确定模型生成方法和装置，可以解决现有技术存在的OOD检测算法得到的待测试样本的类型并不准确的问题。能够对样本类型进行准确的检测，完成分布外样本检测任务。

为解决上述技术问题，第一方面，本申请的实施方式提供了一种样本类型检测方法，应用于电子设备，该方法包括：确定第一样本；将第一样本输入至类别置信度确定模型，类别置信度确定模型包括多个类别置信度确定模块，类别置信度确定模块包括目标类别对应的目标类别置信度确定函数，由类别置信度确定模型通过目标类别置信度确定函数，确定第一样本和目标类别之间的分布距离，得到多个目标类别置信度；根据多个目标类别置信度，确定第一样本相对于目标类别的样本类型，样本类型包括分布内样本和分布外样本。

本申请实现方式中，对第一样本进行分类的过程中，首先通过类别置信度确定模型包括的多个类别置信度确定模块包括的目标类别置信度确定函数得到第一样本的多个目标类别置信度，然后根据多个目标类别置信度确定第一样本的样本类型为分布内样本还是分布外样本。由此，通过多个目标类别置信度得到的第一样本的样本类型更加准确，增加了样本类型检测的准确性，也即增加了相对于目标分类的分布外样本检测的准确性，能够准确完成分布外样本检测任务。

在上述第一方面的一种可能的实现中，根据多个目标类别置信度，确定第一样本的样本类型，包括：根据多个目标类别置信度，得到第一样本的多个第一分数；在多个第一分数中存在大于分数阈值的分数的情况下，确定第一样本的样本类型为属于目标类别的分布内样本；在多个第一分数中不存在大于分数阈值的分数的情况下，确定第一样本的样本类型为不属于目标类别的分布外样本。

本申请实现方式中，通过目标类别置信度确定第一样本的多个第一分数，并将第一分数与分数阈值进行比较，对样本类型检测的过程给出了量化指标，分数阈值的设定使得根据第一分数得到的第一样本的样本类型更加准确和可靠，增加样本类型检测的准确性。

在上述第一方面的一种可能的实现中，类别置信度确定模型根据第一数据集训练得到。

第二方面，本申请提供了一种类别置信度确定模型生成方法，该方法包括：确定第一数据集，以及确定初始目标类别置信度确定函数，第一数据集包括多个样本；对第一数据集包括的多个样本进行分类处理，得到多个子数据集；根据子数据集，调整初始目标类别置信度确定函数的第一参数，得到子数据集对应的目标类别置信度确定函数；根据多个目标类别置信度确定函数分别得到对应的类别置信度确定模块以得到类别置信度确定模型。

本申请实现方式中，将第一数据集分为多个子数据集，根据每个子数据集构建多个目标类别置信度确定函数，从而确定最终的类别置信度确定模型。在此过程中，避免了对整个分布内数据集进行建模，而对每个视觉类别(即子数据集)进行独立建模，得到目标类别置信度确定函数，通过层次化的视觉类别建模方法，构建的类别置信度确定模型，对样本有较高的分类精度，增加样本类型检测的准确性，也即增加了类别置信度确定模型相对于目标分类的分布外样本检测的准确性，能够准确完成分布外样本检测任务。

在上述第二方面的一种可能的实现中，对第一数据集包括的多个样本进行分类处理，得到多个子数据集，包括：对第一数据集中的每个样本进行第一处理，得到样本的多个属性；将多个属性按照分组规则进行分组，得到各子数据集对应的多个属性组；根据多个属性组，得到多个子数据集。

本申请实现方式中，将样本的多个属性进行分组，得到多个属性组，使得后续在属性组中进行建模属性分布变得更加容易，并且属性组中的分布集合可以描述复杂的分布，能够得到类别的更准确的决策边界，构建更加准确的第一聚类模型，从而构建对样本有较高的分类精度的类别置信度确定模型，增加样本类型检测的准确性。

在上述第二方面的一种可能的实现中，根据子数据集，调整初始目标类别置信度确定函数的第一参数，包括：根据子数据集，得到子数据集对应的第一聚类模型，第一聚类模型为基于子数据集对应的概率密度函数形成的模型；确定第一聚类模型的第二参数，并根据第二参数调整初始目标类别置信度确定函数的第一参数。

本申请实现方式中，从概率的角度对相应的视觉类别进行建模，能够更加准确地得到子数据集中的样本分布，进而得到更加优异的第一聚类模型，通过第一聚类模型的第二参数调整初始目标类别置信度确定函数的第一参数得到的目标类别置信度确定函数，计算得到的第一样本的第一分数也就更加准确，增加样本类型检测的准确性。

在上述第二方面的一种可能的实现中，确定第一聚类模型的第二参数，包括：根据子数据集对目标函数进行优化学习，在目标函数的学习目标收敛的情况下，根据目标函数对应的参数确定第一聚类模型的第二参数。

本申请实现方式中，在目标函数的学习目标收敛的情况下，根据目标函数对应的参数确定第一聚类模型的第二参数，使得第二参数更加准确，增加了目标类别置信度确定函数的准确性，进一步地增加样本类型检测的准确性。

在上述第二方面的一种可能的实现中，根据子数据集，得到子数据集对应的第一聚类模型，包括：根据子数据集对应的多个属性组，得到各属性组对应的第二聚类模型，第二聚类模型为与属性组的均值和协变矩阵相关的函数模型；根据多个第二聚类模型，得到子数据集对应的第一聚类模型。

本申请实现方式中，根据属性组能够构建更加准确的第一聚类模型，从而构建对样本有较高的分类精度的类别置信度确定模型，增加样本类型检测的准确性。

在上述第二方面的一种可能的实现中，第一处理包括自蒸馏，对子数据集中的每个样本进行第一处理，得到样本的多个属性，包括：利用自蒸馏算法将样本的特征投影到第一维度的属性空间，得到样本的多个属性，第一维度高于样本的维度。

本申请实现方式中，利用自蒸馏算法将样本的特征投影到第一维度的属性空间的过程中，能够产生自蒸馏的学习目标，更加便于第二聚类模型的生成，从而得到能够准确描述每个视觉类别(即子数据集)的第一聚类模型，从而构建对样本有较高的分类精度的类别置信度确定模型，增加样本类型检测的准确性。

在上述第二方面的一种可能的实现中，第一参数包括类别均值、类别协变矩阵和类别权重；第二参数包括属性组数量、属性组权重、属性向量、属性组均值和属性组协变矩阵。

在上述第二方面的一种可能的实现中，第一聚类模型为高斯混合模型。

本申请实现方式中，高斯模型能够从概率的角度更加准确地描述子数据集的样本分布，从而得到对样本有较高的分类精度的类别置信度确定模型。

在上述第二方面的一种可能的实现中，该方法还包括：将第一数据集输入至类别置信度确定模型，对目标类别置信度确定函数对应的第一参数进行优化，得到调整后的第一参数；根据调整后的第一参数确定更新后的目标类别置信度确定函数；根据多个更新后的目标类别置信度确定函数分别得到对应的类别置信度确定模块以得到更新后的类别置信度确定模型。

本申请实现方式中，在类别置信度确定模型训练完成后，重新利用第一数据集优化目标类别置信度确定函数对应的第一参数，对第一参数进行优化，能够避免训练时不稳定因素的影响，提高类别置信度确定模型的构建水平，加强了类别置信度确定模型的构建准确度，增加了样本类型检测的准确性。

在上述第二方面的一种可能的实现中，混合高斯模型对应的概率密度函数为：

其中，p(x；c)为第c个子数据集样本的概率密度，x为子数据集的样本，G为第c个子数据集对应的属性组数量，为第c个子数据集中的第i个属性组对应的属性组权重，a_i为第c个子数据集中的第i个属性组对应的属性向量，/>为第c个子数据集中的第i个属性组对应的属性组均值，/>为第c个子数据集中的第i个属性组对应的属性组协变矩阵。

在上述第二方面的一种可能的实现中，属性组均值通过以下公式计算得到：

其中，为属性组均值，N_c为第c个子数据集中样本的数量，/>为第m个样本的属性向量。

在上述第二方面的一种可能的实现中，属性组协变矩阵通过以下公式计算得到：

其中，为属性组协变矩阵；/>为属性组均值，N_c为第c个子数据集中样本的数量，为第m个样本的属性向量。

在上述第二方面的一种可能的实现中，目标函数的学习目标对应的公式为：

其中，为目标函数的学习目标，/>为自蒸馏交叉熵损失，KL为KL散度，α、β为超参数，/>α、β均为常量。

在上述第二方面的一种可能的实现中，属性组权重通过以下公式计算得到：

其中，为第c个子数据集中样本x的第i个属性组对应的属性组权重，/>为前一次学习的属性组权重，/>为下一次学习的属性组权重，γ₃为预设的学习率。

在上述第一方面的一种可能的实现中，目标类别置信度确定函数对应的公式为：

其中，g(x；ω^c,μ^c,Σ^c)为目标类别置信度，为第c个子数据集中的第i个属性组对应的属性组权重，/>为与属性组均值相关的马氏距离。

第三方面，本申请的实施方式提供了一种样本类型检测装置，包括：第一处理模块，用于确定第一样本；第二处理模块，用于将第一样本输入至类别置信度确定模型，类别置信度确定模型包括多个类别置信度确定模块，类别置信度确定模块包括目标类别对应的目标类别置信度确定函数，由类别置信度确定模型通过目标类别置信度确定函数，确定第一样本和目标类别之间的分布距离，得到多个目标类别置信度；第三处理模块，用于根据多个目标类别置信度，确定第一样本相对于目标类别的样本类型，样本类型包括分布内样本和分布外样本。

第四方面，本申请的实施方式提供了一种类别置信度确定模型生成装置，包括：第一处理模块，用于确定第一数据集，以及确定初始目标类别置信度确定函数，第一数据集包括多个样本；第二处理模块，用于对第一数据集包括的多个样本进行分类处理，得到多个子数据集；第三处理模块，用于根据子数据集，调整初始目标类别置信度确定函数的第一参数，得到子数据集对应的目标目标类别置信度确定函数；第四处理模块，用于根据多个目标类别置信度确定函数分别得到对应的类别置信度确定模块以得到类别置信度确定模型。

第五方面，本申请的实施方式提供了一种计算设备集群，包括至少一个计算设备，每个计算设备包括处理器和存储器；至少一个计算设备的处理器用于执行至少一个计算设备的存储器中存储的指令，以使得计算设备集群执行前述的样本类型检测方法，或者类别置信度确定模型生成方法。

第六方面，本申请的实施方式提供了一种包含指令的计算机程序产品，当指令被计算设备集群运行时，使得计算设备集群执行前述的样本类型检测方法，或者类别置信度确定模型生成方法。

第七方面，本申请的实施方式提供了一种计算机可读取存储介质，包括计算机程序指令，当计算机程序指令由计算设备集群执行时，计算设备集群执行前述的样本类型检测方法，或者类别置信度确定模型生成方法。

上述第二方面至第七方面的相关有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施方式描述中所使用的附图作简单介绍。

图1是根据本申请的一些实施方式，示出了一种样本类型检测方法的流程示意图；

图2是根据本申请的一些实施方式，示出了一种确定第一样本的样本类型的流程示意图；

图3是根据本申请的一些实施方式，示出了一种类别置信度确定模型生成方法的流程示意图；

图4是根据本申请的一些实施方式，示出了一种得到多个子数据集的流程示意图；

图5是根据本申请的一些实施方式，示出了一种调整第一参数的流程示意图；

图6是根据本申请的一些实施方式，示出了一种得到子数据即对应的第一聚类模型的流程示意图；

图7是根据本申请的一些实施方式，示出了一种分层视觉类别建模的训练管道的示意图；

图8是根据本申请的一些实施方式，示出了另一种类别置信度确定模型生成方法的流程示意图；

图9是根据本申请的一些实施方式，示出了一种属性群可视化与马氏距离分布示意图；

图10是根据本申请的一些实施方式，示出了一种HVCM性能比较随着InD和OOD数据之间距离的增加示意图；

图11是根据本申请的一些实施方式，示出了随着距离的增加，OOD样品与InD样品之间的间隙变化的示意图；

图12是根据本申请的一些实施方式，示出了在四个OOD数据集上，随着InD类别数量的增加，HVCM的性能评估的示意图；

图13是根据本申请的一些实施方式，示出了在所有OOD数据集中，HVCM的准确性随不同阈值而变化的示意图；

图14是根据本申请的一些实施方式，示出了一种样本类型检测装置的结构示意图；

图15是根据本申请的一些实施方式，示出了一种类别置信度确定模型生成装置的结构示意图；

图16是根据本申请的一些实施方式，示出了一种电子设备的结构示意图；

图17是根据本申请的一些实施例，示出了计算设备的一些结构示意图；

图18是根据本申请的一些实施例，示出了计算设备集群的一些结构示意图。。

具体实施方式

下面将结合附图对本申请的技术方案作进一步详细描述。

如前所述，现有技术中，OOD检测算法通过建立概率模型来描述例如训练数据集包括的样本的样本分布，并且根据建立的概率模型构建出一个得分函数来确定待测试样本的分布内得分，进而根据待测试样本的分布内得分确定待测试样本是否为OOD样本，即确定待测试样本的类型。由于现有技术中，是将整个训练数据集包括的样本构建成为一个分布进行训练得到一个得分函数，并且是利用一个得分函数计算待测试样本的分布内得分，以确定待测试样本的类型。因此，得到的待测试样本的类型并不准确。

下面对OOD检测的相关内容和具体的现有相关技术进行简单的说明。

当训练数据和测试数据来自相同的分布时，现代深度神经网络已经展现出强大的泛化能力。然而，在现实场景应用中遇到难以预料的场景是不可避免的，因此训练和测试数据共享相同的分布就不应被纳入假设中。在自动驾驶和医学图像分析等应用中，模型识别超出其识别能力的输入是至关重要的。该任务被称为分布外OOD检测，即OOD检测。OOD检测算法可以使系统在许多与安全相关的场景中及时发出警告。

许多流行的OOD检测算法通过建立概率模型来描述训练数据分布。通过建立的概率模型，构建出得分函数，该得分函数可以用于计算测试样本的分布内得分。这些分布内得分反映了测试样本是否落入给定的分布范围内。然后通过得分函数对测试样本进行评价，判断其是否为OOD样本。因此对分布内数据的特征进行建模变得极其重要。现有技术在整个训练数据上构建一个分布。然而，由于训练图像可能来自不同的视觉类别，在分布内数据和OOD数据之间的决策边界变得极其复杂。因此一些现有技术将整个数据集分解为几个子组，以简化决策边界。MOS(具体请参见黄锐、李奕萱。Mos:面向大规模语义空间的扩展分布外检测。发表于2021年IEEE/CVF计算机视觉与模式识别会议论文集)等算法在识别OOD样本方面取得了比较好的效果，但是不能检测到近OOD样本。因为当不同的视觉类别组合在一起时，OOD决策边界会掺杂一些不确定的空间。

分布外检测的典型框架一般包括两个关键步骤：第一是学习一个紧凑的特征表示，可以容易地拟合概率模型，第二是准确地对复杂分布中分布内数据的特征进行建模。这两个步骤是相互联系的，因为更紧凑的特征将使数据分布的建模更容易，更强的概率建模技术将设置更少的表示学习限制。然而，上述目标并不容易实现。因为如果同一类别的训练样本在特征空间中过于接近，通常会导致过拟合。同时，分布内的样本可能来自不同的在外观和语义信息上有很大变化的视觉类别，建模复杂的训练分布并不容易。

分布外检测旨在区分分布外样本和分布内样本。现在已经提出了许多OOD检测方法。极大近似最大概率(Maximum softmax probability，MSP，具体请参见丹·亨德瑞克斯和凯文·金普尔。用于检测神经网络中错误分类和分布外示例的基线。学习表征国际会议论文集，2017)已被认为是一个强有力的算法，使用特征在所有类别上获得的最大分数作为OOD分数。ODIN(具体请参见梁士玉，李义轩，李志强。增强神经网络中分布外图像检测的可靠性。在2018年国际学习表征会议上)通过扰动输入和通过重新缩放调整分类概率来改善MSP。高斯判别分析被用于检测OOD样本。ReAct(具体请参见孙奕友、郭川、李奕萱。反应:超出分布检测与整流激活。《神经信息处理系统进展》，2021年)使用校正激活来减少OOD数据中的模型过度置信度。Shama等人(具体请参见Chandramouli Shama Sastry和SageevOore。用分布内样本和克拉姆矩阵检测分布外样本。arXiv电子打印，页arXiv-1912,2019)利用Gram矩阵来测量OOD检测的特征相关性。Bibas等人提出了用单层神经网络检测OOD样本的pNML regret。广义odin方法(具体请参见徐燕昌，沈奕霖，金红霞，吉良。广义奥丁不从分布外数据学习的情况下检测分布外图像。发表于2020年6月IEEE/CVF计算机视觉与模式识别会议(CVPR)论文集)使用红利/除数结构分解类概率的置信度，以纳入先验知识。另一个OOD检测通过设计新的学习目标来从头开始训练深度模型。遗漏分类器(具体请参见Apoorv Vyas,Nataraj Jammalamadaka,Xia Zhu,Dipankar Das,Bharat Kaul,TheodoreLWillke。使用自监督遗漏分类器集成的分布外检测。欧洲计算机视觉会议(ECCV)论文集，550-564页，2018)引入了边际损失，以确保InD(即分布内样本)和OOD样本在特征空间中被分离。Lee等人(具体请参见李基民，李洪乐，李基福，申镇宇。训练用于检测分布外样本的置信度校准分类器。在2018年国际学习表征会议上)提出了一种新的置信度损失，为OOD样本提供更低的置信度。也有一些技术基于生成模型进行OOD检测。

深度学习中的密度估计试图描述概率密度分布的观测数据，并在深度学习中被长期研究。Chong等人使用变分自编码器进行异常检测，其中重建概率用于计算每个样本的异常分数。Papamakarios提出了一种基于掩码自回归流的密度估计新方法。Zhou等人通过合并高斯混合对潜空间分布进行建模，扩展了变分自编码器，允许更灵活和更具表现力的表示。Yang et al.将基于流的生成模型与生成对抗网络相结合，用于密度估计和样本生成。Zhao etal.利用离散潜变量进行密度估计，已应用于自然语言处理和图像处理的许多研究课题。

但是，现有技术中得到的待测试样本的类型并不是非常准确。

基于此，本申请提供了一种样本类型检测方法，应用于电子设备，如图1所示，该方法包括如下步骤：

S100：确定第一样本。

其中，第一样本为待测试的样本。也即在实际应用中，需要进行确定样本类型的样本。比如，在自动驾驶领域，车辆在一个特殊场景中，需要进行识别的样本。或者在医学领域，造影图片上出现的以前没有见过的病例对应的样本。本申请需要对这些样本进行检测，根据检测结果确定后续的处理策略。

S200：将第一样本输入至类别置信度确定模型，类别置信度确定模型包括多个类别置信度确定模块，类别置信度确定模块包括目标类别对应的目标类别置信度确定函数，由类别置信度确定模型通过目标类别置信度确定函数，确定第一样本和目标类别之间的分布距离，得到多个目标类别置信度。

S300：根据多个目标类别置信度，确定第一样本相对于目标类别的样本类型，样本类型包括分布内样本和分布外样本。

本申请提供的样本类型检测方法，对第一样本进行分类的过程中，首先通过类别置信度确定模型包括的多个类别置信度确定模块包括的目标类别置信度确定函数得到第一样本的多个目标类别置信度，然后根据多个目标类别置信度确定第一样本的样本类型为分布内样本还是分布外样本。由此，通过多个目标类别置信度得到的第一样本的样本类型更加准确，增加了样本类型检测的准确性，也即增加了相对于目标类别的分布外样本检测的准确性，能够准确完成分布外样本检测任务。

本申请提供的样本类型检测方法，可以用于样本相对于目标类别的分布外样本检测，因此也可以称为分布外样本检测方法。类别置信度确定模型也可以称为分布外样本检测模型，或者分布内得分确定模型。

在本申请的一种实现方式中，如图2所示，上述的步骤S300，根据多个目标类别置信度，确定第一样本的样本类型，包括如下步骤：

S310：根据多个目标类别置信度，得到第一样本的多个第一分数。

S320：在多个第一分数中存在大于分数阈值的分数的情况下，确定第一样本的样本类型为属于目标类别的分布内样本。在多个第一分数中不存在大于分数阈值的分数的情况下，确定第一样本的样本类型为不属于目标类别的分布外样本。

其中，根据多个目标类别置信度，得到第一样本的多个第一分数，具体可以是将每一个目标类别置信度，作为一个第一分数。

并且，在确定第一样本的样本类型的过程中，可以如上所述的，判断第一分数中是否有大于分数阈值的分数，在多个第一分数中存在大于分数阈值的分数的情况下，确定第一样本的样本类型为属于目标类别的分布内样本。多个第一分数中存在大于分数阈值的分数可以至少为一个，也可以为两个、三个等。

在确定第一样本的样本类型的过程中，也可以是从多个第一分数中确定最高分数，在最高分数大于分数阈值的情况下，确定第一样本的样本类型为属于目标类别的分布内样本；在最高分数小于等于分数阈值的情况下，确定第一样本的样本类型为不属于目标类别的分布外样本。

分数阈值是通过大量的实验进行确定的，在此并不限制具体的分数阈值是多少。

其中，前述的类别置信度确定模型是提前训练好的一个模型，具体地，可以通过第一数据集(比如ImageNet数据集)和初始目标类别置信度确定函数训练得到。

接下来，对本申请中获取类别置信度确定模型的过程进行详细的说明。

本申请避免了对整个分布内数据集进行建模，而是对每个视觉类别的分布进行独立建模。通过层次化的视觉类别建模得到的最后的类别置信度确定模型，具有较高的分类精度。在分层视觉类别建模(HVCM)中，本申请首先将图像特征投影到高维属性空间(通常为8192维)。这些属性可以组合成多个子视觉概念，作为图像类别的组成部分，比较利于高斯分布建模。然后将多个子视觉概念(后续缩写为子概念)的组合进行分组，用来描述一个分布内类别的视觉概念。本申请基于子视觉概念来定义视觉类别，首先简单地对子概念的分布进行建模，并用子概念分层地描述视觉类别，就能够得到复杂的训练分布的建模结果。

也即，本申请提供了一种类别置信度确定模型生成方法，如图3所示，该方法包括如下步骤：

S210：确定第一数据集，以及确定初始目标类别置信度确定函数，第一数据集包括多个样本。

S220：对第一数据集包括的多个样本进行分类处理，得到多个子数据集。

S230：根据子数据集，调整初始目标类别置信度确定函数的第一参数，得到子数据集对应的目标类别置信度确定函数。

S240：根据多个目标类别置信度确定函数分别得到对应的类别置信度确定模块以得到类别置信度确定模型。

在本申请的一种实现方式中，如图4所示，对第一数据集包括的多个样本进行分类处理，得到多个子数据集，包括如下步骤：

S221：对第一数据集中的每个样本进行第一处理，得到样本的多个属性。

在本申请的一种实现方式中，利用自蒸馏算法将样本的特征投影到第一维度的属性空间，得到样本的多个属性，第一维度高于样本的维度。

S222：将多个属性按照分组规则进行分组，得到各子数据集对应的多个属性组。

S223：根据多个属性组，得到多个子数据集。

在本申请的一种实现方式中，如图5所示，步骤S230：根据子数据集，调整初始目标类别置信度确定函数的第一参数，包括如下步骤：

S231：根据子数据集，得到子数据集对应的第一聚类模型(也可以表示为子数据集对应的单个目标分布模型)，第一聚类模型为基于子数据集对应的概率密度函数形成的模型(具体可以是高斯混合模型)。

第一聚类模型从概率的角度对相应的视觉类别(作为子数据集的一种示例)进行建模，在本申请的一种实现方式中，第一聚类模型为高斯混合模型。第一聚类模型的第二参数包括属性组数量、属性组权重、属性向量、属性组均值和属性组协变矩阵。

进一步地，在本申请的一种实现方式中，高斯混合模型也可以通过单高斯模型得到。

即如图6所示，根据子数据集，得到子数据集对应的第一聚类模型，包括如下步骤：

S2311：根据子数据集对应的多个属性组，得到各属性组对应的第二聚类模型，第二聚类模型为与属性组的均值和协变矩阵相关的函数模型。

也即根据子数据集对应的多个属性组，按分布群数量进行分割得到多个子属性组，由每个子属性组独立建模获得分布的均值(即分布中心)与分布协方差(以协方差矩阵形式体现)，从而获得子属性组对应的分布(即第二聚类模型)。

第二聚类模型则可以为单高斯模型。

S2312：根据多个第二聚类模型，得到子数据集对应的第一聚类模型。

也即结合基于子数据集构建的多个子分布，获得子数据集对应的分布群；结合各个子数据集的分布群，即获得各目标类别的分布群(即对应于第一聚类模型)。

S232：确定第一聚类模型的第二参数，并根据第二参数调整初始目标类别置信度确定函数的第一参数。

也即结合各目标类别分布的中心和权重，组合成各目标类别的分布群(也可以称为各目标类别对应的目标类别置信度确定函数)。

前述的子数据集以及属性组的划分、分组过程，也可以称为对目标类别的构建或者对目标类别的生成过程，最终得到多个目标类别对应的分布群。

在本申请的一种实现方式中，第一参数包括类别均值、类别协变矩阵和类别权重，因此，在确定第一聚类模型的第二参数之后，便能根据第二参数调整初始目标类别置信度确定函数的第一参数，得到目标目标类别置信度确定函数。

在本申请的一种实现方式中，确定第一聚类模型的第二参数，包括：根据子数据集对目标函数进行优化学习，在目标函数的学习目标收敛的情况下，根据目标函数对应的参数确定第一聚类模型的第二参数，也即确定各目标类别对应的分布群。

也即本申请给定一个视觉识别模型f，它将一个带有标签y的输入图像x(即子数据集中的一个样本)映射到一个高维特征向量z∈r^q(即样本的维度)。然后将z投影到一个维数更高的属性空间S∈d^r(即第一维度)中，并得到一个属性描述a(即样本的多个属性)。a中的属性可以被分组成多个属性子组(即多个属性组)，其中/>并且i∈{1,2,…,G}，也即将a中的属性分组成G个属性子组。并且，由G个属性子组构成c个视觉类别(即多个子数据集)，并且，从视觉类别c中，本申请以其第个i属性组中的属性遵循单高斯分布N(μ_ci，Σ_ci)(即第二聚类模型)，其中μ_ci和Σ_ci分别是均值和方差(即属性组的均值和协变矩阵)。由于属性被分成G组，因此，每个视觉类别有G个不同的单高斯分布(即)。

将整个属性空间划分为若干子空间(即属性子组)的，一方面可以使建模属性分布的过程简单容易，另一方面属性子组中的分布集合可以描述复杂的分布，这能够得到视觉类别更准确的决策边界。

进一步地，针对每一个视觉类别c，本申请利用高斯混合模型从概率的角度对相应的视觉类别进行建模，在本申请的一种实现方式中，高斯混合模型对应的概率密度函数为：

其中，p(x；c)为第c个子数据集样本的概率密度，x为子数据集的样本，G为第c个子数据集对应的属性组数量，为第c个子数据集中的第i个属性组对应的属性组权重，/> a_i为第c个子数据集中的第i个属性组对应的属性向量，/>为第c个子数据集中的第i个属性组对应的属性组均值,/> 为第c个子数据集中的第i个属性组对应的属性组协变矩阵，/>N(·)为正态分布。并且，第i个属性组的均值向量和协变矩阵通过下式得到：

其中，为均值向量，N_c为第c个子数据集中样本的数量，/>为第m个子数据集的属性向量。

协变矩阵通过以下公式得到：

其中，为协变矩阵。

为了结合所有属性来描述每个视觉类别，本申请提供的的OOD检测器(即类别置信度确定模型)通过指数移动平均线学习所有属性组的权重{w_i ^c}^G _i＝1。

本申请为每一类(即每一个视觉类别，也即子数据集)建立一个高斯混合模型(即第一聚合模型)，得到c个不同的高斯混合模型(即多个第一聚类模型)。然后，分层视觉类别模型专注于训练深度神经网络，联合学习遵循上述分布和概率模型的参数的图像特征。

使用前述的高斯混合模型(也可以称为高斯概率模型)，给定一个测试样本x'，本申请定义了分数函数g(x'；ω^c，μ^c，∑^c)，用学习到的概率密度函数来衡量该测试样本是否属于第c个视觉类别。本申请中，ω^c＝{w_i ^c}^G _i＝i，该评估函数可以作为一种可靠的指标来检测出分布外样本。

具体的，可以通过下式，来对测试样本是否为分布外样本进行检测。

其中，γ是通过实验确定出的分数阈值。上式表明用所有c类中的最小InD得分来做出测试样本类型的最终决策。

本申请提供的模型框架，如图8所示，其中包括了两个步骤：(1)联合学习适合本申请的概率模型的深度特征和概率模型的参数；(2)计算基于一组高斯混合模型的InD分数，作为分布外检测的度量。

接下来，结合图7，详细介绍联合视觉表征学习和概率模型的参数优化的内容。

在本申请的一种实现方式中，在得到类别置信度确定模型，可以再次对类别置信度确定模型对应的目标类别置信度确定函数进一步进行优化，以得到对样本类型检测更准确的类别置信度确定模型，因此，如图8所示，在步骤S240之后，该方法还包括如下步骤：

S250：将第一数据集输入至类别置信度确定模型，对目标类别置信度确定函数对应的第一参数进行优化，得到调整后的第一参数。

S260：根据调整后的第一参数确定更新后的目标类别置信度确定函数。

S270：根据多个更新后的目标类别置信度确定函数分别得到对应的类别置信度确定模块以得到更新后的类别置信度确定模型。

本申请中的类别置信度确定模型，也可以称为分布构建模型，分布构建模型可以包括多个分布属性构建模块(比如可以为类别置信度确定模块)，具体可以包含分布群中心构建模块与分布群权重构建模块。其中，分布群中心构建模块用于构建高斯混合模型对应的分布群中心，即前述的属性组均值，分布群权重构建模块用于构建高斯混合模型对应的分布群群众，即前述的属性组权重。

类别置信度确定模型在训练完成后，重新利用第一数据集计算分布群中心与分布群权重以避免训练时不稳定因素影响并提高分布构建水平(也即调整优化目标类别置信度确定函数对应的第一参数，具体可以为均值和权重)。利用分布群中心与分布群权重可以构建各目标类别对应的高斯混合模型，进而构建目标类别置信度确定函数，用于计算各个样本对于各目标类别的中心距离，得到第一样本对应的相对于各目标类别的目标类别置信度。

在本申请的一种实现方式中，也可以是类别置信度确定模型训练结束后，根据目标类别重新对第一数据集(也可以称为第一输入)进行划分，得到从属于单一目标类别的子输入集，并利用子输入集重新计算分布群中心与分布群权重，以加强分布构建准确度；确定第一样本(也可以称为第二输入)；根据重新计算的高斯混合模型的参数，可以对第二输入各样本计算对各目标类别的目标类别置信度(可以称为从属置信度)，并利用从属置信度判别样本类别，样本类型包括分布内样本和分布外样本。如此，即能完成分布外样本检测任务。

其中，第二输入可以包括一个样本，也可以包括多个样本。

进一步地，在本申请的一种实现方式中，在类别置信度确定模型训练完成后，还可以包括如下的分布群构建的步骤：在训练后将对第一数据集包括的样本集按所属类别进行分割，得到多个子数据集。将子数据集输入分布构建模型(即类别置信度确定模型)，得到样本的特征集；将特征集按照分布群属性，即指定的分布群数量，分割得到多个子特征集；利用多个子特征集独立构建子分布，并结合子分布成为单个目标类别的分布群。结合所有目标类别的分布群即获得目标类别的分布群，完成对指定目标类别构建分布群的任务。

为了学习遵循高斯混合模型的视觉表示，同时保持其判别能力，本申请利用知识蒸馏框架DINO(具体请参见Mathilde Caron、Hugo Touvron、Ishan Misra、Herv′e J′egou、Julien Mairal、Piotr Bojanowski和Armand Joulin。自监督视觉transformer中的新兴属性。国际会议(ICCV)，2021)进行联合学习。如图7所示，对于一个图像x，采样x的十个不同视图，并将不同视图(输入的视图1和视图2)同时送入教师网络和学生网络，以执行自蒸馏。即对同一图像(即同一样本)x进行随机裁剪，将同一样本的裁剪后局部和裁剪前的全局特征都进行特征提取并对局部特征和全局进行对比学习，得到该样本的多个裁剪视角的局部特征与和图片全局特征。具体地，在自蒸馏过程中，本申请将2048维(即样本维度)的ResNet50(具体请参见何开明，张翔宇，任少卿，孙健。深度残差学习用于图像识别。2016年IEEE计算机视觉与模式识别会议(CVPR)，770-778页，2016)特征投影到维数为d(＝8192)(即第一维度)的属性空间，并且结合OE损失，确定最终的属性空间中的属性。除了自蒸馏产生的学习目标外，本申请还强制每个类的属性接近属于类的高斯混合模型。本申请将输入样本x的属性a∈R^d分成G组来学习高斯混合模型参数。由于在实践中，直接学习高斯模型的均值和方差比较困难。因此，如图7所示，本申请跟随He et.al学习c-th类别的属性中心{μ_ci}_i＝1 ^G(即图7中的群中心，群也即类别)(图像标签y为c)，同时，也对群中心权重进行学习。如图7所示的实施例中，在自视觉概念学习过程中，将属性空间中的属性划分为32组，然后学习每个属性组的群中心和群中心权重，通过投影，得到多个分布群。在群中心和群中心权重的学习过程中，根据学习目标，对群中心和群中心权重进行更新，以确定得到的类别置信度确定模型的准确度。具体对于群中心的更新可以采用随机梯度下降(Stochastic GradientDescent，SGD)方法更新，对于群中心权重可以采用指数滑动平均(ExponentialMovingAverage，EMA)方法更新。在本申请的一种实现方式中，本申请将属性组划分为图7所示的32个，能够得到最优的效果。本申请利用一个线性投影层来预测x在所有G属性组上的权重(即群中心权重)。本申请的学习目标可以写成如下式所示：

其中，为所述目标函数的学习目标，/>为自蒸馏交叉熵损失，KL为KL散度，α、β为超参数，/>α、β均为常量。

本申请之所以利用两个KL散度，是因为实验表明，术语更有利于学习属性中心，对应于上述的SGD更新，术语/>更适合学习图像类别属性描述和组权重，对应于上述的EMA更新。根据图7所示，softmax操作在计算学习目标之前，会将每个组中的属性及其可学习中心归一化。

在上式中的学习目标下，学生网络参数θ_s，权重和所有组的属性中心/>同时学习。并使用以下公式进行更新：

其中，为第c个子数据集中样本x的第i个属性组对应的属性组权重，/>为前一次学习的属性组权重，/>为下一次学习的属性组权重，γ₁、γ₂、γ₃为预设的学习率。

本申请中，θ_s，和/>均用高斯噪声初始化，并使用带动量的Adam优化器来更新θ_s和/>而属性权重是通过指数移动平均学习的。

当本申请的分层概率模型(即每一类别对应的高斯混合模型)训练收敛时，将得到分布内样本的视觉属性，这些属性遵循学习到的分层高斯分布。同时，也得到了每个类的所有属性组的权重和中心。然而，属性中心在训练过程中频繁更新，因此不适合用作组中心。因此，本申请重新计算每个视觉类别的属性中心。给定一个分布内的视觉类别c，本申请估计对应的高斯混合模型的权重、均值和协方差(即协变矩阵)，进而准确地描述层次中的每个视觉类别。本申请在使用混合高斯模型对应的概率密度函数作为分布内函数，在计算协方差矩阵行列式时，遇到了数值溢出的问题。相反，计算测试样本x'的第i个次视觉属性a'_i与对应的属性中心之间的马氏距离，以衡量这些属性属于目标类别的可能性，马氏距离的公式如下：

上式给出了一个属性组的分布内测度。同时，对于每个类别，包括了多个属性组，需要合并相关的分布内度量来获得类级别的分布内得分。由于之前已经得到了每个类别的属性组的权重，本申请将它们组合起来并得到目标类别置信度确定函数：

其中，g(x；ω^c,μ^c,Σ^c)为类别得分，为第c个子数据集中的第i个属性组对应的属性组权重，/>为与属性组均值相关的马氏距离。

有了目标类别置信度确定函数，本申请能够快速地得到一个测试样本在每个视觉类别上的in-distribution得分。本申请则能够构建每个视觉类别上的类别置信度确定模块，进而通过多个类别置信度确定模块构建类别置信度确定模型(即OOD检测器)。

由于在整个分布内数据集中有c个类别，本申请取不同视觉类别的最大分布内得分作为在整个数据集上的分布内得分：

其中，g(x')为测试样本的分布内得分，μ^c为类别均值，∑^c为类别协变矩阵，ω^c为类别权重，x'为测试样本。

分布内得分高的g(x')表明测试样本的语义属性非常接近一个或多个分布内的视觉类别，相反，如果样本不属于先前建模的类别，将获得较低的分布内得分。具体地，如图9所示，将属性组进行了可视化展示，也即示出了属性群可视化与马氏距离分布，两个属性组均通过t-SNE进行可视化。其中，通过DINO方式生成的属性组，对应的马氏距离分布中，曲线M1代表了分布外样本，曲线M2代表了分布内样本，分布外样本的密度比较大。通过HVCN方式生成的属性组，对应的马氏距离分布中，曲线M1代表了分布外样本，曲线M2代表了分布内样本，分布内样本的密度比较大。

本申请提供的样本类型检测方法，是一种新的分布外检测框架，可以称为分层视觉类别建模，给定一个包含多个视觉类别的训练集，在能够独立地学习每个类别的概率模型的前提下，通过聚合已知类别的概率模型就可以轻松地解决分布外检测问题。具体地，本申请将整个数据集分解为子集，并独立地对每个类别进行建模，可以避免不同类别共享的共同特征。然而，对单个视觉类别进行建模仍然具有挑战性，因为经典的监督学习不会导致紧凑的特征表示。因此，对于每个输入样本，需要强制其特征表示与相应的统计模型匹配。因此联合进行密度估计和表示学习。此外，本申请利用知识蒸馏来学习鲁棒的特征表示。这样既可以用多个高斯混合模型描述复杂的训练分布，又不影响视觉特征的泛化能力。

在实践中，为了学习复杂分布的视觉概念，本申请为每个视觉类别建立了一个高斯混合模型(GGM，具体请参见卡尔·拉斯穆森。无限高斯混合模型。神经信息处理系统的进展，1999年12月)。给定输入样本，提取输入样本的深度特征，并将这些特征投影到高维属性空间中。不同于经典高斯混合模型将相同的输入发送到K个不同的高斯模型中，本申请将属性空间分成多组，并在每组中独立构建一个高斯模型。这种策略可以给每个属性组一个明确的学习目标，并导致更好的收敛。实验结果表明，取得了良好的效果。在视觉表示学习和统计模型参数优化之后，直接聚合统计模型来判断一个测试样本是否来自训练分布。为了评估本申请提供的OOD检测器，本申请将ImageNet数据集随机十等份，并选择其中一份作为训练集，所有其他部分作为OOD数据集进行广泛的测试。实验表明，该方法对OOD样本具有较强的识别能力。同时，本申请还在七个流行的OOD基准上进行了评估。实验结果表明，该方法不仅可以有效地识别OOD样本，而且提高了学习到的视觉表征的判别能力。

本申请提出了一种新的分布外检测方案，称为分层视觉类别建模，以进行联合表示学习和密度估计。它为分布外检测提供了一个新的视角，来学习端到端的视觉表示和概率模型。本申请利用多个高斯混合模型对复杂分布中的视觉概念进行建模。视觉属性被分成多个子集并由不同的高斯组成建模，这使得参数学习更加高效。最后，在流行的基准上进行了全面的实验和消融研究，以调查所提出方法的有效性。实验表明，与之前的方法相比，本申请的分布外检测模型明显取得了更好的性能。

接下来，结合具体的实验数据，说明本申请提供的样本类型检测方法在样本类型检测过程中的有效性和优点。

首先，进行分布数据集的准备。本申请使用ImageNet-1K(具体请参见OlgaRussakovsky,Jia Deng,Hao Su,Jonathan Krause,San-jeev Satheesh,Sean Ma,ZhihengHuang,Andrej Karpathy,Aditya Khosla,Michael Bernstein等。Imagenet大规模视觉识别挑战赛。国际计算机视觉学报，115(3):211-252,2015)和CIFAR10(具体请参见AlexKrizhevsky,Geoffrey Hinton等。从微小图像中学习多层特征。)作为分布内数据集。ImageNet-1K是一个包含1000个对象类别和1281167张图像的大规模视觉识别数据集。本申请将其随机十等份，并确保每一份包含100个对象类别。由于本申请的计算资源有限，本申请随机选择其中一份作为分布内数据集。另外九份被用作OOD数据集，如同其他流行的基准一样，以测试所提出的方法在检测近OOD样本方面的性能。对于CI-FAR10，在10个类别中有60000张彩色图像。本申请通过一样的方法对OOD算法进行评估。

Out-of-distribution数据集的准备。在ImageNet上，本申请遵循Huang等人来测试本申请的方法，并使用Texture(具体请参见Mircea Cimpoi,Subhransu Maji,IasonasKokkinos,Sammy Mohamed和AndreaVedaldi。描述野外的纹理。2014年IEEE计算机视觉与模式识别会议，3606-3613页，2014)、iNaturalist(具体请参见Grant Van Horn,OisinMacAodha,Yang Song,Yin Cui,Chen Sun,Alex Shepard,HartwigAdam,Pietro Perona和Serge Belongie。《自然主义者物种分类和检测》数据集。发表在2018年IEEE计算机视觉与模式识别会议论文集8769-8778页)、Places365(具体请参见Bolei Zhou,AgataLapedriza,Aditya Khosla,Aude Oliva,andAntonio Torralba。地点:用于场景识别的1000万张图像数据库。IEEE模式分析与机器智能学报，40(6):1452-1464,2018)和SUN(具体请参见肖建雄、詹姆斯·海斯、克里斯塔·a·埃亨格、奥德·奥利娃、安东尼奥·托拉尔巴。Sun数据库:从修道院到动物园的大规模场景识别。2010年IEEE计算机学会计算机视觉与模式识别会议，第3485-3492页，2010)作为OOD测试集。为了进一步探索本申请方法的局限性，本申请在另外两个OOD数据集OpenImage-O(具体请参见伊万·克拉辛、汤姆·杜里格、尼尔·奥尔德林、维托里奥·法拉利、萨米·阿布-艾尔-海亚、阿丽娜·库兹涅佐娃、哈桑·罗姆、贾斯珀·Ui-jlings、斯特凡·波波夫、安德烈亚斯·维特等。Openimages:用于大规模多标签和多类别图像分类的公共数据集。数据集可从https://github获取。Com/openimages,2(3):18,2017)和ImageNet-O(具体请参见Dan Hendrycks,Kevin Zhao,Steven Basart,Jacob Steinhardt,Dawn Song。自然对抗的例子。CVPR,2021年)上评估了本申请的方法。对于CI-FAR10，本申请选择了六个广泛使用的数据集，包括Texture，SVHN(具体请参见王涛，王晓云，Adam Coates，吴波。用无监督特征学习读取自然图像中的数字)，Places365，iSUN(具体请参见徐平梅、KristaAEhinger、张茵达、Adam Finkelstein、Sanjeev R Kulkarni、肖建雄。Turkergaze:基于网络摄像头的眼动追踪的众包显著性。arXiv预印arXiv:1504.06755,2015)，LSUN-Crop和LSUN-Resize(具体请参见余雪、阿里·塞夫、张茵达、宋舒然、托马斯·芬克豪斯、肖建雄。Lsun:使用人类参与循环的深度学习构建大规模图像数据集。arXiv预印本arXiv:1506.03365,2015)作为本申请的测试集。此外，为了测试HVCM识别近OOD数据集的能力，本申请使用剩余的9个ImageNet子集作为OOD测试集。请注意，由于本申请对ImageNet的评估不同于以前的方法，本申请使用开源实现这些算法，并遵循标准实验设置。

请参见表1，表1为HVCM与现有方法的OOD检测性能比较，所有的比较方法都依赖于经过交叉熵损失训练的ResNet-50。*表示该方法对InD数据进行了微调。↑表示值越大越好，↓则相反。加粗的数字是优越的结果。所有数值均为百分比。

从表1可以看出，与现有的方法相比，HVCM在分开比较和均值上，均取得了良好的结果。

表1HVCM与现有方法的OOD检测性能比较

请参见表2，为HVCM在更具挑战性的OOD数据集上的结果，为了克服当前OOD基准的局限性并评估本申请的方法对对抗性攻击的鲁棒性，本申请在两个具有挑战性的数据集上进行了实验，即OpenImage-O和ImageNet-O。如表2所示，在OpenImage-O数据集上，HVCM方法的AUROC最高，FPR95最低。尽管ImageNet-O包含对抗性示例并且更具挑战性，但HVCM在该数据集上仍然优于其他方法。

表2为HVCM对更具挑战性的检测任务的评估，*表示该方法在InD数据上进行了微调。↑表示值越大越好，↓则相反。加粗的数字是优越的结果。所有数值均为百分比。

表2HVCM对更具挑战性的检测任务的评估

本申请采用了OOD检测中常用的评价指标来评估本申请的方法，包括AUROC、FPR95和InDAcc。AUROC是ROC曲线下与坐标轴围成的面积，FPR95是TPR@FPR95的缩写，表示真阳性率为95％时的假阳性率，InDAcc是分布中数据的分类准确率。

本申请利用ResNet-50作为ImageNet的特征主干网络，将属性空间的维数设置为8192。训练在300个epoch内完成。在CIFAR10上，本申请使用ResNet-18作为特征主干，属性空间的维数设置为1024。CIFAR10的训练在200个epoch中完成。设置有32个属性组。

并且，α、β、γ₁、γ₂和γ₃分别设置为1、0.1、1、1和1×10-4。

本申请采用动量为0.9的SGD，初始学习率为0.1，批处理大小为128。学习率在总训练周期的50％和75％时降低了10倍。本申请使用随机初始化从头开始训练所有骨干。所有实验都是在四个NVIDIAGeForce RTX 3090上使用带有默认参数的PyTorch[37]进行的。

接下来，基于ImageNet的标准评价，描述本申请的检测方法。本申请将HVCM与7种流行的OOD检测方法进行了比较，包括MSP、ODIN、GODIN、Maha(具体请参见Kimin Lee,KibokLee,Honglak Lee,and Jinwoo Shin。用于检测分布外样本和对抗性攻击的简单统一框架。S.Bengio,H.Wallach,H.Larochelle,K.Grauman,N.cisa-bianchi和R.Garnett，编辑，《神经信息处理系统进展》，第31卷。CurranAssociates,Inc.，2018年)、Energy(具体请参见刘维堂，王晓云，李义轩。基于能量的失配检测。见H.Larochelle,M.Ranzato,R.Hadsell,M.F.Balcan和H.Lin，编辑，《神经信息处理系统进展》，第33卷，第21464-21475页。CurranAssociates,Inc.，2020年)、MOS(具体请参见黄锐、李奕萱。Mos:面向大规模语义空间的扩展分布外检测。发表于2021年IEEE/CVF计算机视觉与模式识别会议论文集)和ReAct。对于描述对象或场景的数据集，如SUN、Places和iNaturalist,HVCM可以实现更好的AUROC和FPR95指标。当本申请总结所有四个数据集的结果时，HVCM在FPR95上达到21.99％，在AU-ROC上达到92.73％，比之前的最佳方法Energy分别高出23.25％和3.06％。这是一个显著的提升，说明端到端的训练对于获得好的结果是非常重要的。与Maha相比，本申请在FPR95和AUROC上的性能都较差。这表明该方法对纹理的描述能力较弱。然而，尽管本申请的结果比Maha差，但本申请比所有其他方法都好。这仍然表明，所提出的方法在识别不同类型的异常值方面是非常鲁棒的。此外，本申请构建了一个学习得到的属性中心的余弦分类器用于图像分类。本申请得到了88.28％的准确率，比本申请的监督学习基线高2.57％。这充分证明了本申请的方法可以准确地对InD数据建模，同时保证学习到的特征保持较高的判别能力。

进一步地，进行CIFAR10标准评价，本申请对CIFAR10进行了更传统的OOD检测任务。这个实验有两个目的：首先，证明本申请的方法不依赖于自蒸馏(DINO)，其次，验证本申请的有效性和鲁棒性。

请参见表3，表3将本申请的方法与几个经典的、性能最好的算法进行了比较。所有的比较方法都使用ResNet-18作为主骨网络，使用交叉熵损失进行训练，而本申请的方法前述目标函数的损失函数。从表3可以看出，本申请在平均FPR95和平均AUROC上都明显优于之前的最佳方法Gram和pNML。这些结果表明，本申请提出的方法即使在小数据集上也可以有很好的表现。同时，没有利用自蒸馏，这表明本申请的联合表示学习和统计建模独立于自监督学习算法。

表3为HVCM与现有方法在CIFAR10数据集上OOD检测性能的比较。除了本申请提出的使用HVCMLoss的方法外，所有比较的方法都使用了经过交叉熵损失训练的ResNet-18。性能基于AUROC(A)和FPR95(F)进行评估，↑表示值越大越好，↓表示相反。加粗的数字表示优越的结果。所有数值均以百分比表示。

表3HVCM与现有方法在CIFAR10数据集上OOD检测性能的比较

为了研究该方法检测近OOD样本的能力，进行近至远OOD数据集结果的测试。本申请用剩余的ImageNet图像构建了9个OOD测试集。本申请将剩下的900个视觉类别与100个分布内数据集的类别之间的语义距离进行排序。

本申请使用平均余弦距离作为度量，构建了9个不同的OOD测试集。本申请用OOD 1到OOD 9来表示这些数据集。实验结果如图10所示，M1为AUROC的性能曲线，越大越好，M2为FPR95的性能曲线，越小越好。本申请可以发现，即使测试集非常接近InD数据集，所提出的方法也能获得很好的AUROC。当测试集越远，FPR95降低越快，表明该方法对OOD数据集的语义距离非常敏感。

进一步地，如图11所示。每个数据集展品显示了两类图像。最左边的样本属于InD数据集，而右边的类别对应于按距离升序排列的9个OOD数据集。可以观察到，随着距离的增加，OOD样品与InD样品之间的间隙逐渐变宽。

最后，本申请进行了消融实验。首先，进行属性组数量的调整，本申请将属性组的数量从8个变化到32个，以分析高斯混合模型中的成分。在表4中，本申请发现属性组数量与模型性能之间存在正相关关系，当G设置为32时，取得的性能最好。本申请还尝试将G设置为更大的数字，在计算InD分数时，将导致更大的相关矩阵。因此，本申请最终将G设置为32，以平衡性能和推理速度。将表4中的结果在四个标准OOD数据集上取平均，与主要结果一致。

表4HVCM在不同组中心数量G下的表现

中心数量	FPR95↓	AUROC↑
			G＝8	24.37	91.73
G＝16	23.07	92.24
			G＝32	21.99	92.73

进行学习目标的选择，表5的第一行调查了学习目标的选择如何影响HVCM的表现。本申请测试了三种不同的学习目标，包括L2损失、JS发散损失和KL发散损失。结果表明，与L2损失和KL散度损失相比，JS散度损失的FPR95最低，显示了其统计建模的优越性。本申请认为这是因为群中心和群特征需要相互学习，JS散度损失在涵盖它们时对等的。

不同的分布内距离度量。在表5中，本申请还将马氏距离与两个不同的分布内距离度量进行了比较。余弦距离度量直接通过计算输入特征与高斯分布模型均值之间的cos相似度来度量距离。线性距离度量是通过可训练的线性层来计算距离。结果表明，与同类度量相比，本申请的马氏距离是一种更加有效的度量手段。本申请将此归因于马氏距离能更好地拟合真实场景中的训练分布。

表5一组关于HVCM的消融结果

表5最上面一行调查了使用MSE、KL散度或JS散度对模型性能的影响；中间一行比较了不同骨干训练方法的性能。SD代表自蒸馏(Self-distillation)。结果在四个标准OOD数据集上进行平均，遵循主要结果。

ImageNet中分布内类别的数量不断增加。本申请在分布数据集中测试了OOD检测性能如何随着对象类别的增加而变化。继Wang et al之后，本申请在四个流行的基准上进行测试，并将c分别设置为{50,100,200,300}。如图12所示，随着InD对象类别的增加，HVCM的性能在不同的数据集上波动，这表明类别的数量对本申请的方法影响很小，具体地，在每一个数据集上，分别记载了类别为50、100、200和300的时候，AUROC和FPR95参数的波动情况。其中，每一个参数对应的第一竖条代表的是HVCM在类别为50的数据集上的性能量化表示，每一个参数对应的第二竖条代表的是HVCM在类别为100的数据集上的性能量化表示，每一个参数对应的第三竖条代表的是HVCM在类别为200的数据集上的性能量化表示，每一个参数对应的第,四竖条代表的是HVCM在类别为300的数据集上的性能量化表示。这些结果验证了本申请的假设，即本申请只需要对分布内的图像类别进行建模，然后可以很容易地检测到分布外的样本。

进一步地，设定OOD检测的不同阈值，图13展示了本申请的方法在不同数据集上的OOD检测的准确性。在大多数数据集上，本申请的方法表现出了与阈值相同的准确率变化趋势。这表明本申请的方法对具有显著差异的领域具有很强的泛化能力和理想的性能。本申请将Imagenet-O上的性能解释为其与对抗性样本的任务难度。

本申请介绍了一种面向分布外检测的层次化视觉类别建模方案，结合了视觉表征学习和概率模型的参数优化。通过端到端的表征学习和密度估计为OOD检测提供了一个新的视角。通过使用混合高斯模型建模视觉类别，本申请可以在非常复杂的分布中描述视觉类别，并且不依赖于离群训练数据来执行OOD检测。实验表明，所提出的方法明显优于最先进的算法，并且不会削弱深度特征的判别能力。

进一步地，可以在本申请的方法的基础上，简化概率模型、加速推理过程，以减少将深度特征映射到高维属性空间，构建的高斯混合模型带来的大量的计算成本，增加OOD检测器的推理效率。

本申请还提供一种样本类型检测装置，如图14所示，包括：

第一处理模块，用于确定第一样本。

第二处理模块，用于将述第一样本输入至类别置信度确定模型，类别置信度确定模型包括多个类别置信度确定模块，类别置信度确定模块包括目标类别对应的目标类别置信度确定函数，由类别置信度确定模型通过目标类别置信度确定函数，确定第一样本和目标类别之间的分布距离，得到多个目标类别置信度。

第三处理模块，用于根据多个目标类别置信度，确定第一样本相对于目标类别的样本类型，样本类型包括分布内样本和分布外样本。

本申请还提供了一种类别置信度确定模型生成装置，如图15所示，包括：

第一处理模块，用于确定第一数据集，以及确定初始目标类别置信度确定函数，第一数据集包括多个样本。

第二处理模块，用于对第一数据集包括的多个样本进行分类处理，得到多个子数据集。

第三处理模块，用于根据子数据集，调整初始目标类别置信度确定函数的第一参数，得到子数据集对应的目标类别置信度确定函数。

第四处理模块，用于根据多个目标目标类别置信度确定函数分别得到对应的类别置信度确定模块以得到类别置信度确定模型。

前述样本类型检测、类别置信度确定模型生成方法和装置，应用于客户端，可以理解，适用于本申请的技术方案的客户端可以是可以执行样本类型检测、类别置信度确定模型生成方法的硬件电子设备，如智能手机、平板电脑等电子设备，也可以是可以执行样本类型检测、类别置信度确定模型生成方法的应用。

请参见图16，图16所示为本申请实现方式提供的电子设备的一种结构框图。电子设备可以包括一个或多个处理器1002，与处理器1002中的至少一个连接的系统控制逻辑1008，与系统控制逻辑1008连接的系统内存1004，与系统控制逻辑1008连接的非易失性存储器(non-volatile memory，NVM)1006，以及与系统控制逻辑1008连接的网络接口1010。

处理器1002可以包括一个或多个单核或多核处理器。处理器1002可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任何组合。在本文的实现方式中，处理器1002可以被配置为执行前述的样本类型检测方法，或者类别置信度确定模型生成方法。

在一些实现方式中，系统控制逻辑1008可以包括任意合适的接口控制器，以向处理器1002中的至少一个和/或与系统控制逻辑1008通信的任意合适的设备或组件提供任意合适的接口。

在一些实现方式中，系统控制逻辑1008可以包括一个或多个存储器控制器，以提供连接到系统内存1004的接口。系统内存1004可以用于加载以及存储数据和/或指令。在一些实现方式中电子设备的系统内存1004可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(Dynamic Random Access Memory，DRAM)。

NVM/存储器1006可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实现方式中，NVM/存储器1006可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如硬盘驱动器(Hard Disk Drive，HDD)，光盘(Compact Disc，CD)驱动器，数字通用光盘(Digital Versatile Disc，DVD)驱动器中的至少一个。

NVM/存储器1006可以包括安装在电子设备的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口1010通过网络访问NVM/存储器1006。

特别地，系统内存1004和NVM/存储器1006可以分别包括：指令1020的暂时副本和永久副本。指令1020可以包括：由处理器1002中的至少一个执行时导致电子设备实施前述基于样本类型检测方法，或者类别置信度确定模型生成方法的指令。在一些实现方式中，指令1020、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑1008，网络接口1010和/或处理器1002中。

在一个实现方式中，处理器1002中的至少一个可以与用于系统控制逻辑1008的一个或多个控制器的逻辑封装在一起，以形成系统封装(System In a Package，SiP)。在一个实现方式中，处理器1002中的至少一个可以与用于系统控制逻辑1008的一个或多个控制器的逻辑集成在同一管芯上，以形成片上系统(System on Chip，SoC)。

本申请还提供一种计算设备10。如图17所示，计算设备10包括：总线102、处理器104、存储器10。处理器104、存储器106和通信接口108之间通过总线102通信。计算设备10可以是服务器或终端设备。应理解，本申请不限定计算设备10中的处理器、存储器的个数。

如图17所示，存储器106中存储有可执行的程序代码，处理器104执行该可执行的程序代码以分别实现前述样本类型检测方法、或者类别置信度确定模型生成方法。也即，存储器106上存有用于执行样本类型检测方法、或者类别置信度确定模型生成方法的指令。

本申请实施例还提供了一种计算设备集群。该计算设备集群包括至少一台计算设备。该计算设备可以是服务器，例如是中心服务器、边缘服务器，或者是本地数据中心中的本地服务器。在一些实施例中，计算设备也可以是台式机、笔记本电脑或者智能手机等终端设备。

如图18所示，计算设备集群包括至少一个计算设备10。计算设备集群中的一个或多个计算设备10中的存储器106中可以存有相同的用于执行样本类型检测方法或者类别置信度确定模型生成方法的指令。

本申请实现方式还提供了一种包含指令的计算机程序产品。计算机程序产品可以是包含指令的，能够运行在计算设备上或被储存在任何可用介质中的软件或程序产品。当计算机程序产品在至少一个计算设备上运行时，使得至少一个计算设备执行样本类型检测方法、或者类别置信度确定模型生成方法。

本申请实现方式还提供了一种计算机可读存储介质。计算机可读存储介质可以是计算设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。该计算机可读存储介质包括指令，指令指示计算设备执行样本类型检测方法、或者类别置信度确定模型生成方法。

本申请实现方式中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本申请实现方式中，在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施方式中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施方式中都需要这样的特征，并且在一些实施方式中，可以不包括这些特征或者可以与其他特征组合。

虽然通过参照本申请的某些实施方式，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。本领域技术人员可以在形式上和细节上对其作各种改变，包括做出若干简单推演或替换，而不偏离本申请的精神和范围。

Claims

1.一种样本类型检测方法，其特征在于，应用于客户端，所述方法包括：

确定第一样本；

将所述第一样本输入至类别置信度确定模型，所述类别置信度确定模型包括多个类别置信度确定模块，所述类别置信度确定模块包括目标类别对应的目标类别置信度确定函数，由所述类别置信度确定模型通过所述目标类别置信度确定函数，确定所述第一样本和所述目标类别之间的分布距离，得到多个目标类别置信度；

根据所述多个目标类别置信度，确定所述第一样本相对于所述目标类别的样本类型，所述样本类型包括分布内样本和分布外样本。

2.如权利要求1所述的样本类型检测方法，其特征在于，根据所述多个目标类别置信度，确定所述第一样本的样本类型，包括：

根据所述多个目标类别置信度，得到所述第一样本的多个第一分数；

在所述多个第一分数中存在大于分数阈值的分数的情况下，确定所述第一样本的样本类型为属于所述目标类别的分布内样本；

在所述多个第一分数中不存在大于分数阈值的分数的情况下，确定所述第一样本的样本类型为不属于所述目标类别的分布外样本。

3.如权利要求1或2所述的样本类型检测方法，其特征在于，所述类别置信度确定模型根据第一数据集训练得到。

4.一种类别置信度确定模型生成方法，其特征在于，所述方法包括：

确定第一数据集，以及确定初始目标类别置信度确定函数，所述第一数据集包括多个样本；

对所述第一数据集包括的所述多个样本进行分类处理，得到多个子数据集；

根据所述子数据集，调整所述初始目标类别置信度确定函数的第一参数，得到所述子数据集对应的目标类别置信度确定函数；

根据多个所述目标类别置信度确定函数分别得到对应的类别置信度确定模块以得到类别置信度确定模型。

5.如权利要求4所述的类别置信度确定模型生成方法，其特征在于，对所述第一数据集包括的所述多个样本进行分类处理，得到多个子数据集，包括：

对所述第一数据集中的每个样本进行第一处理，得到所述样本的多个属性；

将所述多个属性按照分组规则进行分组，得到各所述子数据集对应的多个属性组；

根据所述多个属性组，得到所述多个子数据集。

6.如权利要求5所述的类别置信度确定模型生成方法，其特征在于，根据所述子数据集，调整所述初始目标类别置信度确定函数的第一参数，包括：

根据所述子数据集，得到所述子数据集对应的第一聚类模型，所述第一聚类模型为基于所述子数据集对应的概率密度函数形成的模型；

确定所述第一聚类模型的第二参数，并根据所述第二参数调整所述初始目标类别置信度确定函数的第一参数。

7.如权利要求6所述的类别置信度确定模型生成方法，其特征在于，确定所述第一聚类模型的第二参数，包括：

根据所述子数据集对目标函数进行优化学习，在所述目标函数的学习目标收敛的情况下，根据所述目标函数对应的参数确定所述第一聚类模型的所述第二参数。

8.如权利要求7所述的类别置信度确定模型生成方法，其特征在于，根据所述子数据集，得到所述子数据集对应的第一聚类模型，包括：

根据所述子数据集对应的多个所述属性组，得到各所述属性组对应的第二聚类模型，所述第二聚类模型为与所述属性组的均值和协变矩阵相关的函数模型；

根据多个所述第二聚类模型，得到所述子数据集对应的第一聚类模型。

9.如权利要求8所述的类别置信度确定模型生成方法，其特征在于，所述第一处理包括自蒸馏，对所述第一数据集中的每个样本进行第一处理，得到所述样本的多个属性，包括：

利用自蒸馏算法将所述样本的特征投影到第一维度的属性空间，得到所述样本的多个属性，所述第一维度高于所述样本的维度。

10.如权利要求7-9任意一项所述的类别置信度确定模型生成方法，其特征在于，所述第一参数包括类别均值、类别协变矩阵和类别权重，所述第二参数包括属性组数量、属性组权重、属性向量、属性组均值和属性组协变矩阵。

11.如权利要求10所述的类别置信度确定模型生成方法，其特征在于，所述第一聚类模型为高斯混合模型。

12.如权利要求11所述的类别置信度确定模型生成方法，其特征在于，所述方法还包括：

将所述第一数据集输入至所述类别置信度确定模型，对所述目标类别置信度确定函数对应的所述第一参数进行优化，得到调整后的第一参数；

根据所述调整后的第一参数确定更新后的目标类别置信度确定函数；

根据多个所述更新后的目标类别置信度确定函数分别得到对应的类别置信度确定模块以得到更新后的类别置信度确定模型。

13.如权利要求12所述的类别置信度确定模型生成方法，其特征在于，所述高斯混合模型对应的概率密度函数为：

其中，p(x；c)为第c个所述子数据集样本的概率密度，x为所述子数据集的样本，G为第c个所述子数据集对应的属性组数量，为第c个所述子数据集中的第i个属性组对应的属性组权重，a_i为第c个所述子数据集中的第i个属性组对应的属性向量，/>为第c个所述子数据集中的第i个属性组对应的属性组均值，/>为第c个所述子数据集中的第i个属性组对应的属性组协变矩阵。

14.如权利要求13所述的类别置信度确定模型生成方法，其特征在于，所述属性组均值通过以下公式得到：

其中，为所述属性组均值，N_c为第c个所述子数据集中样本的数量，/>为第m个样本的属性向量。

15.如权利要求14所述的类别置信度确定模型生成方法，其特征在于，所述属性组协变矩阵通过以下公式得到：

其中，为所述属性组协变矩阵；/>为所述属性组均值，c为第c个所述子数据集中样本的数量，/>为第m个样本的属性向量。

16.如权利要求15所述的类别置信度确定模型生成方法，其特征在于，所述目标函数的学习目标对应的公式为：

17.如权利要求16所述的类别置信度确定模型生成方法，其特征在于，所述属性组权重通过以下公式得到：

其中，为第c个所述子数据集中样本x的第i个属性组对应的属性组权重，/>为前一次学习的属性组权重，/>为下一次学习的属性组权重，γ₃为预设的学习率。

18.如权利要求17所述的类别置信度确定模型生成方法，其特征在于，所述目标类别置信度确定函数对应的公式为：

其中，g(x；ω^c,μ^c,Σ^c)为所述目标类别置信度，为第c个所述子数据集中的第i个属性组对应的属性组权重，/>为与所述属性组均值相关的马氏距离。

19.一种样本类型检测装置，其特征在于，包括：

第一处理模块，用于确定第一样本；

第二处理模块，用于将所述第一样本输入至类别置信度确定模型，所述类别置信度确定模型包括多个类别置信度确定模块，所述类别置信度确定模块包括目标类别对应的目标类别置信度确定函数，由所述类别置信度确定模型通过所述目标类别置信度确定函数，确定所述第一样本和所述目标类别之间的分布距离，得到多个目标类别置信度；

第三处理模块，用于根据多个所述目标类别置信度，确定所述第一样本相对于所述目标类别的样本类型，所述样本类型包括分布内样本和分布外样本。

20.一种类别置信度确定模型生成装置，其特征在于，包括：

第一处理模块，用于确定第一数据集，以及确定目标类别置信度确定函数，所述第一数据集包括多个样本；

第二处理模块，用于对所述第一数据集包括的所述多个样本进行分类处理，得到多个子数据集；

第三处理模块，用于根据所述子数据集，调整所述初始目标类别置信度确定函数的第一参数，得到所述子数据集对应的目标类别置信度确定函数；

第四处理模块，用于根据多个所述目标类别置信度确定函数分别得到对应的类别置信度确定模块以得到类别置信度确定模型。

21.一种计算设备集群，其特征在于，包括至少一个计算设备，每个计算设备包括处理器和存储器；所述至少一个计算设备的处理器用于执行所述至少一个计算设备的存储器中存储的指令，以使得所述计算设备集群执行根据权利要求1-3任意一项所述的样本类型检测方法，或者权利要求4-18任意一项所述的类别置信度确定模型生成方法。

22.一种包含指令的计算机程序产品，其特征在于，当所述指令被计算设备集群运行时，使得所述计算设备集群执行根据权利要求1-3任意一项所述的样本类型检测方法，或者权利要求4-18任意一项所述的类别置信度确定模型生成方法。

23.一种计算机可读取存储介质，其特征在于，包括计算机程序指令，当所述计算机程序指令由计算设备集群执行时，所述计算设备集群执行如权利要求1-3任意一项所述的样本类型检测方法，或者权利要求4-18任意一项所述的类别置信度确定模型生成方法。