CN113435482B - 一种判断开放集的方法、装置及其设备 - Google Patents

一种判断开放集的方法、装置及其设备 Download PDF

Info

Publication number
CN113435482B
CN113435482B CN202110645563.6A CN202110645563A CN113435482B CN 113435482 B CN113435482 B CN 113435482B CN 202110645563 A CN202110645563 A CN 202110645563A CN 113435482 B CN113435482 B CN 113435482B
Authority
CN
China
Prior art keywords
classification
full link
determining
feature
link layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110645563.6A
Other languages
English (en)
Other versions
CN113435482A (zh
Inventor
苏慧
唐邦杰
潘华东
殷俊
张兴明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110645563.6A priority Critical patent/CN113435482B/zh
Publication of CN113435482A publication Critical patent/CN113435482A/zh
Application granted granted Critical
Publication of CN113435482B publication Critical patent/CN113435482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种判断开放集的方法、装置及其设备，能够有效解决开放集在属性分类中所引起的问题。该方法包括：通过训练好的分类网络中的卷积层对待分类的目标数据进行特征提取，获取所述目标数据的特征信息；将所述特征信息输入到所述分类网络的至少一个全链接层以及与所述至少一个全链接层对应的至少一组随机失活dropout的全链接层，得到至少一组分类特征，根据所述至少一组分类特征以及各个聚类特征，确定所述目标数据是否属于所述分类网络的开放集的数据，其中每个聚类特征是利用所述分类网络对训练集进行分类得到的与每个类别对应的所有分类特征的均值。

Description

一种判断开放集的方法、装置及其设备
技术领域
本发明涉及技术领域，特别涉及一种判断开放集的方法、装置及其设备。
背景技术
目前，属性分类已经广泛应用到医疗图像识别、物流分拣、交通监控、自动驾驶等各个领域。在分类任务的构建过程中，一般使用封闭集作为数据集，即在测试集中包含的属性分类维度，在训练集中也一定包含该属性分类维度。然而在实际应用中，在待分类的图片中经常发生训练集中从未出现的图片，这种现象便称为开放集现象。
传统分类模型对于任何输入图片，无论是否合理，都会输出其相应的属性类别，且传统分类模型对于从未训练过的图片，往往呈现出不稳定的状态，属性类别也经常是错误的。若为属性设置个未知类别，用于将开放集数据加入训练，由于开放集是难以穷举的，所以实际应用中总是会出现新的开放数据影响效果。因此如何有效地判断开放集成为目前亟需解决的技术问题。
发明内容
本发明提供一种判断开放集的方法、装置及其设备，用于根据分类网络提取的待分类数据的分类特征结合dropout得到的分类网络的不确定性，来判断待分类数据是否是开放集，能够有效解决开放集在属性分类中所引起的问题。
第一方面，本发明实施例提供的一种判断开放集的方法，包括：
通过训练好的分类网络中的卷积层对待分类的目标数据进行特征提取，获取所述目标数据的特征信息；
将所述特征信息输入到所述分类网络的至少一个全链接层以及与所述至少一个全链接层对应的至少一组随机失活dropout的全链接层，得到至少一组分类特征，其中每组dropout的全链接层是对全链接层进行N次dropout操作得到的，且不同组dropout的全链接层使用不同的全链接层得到，每组分类特征包括与全链接层对应的主分类特征以及与一组dropout的全链接层对应的N个次分类特征，所述N为大于等于2的整数；
根据所述至少一组分类特征以及各个聚类特征，确定所述目标数据是否属于所述分类网络的开放集的数据，其中每个聚类特征是利用所述分类网络对训练集进行分类得到的与每个类别对应的所有分类特征的均值。
根据分类网络提取的待分类数据的分类特征结合dropout得到的分类网络的不确定性，来判断待分类数据是否是开放集，能够有效解决开放集在属性分类中所引起的问题。
作为一种可选的实施方式，根据所述至少一组分类特征以及各个聚类特征，确定所述目标数据是否属于所述分类网络的开放集的数据，包括：
根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，确定所述目标数据是否属于所述分类网络的开放集的数据；或，
根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，以及所述每组分类特征中的N个次分类特征，确定所述目标数据是否属于所述分类网络的开放集的数据。
作为一种可选的实施方式，根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，确定所述目标数据是否属于所述分类网络的开放集的数据，包括：
从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
若所述最小距离小于第一阈值，则确定所述目标数据属于所述分类网络的闭合集的数据；
若所述最小距离大于第二阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
其中所述第二阈值大于第一阈值。
作为一种可选的实施方式，根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，以及所述每组分类特征中的N个次分类特征，确定所述目标数据是否属于所述分类网络的开放集的数据，包括：
从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
若所述最小距离大于等于第一阈值且小于等于第二阈值，则根据所述N个次分类特征确定系数；
根据所述系数和最小距离的乘积值，确定所述目标数据是否属于所述分类网络的开放集的数据。
作为一种可选的实施方式，根据所述系数和最小距离的乘积值，确定所述目标数据是否属于所述分类网络的开放集的数据，包括：
若所述乘积值大于第三阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
若所述乘积值小于等于第三阈值，则确定所述目标数据属于所述分类网络的闭合集的数据。
作为一种可选的实施方式，所述根据所述N个次分类特征确定系数，包括：
确定所述N个次分类特征的平均特征距离；
根据所述平均特征距离、预先确定的最大距离阈值和最小距离阈值确定所述系数。
作为一种可选的实施方式，通过如下方式确定所述每组dropout的全链接层：
针对所述分类网络中的任意一个全链接层，对所述全链接层进行N次dropout操作，每进行一次dropout操作，得到一个dropout的全链接层；
其中，通过如下方式对所述全链接层进行N次dropout操作：
在进行第一次dropout操作时，对所述分类网络中的所述全链接层进行dropout操作，得到dropout的全链接层；
在进行后续dropout操作时，对前一次dropout操作得到的dropout的全链接层再次进行dropout操作，得到dropout的全链接层，直至进行N次dropout操作。
第二方面，本发明实施例提供的一种判断开放集的装置，包括：
特征提取单元，用于通过训练好的分类网络中的卷积层对待分类的目标数据进行特征提取，获取所述目标数据的特征信息；
特征分类单元，用于将所述特征信息输入到所述分类网络的至少一个全链接层以及与所述至少一个全链接层对应的至少一组随机失活dropout的全链接层，得到至少一组分类特征，其中每组dropout的全链接层是对全链接层进行N次dropout操作得到的，且不同组dropout的全链接层使用不同的全链接层得到，每组分类特征包括与全链接层对应的主分类特征以及与一组dropout的全链接层对应的N个次分类特征，所述N为大于等于2的整数；
确定分类单元，用于根据所述至少一组分类特征以及各个聚类特征，确定所述目标数据是否属于所述分类网络的开放集的数据，其中每个聚类特征是利用所述分类网络对训练集进行分类得到的与每个类别对应的所有分类特征的均值。
作为一种可选的实施方式，所述确定分类单元具体用于：
根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，确定所述目标数据是否属于所述分类网络的开放集的数据；或，
根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，以及所述每组分类特征中的N个次分类特征，确定所述目标数据是否属于所述分类网络的开放集的数据。
作为一种可选的实施方式，所述确定分类单元具体用于：
从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
若所述最小距离小于第一阈值，则确定所述目标数据属于所述分类网络的闭合集的数据；
若所述最小距离大于第二阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
其中所述第二阈值大于第一阈值。
作为一种可选的实施方式，所述确定分类单元具体用于：
从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
若所述最小距离大于等于第一阈值且小于等于第二阈值，则根据所述N个次分类特征确定系数；
根据所述系数和最小距离的乘积值，确定所述目标数据是否属于所述分类网络的开放集的数据。
作为一种可选的实施方式，所述确定分类单元具体用于：
若所述乘积值大于第三阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
若所述乘积值小于等于第三阈值，则确定所述目标数据属于所述分类网络的闭合集的数据。
作为一种可选的实施方式，所述确定分类单元具体用于：
确定所述N个次分类特征的平均特征距离；
根据所述平均特征距离、预先确定的最大距离阈值和最小距离阈值确定所述系数。
作为一种可选的实施方式，所述特征分类单元具体用于通过如下方式确定所述每组dropout的全链接层：
针对所述分类网络中的任意一个全链接层，对所述全链接层进行N次dropout操作，每进行一次dropout操作，得到一个dropout的全链接层；
其中，通过如下方式对所述全链接层进行N次dropout操作：
在进行第一次dropout操作时，对所述分类网络中的所述全链接层进行dropout操作，得到dropout的全链接层；
在进行后续dropout操作时，对前一次dropout操作得到的dropout的全链接层再次进行dropout操作，得到dropout的全链接层，直至进行N次dropout操作。
第三方面，本发明实施例还提供一种判断开放集的设备，该设备包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如下步骤：
通过训练好的分类网络中的卷积层对待分类的目标数据进行特征提取，获取所述目标数据的特征信息；
将所述特征信息输入到所述分类网络的至少一个全链接层以及与所述至少一个全链接层对应的至少一组随机失活dropout的全链接层，得到至少一组分类特征，其中每组dropout的全链接层是对全链接层进行N次dropout操作得到的，且不同组dropout的全链接层使用不同的全链接层得到，每组分类特征包括与全链接层对应的主分类特征以及与一组dropout的全链接层对应的N个次分类特征，所述N为大于等于2的整数；
根据所述至少一组分类特征以及各个聚类特征，确定所述目标数据是否属于所述分类网络的开放集的数据，其中每个聚类特征是利用所述分类网络对训练集进行分类得到的与每个类别对应的所有分类特征的均值。
作为一种可选的实施方式，所述处理器具体被配置为执行：
根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，确定所述目标数据是否属于所述分类网络的开放集的数据；或，
根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，以及所述每组分类特征中的N个次分类特征，确定所述目标数据是否属于所述分类网络的开放集的数据。
作为一种可选的实施方式，所述处理器具体被配置为执行：
从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
若所述最小距离小于第一阈值，则确定所述目标数据属于所述分类网络的闭合集的数据；
若所述最小距离大于第二阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
其中所述第二阈值大于第一阈值。
作为一种可选的实施方式，所述处理器具体被配置为执行：
从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
若所述最小距离大于等于第一阈值且小于等于第二阈值，则根据所述N个次分类特征确定系数；
根据所述系数和最小距离的乘积值，确定所述目标数据是否属于所述分类网络的开放集的数据。
作为一种可选的实施方式，所述处理器具体被配置为执行：
若所述乘积值大于第三阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
若所述乘积值小于等于第三阈值，则确定所述目标数据属于所述分类网络的闭合集的数据。
作为一种可选的实施方式，所述处理器具体被配置为执行：
确定所述N个次分类特征的平均特征距离；
根据所述平均特征距离、预先确定的最大距离阈值和最小距离阈值确定所述系数。
作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述每组dropout的全链接层：
针对所述分类网络中的任意一个全链接层，对所述全链接层进行N次dropout操作，每进行一次dropout操作，得到一个dropout的全链接层；
其中，通过如下方式对所述全链接层进行N次dropout操作：
在进行第一次dropout操作时，对所述分类网络中的所述全链接层进行dropout操作，得到dropout的全链接层；
在进行后续dropout操作时，对前一次dropout操作得到的dropout的全链接层再次进行dropout操作，得到dropout的全链接层，直至进行N次dropout操作。
第四方面，本发明实施例还提供计算机存储介质，其上存储有计算机程序，该程序被处理器执行时用于实现上述第一方面所述方法的步骤。
本申请的这些方面或其他方面在以下的实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种判断开放集的方法实施流程图；
图2为本发明实施例提供的一种判断开放集的方法的具体实施流程图；
图3为本发明实施例提供的一种二维分类特征F的分布情况示意图；
图4为本发明实施例提供的一种判断开放集的装置示意图；
图5为本发明实施例提供的一种判断开放集的设备示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
目前，在分类任务的构建过程中，一般使用封闭集作为数据集，即测试集包含的属性分类维度，训练集中一定包含。然而在实际应用中，经常发生待分类的图片，训练集中从未出现的情况，即开放集现象。现实生活中的开放集，一般分为已知类别的识别和已知类别的拒绝两种。已知类别的识别，表示虽然测试图片在训练集中从未出现过，但是测试图片所属的类别已被包含在模型分类类别中；已知类别的拒绝，表示测试图片在训练集中从未出现过，且测试图片不存在模型涉及的属性类别。传统分类模型对于任何输入图片，无论是否合理，都会输出其相应的属性类别，且传统分类模型对于从未训练过的图片，往往呈现出不稳定的状态，输出的属性类别也经常是错误的。若为属性设置个未知类别，用于将开放集数据加入训练，由于开放集是难以穷举的，所以实际应用中总是会出现新的开放数据影响效果。因此，如何更好地解决、缓和开放集问题，成为属性分类任务中的一个重要方向。
实施例1、本发明实施例提出一种判断开发集的方法，根据分类网络提取的待分类数据的分类特征结合dropout得到的分类网络的不确定性，来判断待分类数据是否是开放集，能够有效解决开放集在属性分类中所引起的问题。本实例提出的dropout操作，是指在网络前向过程中，随机舍弃一定比例的神经元，仅利用剩下的神经元计算待分类数据的分类特征。dropout主要涉及网络层神经元随机断连，在分类网络训练过程中，使用dropout，对分类网络的神经元进行随机断连，避免分类网络过分依赖其中少部分神经元，导致分类网络泛化能力差。还可以利用dropout随机断连的特性，判断分类网络的不确定性。其中，不确定性，指的是分类网络的判断结果是否是确定的，即分类网络判断的结果是否可信。如果针对同一张图片，每次用分类网络测试图片时都使用随机dropout进行的多次网络前向过程(即对网络进行分类的过程)结果不一致，则认为分类网络结果不可信，分类网络结果存在不确定性。比如在分类网络中，分类网络需要对输入图片判断是苹果还是梨，如果输入一棵树的图片，对图片使用分类网络进行多次测试，每次分类网络都进行随机dropout(即每次分类网络前向过程中，网络层神经元随机断连，每次都有部分随机的神经元不参与分类网络测试)，多次测试的分类结果一部分是苹果，一部分是梨，则说明该分类网络对输入图片存在不确定性，分类网络的结果不可信。多次测试的分类结果不同，那么生成这些分类结果的分类特征之间的差异也比较大。
本实施例的核心思想是，使用已用训练集训练好的分类网络，利用训练集计算分类网络在各个类别的聚类特征(即每个类别对应的所有分类特征的均值)。通过训练好的分类网络对待分类的目标数据进行特征提取，获取其全连接层之前的特征信息。然后，对全连接层进行N次随机dropout，将提取的特征信息并行输入到1次不dropout的全连接层，和N次随机dropout后的全连接层，共获得(N+1)个分类特征(即一组分类特征)。根据一组分类特征和各个聚类特征来确定目标数据是否属于开放集。
如图1所示，本实施例提供的一种判断开放集的方法实施流程如下所示：
步骤100、通过训练好的分类网络中的卷积层对待分类的目标数据进行特征提取，获取所述目标数据的特征信息；
其中，本实施例中的卷积层位于分类网络中的全链接层之前。通常在分类网络对输入的待分类的目标数据进行分类的过程中，会先对目标数据进行特征提取，之后再利用全链接层对提取的特征进行分类，本实施例首先利用训练好的分类网络对目标数据进行特征提取，获取目标数据的特征信息。
本实施例中的训练好的分类网络是利用训练集对该分类网络进行训练得到的。
步骤101、将所述特征信息输入到所述分类网络的至少一个全链接层以及与所述至少一个全链接层对应的至少一组随机失活dropout的全链接层，得到至少一组分类特征；
其中，每个全链接层和每组dropout的全链接层是一一对应的。每组dropout的全链接层是对全链接层进行N次dropout操作得到的，且不同组dropout的全链接层使用不同的全链接层得到；
每组分类特征包括与一个全链接层对应的一个主分类特征以及与一组dropout的全链接层对应的N个次分类特征，所述N为大于等于2的整数；
实施中，每次dropout操作后，都得到一个次分类特征，N次dropout操作后，共得到N个次分类特征，即每组分类特征包括1个主分类特征+N个次分类特征。在一些示例中，通过如下方式确定所述每组dropout的全链接层：
针对所述分类网络中的任意一个全链接层，对所述全链接层进行N次dropout操作，每进行一次dropout操作，得到一个dropout的全链接层；
其中，通过如下方式对所述全链接层进行N次dropout操作：
在进行第一次dropout操作时，对所述分类网络中的所述全链接层进行dropout操作，得到dropout的全链接层；
在进行后续dropout操作时，对前一次dropout操作得到的dropout的全链接层再次进行dropout操作，得到dropout的全链接层，直至进行N次dropout操作。
步骤102、根据所述至少一组分类特征以及各个聚类特征，确定所述目标数据是否属于所述分类网络的开放集的数据；
其中，每个聚类特征是利用所述分类网络对训练集进行分类得到的与每个类别对应的所有分类特征的均值。
实施中，利用训练好的分类网络对该分类网络的训练集进行分类，即该分类网络是利用该训练集进行训练得打的，利用分类得到的各个类别下的分类特征，计算每个类别对应的聚类特征，这个聚类特征是每个类别下的所有分类特征的平均值。
在一些示例中，具体可以根据如下一种方式判断是否属于开放集的数据：
方式1、根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，确定所述目标数据是否属于所述分类网络的开放集的数据；
在一些示例中，具体判断的实施步骤如下所示：
步骤11、从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
步骤12、若所述最小距离小于第一阈值，则确定所述目标数据属于所述分类网络的闭合集的数据；
步骤13、若所述最小距离大于第二阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
其中所述第二阈值大于第一阈值。
方式2、根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，以及所述每组分类特征中的N个次分类特征，确定所述目标数据是否属于所述分类网络的开放集的数据。
在一些示例中，具体判断的实施步骤如下所示：
步骤20、从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
步骤21、若所述最小距离大于等于第一阈值且小于等于第二阈值，则根据所述N个次分类特征确定系数；
实施中，通过如下方式根据所述N个次分类特征确定系数，包括：
确定所述N个次分类特征的平均特征距离；根据所述平均特征距离、预先确定的最大距离阈值和最小距离阈值确定所述系数。其中，最大距离阈值和最小距离阈值是根据分类网络对训练集进行分类，求该训练集中所有特征的平均特征距离，根据所有的平均特征距离中预设数量个最大值和预设数量个最小值确定的。
其中，判断平均特征距离的方式可通过不同的dropout的全链接层获取的分类特征进行计算得到，如可通过公式(3)确定。
实施中，可通过如下公式(0)确定系数：
Figure BDA0003109408640000131
其中，Di表示第i个目标数据对应的平均特征，Dmin表示最小特征，Dmax表示最大特征。
步骤22、根据所述系数和最小距离的乘积值，确定所述目标数据是否属于所述分类网络的开放集的数据。
实施中，通过如下方式根据所述系数和最小距离的乘积值，确定所述目标数据是否属于所述分类网络的开放集的数据：
1)若所述乘积值大于第三阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
2)若所述乘积值小于等于第三阈值，则确定所述目标数据属于所述分类网络的闭合集的数据。
本实施例判断是否属于开放集的判断流程可总结如下：若分类特征与各个聚类特征的最小距离小于第一阈值，则判断为闭合集；若分类特征与各个聚类特征的距离大于第二阈值，则判断为开放集；若分类特征大于等于第一阈值且小于等于第二阈值，则利用网络不确定性判断方法进一步判断，即对于训练集出现过的数据，这些分类结果基本一致分布比较紧密；而对于开放集数据，这些分类结果大概率存在差异，分布比较零散。根据分类结果的分布情况，判断目标数据是否属于开放集。分类网络存在如下特性：对于分类网络训练过程中训练过的数据维度，分类网络的测试稳定性更好，经过多次随机dropout后的分类特征间的距离较小；对于分类网络训练过程中没有训练过的数据维度，分类网络测试稳定性不好，目标数据经过多次随机dropout后的分类特征间的距离较大。本实施例根据多组分类特征之间的距离平均值大小，来判断分类网络对输入图片的不确定程度，即分类网络对输入图片分类结果的可信度，从而判断目标数据属于闭合集还是开放集。
在一些示例中，本实施例确定所述目标数据是否属于所述分类网络的开放集的数据，还包括：
根据所述至少一组分类特征的聚集程度，确定所述目标数据是否属于所述分类网络的开放集的数据，其中所述聚集程度用于表征每组分类特征中各个分类特征值分布的聚集程度。
在一些示例中，本实施例根据所述至少一组分类特征的聚集程度，确定所述目标数据是否属于所述分类网络的开放集的数据，包括：
若每组分类特征的聚集程度都大于聚集阈值，则确定所述目标数据为所述闭合集的数据；
若至少一组分类特征的聚集程度小于等于聚集阈值，则确定所述目标数据为所述开放集的数据。
在一些示例中，通过如下方式确定每组分类特征的聚集程度：
将每组分类特征输入到预先构建的分类器中，以得到与所述每组分类特征对应的聚集程度。
在一些示例中，如图2所示，以目标数据为图片i，对分类网络中的一个全链接层进行dropout为例，对本实施例提出的一种判断开放集的方法的实施流程进行如下说明：
步骤200、利用训练集对分类网络进行训练得到训练好的分类网络；
步骤201、利用训练好的分类网络对训练集进行分类得到每个类别的聚类特征；
其中，利用训练好的分类网络对训练集进行分类得到与每个类别对应的所有分类特征，对每个类别下的所有分类特征求取特征均值，将该特征均值作为聚类特征，用于表征该类别的聚类中心。
实施中，可以通过如下公式(1)确定每个类别的聚类特征：
Figure BDA0003109408640000141
其中，Fcj表示类别为Cj时的聚类特征，
Figure BDA0003109408640000151
表示类别为Cj的第i个分类特征，
Figure BDA0003109408640000152
表示训练集中类别为Cj的所有分类特征的总数量。
步骤202、将图片i输入到训练好的分类网络中，利用该分类网络中全链接层之前的所有卷积层对该图片i进行特征提取，得到特征信息i；
步骤203、对该分类网络的全链接层进行N次dropout操作，得到N个dropout的全链接层；
步骤204、将该图片i的特征信息i输入到全链接层得到主分类特征Fi，同时输入到N个dropout的全链接层，得到N个次分类特征
Figure BDA0003109408640000153
其中，n大于1且小于N。
步骤205、计算主分类特征和每个类别的聚类特征之间的距离，从该距离中确定出最小距离；
实施中，可通过如下公式(2)计算距离：
Figure BDA0003109408640000154
其中，公式(2)中，
Figure BDA0003109408640000155
表示类别Cj的第i个分类特征
Figure BDA0003109408640000156
与类别Cj的聚类特征Fcj之间的距离。公式sqrt(||*||2)表示平方和的平方根。为了计算主分类特征和聚类特征之间的距离，可以将主分类特征代入公式(2)中的
Figure BDA0003109408640000157
步骤206、判断最小距离是否小于第一阈值，若是则执行步骤207，否则执行步骤208；
步骤207、确定图片i属于分类网络的闭合集；
步骤208、判断最小距离是否大于第二阈值，若是执行步骤209，否则执行步骤210；
步骤209、确定图片i属于分类网络的开放集；
将训练集中各个类别的所有数据，经过分类网络获得的特征
Figure BDA0003109408640000158
计算均值，获取各个类别的聚类特征Fcj，计算聚类特征的公式如公式(1)所示。然后将训练集中的所有数据对应的特征，与其对应类别的聚类特征，计算特征距离，取所有特征距离中最大的10％，计算特征平均距离，作为特征距离阈值即第三阈值Lthresh。其中特征距离的计算公式(2)所示。若待测试图片i经过分类网络后获得的特征Fi与所有聚类特征的最小距离L小于0.8*Lthresh，则表示图片i属于闭合集，输出相应分类结果；若L大于1.2*Lthresh，则表示图片i属于开放集，输出分类结果为未知；若L介于0.8*Lthresh和1.2*Lthresh之间，则根据如下步骤继续判断。
步骤210、根据N个次分类特征确定系数，确定该系数和最小距离的乘积值；
实施中，通过如下方式确定系数：
确定所述N个次分类特征的平均特征距离；其中确定平均特征距离的方法如公式(3)所示：
Figure BDA0003109408640000161
公式(3)中
Figure BDA0003109408640000162
表示图片i第ni次随机dropout获得的特征；
Figure BDA0003109408640000163
表示图片i第nj次随机dropout获得的特征；Di表示平均特征距离。
根据所述平均特征距离、预先确定的最大距离阈值和最小距离阈值确定所述系数。
实施中，通过如下公式(4)确定系数：
Figure BDA0003109408640000164
公式(4)中，Dmin和Dmax分别表示最小距离阈值和最大距离阈值。其中，通过如下方式获取：利用公式(3)计算获得所有训练集的平均特征距离D，将该平均特征距离中值最大的10％，取平均值生成最大距离阈值Dmax；同样，将该平均特征距离中值最小的10％取平均值生成最小距离阈值Dmin。
待测试图片i测试N次，每次网络都进行随机dropout，则生成N个不同的特征F，若待测试图片属于闭合集数据，则针对N个特征F计算获得的平均特征距离Di较小，
Figure BDA0003109408640000171
小于1，
Figure BDA0003109408640000172
的值小于Lthresh；若待测试图片属于开放集数据，则计算得到的平均特征距离Di较大，则
Figure BDA0003109408640000173
大于1，
Figure BDA0003109408640000174
的值会大于Lthresh。图3示出了二维分类特征F的分布情况。由图3可知，闭合集数据(包括位于左上部分的十字形状的数据和位于右下部分的十字形状数据)的特征分布更密集，开放集数据(圆点形状的数据)的特征分布更零散。
步骤211、判断该乘积值是否大于第三阈值，若是则执行步骤212，否则执行步骤213；
步骤212、确定图片i属于分类网络的开放集；
步骤213、确定图片i属于分类网络的闭合集。
在一些示例中，可有第一阈值＝第三阈值*0.8，第二阈值＝第三阈值*1.2，第三阈值Lthresh表示判断是闭合集还是开放集的特征距离阈值。第三阈值大于第一阈值且小于第二阈值。若设置L＜Lthresh时为闭合集，L＞＝Lthresh时为开放集，当L值接近Lthresh值时，容易发生闭合集和开放集误判。因此在上述流程图中，对0.8*Lthresh到1.2*Lthresh之间的L值，利用多次dropout获取多个特征，计算多个特征之间的距离平均值进行进一步判断。本实施例考虑到分类网络在不同数据上的确定性差异，通过特征距离结合网络不确定性来判断是否开放集。并且还可以针对特征距离位于阈值附近的临界态问题，进行进一步分析，使得分析结果更准确。
实施例2、基于相同的发明构思，本发明实施例还提供了一种判断开放集的装置，由于该装置即是本发明实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
如图4所示，该装置包括：
特征提取单元400，用于通过训练好的分类网络中的卷积层对待分类的目标数据进行特征提取，获取所述目标数据的特征信息；
特征分类单元401，用于将所述特征信息输入到所述分类网络的至少一个全链接层以及与所述至少一个全链接层对应的至少一组随机失活dropout的全链接层，得到至少一组分类特征，其中每组dropout的全链接层是对全链接层进行N次dropout操作得到的，且不同组dropout的全链接层使用不同的全链接层得到，每组分类特征包括与全链接层对应的主分类特征以及与一组dropout的全链接层对应的N个次分类特征，所述N为大于等于2的整数；
确定分类单元402，用于根据所述至少一组分类特征以及各个聚类特征，确定所述目标数据是否属于所述分类网络的开放集的数据，其中每个聚类特征是利用所述分类网络对训练集进行分类得到的与每个类别对应的所有分类特征的均值。
作为一种可选的实施方式，所述确定分类单元具体用于：
根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，确定所述目标数据是否属于所述分类网络的开放集的数据；或，
根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，以及所述每组分类特征中的N个次分类特征，确定所述目标数据是否属于所述分类网络的开放集的数据。
作为一种可选的实施方式，所述确定分类单元具体用于：
从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
若所述最小距离小于第一阈值，则确定所述目标数据属于所述分类网络的闭合集的数据；
若所述最小距离大于第二阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
其中所述第二阈值大于第一阈值。
作为一种可选的实施方式，所述确定分类单元具体用于：
从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
若所述最小距离大于等于第一阈值且小于等于第二阈值，则根据所述N个次分类特征确定系数；
根据所述系数和最小距离的乘积值，确定所述目标数据是否属于所述分类网络的开放集的数据。
作为一种可选的实施方式，所述确定分类单元具体用于：
若所述乘积值大于第三阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
若所述乘积值小于等于第三阈值，则确定所述目标数据属于所述分类网络的闭合集的数据。
作为一种可选的实施方式，所述确定分类单元具体用于：
确定所述N个次分类特征的平均特征距离；
根据所述平均特征距离、预先确定的最大距离阈值和最小距离阈值确定所述系数。
作为一种可选的实施方式，所述特征分类单元具体用于通过如下方式确定所述每组dropout的全链接层：
针对所述分类网络中的任意一个全链接层，对所述全链接层进行N次dropout操作，每进行一次dropout操作，得到一个dropout的全链接层；
其中，通过如下方式对所述全链接层进行N次dropout操作：
在进行第一次dropout操作时，对所述分类网络中的所述全链接层进行dropout操作，得到dropout的全链接层；
在进行后续dropout操作时，对前一次dropout操作得到的dropout的全链接层再次进行dropout操作，得到dropout的全链接层，直至进行N次dropout操作。
实施例3、基于相同的发明构思，本发明实施例还提供了一种判断开放集的设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
如图5所示，该设备包括处理器500和存储器501，所述存储器501用于存储所述处理器500可执行的程序，所述处理器500用于读取所述存储器中的程序并执行如下步骤：
通过训练好的分类网络中的卷积层对待分类的目标数据进行特征提取，获取所述目标数据的特征信息；
将所述特征信息输入到所述分类网络的至少一个全链接层以及与所述至少一个全链接层对应的至少一组随机失活dropout的全链接层，得到至少一组分类特征，其中每组dropout的全链接层是对全链接层进行N次dropout操作得到的，且不同组dropout的全链接层使用不同的全链接层得到，每组分类特征包括与全链接层对应的主分类特征以及与一组dropout的全链接层对应的N个次分类特征，所述N为大于等于2的整数；
根据所述至少一组分类特征以及各个聚类特征，确定所述目标数据是否属于所述分类网络的开放集的数据，其中每个聚类特征是利用所述分类网络对训练集进行分类得到的与每个类别对应的所有分类特征的均值。
作为一种可选的实施方式，所述处理器具体被配置为执行：
根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，确定所述目标数据是否属于所述分类网络的开放集的数据；或，
根据每组分类特征中的主分类特征与所述各个聚类特征之间的距离，以及所述每组分类特征中的N个次分类特征，确定所述目标数据是否属于所述分类网络的开放集的数据。
作为一种可选的实施方式，所述处理器具体被配置为执行：
从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
若所述最小距离小于第一阈值，则确定所述目标数据属于所述分类网络的闭合集的数据；
若所述最小距离大于第二阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
其中所述第二阈值大于第一阈值。
作为一种可选的实施方式，所述处理器具体被配置为执行：
从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；
若所述最小距离大于等于第一阈值且小于等于第二阈值，则根据所述N个次分类特征确定系数；
根据所述系数和最小距离的乘积值，确定所述目标数据是否属于所述分类网络的开放集的数据。
作为一种可选的实施方式，所述处理器具体被配置为执行：
若所述乘积值大于第三阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
若所述乘积值小于等于第三阈值，则确定所述目标数据属于所述分类网络的闭合集的数据。
作为一种可选的实施方式，所述处理器具体被配置为执行：
确定所述N个次分类特征的平均特征距离；
根据所述平均特征距离、预先确定的最大距离阈值和最小距离阈值确定所述系数。
作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述每组dropout的全链接层：
针对所述分类网络中的任意一个全链接层，对所述全链接层进行N次dropout操作，每进行一次dropout操作，得到一个dropout的全链接层；
其中，通过如下方式对所述全链接层进行N次dropout操作：
在进行第一次dropout操作时，对所述分类网络中的所述全链接层进行dropout操作，得到dropout的全链接层；
在进行后续dropout操作时，对前一次dropout操作得到的dropout的全链接层再次进行dropout操作，得到dropout的全链接层，直至进行N次dropout操作。
基于相同的发明构思，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：
通过训练好的分类网络中的卷积层对待分类的目标数据进行特征提取，获取所述目标数据的特征信息；
将所述特征信息输入到所述分类网络的至少一个全链接层以及与所述至少一个全链接层对应的至少一组随机失活dropout的全链接层，得到至少一组分类特征，其中每组dropout的全链接层是对全链接层进行N次dropout操作得到的，且不同组dropout的全链接层使用不同的全链接层得到，每组分类特征包括与全链接层对应的主分类特征以及与一组dropout的全链接层对应的N个次分类特征，所述N为大于等于2的整数；
根据所述至少一组分类特征以及各个聚类特征，确定所述目标数据是否属于所述分类网络的开放集的数据，其中每个聚类特征是利用所述分类网络对训练集进行分类得到的与每个类别对应的所有分类特征的均值。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种判断开放集的方法，其特征在于，该方法包括：
通过训练好的分类网络中的卷积层对待分类的目标数据进行特征提取，获取所述目标数据的特征信息；
将所述特征信息输入到所述分类网络的至少一个全链接层以及与所述至少一个全链接层对应的至少一组随机失活dropout的全链接层，得到至少一组分类特征，其中每组dropout的全链接层是对全链接层进行N次dropout操作得到的，且不同组dropout的全链接层使用不同的全链接层得到，每组分类特征包括与全链接层对应的主分类特征以及与一组dropout的全链接层对应的N个次分类特征，所述N为大于等于2的整数；
从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；若所述最小距离大于等于第一阈值且小于等于第二阈值，则根据所述N个次分类特征确定系数；根据所述系数和最小距离的乘积值，确定所述目标数据是否属于所述分类网络的开放集的数据；
其中每个聚类特征是利用所述分类网络对训练集进行分类得到的与每个类别对应的所有分类特征的均值。
2.根据权利要求1所述的方法，其特征在于，根据所述系数和最小距离的乘积值，确定所述目标数据是否属于所述分类网络的开放集的数据，包括：
若所述乘积值大于第三阈值，则确定所述目标数据属于所述分类网络的开放集的数据；
若所述乘积值小于等于第三阈值，则确定所述目标数据属于所述分类网络的闭合集的数据。
3.根据权利要求1所述的方法，其特征在于，所述根据所述N个次分类特征确定系数，包括：
确定所述N个次分类特征的平均特征距离；
根据所述平均特征距离、预先确定的最大距离阈值和最小距离阈值确定所述系数。
4.根据权利要求1～3任一所述的方法，其特征在于，通过如下方式确定所述每组dropout的全链接层：
针对所述分类网络中的任意一个全链接层，对所述全链接层进行N次dropout操作，每进行一次dropout操作，得到一个dropout的全链接层；
其中，通过如下方式对所述全链接层进行N次dropout操作：
在进行第一次dropout操作时，对所述分类网络中的所述全链接层进行dropout操作，得到dropout的全链接层；
在进行后续dropout操作时，对前一次dropout操作得到的dropout的全链接层再次进行dropout操作，得到dropout的全链接层，直至进行N次dropout操作。
5.一种判断开放集的装置，其特征在于，包括：
特征提取单元，用于通过训练好的分类网络中的卷积层对待分类的目标数据进行特征提取，获取所述目标数据的特征信息；
特征分类单元，用于将所述特征信息输入到所述分类网络的至少一个全链接层以及与所述至少一个全链接层对应的至少一组随机失活dropout的全链接层，得到至少一组分类特征，其中每组dropout的全链接层是对全链接层进行N次dropout操作得到的，且不同组dropout的全链接层使用不同的全链接层得到，每组分类特征包括与全链接层对应的主分类特征以及与一组dropout的全链接层对应的N个次分类特征，所述N为大于等于2的整数；
确定分类单元，用于从所述主分类特征与各个聚类特征之间的距离中，确定最小距离；若所述最小距离大于等于第一阈值且小于等于第二阈值，则根据所述N个次分类特征确定系数；根据所述系数和最小距离的乘积值，确定所述目标数据是否属于所述分类网络的开放集的数据，其中每个聚类特征是利用所述分类网络对训练集进行分类得到的与每个类别对应的所有分类特征的均值。
6.一种判断开放集的设备，其特征在于，该设备包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行权利要求1～4任一所述方法的步骤。
7.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～4任一所述方法的步骤。
CN202110645563.6A 2021-06-10 2021-06-10 一种判断开放集的方法、装置及其设备 Active CN113435482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110645563.6A CN113435482B (zh) 2021-06-10 2021-06-10 一种判断开放集的方法、装置及其设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110645563.6A CN113435482B (zh) 2021-06-10 2021-06-10 一种判断开放集的方法、装置及其设备

Publications (2)

Publication Number Publication Date
CN113435482A CN113435482A (zh) 2021-09-24
CN113435482B true CN113435482B (zh) 2022-08-26

Family

ID=77755509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110645563.6A Active CN113435482B (zh) 2021-06-10 2021-06-10 一种判断开放集的方法、装置及其设备

Country Status (1)

Country Link
CN (1) CN113435482B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837154B (zh) * 2021-11-25 2022-03-25 之江实验室 一种基于多任务辅助的开放集过滤系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472276A (zh) * 2017-09-08 2019-03-15 富士通株式会社 模式识别模型的构建方法和装置及模式识别方法
CN109934269B (zh) * 2019-02-25 2023-06-06 中国电子科技集团公司第三十六研究所 一种电磁信号的开集识别方法和装置
CN110909760B (zh) * 2019-10-12 2021-03-16 中国人民解放军国防科技大学 一种基于卷积神经网络的图像开放集识别方法
CN112735435A (zh) * 2020-12-25 2021-04-30 西南电子技术研究所（中国电子科技集团公司第十研究所） 具备未知类别内部划分能力的声纹开集识别方法

Also Published As

Publication number Publication date
CN113435482A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
US11176418B2 (en) Model test methods and apparatuses
CN104679818B (zh) 一种视频关键帧提取方法及系统
Duggal et al. Prediction of thyroid disorders using advanced machine learning techniques
Sinha et al. Class-wise difficulty-balanced loss for solving class-imbalance
CN110111113B (zh) 一种异常交易节点的检测方法及装置
CN111783505A (zh) 伪造人脸的识别方法、装置和计算机可读存储介质
CN109800781A (zh) 一种图像处理方法、装置及计算机可读存储介质
CN112685324B (zh) 一种生成测试方案的方法及系统
CN107067022B (zh) 图像分类模型的建立方法、建立装置和设备
CN110458600A (zh) 画像模型训练方法、装置、计算机设备及存储介质
CN113435482B (zh) 一种判断开放集的方法、装置及其设备
CN113541985B (zh) 物联网故障诊断方法、模型的训练方法及相关装置
CN114783021A (zh) 一种口罩佩戴智能检测方法、装置、设备及介质
CN115344805A (zh) 素材审核方法、计算设备及存储介质
CN106650782B (zh) 用于评价图像信号处理器中实施的分类器的系统和方法
CN110008972A (zh) 用于数据增强的方法和装置
CN112766320B (zh) 一种分类模型训练方法及计算机设备
CN113918471A (zh) 测试用例的处理方法、装置及计算机可读存储介质
CN111209567B (zh) 提高检测模型鲁棒性的可知性判断方法及装置
CN114330650A (zh) 基于进化元学习模型训练的小样本特征分析方法及装置
CN107403199A (zh) 数据处理方法和装置
CN112541469A (zh) 基于自适应分类的人群计数方法及系统
CN111274894A (zh) 一种基于改进YOLOv3的人员在岗状态检测方法
Konate et al. A comparison of saliency methods for deep learning explainability
Alampay et al. Autocalibration of Outlier Threshold with Autoencoder Mean Probability Score

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant