CN114648683B - 基于不确定性分析的神经网络性能提升方法和设备 - Google Patents

基于不确定性分析的神经网络性能提升方法和设备 Download PDF

Info

Publication number
CN114648683B
CN114648683B CN202210559271.5A CN202210559271A CN114648683B CN 114648683 B CN114648683 B CN 114648683B CN 202210559271 A CN202210559271 A CN 202210559271A CN 114648683 B CN114648683 B CN 114648683B
Authority
CN
China
Prior art keywords
network
picture
networks
semantic segmentation
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210559271.5A
Other languages
English (en)
Other versions
CN114648683A (zh
Inventor
徐显杰
包永亮
窦汝振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suoto Hangzhou Automotive Intelligent Equipment Co Ltd
Tianjin Soterea Automotive Technology Co Ltd
Original Assignee
Suoto Hangzhou Automotive Intelligent Equipment Co Ltd
Tianjin Soterea Automotive Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suoto Hangzhou Automotive Intelligent Equipment Co Ltd, Tianjin Soterea Automotive Technology Co Ltd filed Critical Suoto Hangzhou Automotive Intelligent Equipment Co Ltd
Priority to CN202210559271.5A priority Critical patent/CN114648683B/zh
Publication of CN114648683A publication Critical patent/CN114648683A/zh
Application granted granted Critical
Publication of CN114648683B publication Critical patent/CN114648683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于不确定性分析的神经网络性能提升方法和设备，涉及深度学习技术领域。其中，方法包括：采用测试集中的图片对多个目标识别网络分别进行测试，得到多个目标识别网络的识别结果，根据每个目标识别网络输出的每张图片上每个对象的置信度，生成二项分布；根据所述二项分布计算多个目标识别网络之间识别到同类对象总数的熵和方差，所述熵和方差作为所述目标识别网络的不确定性指标；根据所述熵和方差确定缺失的对象属性，并将包括所述缺失的对象属性的图片添加到训练集，用以训练所述目标识别网络。本发明通过科学合理的不确定性度量发现目前训练集/测试集中缺失的对象属性，从而提高网络性能。

Description

基于不确定性分析的神经网络性能提升方法和设备
技术领域
本发明实施例涉及深度学习技术，尤其涉及一种基于不确定性分析的神经网络性能提升方法和设备。
背景技术
神经网络已经被证明为处理非结构化数据的最佳机器学习模型，它们非常适合学习特征的层次结构，例如目标识别网络和语义分割网络；
用于测试网络性能的典型现有解决方案着眼于高水平的性能指标，例如，准确率、误检率和精确率等。现有的这些性能指标关注网络的性能评价，以评估该网络是否满足使用要求，并没有为如何改进网络提供依据，也没有给出网络性能提升的方法。
发明内容
本发明提供一种基于不确定性分析的神经网络性能提升方法和设备，以通过科学合理的不确定性度量发现目前训练集/测试集中缺失的对象属性，从而提高网络性能。
第一方面，本发明提供了一种基于不确定性分析的神经网络性能提升方法，包括：
采用测试集中的图片对多个目标识别网络分别进行测试，得到多个目标识别网络的识别结果，所述识别结果包括每张图片上对象的类别和置信度；
根据每个目标识别网络输出的每张图片上每个对象的置信度，生成二项分布；
根据所述二项分布计算多个目标识别网络之间识别到同类对象总数的熵和方差，所述熵和方差作为所述目标识别网络的不确定性指标；
根据所述熵和方差确定缺失的对象属性，并将包括所述缺失的对象属性的图片添加到训练集，用以训练所述目标识别网络。
第二方面，本发明提供了一种基于不确定性分析的神经网络性能提升方法，包括：
采用训练集中的图片对多个目标识别网络分别进行训练，得到多个目标识别网络的识别结果，所述识别结果包括每张图片上对象的类别、位置和尺寸；所述图片标注有对象的类别、位置和尺寸；
计算每个目标识别网络输出的每张图片上同一个对象的标注与识别结果的交并比，并计算所述交并比的统计学特征；所述统计学特征作为所述目标识别网络的不确定性指标；
根据所述统计学特征确定缺失的对象属性，并将包括所述缺失的对象属性的图片添加到训练集，用以训练所述目标识别网络。
第三方面，本发明提供了一种基于不确定性分析的神经网络性能提升方法，包括：
采用测试集中的图片对多个语义分割网络分别进行测试，得到多个语义分割网络的分割结果，所述分割结果包括每张图片上各像素的类别；
计算多个语义分割网络输出的同张图片上同类像素的统计学特征；所述统计学特征作为所述语义分割网络的不确定性指标；
根据所述统计学特征确定缺失的对象属性，并将包括所述缺失的对象属性的图片添加到训练集，用以训练所述语义分割网络。
第四方面，本发明提供了一种基于不确定性分析的神经网络性能提升方法，包括：
采用训练集中的图片对多个语义分割网络分别进行训练，得到多个语义分割网络的分割结果，所述分割结果包括每张图片上各像素的类别；所述图片标注有各像素的类别；从同类别的第一联通像素集合中划分出多个相离的子集，每个子集标注有属性信息；
在每个语义分割网络的分割结果中确定与每个子集分别匹配的第二联通像素集合；
计算所述每个子集与相匹配的第二联通像素集合的交并比，并计算所述交并比的统计学特征；所述统计学特征作为所述语义分割网络的不确定性指标；
根据所述交并比的统计学特征确定缺失的对象属性，并将包括所述缺失的对象属性的图片添加到训练集，用以训练所述语义分割网络。
第五方面，本发明还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的基于不确定性分析的神经网络性能提升方法。
本发明通过在测试或者训练过程中，对目标识别网络或语义分割网络的输出进行汇总、运算，得到网络的不确定性指标；进而通过不确定性指标确定缺失的对象属性，进一步将包括缺失的对象属性的图片添加到训练集，用以训练网络，从而提高网络性能。可见，本发明中的不确定指标能够为网络的改进提供依据，也提供了网络性能提升的方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于不确定性分析的神经网络性能提升方法的流程图；
图2是本发明实施例提供的另一种基于不确定性分析的神经网络性能提升方法的流程图；
图3是本发明实施例提供的交并比的映射示意图；
图4是本发明实施例提供的又一种基于不确定性分析的神经网络性能提升方法的流程图；
图5是本发明实施例提供的再一种基于不确定性分析的神经网络性能提升方法的流程图；
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例一
本发明实施例提供一种基于不确定性分析的神经网络性能提升方法，其流程图如图1所示，可适用于通过测试集提升目标识别网络性能的情况。本实施例由电子设备执行。本实施例提供的方法包括以下步骤：
S110、采用测试集中的图片对多个目标识别网络分别进行测试，得到多个目标识别网络的识别结果。
测试集包括多张图片，每张图片包括至少一种对象，本实施例不限定对象的类别，可以是人、物等。将每张图片分别输入至每个目标识别网络中，目标识别网络为深度神经网络，本实施例不限定深度神经网络的种类，例如SSD，Fast-CNN等。
目标识别网络对输入的图片进行特征提取和分类等处理，输出识别到的对象的类别和置信度。可选的，还可以输出对象的检测框，包括检测框的位置、宽和高等属性。
S120、根据每个目标识别网络输出的每张图片上每个对象的置信度，生成二项分布。
对于每种类别都有一组识别结果和一组置信度，将置信度看做表示真实性概率，应该被计数。由此，采用下式生成二项分布：
Figure 731180DEST_PATH_IMAGE001
Figure 672591DEST_PATH_IMAGE002
其中，X 0 是是否识别到第0个对象（即背景）的指示器，
Figure 254882DEST_PATH_IMAGE003
依次为第i张图片上，第N个对象被第j个目标识别网络识别为第c类的置信度；N ijc 为第i张图片上，第N个对象被第j个目标识别网络识别为第c类的指示标识；B是二项分布；
Figure 399687DEST_PATH_IMAGE004
表示 N ijc 的置信度二值化结果。
S130、根据所述二项分布计算多个目标识别网络之间识别到同类对象总数的熵和方差；熵和方差作为所述目标识别网络的不确定性指标。
基于多个目标识别网络的输出，可以定义两个基于熵和方差的不确定性指标：1）对于熵，只考虑有多少类别的对象总数是不同的，而不关注差异大小。2）方差度量了对象总数大小与平均值的偏差。
可选的，图片的数量为多张，根据所述二项分布计算多个目标识别网络之间对每张图片识别到同类对象总数的熵和方差；将对每张图片识别到同类对象总数的熵和方差分别进行平均，得到多个目标识别网络之间识别到同类对象总数的平均熵和平均方差。具体参见下式：
Figure 92836DEST_PATH_IMAGE005
Figure 623175DEST_PATH_IMAGE006
Figure 173105DEST_PATH_IMAGE007
其中，a是对象数量的序号，j为目标识别网络的编号，
Figure 507003DEST_PATH_IMAGE008
为基于二项分布，第j个目标识别网络对第i张图片上识别到第c类对象的总数；
Figure 3844DEST_PATH_IMAGE009
为基于二项分布，多个目标识别网络对第i张图片上识别到第c类对象总数的平均值，b为图片数量，H MC (·)为基于蒙特卡洛的熵计算，sMC (·)为基于蒙特卡洛的方差计算。
Figure 451005DEST_PATH_IMAGE010
为平均熵，
Figure 109520DEST_PATH_IMAGE011
为平均方差。
Figure 478184DEST_PATH_IMAGE012
的计算方法为，令i和c为常量，对多个目标识别网络识别到N ijc 目标的数量进行累加得到总数，再除以目标识别网络的个数，得到该平均值。
S140、根据所述熵和方差确定缺失的对象属性，并将包括所述缺失的对象属性的图片添加到训练集，用以训练所述目标识别网络。
对于每个对象，每个网络将输出一个置信度。这个置信度可以解释为对象是真实的概率。为了在测量中捕捉这种不确定性，我们将每个对象的存在视为一个随机变量。然后通过测试一些图片，更高的置信度将导致更频繁地将对象标记为存在，这将导致更低的方差和熵。因此，将方差和熵尽量地降下来有利于提高置信度，从而提高网络的确定性。
可选的，确定大于设定阈值的熵或者大于设定阈值的方差所对应的对象类别作为所述缺失的对象属性，从而弥补训练集的不足。后续再用完善的训练集重新训练目标识别网络，从而提高识别所缺失对象类别时的置信度。可选的，缺失的对象属性的图片可以从测试集中获取，也可以另外生成。设定阈值可以人为根据性能提升情况确定。
本实施例中，在测试过程中，对多个目标识别网络的输出进行汇总、运算，得到网络的不确定性指标：熵和方差；进而通过不确定性指标确定缺失的对象属性，进一步将包括缺失的对象属性的图片添加到训练集，用以训练网络，从而提高网络性能。可见，本发明中的不确定指标能够为网络的改进提供依据，也提供了网络性能提升的方法。
实施例二
本发明实施例提供一种基于不确定性分析的神经网络性能提升方法，其流程图如图2所示，可适用于通过训练集提升目标识别网络性能的情况。本实施例由电子设备执行。本实施例提供的方法包括以下步骤：
S210、采用训练集中的图片对多个目标识别网络分别进行训练，得到多个目标识别网络的识别结果。
训练集包括多张图片，每张图片包括至少一种对象，本实施例不限定对象的类别，可以是人、物等。将每张图片分别输入至每个目标识别网络中，目标识别网络为深度神经网络，本实施例不限定深度神经网络的种类，例如SSD，Fast-CNN等。
目标识别网络对输入的图片进行特征提取和分类等处理，输出识别到的对象的类别、位置和尺寸。不同于测试集，训练集中的图片标注有对象的类别、位置和尺寸。需要说明的是，位置和尺寸为对象所在检测框的位置、宽和高等属性。
S220、计算每个目标识别网络输出的每张图片上同一个对象的标注与识别结果的交并比，并计算所述交并比的统计学特征；所述统计学特征作为所述目标识别网络的不确定性指标。
标注与识别结果的交并比（IOU）为标注的检测框与识别的检测框的交集与并集之比，交并比越大，表示识别越准确。采用下式计算交并比：
Figure 998290DEST_PATH_IMAGE013
其中，I ijk 为第j个目标识别网络对第i张图片上识别到第k个对象检测框的交并比，y ijk 为标注的检测框的属性，
Figure 768799DEST_PATH_IMAGE014
为识别的检测框的属性。
交并比的统计学特征为对交并比进行数学统计得到的数值。本实施例不限定数学统计方法。
S230、根据所述统计学特征确定缺失的对象属性，并将包括所述缺失的对象属性的图片添加到训练集，用以训练所述目标识别网络。
当计算得到不同的统计学特征时，缺失对象属性的确定方法也不同。下面提供几种优选实施方式：
第一种优选实施方式：计算所述交并比的统计学特征包括：计算同张图片上同一个对象的标注与识别结果的交并比，在多个目标识别网络之间的方差；相应的，根据所述统计学特征确定缺失的对象属性包括：确定大于设定阈值的方差所对应的对象类别作为所述缺失的对象属性。
采用下式计算方差：
Figure 598215DEST_PATH_IMAGE015
其中，
Figure 250913DEST_PATH_IMAGE016
为l组目标识别网络之间的方差，
Figure 89556DEST_PATH_IMAGE017
为l组目标识别网络中每个网络在第i张图片上识别到第k个对象检测框的交并比。
方差越大说明交并比在不同网络中越分散，则该方差对应的对象类别包含更多的信息，没有被目标识别网络所捕捉，由此，可以将较大的方差所对应的对象类别作为所述缺失的对象属性。其中，设定阈值可以人为根据性能提升情况确定。
第二种优选实施方式：计算所述交并比的统计学特征包括：将对象类别按照交并比从大到小进行排序；相应的，根据所述统计学特征确定缺失的对象属性包括：将排序在后的设定数量个交并比所对应的对象类别作为所述缺失的对象属性。
在排序时，可以针对一目标识别网络输出的所有图片上的各类别，从而后续仅针对该目标识别网络进行训练；也可以针对多个目标识别网络输出的所有图片上的各类别，从而后续针对多个目标识别网络进行训练。当一个类别出现在多个检测框中（即存在多个不同位置的同类别对象）时，可以计算多个检测框的交并比的平均值。
其中，设定数量可以人为根据性能提升情况确定。
第三种优选实施方式：计算所述交并比的统计学特征包括：将同一目标识别网络输出的每张图片上同一个对象的标注与识别结果的交并比，按照标注的对象检测框的位置映射到对应的像素点上；如果一像素点映射了至少两个交并比则对映射的交并比进行平均；相应的，根据所述统计学特征确定缺失的对象属性包括：根据映射的分布情况和像素点上交并比的大小，确定缺失的对象位置。
在本实施方式中，预先设置与图片尺寸相同的二维空白图片，包括多个像素点。确定标注的对象检测框的位置所覆盖的像素点，并在这些像素点上赋值该对象检测框的交并比。如果图片之间，标注的同类对象检测框出现重叠，则会出现同一像素点上映射了至少两个交并比，则计算它们的平均值。那么，映射的分布情况表示对象的分布，交并比的大小表示对象识别的准确性。
图3是本发明实施例提供的交并比的映射示意图。横轴为图片的长，纵轴为图片的宽，用灰度表示映射的像素点，灰度越深表示交并比越大。从图3能够看出，对象主要分布在中部，左下和右上位置的对象缺失，需要补充到训练集中。上部（即远方）的对象检测框的交并比偏大，则对远方对象的识别准确性低，则将包括远方对象的图片补充到训练集中。
第四种优选实施方式：计算所述交并比的统计学特征包括：将同一目标识别网络输出的每张图片上同一个对象的标注与识别结果的交并比，按照对象的面积进行统计；相应的，根据所述统计学特征确定缺失的对象属性包括：根据不同面积对应的交并比的大小，确定缺失的对象面积。
具体的，对于一面积，确定与该面积一致的所有对象，进而统计前述所有对象的检测框的交并比的平均值。这样可以得到不同面积的交并比。按照交并比的大小对不同面积进行排序，可以得到交并比大于设定阈值的面积，作为缺失的对象面积，则将包括该面积的对象的图片补充到训练集中。其中，设定阈值可以人为根据性能提升情况确定。
在一些实施方式中，交并比的统计学特征还可以筛选目标识别网络。例如，对于某类对象，选择具有最高交并比的目标识别网络。
本实施例通过在训练过程中，对目标识别网络的输出进行汇总、运算，得到网络的不确定性指标：交并比的统计学特征；进而通过不确定性指标确定缺失的对象属性，进一步将包括缺失的对象属性的图片添加到训练集，用以训练网络，从而提高网络性能。可见，本发明中的不确定指标能够为网络的改进提供依据，也提供了网络性能提升的方法。
实施例三
本发明实施例提供一种基于不确定性分析的神经网络性能提升方法，其流程图如图4所示，可适用于通过测试集提升语义分割网络性能的情况。本实施例由电子设备执行。本实施例提供的方法包括以下步骤：
S310、采用测试集中的图片对多个语义分割网络分别进行测试，得到多个语义分割网络的分割结果。
测试集包括多张图片，每张图片包括至少一种对象，本实施例不限定对象的类别，可以是人、物等。将每张图片分别输入至每个语义分割网络中，语义分割网络为深度神经网络，本实施例不限定深度神经网络的种类。
语义分割网络对输入的图片进行特征提取和分割等处理，输出每张图片上各像素的类别。具体的，输出由数组d1×d2×c构成，d1和d2是图片的宽和高，c是类别。语义分割网络的输出公式如下：
Figure 698261DEST_PATH_IMAGE018
其中，
Figure 698578DEST_PATH_IMAGE019
表示第j个语义分割网络对第i张图片进行分割得到的数组。
S320、计算多个语义分割网络输出的同张图片上同类像素的统计学特征；统计学特征作为所述语义分割网络的不确定性指标。
多个语义分割网络输出的同张图片上同类像素的统计学特征为对同张图片上同类像素数量或像素本身进行数学统计得到的数值。本实施例不限定数学统计方法。
基于多个语义分割网络的输出，定义以下三种不确定性指标。本实施例采用这三种不确定性指标中的至少一种。
1）计算多个语义分割网络输出的同张图片上同类像素的平均值；2）计算多个语义分割网络输出的同张图片上同类像素的数量与平均值的偏差；3）计算不同语义分割网络之间的同张图片上同类像素的交并比。
定义像素点（p,n）是k类别的概率是
Figure 776256DEST_PATH_IMAGE020
，有0≤p≤d1，0≤n≤d2；n ijc 是第j个网络输出的第i张图片上属于c类的像素总数，
Figure 418590DEST_PATH_IMAGE021
是n ijc 个像素点的集合，具体参见下式：
Figure 648845DEST_PATH_IMAGE022
Figure 85642DEST_PATH_IMAGE023
计算m个语义分割网络输出的同张图片上同类像素的平均值
Figure 650616DEST_PATH_IMAGE024
，参见下式。
Figure 831062DEST_PATH_IMAGE025
其中，nint是取整函数。
基于平均值
Figure 414359DEST_PATH_IMAGE026
计算多个语义分割网络输出的同张图片上同类像素的数量与平均值的偏差
Figure 22057DEST_PATH_IMAGE027
，参见下式：
Figure 74327DEST_PATH_IMAGE028
基于n ijc 个像素点的集合
Figure 589622DEST_PATH_IMAGE021
计算任意大于等于2个的语义分割网络之间的同张图片上同类像素的交并比I ic 。
Figure 43737DEST_PATH_IMAGE029
S330、根据统计学特征确定缺失的对象属性，并将包括所述缺失的对象属性的图片添加到训练集，用以训练所述语义分割网络。
基于上述三种统计学特征存在对应的“缺失的对象属性”的确定方法。可选的，按照平均值从大到小对像素的类别进行排序，将排序在后的设定数量个类别作为缺失的对象类别。进一步的，如果偏差大于设定阈值，说明各类别分布分散，需要减少排序在前的设定数量个类别，并增加排序在后的设定数量个类别。交并比表示网络分割的准确性，将交并比小于设定阈值的类别作为缺失的对象类别。
本实施例通过在测试过程中，对语义分割网络的输出进行汇总、运算，得到网络的不确定性指标：多个语义分割网络输出的同张图片上同类像素的统计学特征；进而通过不确定性指标确定缺失的对象属性，进一步将包括缺失的对象属性的图片添加到训练集，用以训练网络，从而提高网络性能。可见，本发明中的不确定指标能够为网络的改进提供依据，也提供了网络性能提升的方法。
实施例四
本发明实施例提供一种基于不确定性分析的神经网络性能提升方法，其流程图如图5所示，可适用于通过训练集提升语义分割网络性能的情况。本实施例由电子设备执行。本实施例提供的方法包括以下步骤：
S410、采用训练集中的图片对多个语义分割网络分别进行训练，得到多个语义分割网络的分割结果。
训练集包括多张图片，每张图片包括至少一种对象，本实施例不限定对象的类别，可以是人、物等。将每张图片分别输入至每个语义分割网络中，语义分割网络为深度神经网络，本实施例不限定深度神经网络的种类。
语义分割网络对输入的图片进行特征提取和分割等处理，输出每张图片上各像素的类别（即分割结果包括每张图片上各像素的类别）。具体的，输出由数组d1×d2×c构成，d1和d2是图片的宽和高，c是类别。语义分割网络的输出公式如下：
Figure 573070DEST_PATH_IMAGE018
其中，
Figure 112635DEST_PATH_IMAGE019
表示第j个语义分割网络对第i张图片进行分割得到的数组。
训练集中各图片标注有各像素的类别。
从同类别的第一联通像素集合中划分出多个相离的子集（可称为伪对象，其只包括完整对象的一部分），每个子集标注有属性信息。
具体的，同类别的联通像素集合为具有邻接关系的同类像素的集合。这种邻接关系表现为两个像素之间只有一个同类像素点构成的路径，这个路径可以是两个像素之间的对角线连接。定义如下：
connected(x,y)
其中，x,y为两个同类像素点。
为了方便描述和区分，将此处的联通像素集合称为第一联通像素集合。示例性的，一张图片中“一个人”的所有像素点构成第一联通像素集合，从“一个人”中划分出“头”、“上身”、“下身”和“四肢”的相离子集，参见下式。
Figure 634884DEST_PATH_IMAGE030
Figure 943505DEST_PATH_IMAGE031
其中，C ijc 是标注的第j个网络输出的第i张图片上属于c类的像素集合，
Figure 345537DEST_PATH_IMAGE032
和
Figure 106819DEST_PATH_IMAGE033
分别是划分出的第l、k个子集。
为每个子集标注属性信息，包括但不限于面积、高度、宽度、像素位置、面积与检测框（由宽和高围成）的比、宽高比和置信度。
S420、在每个语义分割网络的分割结果中确定与每个子集分别匹配的第二联通像素集合。
对于任意不确定性，需要将网络输出与标签中的伪对象（即子集）在位置上相匹配。对于每个伪对象（即子集），可以根据一个语义分割网络的输出来构建一个像素集合，该像素集合与伪对象同类且具有邻接关系。换言之，在这个像素集合中，包括与伪对象同类的所有像素且这些像素与伪对象任一像素具有邻接关系。
为了方便描述和区分，将与每个子集分别匹配的像素集合称为第二联通像素集合。与第l个子集匹配的第二联通像素集合
Figure 432758DEST_PATH_IMAGE034
参见下式：
Figure 334900DEST_PATH_IMAGE035
其中，
Figure 720882DEST_PATH_IMAGE036
为第j个语义分割网络输出的第i张图片的语义分割结果，
Figure 235040DEST_PATH_IMAGE037
为子集中的点，
Figure 99091DEST_PATH_IMAGE038
为输入至第j个语义分割网络中第i张图片中子集中分割结果。
Figure 365993DEST_PATH_IMAGE039
为第j个语义分割网络输出的第i张图片上对
Figure 922876DEST_PATH_IMAGE037
的分割结果。
示例性的，对于子集“上身”，从网络对一图片输出的语义分割结果中确定属于“人”的类别，且与子集“上身”中任一像素具有邻接关系的像素集合，作为与子集“上身”匹配的第二联通像素集合。
划分子集的意义在于：整个对象（比如一个人）的面积一般是比较大的，通过将面积较大的对象划分为面积较小的，且能够自定义位置和面积的子集，能够在感兴趣的面积和位置上、细粒度地研究网络的不确定性，从而为网络的改进提供更细节的建议。
S430、计算所述每个子集与相匹配的第二联通像素集合的交并比，并计算所述交并比的统计学特征；所述统计学特征作为所述语义分割网络的不确定性指标。
对于每个子集，我们可以基于每个网络计算一个交并比
Figure 658751DEST_PATH_IMAGE040
，并且可以计算多个网络中交并比的方差
Figure 326493DEST_PATH_IMAGE041
。这将给本申请提供不确定性度量。
Figure 949366DEST_PATH_IMAGE042
Figure 677151DEST_PATH_IMAGE043
交并比越大表示分割越准确，交并比的统计学特征为对交并比进行数学统计得到的数值。本实施例不限定数学统计方法。
S440、根据所述交并比的统计学特征确定缺失的对象属性，并将包括所述缺失的对象属性的图片添加到训练集，用以训练所述语义分割网络。
当计算得到不同的统计学特征时，缺失对象属性的确定方法也不同。下面提供几种优选实施方式：
第一种优选实施方式：计算交并比的统计学特征包括：计算同张图片上同一个对象每个子集与相匹配的第二联通像素集合的平均交并比，在多个目标识别网络之间的方差；相应的，根据所述交并比的统计学特征确定缺失的对象属性包括：确定大于设定阈值的方差所对应的对象类别作为所述缺失的对象属性。
方差越大说明交并比在不同网络中越分散，则该方差对应的对象类别包含更多的信息，没有被语义分割网络所捕捉，由此，可以将较大的方差所对应的对象类别作为所述缺失的对象属性。其中，设定阈值可以人为根据性能提升情况确定。
第二种优选实施方式：计算所述交并比的统计学特征包括：将对象类别按照交并比从大到小进行排序；相应的，根据交并比统计学特征确定缺失的对象属性包括：将排序在后的设定数量个交并比所对应的对象类别作为所述缺失的对象属性。
在排序时，可以针对一语义分割网络输出的所有图片上的各类别，从而后续仅针对该语义分割网络进行训练；也可以针对多个语义分割网络输出的所有图片上的各类别，从而后续针对多个语义分割网络进行训练。当一个类别出现在多个子集中（即存在多个不同位置的同类别对象）时，可以计算多个子集对应的平均交并比。
其中，设定数量可以人为根据性能提升情况确定。
第三种优选实施方式：计算所述交并比的统计学特征包括：将每个子集与相匹配的第二联通像素集合的交并比，按照子集的位置映射到对应的像素点上；如果一像素点映射了至少两个交并比则对映射的交并比进行平均；相应的，根据交并比统计学特征确定缺失的对象属性包括：根据映射的分布情况和像素点上交并比的大小，确定缺失的对象位置。
在本实施方式中，预先设置与图片尺寸相同的二维空白图片，包括多个像素点。确定子集的位置所覆盖的像素点，并在这些像素点上赋值该子集与相匹配的第二联通像素集合的交并比。如果图片之间，标注的同类子集的位置出现重叠，则会出现同一像素点上映射了至少两个交并比，则计算它们的平均值。那么，映射的分布情况表示子集的分布，交并比的大小表示对对象子集识别的准确性。
同样可以参考图3，对象的子集反映了对象的部分位置，主要分布在中部，左下和右上位置的子集缺失，也就是说该子集所属的对象缺失，需要补充到训练集中。上部（即远方）子集的交并比偏大，则对远方对象的识别准确性低，则将包括远方对象的图片补充到训练集中。
本实施例通过在训练过程中，对语义分割网络的输出进行汇总、运算，得到网络的不确定性指标：每个子集与相匹配的第二联通像素集合的交并比的统计学特征；进而通过不确定性指标确定缺失的对象属性，进一步将包括缺失的对象属性的图片添加到训练集，用以训练网络，从而提高网络性能。可见，本发明中的不确定指标能够为网络的改进提供依据，也提供了网络性能提升的方法。
图6为本发明实施例提供的一种电子设备的结构示意图，如图6所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图6中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于不确定性分析的神经网络性能提升方法对应的程序指令/模块。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于不确定性分析的神经网络性能提升方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。

Claims (5)

1.一种基于不确定性分析的神经网络性能提升方法，其特征在于，包括：
采用训练集中的图片对多个目标识别网络分别进行训练，得到多个目标识别网络的识别结果，所述识别结果包括每张图片上对象的类别、位置和尺寸；所述图片标注有对象的类别、位置和尺寸；
计算每个目标识别网络输出的每张图片上同一个对象的标注与识别结果的交并比，将同一目标识别网络输出的每张图片上同一个对象的标注与识别结果的交并比，按照标注的对象检测框的位置映射到对应的像素点上；如果一像素点映射了至少两个交并比则对映射的交并比进行平均；或者，将同一目标识别网络输出的每张图片上同一个对象的标注与识别结果的交并比，按照对象的面积进行统计；统计学特征作为所述目标识别网络的不确定性指标；
根据映射的分布情况和像素点上交并比的大小，确定缺失的对象位置；或者，根据不同面积对应的交并比的大小，确定缺失的对象面积；
将包括所述缺失的对象属性的图片添加到训练集，用以训练所述目标识别网络。
2.根据权利要求1所述的方法，其特征在于，所述计算所述交并比的统计学特征，包括：
计算同张图片上同一个对象的标注与识别结果的交并比，在多个目标识别网络之间的方差；或者将对象类别按照交并比从大到小进行排序；
所述根据所述统计学特征确定缺失的对象属性，包括：
确定大于设定阈值的方差所对应的对象类别作为所述缺失的对象属性；或者，
将排序在后的设定数量个交并比所对应的对象类别作为所述缺失的对象属性。
3.一种基于不确定性分析的神经网络性能提升方法，其特征在于，包括：
采用测试集中的图片对多个语义分割网络分别进行测试，得到多个语义分割网络的分割结果，所述分割结果包括每张图片上各像素的类别；
计算多个语义分割网络输出的同张图片上同类像素的统计学特征；所述统计学特征作为所述语义分割网络的不确定性指标；所述统计学特征包括多个语义分割网络输出的同张图片上同类像素的平均值，数量与平均值的偏差，以及不同语义分割网络之间的同张图片上同类像素的交并比；
根据所述统计学特征确定缺失的对象属性，包括：按照平均值从大到小对像素的类别进行排序，将排序在后的设定数量个类别作为缺失的对象类别，进一步的，如果所述偏差大于设定阈值，减少排序在前的设定数量个类别，并增加排序在后的设定数量个类别；或者，将交并比小于设定阈值的类别作为缺失的对象类别；
将包括所述缺失的对象属性的图片添加到训练集，用以训练所述语义分割网络。
4.一种基于不确定性分析的神经网络性能提升方法，其特征在于，包括：
采用训练集中的图片对多个语义分割网络分别进行训练，得到多个语义分割网络的分割结果，所述分割结果包括每张图片上各像素的类别；所述图片标注有各像素的类别；从同类别的第一连通像素集合中划分出多个相离的子集，每个子集标注有属性信息；
在每个语义分割网络的分割结果中确定与每个子集分别匹配的第二连通像素集合；
计算所述每个子集与相匹配的第二连通像素集合的交并比，并计算所述交并比的统计学特征；所述统计学特征作为所述语义分割网络的不确定性指标；
根据所述交并比的统计学特征确定缺失的对象属性，并将包括所述缺失的对象属性的图片添加到训练集，用以训练所述语义分割网络。
5.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的基于不确定性分析的神经网络性能提升方法。
CN202210559271.5A 2022-05-23 2022-05-23 基于不确定性分析的神经网络性能提升方法和设备 Active CN114648683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210559271.5A CN114648683B (zh) 2022-05-23 2022-05-23 基于不确定性分析的神经网络性能提升方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210559271.5A CN114648683B (zh) 2022-05-23 2022-05-23 基于不确定性分析的神经网络性能提升方法和设备

Publications (2)

Publication Number Publication Date
CN114648683A CN114648683A (zh) 2022-06-21
CN114648683B true CN114648683B (zh) 2022-09-13

Family

ID=81996622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210559271.5A Active CN114648683B (zh) 2022-05-23 2022-05-23 基于不确定性分析的神经网络性能提升方法和设备

Country Status (1)

Country Link
CN (1) CN114648683B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690747B (zh) * 2022-12-30 2023-03-21 天津所托瑞安汽车科技有限公司 车辆盲区检测模型测试方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114267076A (zh) * 2022-03-01 2022-04-01 天津所托瑞安汽车科技有限公司 一种图像识别方法、装置、设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038853B (zh) * 2017-12-18 2020-05-26 浙江工业大学 一种基于卷积神经网络和主动学习的瓷砖表面缺陷识别方法
CN111325726A (zh) * 2020-02-19 2020-06-23 腾讯医疗健康(深圳)有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN112116593A (zh) * 2020-08-06 2020-12-22 北京工业大学 一种基于基尼指数的领域自适应语义分割方法
CN114064958A (zh) * 2020-08-10 2022-02-18 阿里巴巴集团控股有限公司 对象检测方法、装置、计算机可读存储介质和处理器
CN112598007B (zh) * 2021-03-04 2021-05-18 浙江所托瑞安科技集团有限公司 图片训练集的筛选方法、装置、设备和可读存储介质
CN113705297A (zh) * 2021-03-11 2021-11-26 腾讯科技（深圳）有限公司 检测模型的训练方法、装置、计算机设备和存储介质
CN113111716B (zh) * 2021-03-15 2023-06-23 中国科学院计算机网络信息中心 一种基于深度学习的遥感影像半自动标注方法和装置
CN113807399B (zh) * 2021-08-16 2024-01-09 华为技术有限公司 一种神经网络训练方法、检测方法以及装置
CN114139616A (zh) * 2021-11-19 2022-03-04 杭州电子科技大学 一种基于不确定性感知的无监督域适应目标检测方法
CN114359695A (zh) * 2021-12-31 2022-04-15 三峡大学 基于不确定性估计的绝缘子破损识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114267076A (zh) * 2022-03-01 2022-04-01 天津所托瑞安汽车科技有限公司 一种图像识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114648683A (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
US10650237B2 (en) Recognition process of an object in a query image
CN104850822B (zh) 基于多特征融合的简单背景下的叶片识别方法
CN114511718B (zh) 一种建筑施工用物料智能管理方法及系统
CN112016605A (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
CN106372624A (zh) 人脸识别方法及系统
CN114648683B (zh) 基于不确定性分析的神经网络性能提升方法和设备
CN109977253A (zh) 一种基于语义和内容的快速图像检索方法及装置
CN113221956A (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN113762229B (zh) 一种建筑场地内建筑器材的智能识别方法及系统
CN113870254B (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN111738319A (zh) 一种基于大规模样本的聚类结果评价方法及装置
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法
CN111414930B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN108734393A (zh) 房源信息的匹配方法、用户设备、存储介质及装置
CN112784494A (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN116958606A (zh) 一种图像匹配方法及相关装置
CN109993128B (zh) 一种行人图像属性特征量化的方法
US20230386023A1 (en) Method for detecting medical images, electronic device, and storage medium
CN110096708A (zh) 一种定标集确定方法及装置
CN110135382A (zh) 一种人体检测方法和装置
CN114581761A (zh) 遥感图像识别方法、装置、设备和计算机可读存储介质
CN111435451B (zh) 确定图片类别的方法、装置、服务器和存储介质
CN109934305A (zh) 基于图像识别模型的图像识别方法及装置
CN115700783A (zh) 一种循环利用式训练样本的海量图像识别方法及系统
CN113723508B (zh) 票据图像分类方法、装置、计算设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant