CN117523212A - 用于车辆款式图像数据的标签噪声识别方法、系统及设备 - Google Patents

用于车辆款式图像数据的标签噪声识别方法、系统及设备 Download PDF

Info

Publication number
CN117523212A
CN117523212A CN202311491340.4A CN202311491340A CN117523212A CN 117523212 A CN117523212 A CN 117523212A CN 202311491340 A CN202311491340 A CN 202311491340A CN 117523212 A CN117523212 A CN 117523212A
Authority
CN
China
Prior art keywords
data
vehicle
noise
image data
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311491340.4A
Other languages
English (en)
Other versions
CN117523212B (zh
Inventor
江倩殷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Maritime University
Original Assignee
Guangzhou Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Maritime University filed Critical Guangzhou Maritime University
Priority to CN202311491340.4A priority Critical patent/CN117523212B/zh
Publication of CN117523212A publication Critical patent/CN117523212A/zh
Application granted granted Critical
Publication of CN117523212B publication Critical patent/CN117523212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及用于车辆款式图像数据的标签噪声识别方法、系统及设备，方法包括利用卷积神经网络的多任务框架，设置与车辆款式标签层次相对应的子网络结构，并行对不同层次的车辆图像特征提取，然后基于每个层次提取的特征，结合特征中心与最接近聚类中心等关键信息，对每个层次的噪声属性进行判断，再结合所有层次的噪声属性判断结果，实现图像整体噪声属性的判别。系统和设备用于执行上述识别方法。本公开结合车辆款式标签多层次的特性，充分考虑不同层次的噪声情况，对不同层次的噪声进行判断，能有效提高车辆款式图像数据的噪声识别准确率，有利于车辆图像数据在智慧交通中的应用推广。

Description

用于车辆款式图像数据的标签噪声识别方法、系统及设备
技术领域
本公开涉及图像处理的技术领域，具体涉及一种用于车辆款式图像数据的标签噪声识别方法、系统及设备。
背景技术
大规模图像数据集在人工智能的研究过程中发挥着重要的基础作用，而大规模图像数据集中的噪声数据却无法避免，这给数据集的应用效果带来严重影响。噪声是指数据集中数据标注错误，即标签与其真实标签不一致的数据，噪声数据的标签称为噪声标签。
大规模车辆图像数据集对于智慧交通中的车辆信息提取、个体行为辨识等问题都具有重要意义。一般来说，通俗意义上的车辆款式一般包括至少三个层次的标签信息，即品牌-型号-年款，如本田-雅阁-2021款，统称为车辆款式。同样的，噪声在车辆数据集中也广泛地存在。一方面，部分车辆款式之间外形相似度极其高，单纯凭借人眼进行标注难以进行区分；另一方面，对于同一个车款，不同厂商的称呼不同，也可能造成噪声数据的出现。因此，车辆图像数据集中的噪声标签问题急需解决。
目前在数据集中的噪声标签处理中，卷积神经网络仍然是噪声标签处理技术的基础。基于卷积神经网络，目前对于噪声标签的噪声识别与抗噪训练的改进主要包括损失函数改进、多网络协同与半监督学习等三类。但在实际应用过程中，无论是哪一类方法，针对的都是单一标签，而忽略了车辆款式的多层标签结构。
具体而言，对于车辆款式标签，噪声标签可能会出现在任何一个层次中，即有可能品牌标签是正确的，而型号和年款标签是错误的，或者品牌和型号标签是正确的，但年款标签是错误的，也有可能多个层次的标签同时错误。如果按现有方法将多个层次的标签组合并视为单一层次标签的话，则难以区分部分层次标签正确而部分层次标签错误的情况。
发明内容
为了解决上述现有技术存在的问题，本公开目的在于提供一种用于车辆款式图像数据的标签噪声识别方法、系统及设备。本公开结合车辆款式标签多层次的特性，充分考虑不同层次的噪声情况，对不同层次的噪声进行判断，能有效提高车辆款式图像数据的噪声识别准确率，有利于车辆图像数据在智慧交通中的应用推广。
本公开所述的一种用于车辆款式图像数据的标签噪声识别方法，包括以下步骤：
S01、将所有待识别的车辆数据定义为数据集D，D＝{x,y}，其中，x表示车辆的图像数据，y表示图像数据对应的车辆款式标签，且y＝[y1,y2...yi]，y1,y2...yi分别表示不同层次的车辆款式标签；
S02、设置干净数据集C、待定数据集U和噪声数据集N；
S03、构建车辆车款识别网络fv，所述车辆车款识别网络fv包括骨架网络fr以及位于所述骨架网络fr之后的i个并行的属性识别子网络g1、g2...gi，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，i个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
S04、通过所述车辆车款识别网络fv对车辆的图像数据进行特征提取，获得图像数据在各个层次的特征，分别记为图像特征g1(fr(x))、g2(fr(x))...gi(fr(x))；
S05、取干净数据集C与待定数据集U的并集C∪U，对并集C∪U中所有图像数据在每个层次的特征分别进行聚类获得聚类结果；计算干净数据集C的所有图像数据在每个层次的每个类别中对应的特征的均值ki,j，称为第i层次、第j类别的特征中心；从所得第i层次的聚类结果中查找与特征中心ki,j距离最近的聚类中心，记为最接近聚类中心li,j；计算第i层次、第j类别的特征中心ki,j与最接近聚类中心li,j的距离记为特征距离Si,j，Si,j＝d(ki,j,li,j)；
S06、根据每个图像数据对应的车辆款式标签yi，查找对应的特征距离根据所提取的图像数据在各个层次的图像特征gi(fr(x))，分别计算图像特征gi(fr(x))与特征中心ki,j以及最接近聚类中心li,j的距离，分别记为第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)；将所述第一特征距离d(gi(fr(x)),ki,j)、第二特征距离d(gi(fr(x)),li,j)分别与查找所得特征距离/>做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
S07、重复步骤S04～S06多次，获得关于车辆数据的标签噪声识别结果。
优选地，步骤S01中，车辆款式标签具有三个层次，分别为品牌、型号和年款，数据形式均为独热编码。
优选地，步骤S03中，所述骨架网络fr采用ResNet网络，所述属性识别子网络包括三个长度分别为1000、1000和ci的全连接层，其中，ci为车辆款式标签yi的类别数量；
所述车辆车款识别网络fv的损失函数为i个属性识别子网络的交叉熵损失函数之和，表示为：
其中，m∈[1,i]，(fr(x))n表示fr(x)的第n个分量，gm'(fr(x))表示对gm(gr(x))使用softmax函数对数据进行概率化输出的结果。
优选地，步骤S04具体包括：
标记所有车辆数据为干净数据，即令C＝D，待定数据集U和噪声数据集N均为空集；
将干净数据集C与待定数据集U的并集C∪U输入到所述车辆车款识别网络fv中，通过所述车辆车款识别网络fv的损失函数进行迭代训练，经过E1轮的训练后，获得车辆车款识别网络fv的权重，并获得并集C∪U中所有车辆数据的图像特征g1(fr(x))、g2(fr(x))...gi(fr(x))。
优选地，步骤S05中，使用KNN聚类算法对车辆图像数据在每个层次的特征分别进行聚类，其中，第i个层次的聚类类别数为小于1.5ci的最大整数，ci为车辆款式标签yi的类别数量。
优选地，步骤S06具体包括：
对于每个图像数据，具有标签正确判断条件和标签错误判断条件；
所述标签正确判断条件为：若第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)均小于查找所得特征距离的ρi倍,则判断图像数据在第i层次的标签为正确，其中，ρi为经验参数；
所述标签错误判断条件：若第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)均大于查找所得特征距离的δi倍,则判断图像数据在第i层次的标签为错误，其中，δi为经验参数；
若图像数据既不满足所述标签正确判断条件，也不满足所述标签错误判断条件，则判断图像数据在第i层次的标签为待定；
获取图像数据在全部i个层次中的标签准确性判断结果，记录判断结果为正确的层次数量为p，判断结果为错误的层次数量为q，预设关于标签准确率的第一阈值w1和第二阈值w2；
若某一车辆数据满足则判断该车辆数据整体属于干净数据，将该车辆数据移入干净数据集C中；
若某一车辆数据满足则判断该车辆数据整体属于噪声数据，将该车辆数据移入噪声数据集N中；
若某一车辆数据既不满足也不满足/>则判断该车辆数据整体属于待定数据，将该车辆数据移入待定数据集U中。
优选地，步骤S06中，根据判断结果，将车辆数据移入到对应的数据集中之后还包括：
对于并集C∪U中的每个车辆数据，车辆款式标签y＝[y1,y2...yi]满足按照标签包括范围从大到小按序排列，对于每个车辆数据，具有干净数据判断条件和噪声数据判断条件；
所述干净数据判断条件为：若某一车辆数据的各个层次的第一特征距离d(gi(fr(x)),ki,j)或第二特征距离d(gi(fr(x)),li,j)满足按图像标签范围从大到小的顺序依次减小，则判断该车辆数据为干净数据，
即，若某一车辆数据满足：
d(g1(fr(x)),ki,j)>d(g2(fr(x)),ki,j)>...d(gi(fr(x)),ki,j)，
或者，d(g1(fr(x)),li,j)>d(g2(fr(x)),li,j)>...d(gi(fr(x)),li,j)，
则判断该车辆数据为干净数据，将该车辆数据移入干净数据集C中；
所述噪声数据判断条件为：若某一车辆数据的各个层次的第一特征距离d(gi(fr(x)),ki,j)或第二特征距离d(gi(fr(x)),li,j)满足按图像标签范围从大到小的顺序依次增大，则判断该车辆数据为噪声数据，
即，若某一车辆数据满足：
d(g1(fr(x)),ki,j)<d(g2(fr(x)),ki,j)<...d(gi(fr(x)),ki,j)，
或者，d(g1(fr(x)),li,j)<d(g2(fr(x)),li,j)<...d(gi(fr(x)),li,j)，
则判断该车辆数据属于噪声数据，将该车辆数据移入噪声数据集N中；
若某一车辆数据既不满足所述干净数据判断条件，也不满足所述噪声数据判断条件，则判断该车辆数据属于待定数据，将该车辆数据移入待定数据集U中。
本公开的一种用于车辆款式图像数据的标签噪声识别系统，其特征在于，包括：
数据集定义模块，其用于将所有待识别的车辆数据定义为数据集D，D＝{x,y}，其中，x表示车辆的图像数据，y表示图像数据对应的车辆款式标签，且y＝[y1,y2...yi]，y1,y2...yi分别表示车辆款式中在不同层次的标签；
数据集设置模块，其用于设置干净数据集C、待定数据集U和噪声数据集N；
识别网络构建模块，其用于构建车辆车款识别网络fv，所述车辆车款识别网络fv包括骨架网络fr以及位于所述骨架网络fr之后的i个并行的属性识别子网络g1、g2...gi，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，i个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
图像特征提取模块，其用于通过所述车辆车款识别网络fv对车辆的图像数据进行特征提取，获得图像数据在各个层次的特征，分别记为图像特征g1(fr(x))、g2(fr(x))...gi(fr(x))；
特征距离计算模块，其用于对车辆图像数据在每个层次的特征分别进行聚类获得聚类结果，并计算每个层次中每个类别的图像数据对应的特征的均值ki,j，称为第i层次、第j类别的特征中心；从所得聚类结果中查找与特征中心ki,j距离最近的聚类中心，记为最接近聚类中心li,j；计算第i层次、第j类别的特征中心ki,j与最接近聚类中心li,j的距离记为特征距离Si,j，Si,j＝d(ki,j,li,j)；
判断模块，其用于根据每个图像数据对应的车辆款式标签yi，查找对应的特征距离Si,yi，根据所提取的图像数据在各个层次的图像特征gi(fr(x))，分别计算图像特征gi(fr(x))与特征中心ki,j以及最接近聚类中心li,j的距离，分别记为第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)；将所述第一特征距离d(gi(fr(x)),ki,j)、第二特征距离d(gi(fr(x)),li,j)分别与查找所得特征距离做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
令所述图像特征提取模块、特征距离计算模块、判断模块按序重复，获得关于车辆数据的标签噪声识别结果。
本公开的一种计算机设备，包括信号连接的处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载时执行如上所述用于车辆款式图像数据的标签噪声识别方法。
本公开的一种计算机可读存储介质，其上存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序被处理器加载时执行如上所述用于车辆款式图像数据的标签噪声识别方法。
本公开所述的一种用于车辆款式图像数据的标签噪声识别方法、系统及设备，其优点在于，本公开结合车辆款式标签具有多层次信息的特性，利用卷积神经网络的多任务框架，设置与车辆款式标签层次相对应的子网络结构，并行对不同层次的车辆图像特征提取，然后基于每个层次提取的特征，结合特征中心与最接近聚类中心等关键信息，对每个层次的噪声属性(即是否属于噪声、标签的准确性)进行判断，再结合所有层次的噪声属性判断结果，实现图像整体噪声属性的判别，更贴合于车辆款式标签多层次的结构，能有效提高对于车辆款式标签的噪声识别准确率，有利于车辆图像数据在智慧交通中的应用推广。
附图说明
图1是本实施例所述标签噪声识别方法的步骤流程图；
图2是本实施例所述计算机设备的结构示意图。
附图标记说明：101-处理器，102-存储器
具体实施方式
如图1所示，本公开所述的一种用于车辆款式图像数据的标签噪声识别方法，包括以下步骤：
S01、将所有待识别的车辆数据定义为数据集D，D＝{x,y}，其中，x表示车辆的图像数据，y表示图像数据对应的车辆款式标签，且y＝[y1,y2...yi]，y1,y2...yi分别表示不同层次的车辆款式标签；
在具体的实施例中，车辆款式标签具有三个层次，分别为品牌、型号和年款，数据形式均为独热编码，如本田-雅阁-2021款，即上述的i＝3。
S02、设置干净数据集C、待定数据集U和噪声数据集N；
其中，干净数据组成的集合称为干净数据集，以符号C表示；待定数据组成的集合为待定数据集，以符号U表示；噪声数据组成的集合为噪声数据集，以符号N表示。
S03、基于多任务框架构建车辆车款识别网络fv，车辆车款识别网络fv包括骨架网络fr以及位于所述骨架网络fr之后的i个并行的属性识别子网络g1、g2...gi，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，i个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
具体的，本实施例中，车辆款式标签具有三个层次，则所需构建的属性识别子网络的数量为三个，分别对应车辆品牌、型号和年款。
骨架网络fr采用ResNet网络，所述属性识别子网络包括三个长度分别为1000、1000和ci的全连接层，其中，ci为车辆款式标签yi的类别数量。
车辆车款识别网络fv的损失函数为i个属性识别子网络的交叉熵损失函数之和，表示为：
其中，m∈[1,i]，(fr(x))n表示fr(x)的第n个分量，gm'(fr(x))表示对gm(gr(x))使用softmax函数对数据进行概率化输出的结果。
在完成车辆车款识别网络构建后，通过车辆车款识别网络对图像特征进行提取，具体如下：
标记所有车辆数据为干净数据，即令C＝D，待定数据集U和噪声数据集N均为空集；
将干净数据集C与待定数据集U的并集C∪U输入到所述车辆车款识别网络fv中，通过所述车辆车款识别网络fv的损失函数进行迭代训练，经过E1轮，如50轮的训练后，获得车辆车款识别网络fv的权重，并获得并集C∪U中所有车辆数据的图像特征g1(fr(x))、g2(fr(x))...gi(fr(x))。
对于每一层次的特征，均进行如下的步骤S05操作：
S05、取干净数据集C与待定数据集U的并集C∪U，使用KNN聚类算法对并集C∪U中所有图像数据在每个层次的特征分别进行聚类，其中，第i个层次的聚类类别数为小于1.5ci的最大整数,ci为车辆款式标签yi的类别数量，每个聚类类别对应一个聚类中心。
计算干净数据集C的所有图像数据在每个层次的每个类别中对应的特征的均值ki,j，称为第i层次、第j类别的特征中心；从所得第i层次的聚类结果中，通过遍历对比的方法查找出与特征中心ki,j距离最近的聚类中心，记为最接近聚类中心li,j；计算第i层次、第j类别的特征中心ki,j与最接近聚类中心li,j的距离记为特征距离Si,j，Si,j＝d(ki,j,li,j)；本实施例中，采用余弦距离计算两个中心之间的距离，并进行遍历比对，以查找出所述的最接近聚类中心li,j。
对于并集C∪U中的每一个车辆数据，通过下述步骤S06判断该车辆数据在每个层次的噪声属性，也即该层次标签的准确性，表示为干净、噪声或待定。
步骤S06具体如下：
根据每个图像数据对应的车辆款式标签yi，查找对应的特征距离根据所提取的图像数据在各个层次的图像特征gi(fr(x))，分别计算图像特征gi(fr(x))与特征中心ki,j以及最接近聚类中心li,j的距离，分别记为第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)；将所述第一特征距离d(gi(fr(x)),ki,j)、第二特征距离d(gi(fr(x)),li,j)分别与查找所得特征距离/>做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
更具体的，对于并集C∪U中的每个图像数据，具有标签正确判断条件和标签错误判断条件；
所述标签正确判断条件为：若第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)均小于查找所得特征距离的ρi倍,即满足：
且，
则判断图像数据在第i层次的标签为正确，或理解为该图像数据在是该层次的干净数据，其中，ρi为经验参数，可由用户自行定义，示例性的，ρi＝2。
所述标签错误判断条件：若第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)均大于查找所得特征距离的δi倍,即满足：
且
则判断图像数据在第i层次的标签为错误，或理解为该图像数据在是该层次的噪声数据，其中，δi为经验参数，可由用户自行定义，示例性的，δi＝5。
若图像数据既不满足所述标签正确判断条件，也不满足所述标签错误判断条件，则判断图像数据在第i层次的标签为待定，或理解为该图像数据在是该层次的待定数据。
获取图像数据在全部i个层次中的标签准确性判断结果，记录判断结果为正确的层次数量为p，判断结果为错误的层次数量为q，预设关于标签准确率的第一阈值w1和第二阈值w2；
若某一车辆数据满足则判断该车辆数据整体属于干净数据，将该车辆数据移入干净数据集C中；
若某一车辆数据满足则判断该车辆数据整体属于噪声数据，将该车辆数据移入噪声数据集N中；
若某一车辆数据既不满足也不满足/>则判断该车辆数据整体属于待定数据，将该车辆数据移入待定数据集U中。
上述第一阈值w1和第二阈值w2可根据实际需求进行设置，示例性的，对于三个层次的车辆款式标签而言，可以令w1＝w2＝60％。
即：对于并集C∪U中的每个图像数据，在所有层次中，有至少两个层次被认为是正确标签，即认定为干净数据，则判断该车辆数据整体属于干净数据，将该车辆数据移入干净数据集C中。
有至少两个层次被认为是错误标签，即认定为噪声数据，则判断该车辆数据整体属于噪声数据，将该车辆数据移入噪声数据集N中。
如某一图像数据，既不属于干净数据，也不属于噪声数据，则判断为待定数据，将该车辆数据移入待定数据集U中。
通过上述的步骤S06，可初步判断出各个图像数据属于干净、噪声还是待定数据，但为进一步提高噪声识别的准确率，本实施例在步骤S06中，根据判断结果，将车辆数据移入到对应的数据集中之后还包括：
对于并集C∪U中的每个车辆数据，车辆款式标签y＝[y1,y2...yi]满足按照标签包括范围从大到小按序排列，如，品牌、型号、年款的包括范围从大到小，层次序号依次为1、2、3。
对于每个车辆数据，具有干净数据判断条件和噪声数据判断条件；
所述干净数据判断条件为：
若某一车辆数据满足所提取的图像特征与特征中心或最接近聚类中心的距离是依次减小，即满足：
d(g1(fr(x)),ki,j)>d(g2(fr(x)),ki,j)>...d(gi(fr(x)),ki,j)，
或者，d(g1(fr(x)),li,j)>d(g2(fr(x)),li,j)>...d(gi(fr(x)),li,j)，
则判断该车辆数据为干净数据，将该车辆数据移入干净数据集C中；
所述噪声数据判断条件为：
若某一车辆数据满足所提取的图像特征与特征中心或最接近聚类中心的距离是依次增大的，即满足：
d(g1(fr(x)),ki,j)<d(g2(fr(x)),ki,j)<...d(gi(fr(x)),ki,j)，
或者，d(g1(fr(x)),li,j)<d(g2(fr(x)),li,j)<...d(gi(fr(x)),li,j)，
则判断该车辆数据属于噪声数据，将该车辆数据移入噪声数据集N中；
若某一车辆数据既不满足所述干净数据判断条件，也不满足所述噪声数据判断条件，则判断该车辆数据属于待定数据，将该车辆数据移入待定数据集U中。
由于范围更大的标签层次其图像特征在特征空间的分布相对于范围小的标签层次来说应该更稀疏，因为一个范围更大的标签可能包括若干个范围更小的标签，或者说，可能存在不同小范围标签同属一个大范围标签的情况(如一个品牌包括多个型号，一个型号包括多个年款，因此，本步骤结合标签的范围包含关系及特征距离的递变关系，可对噪声识别的初步判断结果进一步核查，以提高噪声识别的准确率。
S07、重复步骤S04～S06，共重复E2次，如重复200次，获得关于车辆数据的标签噪声识别结果，也即干净数据集C、待定数据集U和噪声数据集N分别包含噪声识别结果的干净数据、待定数据(或称中立数据)和噪声数据。
本公开结合车辆款式标签具有多层次信息的特性，利用卷积神经网络的多任务框架，设置与车辆款式标签层次相对应的子网络结构，并行对不同层次的车辆图像特征提取，然后基于每个层次提取的特征，结合特征中心与最接近聚类中心等关键信息，对每个层次的噪声属性(即是否属于噪声、标签的准确性)进行判断，再结合所有层次的噪声属性判断结果，实现图像整体噪声属性的判别，更贴合于车辆款式标签多层次的结构，能有效提高对于车辆款式标签的噪声识别准确率，有利于车辆图像数据在智慧交通中的应用推广。
本实施例还提供了一种用于车辆款式图像数据的标签噪声识别系统，包括：
数据集定义模块，其用于将所有待识别的车辆数据定义为数据集D，D＝{x,y}，其中，x表示车辆的图像数据，y表示图像数据对应的车辆款式标签，且y＝[y1,y2...yi]，y1,y2...yi分别表示车辆款式中在不同层次的标签；
数据集设置模块，其用于设置干净数据集C、待定数据集U和噪声数据集N；
识别网络构建模块，其用于构建车辆车款识别网络fv，所述车辆车款识别网络fv包括骨架网络fr以及位于所述骨架网络fr之后的i个并行的属性识别子网络g1、g2...gi，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，i个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
图像特征提取模块，其用于通过所述车辆车款识别网络fv对车辆的图像数据进行特征提取，获得图像数据在各个层次的特征，分别记为图像特征g1(fr(x))、g2(fr(x))...gi(fr(x))；
特征距离计算模块，其用于对车辆图像数据在每个层次的特征分别进行聚类获得聚类结果，并计算每个层次中每个类别的图像数据对应的特征的均值ki,j，称为第i层次、第j类别的特征中心；从所得聚类结果中查找与特征中心ki,j距离最近的聚类中心，记为最接近聚类中心li,j；计算第i层次、第j类别的特征中心ki,j与最接近聚类中心li,j的距离记为特征距离Si,j，Si,j＝d(ki,j,li,j)；
判断模块，其用于根据每个图像数据对应的车辆款式标签yi，查找对应的特征距离根据所提取的图像数据在各个层次的图像特征gi(fr(x))，分别计算图像特征gi(fr(x))与特征中心ki,j以及最接近聚类中心li,j的距离，分别记为第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)；将所述第一特征距离d(gi(fr(x)),ki,j)、第二特征距离d(gi(fr(x)),li,j)分别与查找所得特征距离/>做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
令所述图像特征提取模块、特征距离计算模块、判断模块按序重复，获得关于车辆数据的标签噪声识别结果。
本实施例的标签噪声识别系统与上述的标签噪声识别方法属于相同的发明构思，可参照上文描述进行理解，在此不再赘述。
如图2所示，本实施例还提供了一种计算机设备，包括通过总线信号连接的处理器101和存储器102，所述存储器102中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器101加载时执行如上所述标签噪声识别方法。存储器102可用于存储软件程序以及模块，处理器101通过运行存储在存储器102的软件程序以及模块，从而执行各种功能应用。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器102还可以包括存储器控制器，以提供处理器101对存储器102的访问。
本公开实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行，即上述计算机设备可以包括计算机终端、服务器或者类似的运算装置。该计算机设备的内部结构可包括但不限于：处理器、网络接口及存储器。其中，计算机设备内的处理器、网络接口及存储器可通过总线或其他方式连接。
其中，处理器101(或称CPU(CentralProcessingUnit，中央处理器))是计算机设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器102(Memory)是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器102可以是高速RAM存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器101的存储装置。存储器102提供存储空间，该存储空间存储了电子设备的操作系统，可包括但不限于：Windows系统(一种操作系统)，Linux(一种操作系统)，Android(安卓，一种移动操作系统)系统、IOS(一种移动操作系统)系统等等，本公开对此并不作限定；并且，在该存储空间中还存放了适于被处理器101加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中，处理器101加载并执行存储器102中存放的一条或一条以上指令，以实现上述方法实施例所述标签噪声识别方法。
本公开实施例还提供一种计算机可读存储介质，其上存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序被处理器101加载时执行如上所述标签噪声识别方法。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
在本公开的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本公开保护范围的限制。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本公开权利要求的保护范围之内。

Claims (10)

1.用于车辆款式图像数据的标签噪声识别方法，其特征在于，包括以下步骤：
S01、将所有待识别的车辆数据定义为数据集D，D＝{x,y}，其中，x表示车辆的图像数据，y表示图像数据对应的车辆款式标签，且y＝[y1,y2...yi]，y1,y2...yi分别表示不同层次的车辆款式标签；
S02、设置干净数据集C、待定数据集U和噪声数据集N；
S03、构建车辆车款识别网络fv，所述车辆车款识别网络fv包括骨架网络fr以及位于所述骨架网络fr之后的i个并行的属性识别子网络g1、g2...gi，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，i个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
S04、通过所述车辆车款识别网络fv对车辆的图像数据进行特征提取，获得图像数据在各个层次的特征，分别记为图像特征g1(fr(x))、g2(fr(x))...gi(fr(x))；
S05、取干净数据集C与待定数据集U的并集C∪U，对并集C∪U中所有图像数据在每个层次的特征分别进行聚类获得聚类结果；计算干净数据集C的所有图像数据在每个层次的每个类别中对应的特征的均值ki,j，称为第i层次、第j类别的特征中心；从所得第i层次的聚类结果中查找与特征中心ki,j距离最近的聚类中心，记为最接近聚类中心li,j；计算第i层次、第j类别的特征中心ki,j与最接近聚类中心li,j的距离记为特征距离Si,j，Si,j＝d(ki,j,li,j)；
S06、根据每个图像数据对应的车辆款式标签yi，查找对应的特征距离根据所提取的图像数据在各个层次的图像特征gi(fr(x))，分别计算图像特征gi(fr(x))与特征中心ki,j以及最接近聚类中心li,j的距离，分别记为第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)；将所述第一特征距离d(gi(fr(x)),ki,j)、第二特征距离d(gi(fr(x)),li,j)分别与查找所得特征距离/>做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
S07、重复步骤S04～S06多次，获得关于车辆数据的标签噪声识别结果。
2.根据权利要求1所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S01中，车辆款式标签具有三个层次，分别为品牌、型号和年款，数据形式均为独热编码。
3.根据权利要求1所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S03中，所述骨架网络fr采用ResNet网络，所述属性识别子网络包括三个长度分别为1000、1000和ci的全连接层，其中，ci为车辆款式标签yi的类别数量；
所述车辆车款识别网络fv的损失函数为i个属性识别子网络的交叉熵损失函数之和，表示为：
其中，m∈[1,i]，(fr(x))n表示fr(x)的第n个分量，gm'(fr(x))表示对使用softmax函数对数据进行概率化输出的结果。
4.根据权利要求3所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S04具体包括：
标记所有车辆数据为干净数据，即令C＝D，待定数据集U和噪声数据集N均为空集；
将干净数据集C与待定数据集U的并集C∪U输入到所述车辆车款识别网络fv中，通过所述车辆车款识别网络fv的损失函数进行迭代训练，经过E1轮的训练后，获得车辆车款识别网络fv的权重，并获得并集C∪U中所有车辆数据的图像特征g1(fr(x))、g2(fr(x))...gi(fr(x))。
5.根据权利要求1所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S05中，使用KNN聚类算法对车辆图像数据在每个层次的特征分别进行聚类，其中，第i个层次的聚类类别数为小于1.5ci的最大整数,ci为车辆款式标签yi的类别数量。
6.根据权利要求5所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S06具体包括：
对于每个图像数据，具有标签正确判断条件和标签错误判断条件；
所述标签正确判断条件为：若第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)均小于查找所得特征距离的ρi倍,则判断图像数据在第i层次的标签为正确，其中，vi为经验参数；
所述标签错误判断条件：若第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)均大于查找所得特征距离的δi倍,则判断图像数据在第i层次的标签为错误，其中，δi为经验参数；
若图像数据既不满足所述标签正确判断条件，也不满足所述标签错误判断条件，则判断图像数据在第i层次的标签为待定；
获取图像数据在全部i个层次中的标签准确性判断结果，记录判断结果为正确的层次数量为p，判断结果为错误的层次数量为q，预设关于标签准确率的第一阈值w1和第二阈值w2；
若某一车辆数据满足则判断该车辆数据整体属于干净数据，将该车辆数据移入干净数据集C中；
若某一车辆数据满足则判断该车辆数据整体属于噪声数据，将该车辆数据移入噪声数据集N中；
若某一车辆数据既不满足也不满足/>则判断该车辆数据整体属于待定数据，将该车辆数据移入待定数据集U中。
7.根据权利要求6所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S06中，根据判断结果，将车辆数据移入到对应的数据集中之后还包括：
对于并集C∪U中的每个车辆数据，车辆款式标签y＝[y1,y2...yi]满足按照标签包括范围从大到小按序排列，对于每个车辆数据，具有干净数据判断条件和噪声数据判断条件；
所述干净数据判断条件为：若某一车辆数据的各个层次的第一特征距离d(gi(fr(x)),ki,j)或第二特征距离d(gi(fr(x)),li,j)满足按图像标签范围从大到小的顺序依次减小，则判断该车辆数据为干净数据，
即，若某一车辆数据满足：
d(g1(fr(x)),ki,j)>d(g2(fr(x)),ki,j)>...d(gi(fr(x)),ki,j)，
或者，d(g1(fr(x)),li,j)>d(g2(fr(x)),li,j)>...d(gi(fr(x)),li,j)，
则判断该车辆数据为干净数据，将该车辆数据移入干净数据集C中；
所述噪声数据判断条件为：若某一车辆数据的各个层次的第一特征距离d(gi(fr(x)),ki,j)或第二特征距离d(gi(fr(x)),li,j)满足按图像标签范围从大到小的顺序依次增大，则判断该车辆数据为噪声数据，
即，若某一车辆数据满足：
d(g1(fr(x)),ki,j)<d(g2(fr(x)),ki,j)<...d(gi(fr(x)),ki,j)，
或者，d(g1(fr(x)),li,j)<d(g2(fr(x)),li,j)<...d(gi(fr(x)),li,j)，
则判断该车辆数据属于噪声数据，将该车辆数据移入噪声数据集N中；
若某一车辆数据既不满足所述干净数据判断条件，也不满足所述噪声数据判断条件，则判断该车辆数据属于待定数据，将该车辆数据移入待定数据集U中。
8.一种用于车辆款式图像数据的标签噪声识别系统，其特征在于，包括：
数据集定义模块，其用于将所有待识别的车辆数据定义为数据集D，D＝{x,y}，其中，x表示车辆的图像数据，y表示图像数据对应的车辆款式标签，且y＝[y1,y2...yi]，y1,y2...yi分别表示车辆款式中在不同层次的标签；
数据集设置模块，其用于设置干净数据集C、待定数据集U和噪声数据集N；
识别网络构建模块，其用于构建车辆车款识别网络fv，所述车辆车款识别网络fv包括骨架网络fr以及位于所述骨架网络fr之后的i个并行的属性识别子网络g1、g2...gi，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，i个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
图像特征提取模块，其用于通过所述车辆车款识别网络fv对车辆的图像数据进行特征提取，获得图像数据在各个层次的特征，分别记为图像特征g1(fr(x))、g2(fr(x))...gi(fr(x))；
特征距离计算模块，其用于对车辆图像数据在每个层次的特征分别进行聚类获得聚类结果，并计算每个层次中每个类别的图像数据对应的特征的均值ki,j，称为第i层次、第j类别的特征中心；从所得聚类结果中查找与特征中心ki,j距离最近的聚类中心，记为最接近聚类中心li,j；计算第i层次、第j类别的特征中心ki,j与最接近聚类中心li,j的距离记为特征距离Si,j，Si,j＝d(ki,j,li,j)；
判断模块，其用于根据每个图像数据对应的车辆款式标签yi，查找对应的特征距离根据所提取的图像数据在各个层次的图像特征gi(fr(x))，分别计算图像特征gi(fr(x))与特征中心ki,j以及最接近聚类中心li,j的距离，分别记为第一特征距离d(gi(fr(x)),ki,j)以及第二特征距离d(gi(fr(x)),li,j)；将所述第一特征距离d(gi(fr(x)),ki,j)、第二特征距离d(gi(fr(x)),li,j)分别与查找所得特征距离/>做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
令所述图像特征提取模块、特征距离计算模块、判断模块按序重复，获得关于车辆数据的标签噪声识别结果。
9.一种计算机设备，包括信号连接的处理器和存储器，其特征在于，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载时执行如权利要求1-7任一项所述用于车辆款式图像数据的标签噪声识别方法。
10.一种计算机可读存储介质，其上存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序被处理器加载时执行如权利要求1-7任一项所述用于车辆款式图像数据的标签噪声识别方法。
CN202311491340.4A 2023-11-09 2023-11-09 用于车辆款式图像数据的标签噪声识别方法、系统及设备 Active CN117523212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311491340.4A CN117523212B (zh) 2023-11-09 2023-11-09 用于车辆款式图像数据的标签噪声识别方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311491340.4A CN117523212B (zh) 2023-11-09 2023-11-09 用于车辆款式图像数据的标签噪声识别方法、系统及设备

Publications (2)

Publication Number Publication Date
CN117523212A true CN117523212A (zh) 2024-02-06
CN117523212B CN117523212B (zh) 2024-04-26

Family

ID=89760104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311491340.4A Active CN117523212B (zh) 2023-11-09 2023-11-09 用于车辆款式图像数据的标签噪声识别方法、系统及设备

Country Status (1)

Country Link
CN (1) CN117523212B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257855A (zh) * 2020-11-26 2021-01-22 Oppo（重庆）智能科技有限公司 一种神经网络的训练方法及装置、电子设备及存储介质
CN114881098A (zh) * 2022-02-28 2022-08-09 西安电子科技大学 一种基于流形正则化转移矩阵的标签噪声估计方法
WO2023080509A1 (ko) * 2021-11-04 2023-05-11 주식회사 하이퍼커넥트 효율적인 전환 매트릭스 추정을 통한 노이즈 레이블을 학습하는 방법 및 장치
CN116977730A (zh) * 2023-07-28 2023-10-31 北京交通大学 一种基于迁移学习的无监督低质量图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257855A (zh) * 2020-11-26 2021-01-22 Oppo（重庆）智能科技有限公司 一种神经网络的训练方法及装置、电子设备及存储介质
WO2023080509A1 (ko) * 2021-11-04 2023-05-11 주식회사 하이퍼커넥트 효율적인 전환 매트릭스 추정을 통한 노이즈 레이블을 학습하는 방법 및 장치
CN114881098A (zh) * 2022-02-28 2022-08-09 西安电子科技大学 一种基于流形正则化转移矩阵的标签噪声估计方法
CN116977730A (zh) * 2023-07-28 2023-10-31 北京交通大学 一种基于迁移学习的无监督低质量图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIYING LI等: "VRID-1: A Basic Vehicle Re-identification Dataset for Similar Vehicles", 2017 IEEE 20TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), 19 October 2017 (2017-10-19) *
江倩殷，余志，李熙莹: "标签差网络在噪声标签数据集中的应用", 计算机工程与应用, 15 March 2023 (2023-03-15) *

Also Published As

Publication number Publication date
CN117523212B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN110263673B (zh) 面部表情识别方法、装置、计算机设备及存储介质
CN111461238B (zh) 模型训练方法、字符识别方法、装置、设备及存储介质
CN103116766A (zh) 一种基于增量神经网络和子图编码的图像分类方法
CN111310918B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN116049412B (zh) 文本分类方法、模型训练方法、装置及电子设备
CN112528845A (zh) 一种基于深度学习的物理电路图识别方法及其应用
CN110489423A (zh) 一种信息抽取的方法、装置、存储介质及电子设备
CN115881265B (zh) 电子病历智能病案质控方法、系统、设备及存储介质
CN107944366B (zh) 一种基于属性学习的手指静脉识别方法及装置
CN118041689B (zh) 一种网络恶意流量检测方法
CN111737688B (zh) 基于用户画像的攻击防御系统
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN114692809A (zh) 基于神经集群的数据处理方法及装置、存储介质、处理器
CN117523212B (zh) 用于车辆款式图像数据的标签噪声识别方法、系统及设备
CN117133277A (zh) 用于人机交互的虚拟人物表情控制方法及系统
CN117457081A (zh) 一种基于超图的空间转录组数据处理方法及系统
CN111950615B (zh) 一种基于树种优化算法的网络故障特征选择方法
CN114821651A (zh) 一种行人重识别方法、系统、设备及计算机可读存储介质
CN114492657A (zh) 植物疾病分类方法、装置、电子设备及存储介质
CN110650130B (zh) 基于多分类GoogLeNet-LSTM模型的工控入侵检测方法
CN113469237A (zh) 用户意图识别方法、装置、电子设备及存储介质
CN114359952A (zh) 多模态分数融合方法、装置、计算机可读存储介质及设备
CN109739839A (zh) 数据空值处理方法、装置及终端设备
CN118365975B (zh) 天文图像形态分类标准数据集和基线模型构建方法与系统
CN117636072B (zh) 基于难度感知数据增强与标签矫正的图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant