CN117523212B - 用于车辆款式图像数据的标签噪声识别方法、系统及设备 - Google Patents
用于车辆款式图像数据的标签噪声识别方法、系统及设备 Download PDFInfo
- Publication number
- CN117523212B CN117523212B CN202311491340.4A CN202311491340A CN117523212B CN 117523212 B CN117523212 B CN 117523212B CN 202311491340 A CN202311491340 A CN 202311491340A CN 117523212 B CN117523212 B CN 117523212B
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- noise
- image data
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000000605 extraction Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 5
- 230000002349 favourable effect Effects 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 33
- 238000012545 processing Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及用于车辆款式图像数据的标签噪声识别方法、系统及设备，方法包括利用卷积神经网络的多任务框架，设置与车辆款式标签层次相对应的子网络结构，并行对不同层次的车辆图像特征提取，然后基于每个层次提取的特征，结合特征中心与最接近聚类中心等关键信息，对每个层次的噪声属性进行判断，再结合所有层次的噪声属性判断结果，实现图像整体噪声属性的判别。系统和设备用于执行上述识别方法。本公开结合车辆款式标签多层次的特性，充分考虑不同层次的噪声情况，对不同层次的噪声进行判断，能有效提高车辆款式图像数据的噪声识别准确率，有利于车辆图像数据在智慧交通中的应用推广。
Description
技术领域
本公开涉及图像处理的技术领域，具体涉及一种用于车辆款式图像数据的标签噪声识别方法、系统及设备。
背景技术
大规模图像数据集在人工智能的研究过程中发挥着重要的基础作用，而大规模图像数据集中的噪声数据却无法避免，这给数据集的应用效果带来严重影响。噪声是指数据集中数据标注错误，即标签与其真实标签不一致的数据，噪声数据的标签称为噪声标签。
大规模车辆图像数据集对于智慧交通中的车辆信息提取、个体行为辨识等问题都具有重要意义。一般来说，通俗意义上的车辆款式一般包括至少三个层次的标签信息，即品牌-型号-年款，如本田-雅阁-2021款，统称为车辆款式。同样的，噪声在车辆数据集中也广泛地存在。一方面，部分车辆款式之间外形相似度极其高，单纯凭借人眼进行标注难以进行区分；另一方面，对于同一个车款，不同厂商的称呼不同，也可能造成噪声数据的出现。因此，车辆图像数据集中的噪声标签问题急需解决。
目前在数据集中的噪声标签处理中，卷积神经网络仍然是噪声标签处理技术的基础。基于卷积神经网络，目前对于噪声标签的噪声识别与抗噪训练的改进主要包括损失函数改进、多网络协同与半监督学习等三类。但在实际应用过程中，无论是哪一类方法，针对的都是单一标签，而忽略了车辆款式的多层标签结构。
具体而言，对于车辆款式标签，噪声标签可能会出现在任何一个层次中，即有可能品牌标签是正确的，而型号和年款标签是错误的，或者品牌和型号标签是正确的，但年款标签是错误的，也有可能多个层次的标签同时错误。如果按现有方法将多个层次的标签组合并视为单一层次标签的话，则难以区分部分层次标签正确而部分层次标签错误的情况。
发明内容
为了解决上述现有技术存在的问题，本公开目的在于提供一种用于车辆款式图像数据的标签噪声识别方法、系统及设备。本公开结合车辆款式标签多层次的特性，充分考虑不同层次的噪声情况，对不同层次的噪声进行判断，能有效提高车辆款式图像数据的噪声识别准确率，有利于车辆图像数据在智慧交通中的应用推广。
本公开所述的一种用于车辆款式图像数据的标签噪声识别方法，包括以下步骤：
S01、将所有待识别的车辆数据定义为数据集，/>，其中，/>表示车辆的图像数据，/>表示图像数据对应的车辆款式标签，且/>，/>分别表示不同层次的车辆款式标签；
S02、设置干净数据集、待定数据集/>和噪声数据集/>；
S03、构建车辆车款识别网络，所述车辆车款识别网络/>包括骨架网络/>以及位于所述骨架网络/>之后的/>个并行的属性识别子网络/>、/>.../>，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，/>个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
S04、通过所述车辆车款识别网络对车辆的图像数据进行特征提取，获得图像数据在各个层次的特征，分别记为图像特征/>、/>.../>；
S05、取干净数据集与待定数据集/>的并集/>，对并集/>中所有图像数据在每个层次的特征分别进行聚类获得聚类结果；计算干净数据集/>的所有图像数据在每个层次的每个类别中对应的特征的均值/>，称为第/>层次、第/>类别的特征中心；从所得第/>层次的聚类结果中查找与特征中心/>距离最近的聚类中心，记为最接近聚类中心/>；计算第层次、第/>类别的特征中心/>与最接近聚类中心/>的距离记为特征距离/> ， ；
S06、根据每个图像数据对应的车辆款式标签，查找对应的特征距离/>，根据所提取的图像数据在各个层次的图像特征/>，分别计算图像特征/>与特征中心以及最接近聚类中心/>的距离，分别记为第一特征距离/>以及第二特征距离/>；将所述第一特征距离/>、第二特征距离分别与查找所得特征距离/>做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
S07、重复步骤S04~S06多次，获得关于车辆数据的标签噪声识别结果。
优选地，步骤S01中，车辆款式标签具有三个层次，分别为品牌、型号和年款，数据形式均为独热编码。
优选地，步骤S03中，所述骨架网络采用ResNet网络，所述属性识别子网络包括三个长度分别为1000、1000和/>的全连接层，其中，/>为车辆款式标签/>的类别数量；
所述车辆车款识别网络的损失函数为/>个属性识别子网络的交叉熵损失函数之和，表示为：
；
其中，，/>表示/>的第/>个分量，/>表示对/>使用softmax函数对数据进行概率化输出的结果。
优选地，步骤S04具体包括：
标记所有车辆数据为干净数据，即令，待定数据集/>和噪声数据集/>均为空集；
将干净数据集与待定数据集/>的并集/>输入到所述车辆车款识别网络/>中，通过所述车辆车款识别网络/>的损失函数进行迭代训练，经过/>轮的训练后，获得车辆车款识别网络/>的权重，并获得并集/>中所有车辆数据的图像特征/>、/>.../>。
优选地，步骤S05中，使用KNN聚类算法对车辆图像数据在每个层次的特征分别进行聚类，其中，第个层次的聚类类别数为小于1.5/>的最大整数，/>为车辆款式标签/>的类别数量。
优选地，步骤S06具体包括：
对于每个图像数据，具有标签正确判断条件和标签错误判断条件；
所述标签正确判断条件为：若第一特征距离以及第二特征距离均小于查找所得特征距离/>的/>倍,则判断图像数据在第/>层次的标签为正确，其中，/>为经验参数；
所述标签错误判断条件：若第一特征距离以及第二特征距离均大于查找所得特征距离/>的/>倍,则判断图像数据在第/>层次的标签为错误，其中，/>为经验参数；
若图像数据既不满足所述标签正确判断条件，也不满足所述标签错误判断条件，则判断图像数据在第层次的标签为待定；
获取图像数据在全部个层次中的标签准确性判断结果，记录判断结果为正确的层次数量为/>，判断结果为错误的层次数量为/>，预设关于标签准确率的第一阈值/>和第二阈值/>；
若某一车辆数据满足，则判断该车辆数据整体属于干净数据，将该车辆数据移入干净数据集/>中；
若某一车辆数据满足，则判断该车辆数据整体属于噪声数据，将该车辆数据移入噪声数据集/>中；
若某一车辆数据既不满足，也不满足/>，则判断该车辆数据整体属于待定数据，将该车辆数据移入待定数据集/>中。
优选地，步骤S06中，根据判断结果，将车辆数据移入到对应的数据集中之后还包括：
对于并集中的每个车辆数据，车辆款式标签/>满足按照标签包括范围从大到小按序排列，对于每个车辆数据，具有干净数据判断条件和噪声数据判断条件；
所述干净数据判断条件为：若某一车辆数据的各个层次的第一特征距离或第二特征距离/>满足按图像标签范围从大到小的顺序依次减小，则判断该车辆数据为干净数据，
即，若某一车辆数据满足：
，
或者，，
则判断该车辆数据为干净数据，将该车辆数据移入干净数据集中；
所述噪声数据判断条件为：若某一车辆数据的各个层次的第一特征距离或第二特征距离/>满足按图像标签范围从大到小的顺序依次增大，则判断该车辆数据为噪声数据，
即，若某一车辆数据满足：
，
或者，，
则判断该车辆数据属于噪声数据，将该车辆数据移入噪声数据集中；
若某一车辆数据既不满足所述干净数据判断条件，也不满足所述噪声数据判断条件，则判断该车辆数据属于待定数据，将该车辆数据移入待定数据集中。
本公开的一种用于车辆款式图像数据的标签噪声识别系统，其特征在于，包括：
数据集定义模块，其用于将所有待识别的车辆数据定义为数据集，/>，其中，/>表示车辆的图像数据，/>表示图像数据对应的车辆款式标签，且/>，分别表示车辆款式中在不同层次的标签；
数据集设置模块，其用于设置干净数据集、待定数据集/>和噪声数据集/>；
识别网络构建模块，其用于构建车辆车款识别网络，所述车辆车款识别网络/>包括骨架网络/>以及位于所述骨架网络/>之后的/>个并行的属性识别子网络/>、/>.../>，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，/>个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
图像特征提取模块，其用于通过所述车辆车款识别网络对车辆的图像数据进行特征提取，获得图像数据在各个层次的特征，分别记为图像特征/>、/>...；
特征距离计算模块，其用于对车辆图像数据在每个层次的特征分别进行聚类获得聚类结果，并计算每个层次中每个类别的图像数据对应的特征的均值，称为第/>层次、第/>类别的特征中心；从所得聚类结果中查找与特征中心/>距离最近的聚类中心，记为最接近聚类中心/>；计算第/>层次、第/>类别的特征中心/>与最接近聚类中心/>的距离记为特征距离/>，/>；
判断模块，其用于根据每个图像数据对应的车辆款式标签，查找对应的特征距离/>，根据所提取的图像数据在各个层次的图像特征/>，分别计算图像特征与特征中心/>以及最接近聚类中心/>的距离，分别记为第一特征距离以及第二特征距离/>；将所述第一特征距离、第二特征距离/>分别与查找所得特征距离/>做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
令所述图像特征提取模块、特征距离计算模块、判断模块按序重复，获得关于车辆数据的标签噪声识别结果。
本公开的一种计算机设备，包括信号连接的处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载时执行如上所述用于车辆款式图像数据的标签噪声识别方法。
本公开的一种计算机可读存储介质，其上存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序被处理器加载时执行如上所述用于车辆款式图像数据的标签噪声识别方法。
本公开所述的一种用于车辆款式图像数据的标签噪声识别方法、系统及设备，其优点在于，本公开结合车辆款式标签具有多层次信息的特性，利用卷积神经网络的多任务框架，设置与车辆款式标签层次相对应的子网络结构，并行对不同层次的车辆图像特征提取，然后基于每个层次提取的特征，结合特征中心与最接近聚类中心等关键信息，对每个层次的噪声属性（即是否属于噪声、标签的准确性）进行判断，再结合所有层次的噪声属性判断结果，实现图像整体噪声属性的判别，更贴合于车辆款式标签多层次的结构，能有效提高对于车辆款式标签的噪声识别准确率，有利于车辆图像数据在智慧交通中的应用推广。
附图说明
图1是本实施例所述标签噪声识别方法的步骤流程图；
图2是本实施例所述计算机设备的结构示意图。
附图标记说明：101-处理器，102-存储器
具体实施方式
如图1所示，本公开所述的一种用于车辆款式图像数据的标签噪声识别方法，包括以下步骤：
S01、将所有待识别的车辆数据定义为数据集，/>，其中，/>表示车辆的图像数据，/>表示图像数据对应的车辆款式标签，且/>，/>分别表示不同层次的车辆款式标签；
在具体的实施例中，车辆款式标签具有三个层次，分别为品牌、型号和年款，数据形式均为独热编码，如本田-雅阁-2021款，即上述的3。
S02、设置干净数据集、待定数据集/>和噪声数据集/>；
其中，干净数据组成的集合称为干净数据集，以符号表示；待定数据组成的集合为待定数据集，以符号/>表示；噪声数据组成的集合为噪声数据集，以符号/>表示。
S03、基于多任务框架构建车辆车款识别网络，车辆车款识别网络/>包括骨架网络/>以及位于所述骨架网络/>之后的/>个并行的属性识别子网络/>、/>.../>，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，/>个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
具体的，本实施例中，车辆款式标签具有三个层次，则所需构建的属性识别子网络的数量为三个，分别对应车辆品牌、型号和年款。
骨架网络采用ResNet网络，所述属性识别子网络包括三个长度分别为1000、1000和/>的全连接层，其中，/>为车辆款式标签/>的类别数量。
车辆车款识别网络的损失函数为/>个属性识别子网络的交叉熵损失函数之和，表示为：
；
其中，，/>表示/>的第/>个分量，/>表示对/>使用softmax函数对数据进行概率化输出的结果。
在完成车辆车款识别网络构建后，通过车辆车款识别网络对图像特征进行提取，具体如下：
标记所有车辆数据为干净数据，即令，待定数据集/>和噪声数据集/>均为空集；
将干净数据集与待定数据集/>的并集/>输入到所述车辆车款识别网络/>中，通过所述车辆车款识别网络/>的损失函数进行迭代训练，经过/>轮，如50轮的训练后，获得车辆车款识别网络/>的权重，并获得并集/>中所有车辆数据的图像特征/>、.../>。
对于每一层次的特征，均进行如下的步骤S05操作：
S05、取干净数据集与待定数据集/>的并集/>，使用KNN聚类算法对并集/>中所有图像数据在每个层次的特征分别进行聚类，其中，第/>个层次的聚类类别数为小于1.5/>的最大整数,/>为车辆款式标签/>的类别数量，每个聚类类别对应一个聚类中心。
计算干净数据集的所有图像数据在每个层次的每个类别中对应的特征的均值，称为第/>层次、第/>类别的特征中心；从所得第/>层次的聚类结果中，通过遍历对比的方法查找出与特征中心/>距离最近的聚类中心，记为最接近聚类中心/>；计算第/>层次、第/>类别的特征中心/>与最接近聚类中心/>的距离记为特征距离/>，/>；本实施例中，采用余弦距离计算两个中心之间的距离，并进行遍历比对，以查找出所述的最接近聚类中心/>。
对于并集中的每一个车辆数据，通过下述步骤S06判断该车辆数据在每个层次的噪声属性，也即该层次标签的准确性，表示为干净、噪声或待定。
步骤S06具体如下：
根据每个图像数据对应的车辆款式标签，查找对应的特征距离/>，根据所提取的图像数据在各个层次的图像特征/>，分别计算图像特征/>与特征中心/>以及最接近聚类中心/>的距离，分别记为第一特征距离/>以及第二特征距离；将所述第一特征距离/>、第二特征距离/>分别与查找所得特征距离/>做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
更具体的，对于并集中的每个图像数据，具有标签正确判断条件和标签错误判断条件；
所述标签正确判断条件为：若第一特征距离以及第二特征距离均小于查找所得特征距离/>的/>倍,即满足：
,
且，；
则判断图像数据在第层次的标签为正确，或理解为该图像数据在是该层次的干净数据，其中，/>为经验参数，可由用户自行定义，示例性的，/>。
所述标签错误判断条件：若第一特征距离以及第二特征距离均大于查找所得特征距离/>的/>倍,即满足：
,
且；
则判断图像数据在第层次的标签为错误，或理解为该图像数据在是该层次的噪声数据，其中，/>为经验参数，可由用户自行定义，示例性的，/>。
若图像数据既不满足所述标签正确判断条件，也不满足所述标签错误判断条件，则判断图像数据在第层次的标签为待定，或理解为该图像数据在是该层次的待定数据。
获取图像数据在全部个层次中的标签准确性判断结果，记录判断结果为正确的层次数量为/>，判断结果为错误的层次数量为/>，预设关于标签准确率的第一阈值/>和第二阈值/>；
若某一车辆数据满足，则判断该车辆数据整体属于干净数据，将该车辆数据移入干净数据集/>中；
若某一车辆数据满足，则判断该车辆数据整体属于噪声数据，将该车辆数据移入噪声数据集/>中；
若某一车辆数据既不满足，也不满足/>，则判断该车辆数据整体属于待定数据，将该车辆数据移入待定数据集/>中。
上述第一阈值和第二阈值/>可根据实际需求进行设置，示例性的，对于三个层次的车辆款式标签而言，可以令/>=60%。
即：对于并集中的每个图像数据，在所有层次中，有至少两个层次被认为是正确标签，即认定为干净数据，则判断该车辆数据整体属于干净数据，将该车辆数据移入干净数据集/>中。
有至少两个层次被认为是错误标签，即认定为噪声数据，则判断该车辆数据整体属于噪声数据，将该车辆数据移入噪声数据集中。
如某一图像数据，既不属于干净数据，也不属于噪声数据，则判断为待定数据，将该车辆数据移入待定数据集中。
通过上述的步骤S06，可初步判断出各个图像数据属于干净、噪声还是待定数据，但为进一步提高噪声识别的准确率，本实施例在步骤S06中，根据判断结果，将车辆数据移入到对应的数据集中之后还包括：
对于并集中的每个车辆数据，车辆款式标签/>满足按照标签包括范围从大到小按序排列，如，品牌、型号、年款的包括范围从大到小，层次序号依次为1、2、3。
对于每个车辆数据，具有干净数据判断条件和噪声数据判断条件；
所述干净数据判断条件为：
若某一车辆数据满足所提取的图像特征与特征中心或最接近聚类中心的距离是依次减小，即满足：
，
或者，，
则判断该车辆数据为干净数据，将该车辆数据移入干净数据集中；
所述噪声数据判断条件为：
若某一车辆数据满足所提取的图像特征与特征中心或最接近聚类中心的距离是依次增大的，即满足：
，
或者，，
则判断该车辆数据属于噪声数据，将该车辆数据移入噪声数据集中；
若某一车辆数据既不满足所述干净数据判断条件，也不满足所述噪声数据判断条件，则判断该车辆数据属于待定数据，将该车辆数据移入待定数据集中。
由于范围更大的标签层次其图像特征在特征空间的分布相对于范围小的标签层次来说应该更稀疏，因为一个范围更大的标签可能包括若干个范围更小的标签，或者说，可能存在不同小范围标签同属一个大范围标签的情况（如一个品牌包括多个型号，一个型号包括多个年款，因此，本步骤结合标签的范围包含关系及特征距离的递变关系，可对噪声识别的初步判断结果进一步核查，以提高噪声识别的准确率。
S07、重复步骤S04~S06，共重复次，如重复200次，获得关于车辆数据的标签噪声识别结果，也即干净数据集/>、待定数据集/>和噪声数据集/>分别包含噪声识别结果的干净数据、待定数据（或称中立数据）和噪声数据。
本公开结合车辆款式标签具有多层次信息的特性，利用卷积神经网络的多任务框架，设置与车辆款式标签层次相对应的子网络结构，并行对不同层次的车辆图像特征提取，然后基于每个层次提取的特征，结合特征中心与最接近聚类中心等关键信息，对每个层次的噪声属性（即是否属于噪声、标签的准确性）进行判断，再结合所有层次的噪声属性判断结果，实现图像整体噪声属性的判别，更贴合于车辆款式标签多层次的结构，能有效提高对于车辆款式标签的噪声识别准确率，有利于车辆图像数据在智慧交通中的应用推广。
本实施例还提供了一种用于车辆款式图像数据的标签噪声识别系统，包括：
数据集定义模块，其用于将所有待识别的车辆数据定义为数据集，/>，其中，/>表示车辆的图像数据，/>表示图像数据对应的车辆款式标签，且/>，分别表示车辆款式中在不同层次的标签；
数据集设置模块，其用于设置干净数据集、待定数据集/>和噪声数据集/>；
识别网络构建模块，其用于构建车辆车款识别网络，所述车辆车款识别网络/>包括骨架网络/>以及位于所述骨架网络/>之后的/>个并行的属性识别子网络/>、/>.../>，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，/>个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
图像特征提取模块，其用于通过所述车辆车款识别网络对车辆的图像数据进行特征提取，获得图像数据在各个层次的特征，分别记为图像特征/>、/>...；
特征距离计算模块，其用于对车辆图像数据在每个层次的特征分别进行聚类获得聚类结果，并计算每个层次中每个类别的图像数据对应的特征的均值，称为第/>层次、第/>类别的特征中心；从所得聚类结果中查找与特征中心/>距离最近的聚类中心，记为最接近聚类中心/>；计算第/>层次、第/>类别的特征中心/>与最接近聚类中心/>的距离记为特征距离/>，/>；
判断模块，其用于根据每个图像数据对应的车辆款式标签，查找对应的特征距离/>，根据所提取的图像数据在各个层次的图像特征/>，分别计算图像特征与特征中心/>以及最接近聚类中心/>的距离，分别记为第一特征距离以及第二特征距离/>；将所述第一特征距离、第二特征距离/>分别与查找所得特征距离/>做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
令所述图像特征提取模块、特征距离计算模块、判断模块按序重复，获得关于车辆数据的标签噪声识别结果。
本实施例的标签噪声识别系统与上述的标签噪声识别方法属于相同的发明构思，可参照上文描述进行理解，在此不再赘述。
如图2所示，本实施例还提供了一种计算机设备，包括通过总线信号连接的处理器101和存储器102，所述存储器102中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器101加载时执行如上所述标签噪声识别方法。存储器102可用于存储软件程序以及模块，处理器101通过运行存储在存储器102的软件程序以及模块，从而执行各种功能应用。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器102还可以包括存储器控制器，以提供处理器101对存储器102的访问。
本公开实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行，即上述计算机设备可以包括计算机终端、服务器或者类似的运算装置。该计算机设备的内部结构可包括但不限于：处理器、网络接口及存储器。其中，计算机设备内的处理器、网络接口及存储器可通过总线或其他方式连接。
其中，处理器101(或称CPU(CentralProcessingUnit，中央处理器))是计算机设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器102(Memory)是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器102可以是高速RAM存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器101的存储装置。存储器102提供存储空间，该存储空间存储了电子设备的操作系统，可包括但不限于：Windows系统(一种操作系统)，Linux(一种操作系统)，Android(安卓，一种移动操作系统)系统、IOS(一种移动操作系统)系统等等，本公开对此并不作限定；并且，在该存储空间中还存放了适于被处理器101加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中，处理器101加载并执行存储器102中存放的一条或一条以上指令，以实现上述方法实施例所述标签噪声识别方法。
本公开实施例还提供一种计算机可读存储介质，其上存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序被处理器101加载时执行如上所述标签噪声识别方法。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
在本公开的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本公开保护范围的限制。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本公开权利要求的保护范围之内。
Claims (10)
1.用于车辆款式图像数据的标签噪声识别方法，其特征在于，包括以下步骤：
S01、将所有待识别的车辆数据定义为数据集，/>，其中，/>表示车辆的图像数据，/>表示图像数据对应的车辆款式标签，且/>，/>分别表示不同层次的车辆款式标签；
S02、设置干净数据集、待定数据集/>和噪声数据集/>；
S03、构建车辆车款识别网络，所述车辆车款识别网络/>包括骨架网络/>以及位于所述骨架网络/>之后的/>个并行的属性识别子网络/>、/>.../>，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，/>个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
S04、通过所述车辆车款识别网络对车辆的图像数据进行特征提取，获得图像数据在各个层次的特征，分别记为图像特征/>；
S05、取干净数据集与待定数据集/>的并集/>，对并集/>中所有图像数据在每个层次的特征分别进行聚类获得聚类结果；计算干净数据集/>的所有图像数据在每个层次的每个类别中对应的特征的均值/>，称为第/>层次、第/>类别的特征中心；从所得第/>层次的聚类结果中查找与特征中心/>距离最近的聚类中心，记为最接近聚类中心/>；计算第/>层次、第/>类别的特征中心/>与最接近聚类中心/>的距离记为特征距离/> ，/>；
S06、根据每个图像数据对应的车辆款式标签，查找对应的特征距离/>，根据所提取的图像数据在各个层次的图像特征/>，分别计算图像特征/>与特征中心/>以及最接近聚类中心/>的距离，分别记为第一特征距离/>以及第二特征距离/>；将所述第一特征距离/>、第二特征距离/>分别与查找所得特征距离/>做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
S07、重复步骤S04~S06多次，获得关于车辆数据的标签噪声识别结果。
2.根据权利要求1所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S01中，车辆款式标签具有三个层次，分别为品牌、型号和年款，数据形式均为独热编码。
3.根据权利要求1所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S03中，所述骨架网络采用ResNet网络，所述属性识别子网络包括三个长度分别为1000、1000和/>的全连接层，其中，/>为车辆款式标签/>的类别数量；
所述车辆车款识别网络的损失函数为/>个属性识别子网络的交叉熵损失函数之和，表示为：
；
其中，，/>表示/>的第/>个分量，/>表示对/>使用softmax函数对数据进行概率化输出的结果。
4.根据权利要求3所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S04具体包括：
标记所有车辆数据为干净数据，即令，待定数据集/>和噪声数据集/>均为空集；
将干净数据集与待定数据集/>的并集/>输入到所述车辆车款识别网络/>中，通过所述车辆车款识别网络/>的损失函数进行迭代训练，经过/>轮的训练后，获得车辆车款识别网络/>的权重，并获得并集/>中所有车辆数据的图像特征/>、/>...。
5.根据权利要求1所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S05中，使用KNN聚类算法对车辆图像数据在每个层次的特征分别进行聚类，其中，第个层次的聚类类别数为小于1.5/>的最大整数,/>为车辆款式标签/>的类别数量。
6.根据权利要求5所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S06具体包括：
对于每个图像数据，具有标签正确判断条件和标签错误判断条件；
所述标签正确判断条件为：若第一特征距离以及第二特征距离均小于查找所得特征距离/>的/>倍,则判断图像数据在第/>层次的标签为正确，其中，/>为经验参数；
所述标签错误判断条件：若第一特征距离以及第二特征距离均大于查找所得特征距离/>的/>倍,则判断图像数据在第/>层次的标签为错误，其中，/>为经验参数；
若图像数据既不满足所述标签正确判断条件，也不满足所述标签错误判断条件，则判断图像数据在第层次的标签为待定；
获取图像数据在全部个层次中的标签准确性判断结果，记录判断结果为正确的层次数量为/>，判断结果为错误的层次数量为/>，预设关于标签准确率的第一阈值/>和第二阈值/>；
若某一车辆数据满足，则判断该车辆数据整体属于干净数据，将该车辆数据移入干净数据集/>中；
若某一车辆数据满足，则判断该车辆数据整体属于噪声数据，将该车辆数据移入噪声数据集/>中；
若某一车辆数据既不满足，也不满足/>，则判断该车辆数据整体属于待定数据，将该车辆数据移入待定数据集/>中。
7.根据权利要求6所述用于车辆款式图像数据的标签噪声识别方法，其特征在于，步骤S06中，根据判断结果，将车辆数据移入到对应的数据集中之后还包括：
对于并集中的每个车辆数据，车辆款式标签/>满足按照标签包括范围从大到小按序排列，对于每个车辆数据，具有干净数据判断条件和噪声数据判断条件；
所述干净数据判断条件为：若某一车辆数据的各个层次的第一特征距离或第二特征距离/>满足按图像标签范围从大到小的顺序依次减小，则判断该车辆数据为干净数据，
即，若某一车辆数据满足：
，
或者，，
则判断该车辆数据为干净数据，将该车辆数据移入干净数据集中；
所述噪声数据判断条件为：若某一车辆数据的各个层次的第一特征距离或第二特征距离/>满足按图像标签范围从大到小的顺序依次增大，则判断该车辆数据为噪声数据，
即，若某一车辆数据满足：
，
或者，，
则判断该车辆数据属于噪声数据，将该车辆数据移入噪声数据集中；
若某一车辆数据既不满足所述干净数据判断条件，也不满足所述噪声数据判断条件，则判断该车辆数据属于待定数据，将该车辆数据移入待定数据集中。
8.一种用于车辆款式图像数据的标签噪声识别系统，其特征在于，包括：
数据集定义模块，其用于将所有待识别的车辆数据定义为数据集，/>，其中，/>表示车辆的图像数据，/>表示图像数据对应的车辆款式标签，且/>，/>分别表示车辆款式中在不同层次的标签；
数据集设置模块，其用于设置干净数据集、待定数据集/>和噪声数据集/>；
识别网络构建模块，其用于构建车辆车款识别网络，所述车辆车款识别网络/>包括骨架网络/>以及位于所述骨架网络/>之后的/>个并行的属性识别子网络/>、/>.../>，其中，所述属性识别子网络的数量与车辆款式标签的层次数量相匹配，/>个所述属性识别子网络分别用于识别各个层次的车辆款式标签；
图像特征提取模块，其用于通过所述车辆车款识别网络对车辆的图像数据进行特征提取，获得图像数据在各个层次的特征，分别记为图像特征/>、/>...；
特征距离计算模块，其用于对车辆图像数据在每个层次的特征分别进行聚类获得聚类结果，并计算每个层次中每个类别的图像数据对应的特征的均值，称为第/>层次、第/>类别的特征中心；从所得聚类结果中查找与特征中心/>距离最近的聚类中心，记为最接近聚类中心/>；计算第/>层次、第/>类别的特征中心/>与最接近聚类中心/>的距离记为特征距离/>，；
判断模块，其用于根据每个图像数据对应的车辆款式标签，查找对应的特征距离/>，根据所提取的图像数据在各个层次的图像特征/>，分别计算图像特征/>与特征中心/>以及最接近聚类中心/>的距离，分别记为第一特征距离/>以及第二特征距离/>；将所述第一特征距离/>、第二特征距离分别与查找所得特征距离/>做数值比较，根据数值比较结果，判断各个车辆数据在各个层次的标签的准确性，并根据标签准确性判断结果，判断各个车辆数据整体属于干净数据、待定数据或噪声数据，根据判断结果，将车辆数据移入到对应的数据集中；
令所述图像特征提取模块、特征距离计算模块、判断模块按序重复，获得关于车辆数据的标签噪声识别结果。
9.一种计算机设备，包括信号连接的处理器和存储器，其特征在于，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载时执行如权利要求1-7任一项所述用于车辆款式图像数据的标签噪声识别方法。
10.一种计算机可读存储介质，其上存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序被处理器加载时执行如权利要求1-7任一项所述用于车辆款式图像数据的标签噪声识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311491340.4A CN117523212B (zh) | 2023-11-09 | 2023-11-09 | 用于车辆款式图像数据的标签噪声识别方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311491340.4A CN117523212B (zh) | 2023-11-09 | 2023-11-09 | 用于车辆款式图像数据的标签噪声识别方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117523212A CN117523212A (zh) | 2024-02-06 |
| CN117523212B true CN117523212B (zh) | 2024-04-26 |
Family
ID=89760104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311491340.4A Active CN117523212B (zh) | 2023-11-09 | 2023-11-09 | 用于车辆款式图像数据的标签噪声识别方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117523212B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257855A (zh) * | 2020-11-26 | 2021-01-22 | Oppo（重庆）智能科技有限公司 | 一种神经网络的训练方法及装置、电子设备及存储介质 |
| CN114881098A (zh) * | 2022-02-28 | 2022-08-09 | 西安电子科技大学 | 一种基于流形正则化转移矩阵的标签噪声估计方法 |
| WO2023080509A1 (ko) * | 2021-11-04 | 2023-05-11 | 주식회사 하이퍼커넥트 | 효율적인 전환 매트릭스 추정을 통한 노이즈 레이블을 학습하는 방법 및 장치 |
| CN116977730A (zh) * | 2023-07-28 | 2023-10-31 | 北京交通大学 | 一种基于迁移学习的无监督低质量图像分类方法 |
-
2023
- 2023-11-09 CN CN202311491340.4A patent/CN117523212B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257855A (zh) * | 2020-11-26 | 2021-01-22 | Oppo（重庆）智能科技有限公司 | 一种神经网络的训练方法及装置、电子设备及存储介质 |
| WO2023080509A1 (ko) * | 2021-11-04 | 2023-05-11 | 주식회사 하이퍼커넥트 | 효율적인 전환 매트릭스 추정을 통한 노이즈 레이블을 학습하는 방법 및 장치 |
| CN114881098A (zh) * | 2022-02-28 | 2022-08-09 | 西安电子科技大学 | 一种基于流形正则化转移矩阵的标签噪声估计方法 |
| CN116977730A (zh) * | 2023-07-28 | 2023-10-31 | 北京交通大学 | 一种基于迁移学习的无监督低质量图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| VRID-1: A Basic Vehicle Re-identification Dataset for Similar Vehicles;Xiying Li等;2017 IEEE 20th International Conference on Intelligent Transportation Systems (ITSC);20171019;全文 * |
| 标签差网络在噪声标签数据集中的应用;江倩殷，余志，李熙莹;计算机工程与应用;20230315;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117523212A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898642B (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| CN104615642B (zh) | 基于局部邻域约束的空间验证的错误匹配检测方法 | |
| CN110399800B (zh) | 基于深度学习vgg16框架的车牌检测方法及系统、存储介质 | |
| CN110222330B (zh) | 语义识别方法及装置、存储介质、计算机设备 | |
| CN109697451B (zh) | 相似图像聚类方法及装置、存储介质、电子设备 | |
| CN111461238B (zh) | 模型训练方法、字符识别方法、装置、设备及存储介质 | |
| CN110633289A (zh) | 一种车牌号确定方法、服务器及停车管理系统 | |
| CN112215236B (zh) | 文本识别方法、装置、电子设备及存储介质 | |
| CN111310918B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN115392937A (zh) | 一种用户欺诈风险识别方法、装置、电子设备及存储介质 | |
| CN115100739A (zh) | 人机行为检测方法、系统、终端设备及存储介质 | |
| CN110795736A (zh) | 一种基于svm决策树的恶意安卓软件检测方法 | |
| CN114168768A (zh) | 图像检索方法及相关设备 | |
| CN117523212B (zh) | 用于车辆款式图像数据的标签噪声识别方法、系统及设备 | |
| CN115374927A (zh) | 一种神经网络模型训练的方法、异常检测的方法及设备 | |
| CN111914772A (zh) | 识别年龄的方法、年龄识别模型的训练方法和装置 | |
| CN115186650B (zh) | 数据检测方法及相关装置 | |
| CN111583194A (zh) | 基于贝叶斯粗糙集和布谷鸟算法的高维特征选择算法 | |
| CN115952800A (zh) | 命名实体识别方法、装置、计算机设备及可读存储介质 | |
| CN112463964B (zh) | 文本分类及模型训练方法、装置、设备及存储介质 | |
| CN114445716A (zh) | 关键点检测方法、装置、计算机设备、介质及程序产品 | |
| CN115205975A (zh) | 行为识别方法、装置、电子设备和计算机可读存储介质 | |
| CN114492657A (zh) | 植物疾病分类方法、装置、电子设备及存储介质 | |
| CN110650130B (zh) | 基于多分类GoogLeNet-LSTM模型的工控入侵检测方法 | |
| CN113469237A (zh) | 用户意图识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |