CN114898454A - 一种神经网络模型的训练方法、装置、电子设备及介质 - Google Patents

一种神经网络模型的训练方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN114898454A
CN114898454A CN202210609065.0A CN202210609065A CN114898454A CN 114898454 A CN114898454 A CN 114898454A CN 202210609065 A CN202210609065 A CN 202210609065A CN 114898454 A CN114898454 A CN 114898454A
Authority
CN
China
Prior art keywords
current
training
neural network
trained
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210609065.0A
Other languages
English (en)
Inventor
金百鑫
尚秉旭
陈志新
刘洋
王洪峰
张勇
何柳
张中举
许朝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202210609065.0A priority Critical patent/CN114898454A/zh
Publication of CN114898454A publication Critical patent/CN114898454A/zh
Priority to PCT/CN2023/097127 priority patent/WO2023232031A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种神经网络模型的训练方法、装置、电子设备及存储介质；该方法包括：将预先采集到的多张图片划分为N个类型；将N个类型中的其中一个类型作为当前基准类型；并在当前基准类型的图片中提取出一张图片作为当前基准图片；基于当前基准图片和当前基准类型中的图片以及当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对；基于当前阳性样本对和当前阴性样本对，对待训练的神经网络模型进行训练。本申请实施例能够自适应对比损失，在具有不同相似性的样本之间保持不同程度的分离，在青光眼筛查的识别场景中可以提高模型的识别能力，从而可以达到更好的训练效果。

Description

一种神经网络模型的训练方法、装置、电子设备及介质
技术领域
本申请实施例涉及人工智能技术领域，尤其涉及一种神经网络模型的训练方法、装置、电子设备及介质。
背景技术
当前，司机的青光眼问题不容忽视。青光眼是一种很严重的眼部疾病，轻则视力下降，重则失明。司机在青光眼初期对疾病感知不强，容易引发危险驾驶。而且由于青光眼导致的视力下降或者失明是不可逆的，无论采取药物治疗还是手术治疗，都没有办法让视力恢复。除此之外，青光眼还有许多危害，极易可能引发一系列的并发症。
在现阶段，眼底图像疾病识别多使用深度学习来实现。在深度学习中的度量学习领域，构造合适的损失函数对于提高学习效果非常重要。在现有的神经网络中，对比损失和三重态损耗旨在缩短相似样本之间的距离，并增加中间样本之间的距离。在此基础上，存在排名驱动的结构性损失，如提升结构损失和proxy-NCA损失。对比损失预计所有相似样本在一个点上重叠，所有不同样本将接近一个固定边界。此外，在一些基于神经网络的作品中，学者对预先训练的部分网络进行微调以满足实际要求，例如可以在提取的视盘区域进行极坐标变换，作为青光眼预测中的一个平行信息流。还可以在一个大规模青光眼数据集中使用端到端的二元分类预测。但是现有的神经网络无法自适应对比损失，无法在具有不同相似性的样本之间保持不同程度的分离。
发明内容
本申请提供一种神经网络模型的训练方法、装置、电子设备及存储介质，能够自适应对比损失，在具有不同相似性的样本之间保持不同程度的分离，在青光眼筛查的识别场景中可以提高模型的识别能力，从而可以达到更好的训练效果。
第一方面，本申请实施例提供了一种神经网络模型的训练方法，所述方法包括：
若待训练的神经网络模型不满足预先确定的收敛条件，则将预先采集到的多张图片划分为N个类型；其中，N为大于1的自然数；
将所述N个类型中的其中一个类型作为当前基准类型；并在所述当前基准类型的图片中提取出一张图片作为当前基准图片；
基于所述当前基准图片和所述当前基准类型中的图片以及所述当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对；
基于所述当前阳性样本对和所述当前阴性样本对，对待训练的神经网络模型进行训练，重复执行上述操作，直到所述待训练的神经网络模型满足所述收敛条件。
第二方面，本申请实施例还提供了一种神经网络模型的训练装置，所述装置包括：划分模块、提取模块、构建模块和训练模块；其中，
所述划分模块，用于若待训练的神经网络模型不满足预先确定的收敛条件，则将预先采集到的多张图片划分为N个类型；其中，N为大于1的自然数；
所述提取模块，用于将所述N个类型中的其中一个类型作为当前基准类型；并在所述当前基准类型的图片中提取出一张图片作为当前基准图片；
所述构建模块，用于基于所述当前基准图片和所述当前基准类型中的图片以及所述当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对；
所述训练模块，用于基于所述当前阳性样本对和所述当前阴性样本对，对待训练的神经网络模型进行训练，重复执行上述操作，直到所述待训练的神经网络模型满足所述收敛条件。
第三方面，本申请实施例提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的神经网络模型的训练方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的神经网络模型的训练方法。
本申请实施例提出了一种神经网络模型的训练方法、装置、电子设备及介质，若待训练的神经网络模型不满足预先确定的收敛条件，则先将预先采集到的多张图片划分为N个类型；然后将N个类型中的其中一个类型作为当前基准类型；并在当前基准类型的图片中提取出一张图片作为当前基准图片；接着基于当前基准图片和当前基准类型中的图片以及当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对；再基于当前阳性样本对和当前阴性样本对，对待训练的神经网络模型进行训练，重复执行上述操作，直到待训练的神经网络模型满足收敛条件。也就是说，在本申请的技术方案中，可以通过将图片进行分类的方式分别构建当前阳性样本对和当前阴性样本对，并基于当前阳性样本对和当前阴性样本对，对待训练的神经网络模型进行训练，训练完成后的神经网络模型将对车载眼底照相机传来的眼底图像进行青光眼疾病分析，检测后的结果将传给司机，作为健康数据监测的依据。而现有的神经网络无法自适应对比损失，无法在具有不同相似性的样本之间保持不同程度的分离。因此，和现有技术相比，本申请实施例提出的神经网络模型的训练方法、装置、电子设备及介质，能够自适应对比损失，在具有不同相似性的样本之间保持不同程度的分离，在青光眼筛查的识别场景中可以提高模型的识别能力，从而可以达到更好的训练效果；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
附图说明
图1为本申请实施例提供的神经网络模型的训练方法的第一流程示意图；
图2为本申请实施例提供的神经网络模型的训练方法的第二流程示意图；
图3为本申请实施例提供的神经网络模型的结构示意图；
图4为本申请实施例提供的神经网络模型的训练方法的第三流程示意图；
图5为本申请实施例提供的神经网络模型的预测方法的流程示意图；
图6为本申请实施例提供的神经网络模型的训练装置的结构示意图；
图7为本申请实施例提供的构建模块的结构示意图；
图8为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
实施例一
图1为本申请实施例提供的神经网络模型的训练方法的第一流程示意图，该方法可以由神经网络模型的训练装置或者电子设备来执行，该装置或者电子设备可以由软件和/或硬件的方式实现，该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示，神经网络模型的训练方法可以包括以下步骤：
S101、若待训练的神经网络模型不满足预先确定的收敛条件，则将预先采集到的多张图片划分为N个类型；其中，N为大于1的自然数。
在本步骤中，若待训练的神经网络模型不满足预先确定的收敛条件，则将预先采集到的多张图片划分为N个类型；其中，N为大于1的自然数。本申请实施中预先采集到的多张图片可以是训练数据集中的一组图片，这些图片可以是通过眼底图像采集设备采集得到的，眼底图像采集设备可以是车载式眼底相机。在本步骤中，电子设备可以按照图片中目标物体的特征将该多张图片进行分类，例如，假设预先采集到10张图片，分别为图片1至图片10；本步骤可以将这10张图片划分为三类，其中，第一类包括图片1至图片3；第二类包括图片4至图片6；第三类包括图片7至图片10。
S102、将N个类型中的其中一个类型作为当前基准类型；并在当前基准类型的图片中提取出一张图片作为当前基准图片。
在本步骤中，电子设备可以将N个类型中的其中一个类型作为当前基准类型；并在当前基准类型的图片中提取出一张图片作为当前基准图片。例如，假设预先采集到10张图片，分别为图片1至图片10；并假设这10张图片被划分为三类，其中，第一类包括图片1至图片3；第二类包括图片4至图片6；第三类包括图片7至图片10。在本步骤中，可以将第一类作为当前基准类型，并在第一类包括的图片中提取出图片1作为当前基准图片。
S103、基于当前基准图片和当前基准类型中的图片以及当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对。
在本步骤中，电子设备可以基于当前基准图片和当前基准类型中的图片以及当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对。具体地，电子设备可以先在当前基准类型中的图片中和当前基准类型以外的类型中的图片中，分别提取出一张图片作为当前阳性图片和当前阴性图片；然后将当前基准图片和当前阳性图片组合为当前阳性样本对；将当前基准图片和当前阴性图片组合为当前阴性样本对。例如，假设预先采集到10张图片，分别为图片1至图片10；并假设这10张图片被划分为三类，其中，第一类包括图片1至图片3；第二类包括图片4至图片6；第三类包括图片7至图片10；并假设第一类作为当前基准类型，图片1作为当前基准图片。在本步骤中，可以在第一类包括的图片中提取出图片2作为当前阳性图片；在第二类包括的图片中提取出图片4作为当前阴性图片；此时可以将图片1和图片2组合为一个当前阳性样本对；将图片1和图片4组合为一个当前阴性样本对。
S104、基于当前阳性样本对和当前阴性样本对，对待训练的神经网络模型进行训练，重复执行上述操作，直到待训练的神经网络模型满足收敛条件。
在本步骤中，电子设备可以基于当前阳性样本对和当前阴性样本对，对待训练的神经网络模型进行训练，重复执行上述操作，直到待训练的神经网络模型满足收敛条件。具体地，电子设备可以先基于当前阳性样本对和当前次训练以前的阳性样本对，以及当前阴性样本对和当前次训练以前的阴性样本对，构建待训练的卷积神经网络在当前次训练中所对应的损失函数；然后基于待训练的卷积神经网络在当前次训练中所对应的损失函数对待训练的卷积神经网络进行训练；重复执行上述操作，直到待训练的卷积神经网络满足对应的收敛条件。再基于当前阳性样本对和当前次训练以前的阳性样本对，以及当前阴性样本对和当前次训练以前的阴性样本对，构建待训练的分类器在当前次训练中所对应的损失函数；然后基于待训练的分类器在当前次训练中所对应的损失函数对待训练的分类器进行训练；重复执行上述操作，直到待训练的分类器满足对应的收敛条件。
本申请实施例提出的神经网络模型的训练方法，若待训练的神经网络模型不满足预先确定的收敛条件，则先将预先采集到的多张图片划分为N个类型；然后将N个类型中的其中一个类型作为当前基准类型；并在当前基准类型的图片中提取出一张图片作为当前基准图片；接着基于当前基准图片和当前基准类型中的图片以及当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对；再基于当前阳性样本对和当前阴性样本对，对待训练的神经网络模型进行训练，重复执行上述操作，直到待训练的神经网络模型满足收敛条件。也就是说，在本申请的技术方案中，可以通过将图片进行分类的方式分别构建当前阳性样本对和当前阴性样本对，并基于当前阳性样本对和当前阴性样本对，对待训练的神经网络模型进行训练，训练完成后的神经网络模型将对车载眼底照相机传来的眼底图像进行青光眼疾病分析，检测后的结果将传给司机，作为健康数据监测的依据。而现有的神经网络无法自适应对比损失，无法在具有不同相似性的样本之间保持不同程度的分离。因此，和现有技术相比，本申请实施例提出的神经网络模型的训练方法，能够自适应对比损失，在具有不同相似性的样本之间保持不同程度的分离，在青光眼筛查的识别场景中可以提高模型的识别能力，从而可以达到更好的训练效果；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例二
图2为本申请实施例提供的神经网络模型的训练方法的第二流程示意图。基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图2所示，神经网络模型的训练方法可以包括以下步骤：
S201、若待训练的神经网络模型不满足预先确定的收敛条件，则将预先采集到的多张图片划分为N个类型；其中，N为大于1的自然数。
S202、将N个类型中的其中一个类型作为当前基准类型；并在当前基准类型的图片中提取出一张图片作为当前基准图片。
S203、基于当前基准图片和当前基准类型中的图片以及当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对。
S204、基于当前阳性样本对和当前次训练以前的阳性样本对，以及当前阴性样本对和当前次训练以前的阴性样本对，构建待训练的卷积神经网络在当前次训练中所对应的损失函数。
在本步骤中，电子设备可以基于当前阳性样本对和当前次训练以前的阳性样本对，以及当前阴性样本对和当前次训练以前的阴性样本对，构建待训练的卷积神经网络在当前次训练中所对应的损失函数。具体地，电子设备在构建待训练的卷积神经网络在当前次训练中所对应的损失函数时，可以先基于当前阳性样本对和当前次训练以前的阳性样本对，计算待训练的卷积神经网络在当前次训练中所对应的损失函数中的第一损失项；然后基于当前阴性样本对和当前次训练以前的阴性样本对，计算待训练的卷积神经网络在当前次训练中所对应的损失函数中的第二损失项；再将待训练的卷积神经网络在当前次训练中所对应的损失函数中的第一损失项和待训练的卷积神经网络在当前次训练中所对应的损失函数中的第二损失项求和，得到待训练的卷积神经网络在当前次训练中所对应的损失函数。具体地，待训练的卷积神经网络在当前次训练中所对应的损失函数中的第一损失项可以表示为
Figure BDA0003671384860000091
其中，i表示当前基准图片；j表示当前阳性图片；P表示阳性样本对集合；sEuc(i,j)表示使用欧式距离表示的当前基准图片和当前阳性图片的特征相似性；待训练的卷积神经网络在当前次训练中所对应的损失函数中的第二损失项可以表示为
Figure BDA0003671384860000092
其中，i表示当前基准图片；k表示当前阴性图片；N表示阴性样本对集合；sEuc(i,k)表示使用欧式距离表示的当前基准图片和当前阴性图片的特征相似性；m表示预先选定的边距参数；[·]表示函数的正部分。因此，待训练的卷积神经网络在当前次训练中所对应的损失函数可以表示为：
Figure BDA0003671384860000093
需要说明的是，如果相似样本在特征空间中的表达式完全一致，这个结果将是不可靠的，所以网络应该允许这种相对位置的差异在特征空间中引起内容的差异。误判的样本越多，损失值的百分比越大，优化的速度越快；相反，那些差异相对较小的基因应该被容忍，所以本申请抑制了它们完全重叠的倾向，一种扩大它们之间差距的方法是高斯分布。以此为起点，本申请提出了一个自适应对比损失函数，如下式所示，用于在训练阶段对网络进行引导。具体地，待训练的卷积神经网络在当前次训练中所对应的损失函数中的第一损失项还可以表示为
Figure BDA0003671384860000101
其中，
Figure BDA0003671384860000102
i表示当前基准图片；j表示当前阳性图片；P表示阳性样本对集合；scos(i,j)表示当前基准图片与当前阳性图片之间的余弦相似性值；wij表示阳性样本对的自适应权重；λp表示阳性样本对的参数值。待训练的卷积神经网络在当前次训练中所对应的损失函数中的第二损失项还可以表示为
Figure BDA0003671384860000103
其中，
Figure BDA0003671384860000104
i表示当前基准图片；k表示当前阴性图片；N表示阴性样本对集合；scos(i,j)表示当前基准图片与当前阴性图片之间的余弦相似性值；wik表示阴性样本对的自适应权重；λN表示阴性样本对的参数值。因此，待训练的卷积神经网络在当前次训练中所对应的损失函数还可以表示为：
Figure BDA0003671384860000105
S205、基于待训练的卷积神经网络在当前次训练中所对应的损失函数对待训练的卷积神经网络进行训练；重复执行上述操作，直到待训练的卷积神经网络满足对应的收敛条件。
在本步骤中，电子设备可以基于待训练的卷积神经网络在当前次训练中所对应的损失函数对待训练的卷积神经网络进行训练；若待训练的卷积神经网络不满足对应的收敛条件，重复执行将预先采集到的多张图片划分为N个类型的操作，直到待训练的卷积神经网络满足对应的收敛条件。
S206、基于当前基准图片构建待训练的分类器在当前次训练中所对应的损失函数。
在本步骤中，电子设备可以基于当前基准图片构建待训练的分类器在当前次训练中所对应的损失函数。具体地，在分类任务中，卷积块充当特征提取器，而完全连接的层就像分类器一样工作。本申请可以将完全连接的层作为一个类来执行预测。执行softmax操作以确保预测结果最终映射到[0，1]区间。本申请在分类器训练阶段，可以选择一个加权的交叉熵损失函数。具体地，待训练的分类器在当前次训练中所对应的损失函数可以表示为
Figure BDA0003671384860000111
其中，i表示当前基准图片；n表示基准图片的数量；yi＝1表示样本为青光眼；yi＝0表示样本无疾病；pi表示分类器的预测值；wp和wn分别表示样本为青光眼时的权重值和样本无疾病时的权重值；wp和wn的取值范围为(0，1)，并且满足wp+wn＝1。
S207、基于待训练的分类器在当前次训练中所对应的损失函数对待训练的分类器进行训练；重复执行上述操作，直到待训练的分类器满足对应的收敛条件。
图3为本申请实施例提供的神经网络模型的结构示意图。如图3所示，神经网络模型可以包括：输入模块、跳跃链接模块、数据填充模块、卷积神经网络、归一化模块和分类器；其中，输入模块可以包括三个输入单元，分别为第一输入单元、第二输入单元和第三输入单元；其中，第一输入单元用于将图片i输入至神经网络模型中；第二输入单元用于将图片j输入至神经网络模型中；第三输入单元用于将图片k输入至神经网络模型中。跳跃链接模块包括：编码单元和解码单元；通过跳跃链接模块可以得到每一张输入图片的关注区域，分别为关注区域1、关注区域2和关注区域3；数据填充模块可以对上述关注区域进行反转等操作；将扩充后的数据输入至卷积神经网络中；通过卷积神经网络可以提取出各个关注区域的特征，分别为特征1、特征2和特征3；然后可以将上述特征分别输入至归一化模块中；再归一化模块输出的特征向量输入至分类器中。
本申请实施例提出的神经网络模型的训练方法，若待训练的神经网络模型不满足预先确定的收敛条件，则先将预先采集到的多张图片划分为N个类型；然后将N个类型中的其中一个类型作为当前基准类型；并在当前基准类型的图片中提取出一张图片作为当前基准图片；接着基于当前基准图片和当前基准类型中的图片以及当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对；再基于当前阳性样本对和当前阴性样本对，对待训练的神经网络模型进行训练，重复执行上述操作，直到待训练的神经网络模型满足收敛条件。也就是说，在本申请的技术方案中，可以通过将图片进行分类的方式分别构建当前阳性样本对和当前阴性样本对，并基于当前阳性样本对和当前阴性样本对，对待训练的神经网络模型进行训练，训练完成后的神经网络模型将对车载眼底照相机传来的眼底图像进行青光眼疾病分析，检测后的结果将传给司机，作为健康数据监测的依据。而现有的神经网络无法自适应对比损失，无法在具有不同相似性的样本之间保持不同程度的分离。因此，和现有技术相比，本申请实施例提出的神经网络模型的训练方法，能够自适应对比损失，在具有不同相似性的样本之间保持不同程度的分离，在青光眼筛查的识别场景中可以提高模型的识别能力，从而可以达到更好的训练效果；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例三
图4为本申请实施例提供的神经网络模型的训练方法的第三流程示意图。基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图4所示，神经网络模型的训练方法可以包括以下步骤：
S401、若待训练的神经网络模型不满足预先确定的收敛条件，则将预先采集到的多张图片划分为N个类型；其中，N为大于1的自然数。
S402、将N个类型中的其中一个类型作为当前基准类型；并在当前基准类型的图片中提取出一张图片作为当前基准图片。
S403、基于当前基准图片和当前基准类型中的图片以及当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对。
S404、基于当前阳性样本对和当前阴性样本对，构建待训练的卷积神经网络在当前次训练中所对应的损失函数。
S405、基于待训练的卷积神经网络在当前次训练中所对应的损失函数对待训练的卷积神经网络进行训练；重复执行上述操作，直到待训练的卷积神经网络满足对应的收敛条件。
S406、基于当前基准图片构建待训练的分类器在当前次训练中所对应的损失函数。
S407、基于待训练的分类器在当前次训练中所对应的损失函数对待训练的分类器进行训练；重复执行上述操作，直到待训练的分类器满足对应的收敛条件。
S408、将当前图片输入至训练好的神经网络模型中，通过训练好的神经网络模型得到当前图片的特征向量。
在本步骤中，电子设备可以将训练数据集中的任意一张图片作为当前图片，然后将输入至训练好的神经网络模型中，通过训练好的神经网络模型得到当前图片的特征向量。本申请可以采用的BN-Inception网络，首先使用预训练参数训练网络，其次使用相似性保持训练与特征归纳预测方法训练网络。实验选用ORIGA数据集，一半图像进行训练，另一半进行测试。评价标准使用操作特性曲线(ROC)下方的面积大小(AUC)的值来衡量，预测结果的AUC分数为0.825。训练完成后的网络将对车载眼底照相机传来的眼底图像进行青光眼疾病分析，检测后的结果将传给司机，作为健康数据监测的依据。
S409、将当前图片的特征向量输入至预先训练好的分类器中，通过训练好的分类器对当前图片进行识别，得到当前图片所对应的识别结果。
图5为本申请实施例提供的神经网络模型的预测方法的流程示意图。如图5所示，神经网络模型可以包括：输入模块、跳跃链接模块、卷积神经网络、归一化模块和分类器；其中，输入模块用于将当前图片输入至神经网络模型中；跳跃链接模块可以包括：编码单元和解码单元；通过跳跃链接模块可以得到当前图片的关注区域；然后通过卷积神经网络可以提取出该关注区域的特征；接着将上述特征输入至归一化模块中；再将归一化模块输出的特征向量输入至分类器中。
本申请实施例提出的神经网络模型的训练方法，若待训练的神经网络模型不满足预先确定的收敛条件，则先将预先采集到的多张图片划分为N个类型；然后将N个类型中的其中一个类型作为当前基准类型；并在当前基准类型的图片中提取出一张图片作为当前基准图片；接着基于当前基准图片和当前基准类型中的图片以及当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对；再基于当前阳性样本对和当前阴性样本对，对待训练的神经网络模型进行训练，重复执行上述操作，直到待训练的神经网络模型满足收敛条件。也就是说，在本申请的技术方案中，可以通过将图片进行分类的方式分别构建当前阳性样本对和当前阴性样本对，并基于当前阳性样本对和当前阴性样本对，对待训练的神经网络模型进行训练，训练完成后的神经网络模型将对车载眼底照相机传来的眼底图像进行青光眼疾病分析，检测后的结果将传给司机，作为健康数据监测的依据。而现有的神经网络无法自适应对比损失，无法在具有不同相似性的样本之间保持不同程度的分离。因此，和现有技术相比，本申请实施例提出的神经网络模型的训练方法，能够自适应对比损失，在具有不同相似性的样本之间保持不同程度的分离，在青光眼筛查的识别场景中可以提高模型的识别能力，从而可以达到更好的训练效果；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例四
图6为本申请实施例提供的神经网络模型的训练装置的结构示意图。如图6所示，所述神经网络模型的训练装置包括：划分模块601、提取模块602、构建模块603和训练模块604；其中，
所述划分模块601，用于若待训练的神经网络模型不满足预先确定的收敛条件，则将预先采集到的多张图片划分为N个类型；其中，N为大于1的自然数；
所述提取模块602，用于将所述N个类型中的其中一个类型作为当前基准类型；并在所述当前基准类型的图片中提取出一张图片作为当前基准图片；
所述构建模块603，用于基于所述当前基准图片和所述当前基准类型中的图片以及所述当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对；
所述训练模块604，用于基于所述当前阳性样本对和所述当前阴性样本对，对待训练的神经网络模型进行训练，重复执行上述操作，直到所述待训练的神经网络模型满足所述收敛条件。
图7为本申请实施例提供的构建模块的结构示意图。如图7所示，所述构建模块603包括：提取子模块6031和组合子模块6032；其中，
所述提取子模块6031，用于在所述当前基准类型中的图片中和所述当前基准类型以外的类型中的图片中，分别提取出一张图片作为当前阳性图片和当前阴性图片；
所述组合子模块6032，用于将所述当前基准图片和所述当前阳性图片组合为所述当前阳性样本对；将所述当前基准图片和所述当前阴性图片组合为所述当前阴性样本对。
进一步的，所述训练模块604，具体用于基于所述当前阳性样本对和当前次训练以前的阳性样本对，以及所述当前阴性样本对和当前次训练以前的阴性样本对，构建待训练的卷积神经网络在当前次训练中所对应的损失函数；基于所述待训练的卷积神经网络在当前次训练中所对应的损失函数对所述待训练的卷积神经网络进行训练；重复执行上述操作，直到所述待训练的卷积神经网络满足对应的收敛条件；基于所述当前基准图片构建所述待训练的分类器在当前次训练中所对应的损失函数；基于所述待训练的分类器在当前次训练中所对应的损失函数对所述待训练的分类器进行训练；重复执行上述操作，直到所述待训练的分类器满足对应的收敛条件。
上述神经网络模型的训练装置可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任意实施例提供的神经网络模型的训练方法。
实施例五
图8是本申请实施例提供的电子设备的结构示意图。图8示出了适于用来实现本申请实施方式的示例性电子设备的框图。图8显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图8中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的神经网络模型的训练方法。
实施例六
本申请实施例提供了一种计算机存储介质。
本申请实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种神经网络模型的训练方法，其特征在于，所述方法包括：
若待训练的神经网络模型不满足预先确定的收敛条件，则将预先采集到的多张图片划分为N个类型；其中，N为大于1的自然数；
将所述N个类型中的其中一个类型作为当前基准类型；并在所述当前基准类型的图片中提取出一张图片作为当前基准图片；
基于所述当前基准图片和所述当前基准类型中的图片以及所述当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对；
基于所述当前阳性样本对和所述当前阴性样本对，对待训练的神经网络模型进行训练，重复执行上述操作，直到所述待训练的神经网络模型满足所述收敛条件。
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前基准图片和所述当前基准类型中的图片以及所述当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对，包括：
在所述当前基准类型中的图片中和所述当前基准类型以外的类型中的图片中，分别提取出一张图片作为当前阳性图片和当前阴性图片；
将所述当前基准图片和所述当前阳性图片组合为所述当前阳性样本对；将所述当前基准图片和所述当前阴性图片组合为所述当前阴性样本对。
3.根据权利要求1所述的方法，其特征在于，基于所述当前阳性样本对和所述当前阴性样本对，对待训练的神经网络模型进行训练，包括：
基于所述当前阳性样本对和当前次训练以前的阳性样本对，以及所述当前阴性样本对和当前次训练以前的阴性样本对，构建待训练的卷积神经网络在当前次训练中所对应的损失函数；
基于所述待训练的卷积神经网络在当前次训练中所对应的损失函数对所述待训练的卷积神经网络进行训练；重复执行上述操作，直到所述待训练的卷积神经网络满足对应的收敛条件；
基于所述当前基准图片构建所述待训练的分类器在当前次训练中所对应的损失函数；
基于所述待训练的分类器在当前次训练中所对应的损失函数对所述待训练的分类器进行训练；重复执行上述操作，直到所述待训练的分类器满足对应的收敛条件。
4.根据权利要求3所述的方法，其特征在于，所述基于所述当前阳性样本对和当前次训练以前的阳性样本对，以及所述当前阴性样本对和当前次训练以前的阴性样本对，构建待训练的卷积神经网络在当前次训练中所对应的损失函数，包括：
基于所述当前阳性样本对和当前次训练以前的阳性样本对，计算所述待训练的卷积神经网络在当前次训练中所对应的损失函数中的第一损失项；
基于所述当前阴性样本对和当前次训练以前的阴性样本对，计算所述待训练的卷积神经网络在当前次训练中所对应的损失函数中的第二损失项；
将所述待训练的卷积神经网络在当前次训练中所对应的损失函数中的第一损失项和所述待训练的卷积神经网络在当前次训练中所对应的损失函数中的第二损失项求和，得到所述待训练的卷积神经网络在当前次训练中所对应的损失函数。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将当前图片输入至训练好的神经网络模型中，通过所述训练好的神经网络模型得到所述当前图片的特征向量；
将所述当前图片的特征向量输入至预先训练好的分类器中，通过所述训练好的分类器对所述当前图片进行识别，得到所述当前图片所对应的识别结果。
6.一种神经网络模型的训练装置，其特征在于，所述装置包括：划分模块、提取模块、构建模块和训练模块；其中，
所述划分模块，用于若待训练的神经网络模型不满足预先确定的收敛条件，则将预先采集到的多张图片划分为N个类型；其中，N为大于1的自然数；
所述提取模块，用于将所述N个类型中的其中一个类型作为当前基准类型；并在所述当前基准类型的图片中提取出一张图片作为当前基准图片；
所述构建模块，用于基于所述当前基准图片和所述当前基准类型中的图片以及所述当前基准类型以外的类型中的图片，构建一个当前阳性样本对和一个当前阴性样本对；
所述训练模块，用于基于所述当前阳性样本对和所述当前阴性样本对，对待训练的神经网络模型进行训练，重复执行上述操作，直到所述待训练的神经网络模型满足所述收敛条件。
7.根据权利要求6所述的装置，其特征在于，所述构建模块包括：提取子模块和组合子模块；其中，
所述提取子模块，用于在所述当前基准类型中的图片中和所述当前基准类型以外的类型中的图片中，分别提取出一张图片作为当前阳性图片和当前阴性图片；
所述组合子模块，用于将所述当前基准图片和所述当前阳性图片组合为所述当前阳性样本对；将所述当前基准图片和所述当前阴性图片组合为所述当前阴性样本对。
8.根据权利要求6所述的训练装置，其特征在于，所述训练模块，具体用于基于所述当前阳性样本对和当前次训练以前的阳性样本对，以及所述当前阴性样本对和当前次训练以前的阴性样本对，构建待训练的卷积神经网络在当前次训练中所对应的损失函数；基于所述待训练的卷积神经网络在当前次训练中所对应的损失函数对所述待训练的卷积神经网络进行训练；重复执行上述操作，直到所述待训练的卷积神经网络满足对应的收敛条件；基于所述当前基准图片构建所述待训练的分类器在当前次训练中所对应的损失函数；基于所述待训练的分类器在当前次训练中所对应的损失函数对所述待训练的分类器进行训练；重复执行上述操作，直到所述待训练的分类器满足对应的收敛条件。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的神经网络模型的训练方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的神经网络模型的训练方法。
CN202210609065.0A 2022-05-31 2022-05-31 一种神经网络模型的训练方法、装置、电子设备及介质 Pending CN114898454A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210609065.0A CN114898454A (zh) 2022-05-31 2022-05-31 一种神经网络模型的训练方法、装置、电子设备及介质
PCT/CN2023/097127 WO2023232031A1 (zh) 2022-05-31 2023-05-30 一种神经网络模型的训练方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210609065.0A CN114898454A (zh) 2022-05-31 2022-05-31 一种神经网络模型的训练方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN114898454A true CN114898454A (zh) 2022-08-12

Family

ID=82725398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210609065.0A Pending CN114898454A (zh) 2022-05-31 2022-05-31 一种神经网络模型的训练方法、装置、电子设备及介质

Country Status (2)

Country Link
CN (1) CN114898454A (zh)
WO (1) WO2023232031A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023232031A1 (zh) * 2022-05-31 2023-12-07 中国第一汽车股份有限公司 一种神经网络模型的训练方法、装置、电子设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085041A (zh) * 2019-06-12 2020-12-15 北京地平线机器人技术研发有限公司 神经网络的训练方法、训练装置和电子设备
CN112418189B (zh) * 2020-12-18 2023-03-24 中国联合网络通信集团有限公司 戴口罩人脸识别方法、装置、设备以及存储介质
CN113191215B (zh) * 2021-04-12 2024-02-23 陕西少梁塬网络科技有限公司 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法
CN114898454A (zh) * 2022-05-31 2022-08-12 中国第一汽车股份有限公司 一种神经网络模型的训练方法、装置、电子设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023232031A1 (zh) * 2022-05-31 2023-12-07 中国第一汽车股份有限公司 一种神经网络模型的训练方法、装置、电子设备及介质

Also Published As

Publication number Publication date
WO2023232031A1 (zh) 2023-12-07

Similar Documents

Publication Publication Date Title
EP3779774B1 (en) Training method for image semantic segmentation model and server
US20240062369A1 (en) Detection model training method and apparatus, computer device and storage medium
EP4148622A1 (en) Neural network training method, image classification system, and related device
CN111563502B (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
EP3968179A1 (en) Place recognition method and apparatus, model training method and apparatus for place recognition, and electronic device
US11804069B2 (en) Image clustering method and apparatus, and storage medium
CN107609541A (zh) 一种基于可变形卷积神经网络的人体姿态估计方法
CN110647912A (zh) 细粒度图像识别方法、装置、计算机设备及存储介质
CN110569738A (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
US20220004928A1 (en) Method and apparatus for incrementally training model
CN112862005B (zh) 视频的分类方法、装置、电子设备和存储介质
US20230162477A1 (en) Method for training model based on knowledge distillation, and electronic device
US20220415023A1 (en) Model update method and related apparatus
WO2023232031A1 (zh) 一种神经网络模型的训练方法、装置、电子设备及介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
US10346716B2 (en) Fast joint template machining
CN116152576B (zh) 图像处理方法、装置、设备及存储介质
CN111104965A (zh) 车辆目标识别的方法及装置
CN116030290A (zh) 在设备上检测数字对象并且生成对象掩膜
CN110705695B (zh) 搜索模型结构的方法、装置、设备和存储介质
CN110059180B (zh) 文章作者身份识别及评估模型训练方法、装置及存储介质
CN114299340A (zh) 模型训练方法、图像分类方法、系统、设备及介质
CN111652102A (zh) 一种输电通道目标物辨识方法及系统
CN109447937B (zh) 一种图像处理模型的确定方法及其相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination