CN114548355A - Cnn训练方法、电子设备和计算机可读存储介质 - Google Patents
Cnn训练方法、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114548355A CN114548355A CN202011349094.5A CN202011349094A CN114548355A CN 114548355 A CN114548355 A CN 114548355A CN 202011349094 A CN202011349094 A CN 202011349094A CN 114548355 A CN114548355 A CN 114548355A
- Authority
- CN
- China
- Prior art keywords
- training
- cnn
- verification
- image input
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 320
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 167
- 230000008569 process Effects 0.000 claims abstract description 33
- 238000012795 verification Methods 0.000 claims description 120
- 230000000694 effects Effects 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 9
- 238000010200 validation analysis Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 7
- 238000011176 pooling Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例涉及图像处理技术领域，特别涉及一种CNN训练方法、电子设备和计算机可读存储介质。上述CNN训练方法包括：确定卷积神经网络CNN的训练过程中的各训练阶段和所述各训练阶段之间的先后顺序；根据所述先后顺序，确定所述各训练阶段的图像输入尺寸；其中，所述各训练阶段的图像输入尺寸按照所述先后顺序从小变大；根据与所述各训练阶段的图像输入尺寸对应的图像，对所述CNN进行训练。本发明实施例提供的CNN训练方法，旨在将CNN的训练过程分为若干训练阶段，按照训练阶段之间的先后顺序从小到大学习图像的特征，从而提高CNN的训练速度，同时提高CNN的训练精度。
Description
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种CNN训练方法、电子设备和计算机可读存储介质。
背景技术
卷积神经网络(Convolutional Neural Networks，简称：CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。在图像处理技术领域，CNN的传统架构一般是堆叠多层卷积模块，包括卷积层和池化层，其中卷积层负责对图像进行特征提取，池化层负责降采样，即降低特征维度，扩大感受野，保留显著特征，之后一般是两层以上的全连接层，最后加上Softmax层，Softmax层输出的节点数等于类别数，每个节点对应一个类别。但传统架构存在两个问题，一方面是CNN网络参数量巨大，容易发生过拟合；另一方面这种网络架构需要固定大小的图像输入。
针对CNN的传统架构存在的问题，有学者提出了全局平均池化层(Global AveragePooling)来替换部分全连接层。然而，相关技术训练包含全局平均池化层的CNN时，CNN的训练速度不高，训练精度低。
发明内容
本申请实施例的主要目的在于提出一种CNN训练方法、电子设备和计算机可读存储介质。旨在将CNN的训练过程分为若干训练阶段，按照训练阶段之间的先后顺序从小到大学习图像的特征，从而提高CNN的训练速度，同时提高CNN的训练精度。
为实现上述目的，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的CNN训练方法。
为实现上述目的，本申请实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的CNN训练方法。
本申请提出的CNN训练方法、电子设备和计算机可读存储介质，确定卷积神经网络CNN的训练过程的各训练阶段和各训练阶段之间的先后顺序；根据先后顺序，确定各训练阶段的图像输入尺寸；其中，各训练阶段的图像输入尺寸按照先后顺序从小变大，可以使训练过程更加科学、合理，每个训练阶段的输入图像采用不同的尺寸，可以很大程度地提高CNN对图像特征的提取能力。根据与各训练阶段的图像输入尺寸对应的图像，对CNN进行训练，模型在刚开始训练时，学习的特征少，根据尺寸小的图像学习即可满足学习要求，随着训练的逐渐深入，模型学习的特征逐渐增多，需要增大输入图像的尺寸以满足CNN的学习要求，即将CNN的训练过程分为若干训练阶段，按照训练阶段之间的先后顺序从小到大学习图像的特征，从而提高CNN的训练速度，同时提高CNN的训练精度。
附图说明
图1是根据本发明第一实施例的CNN训练方法的流程图；
图2是根据本发明第一实施例中，根据先后顺序，确定各训练阶段的图像输入尺寸的流程图；
图3是根据本发明第二实施例的CNN训练方法的流程图；
图4是根据本发明第二实施例中，根据与各训练阶段的图像输入尺寸对应的图像和训练周期数，对CNN进行训练的流程图；
图5是根据本发明第二实施例的CNN训练方法的训练速度的示意图；
图6是根据本发明第三实施例的CNN训练方法的流程图；
图7是根据本发明第三实施例中，获取若干验证集的流程图；
图8是根据本发明第三实施例中，对同一验证集内的各验证图像的尺寸归一化的流程图；
图9是根据本发明第四实施例的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施例涉及一种CNN训练方法，应用于电子设备；其中，电子设备可以为终端或服务器，本实施例以及以下各个实施例中电子设备以服务器为例进行说明。下面对本实施例的CNN训练方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施例的CNN训练方法的具体流程可以如图1所示，包括：
步骤101，确定卷积神经网络CNN的训练过程中的各训练阶段和各训练阶段之间的先后顺序；
具体而言，服务器在对卷积神经网络CNN进行训练时，可以先确定CNN的训练过程中的各训练阶段和各训练阶段之间的先后顺序。
在具体实现中，服务器可以将待训练的CNN的训练过程划分成若干训练阶段，并通过编号等方式确定若干训练阶段的先后顺序。其中，划分的训练阶段的数目可以由本领域的技术人员根据实际需要进行设置，本发明的实施例对此不做具体限定。
在一个例子中，服务器将待训练的CNN的训练过程划分成四个训练阶段，分别为：第一训练阶段、第二训练阶段、第三训练阶段和第四训练阶段。
步骤102，根据先后顺序，确定各训练阶段的图像输入尺寸；
具体而言，服务器在确定完卷积神经网络CNN的训练过程中的各训练阶段和各训练阶段之间的先后顺序之后，可以根据先后顺序，确定各训练阶段的图像输入尺寸。其中，各训练阶段的图像输入尺寸按照先后顺序从小变大。
在一个例子中，根据先后顺序，确定各训练阶段的图像输入尺寸，可以由如图2所示的各子步骤实现，具体如下：
子步骤1021，确定CNN的原始图像输入尺寸；
具体而言，服务器在确定卷积神经网络CNN的训练过程中的各训练阶段和各训练阶段之间的先后顺序之后，可以确定CNN的原始图像输入尺寸。
在具体实现中，服务器可以根据CNN的提供方(如CNN的制作公司等)的数据，来确定CNN的原始图像输入尺寸。本发明的实施例进行训练的CNN，是包含全局平均池化层(Global Average Pooling)的CNN，全局平均池化层，是用来替换部分全连接层而提出的一种池化层，全局平均池化层直接从特征通道入手，如最后一层卷积层输出有2048个通道，那么全局平均池化层对每个通道上整个平面的数据进行求和平均，最终得到一个2048的向量，最后再加一层全连接层。全局平均池化层大大减少了CNN的参数量，降低了CNN过拟合的风险，同时实现了对CNN进行任意大小的图像输入。由于包含全局平均池化层的CNN允许对CNN输入不同尺寸的图像，也允许对CNN输入长方形图像，考虑到某些图像的目标特征不在图像的中心区域，或者识别目标的形状是长方形的，如宝剑、拖把等，使用长方形图片进行训练，可以防止重要特征丢失，有效提升训练效果。
在一个例子中，进行训练的CNN为ResNet-50，服务器确定ResNet-50的原始图像输入尺寸为：224px×224px。
在另一个例子中，进行训练的CNN为AlexNet，服务器确定AlexNet的原始图像输入尺寸为：256px×256px。
子步骤1022，根据先后顺序和CNN的原始图像输入尺寸，确定各训练阶段的图像输入尺寸；
具体而言，服务器在确定CNN的原始图像输入尺寸后，可以根据先后顺序和CNN的原始图像输入尺寸，确定各训练阶段的图像输入尺寸。其中，第一个训练阶段的图像输入尺寸小于原始图像输入尺寸，最后一个训练阶段的图像输入尺寸大于原始图像输入尺寸。模型在前几个训练阶段，学习的特征少，根据尺寸小的图像学习即可满足要求，后面的训练阶段，模型学习的特征逐渐增多，需要增大输入图像的尺寸以满足CNN的学习要求。逐步地增大图像输入尺寸，可以使CNN学习到每张图像的多种不同大小的分辨率，有利于提高CNN的识别精度，由于前几个阶段图像输入尺寸较小，可以有效提升CNN的训练速度。
在一个例子中，进行训练的CNN为ResNet-50，ResNet-50的原始图像输入尺寸为224px。服务器将ResNet-50的训练过程划分为四个训练阶段，根据先后顺序和ResNet-50的原始图像输入尺寸，确定各训练阶段的图像输入尺寸为：第一训练阶段的图像输入尺寸为96px；第二训练阶段的图像输入尺寸为128px；第三训练阶段的图像输入尺寸为224px；第四训练阶段的图像输入尺寸为288px。
在另一个例子中，进行训练的CNN为AlexNet，AlexNet的原始图像输入尺寸为227px。服务器将AlexNet的训练过程划分为三个训练阶段，根据先后顺序和AlexNet的原始图像输入尺寸，确定各训练阶段的图像输入尺寸为：第一训练阶段的图像输入尺寸为128px；第二训练阶段的图像输入尺寸为227px；第三训练阶段的图像输入尺寸为320px。
步骤103，根据与各训练阶段的图像输入尺寸对应的图像，对CNN进行训练。
具体而言，服务器在确定各训练阶段的图像输入尺寸之后，可以根据与各训练阶段的图像输入尺寸对应的图像，对CNN进行训练。
在具体实现中，服务器可以通过对原始图像进行数据增强，来获得与各训练阶段的图像输入尺寸对应的图像，再根据与各训练阶段的图像输入尺寸对应的图像，对CNN进行训练。数据增强操作包括但不限于：对样本图片进行图像反转、尺寸裁剪、仿射变换，超分辨率转换、图像模糊、锐化处理、亮度调整、对比度微调、浮雕处理、边缘检测、附加高斯噪声、颜色通道偏移等操作。
在一个例子中，训练图像的尺寸为224px，服务器通过裁剪、缩放的手段，获得尺寸为96px、128px和288px的训练图像，对第一训练阶段输入尺寸为96px的训练图像，对第二训练阶段输入128px的训练图像，对第三训练阶段输入224px的训练图像，对第四训练阶段输入288px的训练图像。
本发明的第一实施例，确定卷积神经网络CNN的训练过程的各训练阶段和各训练阶段之间的先后顺序；根据先后顺序，确定各训练阶段的图像输入尺寸；其中，各训练阶段的图像输入尺寸按照先后顺序从小变大，可以使训练过程更加科学、合理，每个训练阶段的输入图像采用不同的尺寸，可以很大程度地提高CNN对图像特征的提取能力。根据与各训练阶段的图像输入尺寸对应的图像，对CNN进行训练，模型在刚开始训练时，学习的特征少，根据尺寸小的图像学习即可满足学习要求，随着训练的逐渐深入，模型学习的特征逐渐增多，需要增大输入图像的尺寸以满足CNN的学习要求，即将CNN的训练过程分为若干训练阶段，按照训练阶段之间的先后顺序从小到大学习图像的特征，从而提高CNN的训练速度，同时提高CNN的训练精度。
本发明的第二实施例涉及一种CNN训练方法，下面对本实施例的CNN训练方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，图3是本发明第二实施例所述的CNN训练方法的示意图，包括：
步骤201，确定卷积神经网络CNN的训练过程中的各训练阶段和各训练阶段之间的先后顺序；
其中，步骤201在第一实施例中已有说明，此处不再赘述。
步骤202，确定各训练阶段的训练周期数；
具体而言，服务器在确定完卷积神经网络CNN的训练过程中的各训练阶段和各训练阶段之间的先后顺序之后，可以确定各训练阶段的训练周期数(Epochs)。
在一个例子中，服务器可以获取本领域技术人员输入的训练周期数。本领域技术人员输入的训练周期数是根据大量实际训练经验总结得来的，可以使各训练阶段的训练周期数设置的更加科学、合理。
在另一个例子中，服务器确定最后一个训练阶段的训练周期数为1或2。进入到最后一个训练阶段的CNN已学习到图像的绝大多数的特征，将最后一个训练阶段的训练周期数设置为1或2，可以防止CNN学习到训练图像中包含的噪声，从而提高CNN最终的识别精度。
比如：服务器将CNN的训练过程划分为四个训练阶段，服务器确定各训练阶段的训练周期数为：第一训练阶段的训练周期数为22；第二训练阶段的训练周期数为26；第三训练阶段的训练周期数为10；第四训练阶段的训练周期数为2。即整个训练过程的训练周期数为60。
步骤203，根据先后顺序，确定各训练阶段的图像输入尺寸；
其中，步骤203在第一实施方式中已有说明，此处不再赘述。
步骤204，根据与各训练阶段的图像输入尺寸对应的图像和训练周期数，对CNN进行训练；
具体而言，服务器在确定各训练阶段的图像输入尺寸后，可以根据与各训练阶段的图像输入尺寸对应的图像和训练周期数，对CNN进行训练。
在具体实现中，服务器将与某一训练阶段的图像输入尺寸对应的图像全部输入至CNN的该训练阶段一次即完成一个训练周期的训练，完成一个训练周期的训练后，服务器会根据训练结果更新CNN各层的参数，并进行下一个训练周期的训练。根据与各训练阶段的图像输入尺寸对应的图像和训练周期数，对CNN进行训练，即对CNN进行迭代训练。
在一个例子中，根据与各训练阶段的图像输入尺寸对应的图像和训练周期数，对CNN进行训练，可以由如图4所示的各子步骤实现，具体如下：
子步骤2041，根据与各训练阶段的图像输入尺寸对应的图像的标签值和CNN的输出值，确定每一训练周期训练后的代价值；
具体而言，服务器可以根据与各训练阶段的图像输入尺寸对应的图像的标签值和CNN的输出值，确定每一训练周期训练后的代价值。
在具体实现中，由于与各训练阶段的图像输入尺寸对应的图像的标签值是人工进行标注的，所以标签值是真实的、准确的。CNN的输出值是根据输入的图像和CNN各层的参数计算得来的，能够真实反映CNN的识别效果。代价值是由标签值、输出值和代价函数计算得来，代价函数可以由本领域的技术人员根据实际需要进行选择，本发明的实施例对此不做具体限定。
子步骤2042，判断连续预设训练周期数的代价值是否下降，如果是，返回子步骤2042继续等待，否则，执行子步骤2043；
具体而言，服务器在确定每一训练周期训练后的代价值后，可以判断连续预设训练周期数的代价值是否下降。其中，预设训练周期数可以由本领域的技术人员根据实际需要进行设定。
在一个例子中，预设训练周期数为5，最近5个训练周期训练后的代价值分别为：1.21、1.23、1.22、1.21、1.21，服务器确定连续5个训练周期训练后的代价值没有下降。
在另一个例子中，预设训练周期数为4，最近4个训练周期训练后的代价值分别为：0.97、0.98、0.91、0.9，服务器确定连续4个训练周期训练后的代价值仍在下降。
子步骤2043，进入下一训练阶段。
具体而言，若服务器判断连续预设训练周期数的代价值没有下降，则直接进入下一训练阶段，若当前阶段为最后一个训练阶段，则结束对该CNN的训练过程，本发明实施例可以有效提升CNN的训练速度，避免重复地、无效地投入训练资源。经验证，使用图形处理器(Graphics Processing Unit，简称：GPU)根据本发明实施例提供的CNN训练方法的训练速度如图5所示：其中，1GPU表示由1个GPU进行训练，8GPU表示8个GPU对CNN共同进行训练，96表示输入的图像尺寸为96px，128表示输入的图像尺寸为128px，244表示输入的图像尺寸为244px，288表示输入的图像尺寸为288px，纵坐标表示训练速度。
在一个例子中，当前进行的训练阶段为第二训练阶段，预设训练周期数为5，服务器确定连续5个训练周期的训练后的代价值没有下降，结束第二训练阶段，直接进入第三训练阶段。
在另一个例子中，当前进行的训练阶段为第四训练阶段，也是最后一个训练阶段，预设训练周期数为4，服务器确定连续4个训练周期的训练后的代价值没有下降，服务器直接结束对该CNN的训练过程。
本发明的第二实施例，在确定卷积神经网络CNN的训练过程中的各训练阶段和各训练阶段之间的先后顺序之后，还包括：确定各训练阶段的训练周期数；根据与各训练阶段的图像输入尺寸对应的图像，对CNN进行训练，包括：根据与各训练阶段的图像输入尺寸对应的图像和训练周期数，对CNN进行训练，可以使CNN训练过程更加的科学、合理，进一步地提高CNN的最终识别精度。根据与各训练阶段的图像输入尺寸对应的图像和训练周期数，对CNN进行训练，包括：根据与各训练阶段的图像输入尺寸对应的图像的标签值和CNN的输出值，确定每一训练周期训练后的代价值；若连续预设训练周期数的代价值没有下降，进入下一训练阶段，可以有效提升CNN的训练速度，避免重复地、无效地投入训练资源。
本发明的第三实施例涉及一种CNN训练方法，下面对本实施例的CNN训练方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，图6是本发明第三实施例所述的CNN训练方法的示意图，包括：
步骤301，确定卷积神经网络CNN的训练过程中的各训练阶段和各训练阶段之间的先后顺序；
步骤302，根据先后顺序，确定各训练阶段的图像输入尺寸；
步骤303，根据与各训练阶段的图像输入尺寸对应的图像，对CNN进行训练；
其中，步骤301至步骤303在第一实施例中已有说明，此处不再赘述。
步骤304，获取若干验证集；
具体而言，服务器在结束对CNN的训练过程之后，可以获取若干验证集，进入验证过程。其中，验证集内包含若干用于验证CNN的识别效果的验证图像。
在一个例子中，获取若干验证集，可以由如图7所示的各子步骤实现，具体如下：
子步骤3041，获取若干验证图像，并确定若干验证图像的宽高比；
具体而言，服务器可以获取若干用于验证CNN的识别效果的验证图像，并确定若干验证图像的宽高比。
在具体实现中，服务器在获取用于训练的训练图像时，可以从中随机选取部分图像作为用于验证CNN的识别效果的验证图像，并计算各验证图像的宽高比。
在一个例子中，一张验证图像的尺寸为：244px×960px，服务器确定该验证图像的宽高比为：244÷960＝0.254。
子步骤3042，根据宽高比，对若干验证图像排序，确定若干验证图像的排序顺序；
具体而言，服务器确定所有验证图像的宽高比之后，可以根据若干验证图像的宽高比，对若干验证图像进行排序，确定若干验证图像的排序顺序，其中，排序顺序可以为由大到小，也可以为由小到大，本发明的实施例对此不做具体限定。
子步骤3043，根据排序顺序，获取若干验证集；
具体而言，服务器在根据若干验证图像的宽高比，对若干验证图像进行排序，确定若干验证图像的排序顺序后，可以根据排序顺序，获取若干验证集。对所有验证图像排序，可以保证同一批图像的宽高比相差不大，从而最大限度地保留重要特征信息。
在具体实现中，服务器可以获取预设的批大小，根据预设的批大小和排序后的若干验证图像，按照排序的顺序，获取若干验证集。其中，批大小即一次验证所需的验证图像的数目。
在一个例子中，验证图像一共50000张，服务器将50000张验证图像按照宽高比从小到大的顺序排序。预设的批大小为500，服务器确认500张验证图像为一个验证集，共获取50000÷500＝100个验证集。
步骤305，对同一验证集内的各验证图像的尺寸进行归一化；
具体而言，服务器在获取若干验证集后，可以对同一验证集内的各验证图像的尺寸归一化。考虑到验证过程是对训练出来的模型的准确率进行评估，将验证集内的图像的尺寸大小进行归一后再对CNN进行验证，能够显著提升CNN的识别效果。
在一个例子中，验证图像可以为长方形，使用长方形图像做验证，可以在不同验证集内使用不同的宽高比进行归一化，最大限度保留了重要信息，从而能够提高识别准确率。
在一个例子中，对同一验证集内的各验证图像的尺寸归一化，可以由如图8所示的各子步骤实现，具体如下：
子步骤3051，根据同一验证集中各验证图像的宽高比，确定同一验证集中各验证图像的平均宽高比；
具体而言，服务器对同一验证集内的各验证图像的尺寸进行归一化时，可以先根据同一验证集中各验证图像的宽高比，确定同一验证集中各验证图像的平均宽高比。
在一个例子中，某一验证集包含10张验证图像，这10张验证图像的宽高比分别为：0.254、0.254、0.256、0.257、0.257、0.257、0.258、0.261、0.263、0.264，服务器确定该验证集中各验证图像的平均宽高比为：(0.254+0.254+0.256+0.257+0.257+0.257+0.258+0.261+0.263+0.264)÷10＝0.258。
子步骤3052，根据平均宽高比，对同一验证集内的各验证图像的尺寸进行归一化；
具体而言，服务器确定同一验证集中各验证图像的平均宽高比后，可以根据平均宽高比，对同一验证集内的各验证图像的尺寸进行归一化。根据平均宽高比，对同一验证集内的各验证图像尺寸进行归一化，可以使归一化过程更加科学，合理。
在具体实现中，服务器可以对同一验证集内的各验证图像，通过剪裁、缩放等方式，将各验证图像的宽高比归一化成该验证集中各验证图像的平均宽高比。
在一个例子中，某一验证集包含10张验证图像，服务器确定该验证集中各验证图像的平均宽高比为：0.258，服务器可以通过剪裁、缩放等方式，将这10张验证图像的宽高比归一为0.258。
步骤306，根据尺寸归一化后的各验证图像，对CNN的识别效果进行验证。
具体而言，服务器完成对同一验证集内的各验证图像的尺寸归一化后，可以根据尺寸归一化后的各验证图像，对CNN的识别效果进行验证。
在具体实现中，服务器可以根据各验证图像的标签值和CNN的输出值和预设的代价函数，确定每一次验证后的代价值，并根据代价值判断CNN的识别效果。
本发明的第三实施例，在根据与各训练阶段的图像输入尺寸对应的图像，对CNN进行训练之后，还包括：获取若干验证集；其中，验证集内包含若干用于验证CNN的识别效果的验证图像；对同一验证集内的各验证图像的尺寸进行归一化；根据尺寸归一化后的各验证图像，对CNN的识别效果进行验证，能够显著提升CNN的识别效果。获取若干验证集，包括：获取若干验证图像，并确定若干验证图像的宽高比；根据宽高比，对若干验证图像排序，确定若干验证图像的排序顺序；根据排序顺序，获取若干验证集。可以保证同一批图像的宽高比相差不大，从而最大限度地保留重要特征信息。对同一验证集内的各验证图像的尺寸进行归一化，包括：根据同一验证集中各验证图像的宽高比，确定所述同一验证集中各验证图像的平均宽高比；根据平均宽高比，对所述同一验证集内的各验证图像的尺寸进行归一化，可以使归一化过程更加科学，合理。
本发明第四实施例涉及一种电子设备，如图9所示，包括：至少一个处理器401；以及，与所述至少一个处理器401通信连接的存储器402；其中，所述存储器402存储有可被所述至少一个处理器401执行的指令，所述指令被所述至少一个处理器401执行，以使所述至少一个处理器401能够执行上述各实施方式中的CNN训练方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (10)
1.一种CNN训练方法，其特征在于，包括：
确定卷积神经网络CNN的训练过程中的各训练阶段和所述各训练阶段之间的先后顺序；
根据所述先后顺序，确定所述各训练阶段的图像输入尺寸；其中，所述各训练阶段的图像输入尺寸按照所述先后顺序从小变大；
根据与所述各训练阶段的图像输入尺寸对应的图像，对所述CNN进行训练。
2.根据权利要求1所述的CNN训练方法，其特征在于，所述根据所述先后顺序，确定所述各训练阶段的图像输入尺寸，包括：
确定所述CNN的原始图像输入尺寸；
确定第一个训练阶段的图像输入尺寸小于所述原始图像输入尺寸，并确定最后一个训练阶段的图像输入尺寸大于所述原始图像输入尺寸。
3.根据权利要求1所述的CNN训练方法，其特征在于，在所述确定卷积神经网络CNN的训练过程中的各训练阶段和各训练阶段之间的先后顺序之后，还包括：
确定所述各训练阶段的训练周期数；
所述根据与所述各训练阶段的图像输入尺寸对应的图像，对所述CNN进行训练，包括：
根据与所述各训练阶段的图像输入尺寸对应的图像和所述训练周期数，对所述CNN进行训练。
4.根据权利要求3所述的CNN训练方法，其特征在于，所述根据与所述各训练阶段的图像输入尺寸对应的图像和所述训练周期数，对所述CNN进行训练，包括：
根据所述与所述各训练阶段的图像输入尺寸对应的图像的标签值和所述CNN的输出值，确定每一训练周期训练后的代价值；
若连续预设训练周期数的代价值没有下降，进入下一训练阶段。
5.根据权利要求3所述的CNN训练方法，其特征在于，所述确定所述各训练阶段的训练周期数，包括：确定所述各训练阶段中最后一个训练阶段的训练周期数为1或2。
6.根据权利要求1所述的CNN训练方法，其特征在于，在所述根据与所述各训练阶段的图像输入尺寸对应的图像，对所述CNN进行训练之后，还包括：
获取若干验证集；其中，所述验证集内包含若干用于验证CNN的识别效果的验证图像；
对同一验证集内的各验证图像的尺寸进行归一化；
根据尺寸归一化后的各验证图像，对所述CNN的识别效果进行验证。
7.根据权利要求6所述的CNN训练方法，其特征在于，所述获取若干验证集，包括：
获取若干验证图像，并确定所述若干验证图像的宽高比；
根据所述宽高比，对所述若干验证图像排序，确定所述若干验证图像的排序顺序；
根据所述排序顺序，获取若干验证集。
8.根据权利要求7所述的CNN训练方法，其特征在于，所述对同一验证集内的各验证图像的尺寸进行归一化，包括：
根据所述同一验证集中各验证图像的宽高比，确定所述同一验证集中各验证图像的平均宽高比；
根据所述平均宽高比，对所述同一验证集内的各验证图像的尺寸进行归一化。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的CNN训练方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的CNN训练方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011349094.5A CN114548355A (zh) | 2020-11-26 | 2020-11-26 | Cnn训练方法、电子设备和计算机可读存储介质 |
| PCT/CN2021/127979 WO2022111231A1 (zh) | 2020-11-26 | 2021-11-01 | Cnn训练方法、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011349094.5A CN114548355A (zh) | 2020-11-26 | 2020-11-26 | Cnn训练方法、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114548355A true CN114548355A (zh) | 2022-05-27 |
Family
ID=81668077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011349094.5A Pending CN114548355A (zh) | 2020-11-26 | 2020-11-26 | Cnn训练方法、电子设备和计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114548355A (zh) |
| WO (1) | WO2022111231A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882442A (zh) * | 2022-05-31 | 2022-08-09 | 广州信诚信息科技有限公司 | 一种基于电力作业现场的人员装备态势识别方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197602B (zh) * | 2018-01-30 | 2020-05-19 | 厦门美图之家科技有限公司 | 一种卷积神经网络生成方法及表情识别方法 |
| EP3547211B1 (en) * | 2018-03-30 | 2021-11-17 | Naver Corporation | Methods for training a cnn and classifying an action performed by a subject in an inputted video using said cnn |
| CN109299733A (zh) * | 2018-09-12 | 2019-02-01 | 江南大学 | 利用紧凑型深度卷积神经网络进行图像识别的方法 |
| CN111767860A (zh) * | 2020-06-30 | 2020-10-13 | 阳光学院 | 一种通过卷积神经网络实现图像识别的方法及终端 |
-
2020
- 2020-11-26 CN CN202011349094.5A patent/CN114548355A/zh active Pending
-
2021
- 2021-11-01 WO PCT/CN2021/127979 patent/WO2022111231A1/zh active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882442A (zh) * | 2022-05-31 | 2022-08-09 | 广州信诚信息科技有限公司 | 一种基于电力作业现场的人员装备态势识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022111231A1 (zh) | 2022-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110659725A (zh) | 神经网络模型的压缩与加速方法、数据处理方法及装置 | |
| CN111191583A (zh) | 基于卷积神经网络的空间目标识别系统及方法 | |
| CN111126481A (zh) | 一种神经网络模型的训练方法及装置 | |
| CN112163601B (zh) | 图像分类方法、系统、计算机设备及存储介质 | |
| CN111784699B (zh) | 一种对三维点云数据进行目标分割方法、装置及终端设备 | |
| CN110675334A (zh) | 一种图像增强方法及装置 | |
| CN113393370A (zh) | 中国书法文字图像风格迁移的方法、系统、智能终端 | |
| CN112288087A (zh) | 一种神经网络剪枝方法、装置、电子设备及存储介质 | |
| CN112101364A (zh) | 基于参数重要性增量学习的语义分割方法 | |
| WO2021147276A1 (zh) | 数据处理方法、装置及芯片、电子设备、存储介质 | |
| CN116863194A (zh) | 一种足溃疡图像分类方法、系统、设备及介质 | |
| CN115018039A (zh) | 一种神经网络蒸馏方法、目标检测方法以及装置 | |
| CN117152438A (zh) | 一种基于改进DeepLabV3+网络的轻量级街景图像语义分割方法 | |
| CN114548355A (zh) | Cnn训练方法、电子设备和计算机可读存储介质 | |
| CN110807497A (zh) | 基于深度动态网络的手写体数据分类方法及系统 | |
| CN113139581B (zh) | 一种基于多图融合的图像分类方法和系统 | |
| CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
| CN117274754A (zh) | 梯度匀质化的点云多任务融合方法 | |
| CN112287950A (zh) | 特征提取模块压缩方法、图像处理方法、装置、介质 | |
| CN116071625A (zh) | 深度学习模型的训练方法、目标检测方法及装置 | |
| CN115376195A (zh) | 训练多尺度网络模型的方法及人脸关键点检测方法 | |
| CN112801045B (zh) | 一种文本区域检测方法、电子设备及计算机存储介质 | |
| CN115577765A (zh) | 网络模型剪枝方法、电子设备及存储介质 | |
| CN114494284A (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
| CN112950652A (zh) | 机器人及其手部图像分割方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |