CN114627342A - 基于稀疏度的图像识别模型的训练方法、装置和设备 - Google Patents
基于稀疏度的图像识别模型的训练方法、装置和设备 Download PDFInfo
- Publication number
- CN114627342A CN114627342A CN202210210049.4A CN202210210049A CN114627342A CN 114627342 A CN114627342 A CN 114627342A CN 202210210049 A CN202210210049 A CN 202210210049A CN 114627342 A CN114627342 A CN 114627342A
- Authority
- CN
- China
- Prior art keywords
- training
- model
- network layer
- image
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 502
- 238000000034 method Methods 0.000 title claims abstract description 81
- 239000011159 matrix material Substances 0.000 claims abstract description 137
- 238000012545 processing Methods 0.000 claims abstract description 78
- 230000015654 memory Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 21
- 230000036961 partial effect Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 26
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 7
- 230000032683 aging Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了基于稀疏度的图像识别模型的训练方法、装置和设备，涉及人工智能技术领域中的计算机视觉、深度学习等领域，包括：将获取的待训练图像输入至初始的训练模型中；其中，训练模型中包括多个用于处理待训练图像的图像特征图的网络层，网络层配置有参数矩阵，参数矩阵设置有稀疏度；重复以下步骤，直至达到预设的停止条件：对具有第j级稀疏度的各网络层所构成的第i个训练模型进行训练，得到训练后的第i个训练模型；根据训练后的第i个训练模型的网络层的参数矩阵，生成第i+1个训练模型的网络层；将i的取值加1，并将j的取值加1；确定符合第一预设条件的训练后的训练模型，为用于识别图像的图像识别模型。
Description
技术领域
本公开涉及人工智能中的计算机视觉、深度学习等领域，尤其涉及一种基于稀疏度的图像识别模型的训练方法、装置和设备。
背景技术
随着深度学习技术的发展，深度学习模型可以应用到图像识别中。需要对深度学习模型进行训练，进而得到用于进行图像识别的图像识别模型。
现有技术中，深度学习模型中包括多个网络层，每一网络层可以用于处理待训练图像的图像特征图；进而基于待训练图像对深度学习模型中的网络层进行训练，就可以得到用于进行图像识别的图像识别模型。
但是上述方式中，训练过程较为单一，导致所得到图像识别模型的识别精度不高。
发明内容
本公开提供了一种用于提高的图像识别模型的识别精度的基于稀疏度的图像识别模型的训练方法、装置和设备。
根据本公开的第一方面，提供了一种基于稀疏度的图像识别模型的训练方法，包括：
获取待训练图像，并将所述待训练图像输入至初始的训练模型中；其中，所述训练模型中包括多个用于处理所述待训练图像的图像特征图的网络层，所述网络层配置有参数矩阵，所述参数矩阵设置有稀疏度，所述稀疏度表征零值参数在参数矩阵中的比重。
重复以下步骤，直至达到预设的停止条件，其中，i的初始值为1，i为正整数，j为正整数：对具有第j级稀疏度的各网络层所构成的第i个训练模型进行训练，得到训练后的第i个训练模型；根据训练后的第i个训练模型的网络层的参数矩阵，生成第i+1个训练模型的网络层，其中，第i+1个训练模型的网络层的参数矩阵具有第j+1级稀疏度；将i的取值加1，并将j的取值加1。
确定符合第一预设条件的训练后的训练模型，为用于识别图像的图像识别模型。
根据本公开的第二方面，提供了一种基于图像识别模型的图像识别方法，包括：
获取待识别图像，并将所述待识别图像输入至图像识别模型中，得到图像识别结果；其中，所述图像识别模型为根据权利要求1-13任一项所述的方法所得到的模型。
根据本公开的第三方面，提供了一种基于稀疏度的图像识别模型的训练装置，包括：
第一获取单元，用于获取待训练图像。
输入单元，用于将所述待训练图像输入至初始的训练模型中；其中，所述训练模型中包括多个用于处理所述待训练图像的图像特征图的网络层，所述网络层配置有参数矩阵，所述参数矩阵设置有稀疏度，所述稀疏度表征零值参数在参数矩阵中的比重。
重复训练单元、生成单元和第一确定单元，直至达到预设的停止条件，其中，i的初始值为1，i为正整数，j为正整数。
训练单元，用于对具有第j级稀疏度的各网络层所构成的第i个训练模型进行训练，得到训练后的第i个训练模型。
生成单元，用于根据训练后的第i个训练模型的网络层的参数矩阵，生成第i+1个训练模型的网络层，其中，第i+1个训练模型的网络层的参数矩阵具有第j+1级稀疏度。
第一确定单元，用于将i的取值加1，并将j的取值加1。
第二确定单元，用于确定符合第一预设条件的训练后的训练模型，为用于识别图像的图像识别模型。
根据本公开的第四方面，提供了一种基于图像识别模型的图像识别装置，包括：
第二获取单元，用于获取待识别图像。
识别单元，用于将所述待识别图像输入至图像识别模型中，得到图像识别结果；其中，所述图像识别模型为根据第三方面所述的装置所得到的模型。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法，或者，以使所述至少一个处理器能够执行第二方面所述的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法，或者，所述计算机指令用于使所述计算机执行第二方面所述的方法。
根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法，或者，所述至少一个处理器执行所述计算机程序使得电子设备执行第二方面所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开第二实施例的示意图；
图3是可以实现本公开实施例的基于稀疏度的图像识别模型的训练方法的场景示意图；
图4是根据本公开第三实施例的示意图；
图5是根据本公开第四实施例的示意图；
图6是根据本公开第五实施例的示意图；
图7是根据本公开第六实施例的示意图；
图8是根据本公开第七实施例的示意图；
图9是可以实现本公开实施例的基于稀疏度的图像识别模型的训练方法、或者基于图像识别模型的图像识别方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
随着深度学习技术的发展，目前深度学习算法可以应用到图像识别的领域，例如，对图像中的运动物体的检测、对图像进行分类等。当前，深度学习模型中通常设置有多个网络层，其中，每个网络层可用于对该层输入特征图进行处理(例如，特征提取处理)。并且，可以基于预设的训练集中的训练图像对深度学习模型中的网络层不断训练，在训练达到预先设置的条件之后，进而得到可用于进行图像识别的图像识别模型。
一个示例中，在基于训练集中的多个训练图像对图像识别模型进行训练时，只能基于多个待训练图像对深度学习模型中的网络层进行一次完整的训练，训练精度不高；进而导致所得到图像识别模型的识别精度不高，不能得到可以准确识别图像的图像识别模型。
一个示例中，为了避免图像识别模型中的参数较多导致的图像识别模型体积较大，会将图像识别模型中的每一网络层对应的参数矩阵的稀疏度都设置为相同的稀疏度，之后进行一次完整的训练。然而，通过上述方式得到的图像识别模型的识别精度不高。
为了避免上述技术问题中的至少一种，本公开的发明人经过创造性地劳动，得到了本公开的发明构思：通过在不同稀疏度下重复多次训练，进而可以得到适合不同稀疏度的多个训练后的训练模型。之后，可以在训练后的训练模型中选取符合条件的训练后的训练模型，为用于识别图像的图像识别模型。
基于上述发明构思，本公开提供一种基于稀疏度的图像识别模型的训练方法、装置和设备，应用于人工智能领域中的计算机视觉、深度学习等领域，以达到可以获取用于准确识别图像的图像识别模型的效果。
图1是根据本公开的第一实施例的示意图，本公开实施例的基于稀疏度的图像识别模型的训练方法，包括：
S101、获取待训练图像，并将待训练图像输入至初始的训练模型中；其中，训练模型中包括多个用于处理待训练图像的图像特征图的网络层，网络层配置有参数矩阵，参数矩阵设置有稀疏度，稀疏度表征零值参数在参数矩阵中的比重。
示例性地，本实施例的执行主体可以为基于稀疏度的图像识别模型的训练装置(下文简称为训练装置)，训练装置可以为服务器(如本地服务器，或者，云端服务器)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。
本实施例中的训练模型为用于图像识别的图像识别模型，在该训练模型中包括多个网络层，其中，网络层基于该网络层所对应的参数矩阵对输入该网络层的待训练图像或者待训练图像的特征图进行处理。所获取的待训练图像为公开的数据集中的训练图像。
此外，对于每一网络层而言，都设置有参数矩阵，每一参数矩阵都具有稀疏度，其中，稀疏度用于表征一个参数矩阵中零值参数的数量与参数矩阵中全部参数的数量的比值。
在对初始训练模型进行训练时，可以采用批量训练的方式，即一次输入多幅图像对训练模型进行训练。
重复步骤S102-S104，直至达到预设的停止条件，其中，i的初始值为1，i为正整数，j为正整数。
示例性地，本实施例中会基于不同级的稀疏度进行多次训练，直至达到预设的停止条件之后，停止训练过程。
一个示例中，预设的停止条件可以通过训练时长来设置。
S102、对具有第j级稀疏度的各网络层所构成的第i个训练模型进行训练，得到训练后的第i个训练模型。
示例性地，第i个训练模型由具有第j级稀疏度的各网络层所组成，通过对第i个训练模型进行训练之后，可以得到训练后的第i个训练模型。
一个示例中，在对第i个训练模型进行训练时，可以通过设置训练时长来确定停止训练的时间，进而当达到训练时长之后，将此时的训练模型作为第i个训练模型。
S103、根据训练后的第i个训练模型的网络层的参数矩阵，生成第i+1个训练模型的网络层，其中，第i+1个训练模型的网络层的参数矩阵具有第j+1级稀疏度。
示例性地，在得到训练后的第i个训练模型之后，可以基于训练后的第i个训练模型的网络层的参数矩阵，得到第i+1个训练模型的网络层，其中，第i+1个训练模型的网络层的参数矩阵具有第j+1级稀疏度，也就是说第i+1个训练模型与第i个训练模型的稀疏度等级不同。
举例来说，假定训练后的第i个训练模型中各层网络层的参数矩阵的稀疏度均为70％，之后，可以通过训练后的第i个训练模型中各层网络层的参数矩阵，得到每一稀疏度为70％的参数矩阵对应的稀疏度为80％的参数矩阵，进而得到生成第i+1个模型。
S104、将i的取值加1，并将j的取值加1。
示例性地，将i和j的取值分别进行加1处理，之后，重复上述步骤S102-S104，直到达到预设条件。
S105、确定符合第一预设条件的训练后的训练模型，为用于识别图像的图像识别模型。
示例性地，基于上述过程得到多个训练后的训练模型之后，可以基于多个训练后的训练模型以及第一预设条件，确定用于识别图像的图像识别模型。
一个示例中，第一预设条件包括模型准确度阈值以及模型时效阈值。确定出的训练模型所对应的模型准确度以及模型时效需要达到第一预设条件时，才可确定该训练模型为用于识别图像的图像识别模型。其中，模型准确度用于表征模型在进行图像识别时输出结果的准确度。模型时效用于表征模型在图像识别所消耗的时长。
本实施例中，通过对具有不同级稀疏度的各网络层所构成的多个训练模型进行训练，得到一个包含很多训练模型的超网。后续在确定用于识别图像的图像识别模型时，无需再次训练，只需要在之前得到的训练后的训练模型中直接进行搜索即可得到。相比于相关技术中每一层网络模型设置同一稀疏度进行单次完整训练确定最终的图像识别模型的方式，本实施例中所提供的方式通过多次训练可以提高最终得到的图像识别模型的模型精度。
图2是根据本公开的第二实施例，如图2所示，本公开实施例的基于稀疏度的图像识别模型的训练方法，包括：
S201、获取待训练图像，并将待训练图像输入至初始的训练模型中；其中，训练模型中包括多个用于处理待训练图像的图像特征图的网络层，网络层配置有参数矩阵，参数矩阵设置有稀疏度，稀疏度表征零值参数在参数矩阵中的比重。
示例性地，本实施例的执行主体可以为基于稀疏度的图像识别模型的训练装置(下文简称为训练装置)，训练装置可以为服务器(如本地服务器，或者，云端服务器)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。
本步骤可以参见步骤S101，此处不再赘述。
重复步骤S202-S206，直至达到预设的停止条件，其中，i的初始值为1，i为正整数，j为正整数。
S202、将待训练图像输入至第i个训练模型的第1个网络层中，输出与第1个网络层对应的图像特征图，其中，第i个训练模型是由具有第j级稀疏度的各网络层所构成的。
示例性地，本实施例中，在对由具有第j级稀疏度的个网络层所组成的第i个训练模型进行训练时，首先可以将待训练图像作为第i个模型的输入，输入至第i个训练模型中的第1个网络层，之后，待训练图像经由第一个网络层处理之后，得到第1个网络层会输出该网络层对应的图像特征图。
一个示例中，第i个训练模型中的每一网络层的参数矩阵的稀疏度相同；或者，第i个训练模型中的部分网络层的参数矩阵的稀疏度相同。进而，通过为第i个训练模型中的每一网络层的参数矩阵设置相同的稀疏度可以减少训练时间；而为第i个训练模型中的部分网络层的参数矩阵设置相同稀疏度，可以使得训练得到的模型满足不同稀疏度的要求，确定出的训练模型的精度更高。
重复以下步骤S203-S205，直至达到第二预设条件，其中，q的初始值为1，q为正整数。
S203、将与第q个网络层对应的图像特征图，输入至第q+1个网络层中，输出与第q+1个网络层对应的图像特征图。
S204、将q的取值加1；其中，达到第二预设条件时所得到训练后的网络层所构成的模型，为训练后的第i个训练模型。
示例性地，之后，对于每一个网络层而言，将该网络层所对应输出的图像特征图，作为下一个网络层的输入，输入至下一个网络层之后，由下一个网络层输出其对应的图像特征图。不断重复上述过程，直到达到第二预设条件之后，停止训练，将停止训练后的各网络层所构成的模型作为训练后的第i个训练模型。
其中，第二预设条件为对训练模型下的各网络层完成了训练，即训练模型下的各个网络层的参数矩阵经过训练之后，使得模型训练达到预设精度，进而提高训练后的模型的模型精度。或者，第二预设条件为达到预设迭代次数，进而通过设置迭代次数为第i个训练模型的训练停止条件，可以减少训练时间。
可以理解的是，通过上述训练第i个训练模型的训练方式，以便后续可以依据多个训练好的训练模型，确定出可用于识别图像的图像识别模型，使得确定出的用于识别图像的图像识别模型具有较高精确度。
S205、调整训练后的第i个训练模型的网络层的参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层，其中，第i+1个训练模型的网络层的参数矩阵具有第j+1级稀疏度。
示例性地，在得到训练后的第i个训练模型后，可以通过调整第i个训练模型中的网络层的参数矩阵中所包含的零值参数的个数，得到调整后的网络层的参数矩阵，进而将调整后的网络层的参数矩阵作为第i+1个训练模型的网络层的参数矩阵，得到第i+1个训练模型。
可以理解的是，由于在第i个训练模型的训练后，训练后的第i个训练模型中的网络层中的重要参数在训练结束后会被保留下来，因此，可以通过调整训练后的第i个训练模型的网络层的参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层，相比于随机设置第i+1个训练模型的网络层的参数矩阵，可以提高训练模型的训练速度。
一个示例中，步骤S205包括以下几种实现方式：
步骤S205的第一种实现方式：分别调整训练后的第i个训练模型的各网络层的参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层。
示例性地，本示例中可以通过调整训练后的第i个训练模型中的每一网络层所的对应的参数矩阵中的零值参数的个数，进而得到第i+1个训练模型的网络层。相比于调整第i个训练模型中的部分网络层所对应的参数矩阵，本实施例中通过对每一网络层具有的参数矩阵进行调整，可以缩短对于多级稀疏度对应的训练模型的训练时间，进而缩短最终确定出符合要求的用于识别图像的图像识别模型的时间。
一个示例中，分别调整训练后的第i个训练模型的各网络层的参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层，包括以下两种方式：
第一实施方式：针对训练后的第i个训练模型的每一网络层，随机调整网络层的参数矩阵中的参数，以调整参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层。
示例性地，在调整每一训练后的训练模型的每一网络层的参数矩阵时，可以随机选择网络层中的参数矩阵中的非零参数调整至零值参数，进而生成第i+1个训练模型的网络层，上述随机调整的方式容易实现，进而可以减少生成训练模型的用时，进而缩短最终确定用于识别图像的图像识别模型的用时。
第二实施方式：针对训练后的第i个训练模型的每一网络层，间隔性的调整网络层的参数矩阵中的参数，以调整参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层。
示例性地，对于训练后的第i个训练模型的每一网络层的参数矩阵而言，可以采用间隔性的选取参数矩阵中的非零参数，将选出的参数调整为零值，避免调整时，所选择调整的参数矩阵中的参数较为集中时，生成的第i+1个训练模型的网络层容易丢失较多的关键参数，使得后续训练时间变长。
步骤S205的第二种实现方式：根据训练后的第i个训练模型的网络层的参数矩阵，生成中间训练模型的网络层，其中，中间训练模型的网络层的参数矩阵具有新的稀疏度；依据待训练图像，对中间训练模型进行训练，得到训练后的中间训练模型；根据训练后的第i个训练模型的各网络层、以及训练后的中间训练模型的网络层，生成第i+1个训练模型的网络层。
示例性地，在生成第i+1个训练模型的网络层时，此时会通过基于调整训练后的第i个训练模型的网络层的参数矩阵的稀疏度，使得中间训练模型的网络层具有与训练后的第i个训练模型的网络层稀疏度不同的参数矩阵。通过向中间训练模型输入待训练图像对中间训练模型进行训练，进而得到训练后的中间训练模型所对应的网络层的参数矩阵。之后，在基于训练后的第i个训练模型以及训练后的中间训练模型这两个模型各自所包含的网络层的参数矩阵，得到第i+1个训练模型的参数矩阵。
举例来说，假定训练后的第i个训练模型中各层网络层的参数矩阵的稀疏度均为70％，之后，可以通过将第i个训练模型中的每一参数矩阵进行稀疏度调整后，得到每一稀疏度为70％的参数矩阵对应的稀疏度为80％的参数矩阵，进而基于上述每一稀疏度为80％的参数矩阵得到中间训练模型。在对中间训练模型进行训练之后，得到训练后的每一稀疏度为80％的参数矩阵。之后，基于每一稀疏度为70％的参数矩阵以及训练后的每一稀疏度为80％的参数矩阵，确定出第i+1个训练模型。
可以理解的是，本实施例中，在确定第i+1个训练模型，不仅考虑了训练后的第i个训练模型中的参数矩阵，还设置有中间训练模型，进而使得确定出的第i+1个训练模型中考虑了不同的稀疏度下的参数矩阵，在对上述第i+1个训练模型进行训练之后，可以得到各网络层之间存在不同稀疏度的训练模型，使得最终确定出的用于识别图像的图像识别模型的准确度更高。
其中，“根据训练后的第i个训练模型的各网络层、以及训练后的中间训练模型的网络层，生成第i+1个训练模型的网络层”，可以采用以下实施方式：
第一种实施方式：针对每一网络层，随机从训练后的第i个训练模型和训练后的中间训练模型中选择任一训练模型，确定所选择的训练模型的网络层，为第i+1个训练模型的网络层。
示例性地，在生成第i+1个训练模型的网络层时，对于第i+1个训练模型中的每一网络层，可以随机选择训练后的第i个训练模型和训练后的中间训练模型中的一个模型在该网络层的参数矩阵作为第i+1个训练模型的该网络层，由于训练后的第i+1个训练模型与训练后的中间层训练模型相同的网络层对应不同的稀疏度，通过上述随机选择的方式构成的第i+1个训练模型在进行训练之后可适用于不同稀疏度组合的训练模型。
第二种实施方式：针对每一网络层，随机从训练后的各训练模型、以及与训练后的各训练模型分别对应的各中间训练模型中，选择任一训练模型；确定所选择的训练模型的网络层，为第i+1个训练模型的网络层。
示例性地，本实施例中在确定第i+1个训练模型的中的任一网络层时，不仅考虑了训练后的第i个训练模型以及训练后的第i个训练模型对应的中间训练层，而且，还考虑了之前训练好的每一训练后的训练模型以及之前训练好的每一训练后的训练模型所对应的中间训练模型，进而提高组成第i+1个训练模型的网络层的多样性，使得最终训练出的第i+1个训练模型的网络层具有不同稀疏度的，进而提高最终得到的图像识别模型的准确性。
S206、将i的取值加1，并将j的取值加1。
S207、确定符合第一预设条件的训练后的训练模型，为用于识别图像的图像识别模型。
步骤S207可以通过以下几种实施方式实现：
步骤S207的第一种实施方式：第一预设条件为图像处理精度信息所表征的准确性最高；获取训练后的训练模型的图像处理精度信息；其中，图像处理精度信息表征模型识别图像的准确性；确定图像处理精度信息所表征的准确性最高的模型，为用于识别图像的图像识别模型。
示例性地，在确定用于识别图像的图像识别模型时，此时，可以将图像处理模型识别图像的准确度，也就是图像处理的精度信息，作为第一预设条件中的判断指标。通过获取之前得到的训练后的训练模型所对应的图像处理精度信息，可以将其中图像处理精度信息最高，也就是模型识别图像的准确性最高的模型作为后续用于识别图像的图像识别模型。
可以理解的是，通过上述确定训练后的训练模型的图像处理精度信息，进而选择具有最高图像处理精度信息的训练后的模型作为用于识别图像的图像识别模型，使得确定出的模型准确度更高，图像识别更准确。
步骤S207的第二种实施方式：包括：确定各训练后的训练模型中的多个初始对象，其中，初始对象为选择后的训练后的训练模型；获取初始对象的图像处理精度信息；其中，图像处理精度信息表征模型识别图像的准确性；确定图像处理精度信息大于预设精度信息的初始对象，并根据图像处理精度信息大于预设精度信息的初始对象，确定出用于识别图像的图像识别模型，其中，第一预设条件为图像处理精度信息大于预设精度信息。
示例性地，本实施例中，在确定用于识别图像的图像识别模型时，可以在全部训练后的训练模型中选择多个训练后的训练模型，其中，每一选择得到的训练后的训练模型中作为一个初始对象，并确定每一初始对应的图像处理精度信息，即模型识别图像的准确性。之后在多个初始对象中，筛选出图像处理精度信息大于预设精度信息的初始对象。并根据图像处理精度信息大于预设精度信息的初始对象，进一步得到用于识别图像的图像识别模型。
也就是说，本实施例中，通过淘汰初始对象中图像处理精度信息较差的训练后的模型，之后，再由图像处理的精度信息大于预设精度信息的初始对象进一步确定出最终的用于识别图像的图像识别模型，避免了需要确定全部训练后的训练后的模型的图像处理精度信息的复杂过程，进而提高了确定用于识别图像的图像识别模型的时效性。
其中，在根据图像处理精度信息大于预设精度信息的初始对象，确定出用于识别图像的图像识别模型时，可以通过以下方式实现：
针对每一网络层，随机的从图像处理精度信息大于预设精度信息的初始对象中确定出网络层；根据所确定出的各网络层，确定出用于识别图像的图像识别模型。
示例性地，在确定用于识别图像的图像识别模型时，针对于每一网络层，可以随机的在图像处理精度信息大于预设精度信息的初始对象中任选一个初始对象在该网络层的参数矩阵，作为确定出的该网络层的参数矩阵。之后，在依据确定出的各个网络层，确定出用于识别图像的图像识别模型。举例来说，可以继续确定所确定的各网络层所组成的模型的图像处理精度信息，该图像处理信息与筛选后的初始对象所对应的图像精度处理信息进行比较之后，将图像处理精度信息较高的模型作为用于识别图像的图像识别模型。
一种可能的情况中，在根据图像处理精度信息大于预设精度信息的初始对象，进一步得到用于识别图像的图像识别模型，可以采用遗传算法进行确定。
可以理解的是，本实施例中，通过随机的从图像处理精度信息大于预设精度信息的初始对象中确定出网络层，得到与图像处理精度信息大于预设精度信息的初始对象具有不同网络层的训练模型，考虑了训练模型组成的多样性，提高了最终确定出的用于识别图像的准确度的模型的准确性。
值得说明的是，本实施例中，通过结合训练后的模型、训练后的中间训练模型的网络层，得到下一个训练模型的网络层，使得下一个训练模型的网络层中包含多个稀疏度，进而使得该训练模型在进行训练之后可以满足不同稀疏度的要求，提高了训练后模型的适用性。
举例来说，图3是可以实现本公开实施例的基于稀疏度的图像识别模型的训练方法的场景示意图。如图所示，在图3所示的网络结构示意图中，包括四个网络层，第一网络层、第二网络层、第三网络层、第四网络层。
每一网络层中的第一参数矩阵(即第一网络层第一参数矩阵301、第二网络层第一参数矩阵304、第三网络层第一参数矩阵307以及第四网络层第一参数矩阵310)的稀疏度均为75％。每一网络层中的第二参数矩阵(即第一网络层第二参数矩阵302、第二网络层第二参数矩阵305、第三网络层第二参数矩阵308以及第四网络层第二参数矩阵311)的稀疏度均为80％。每一网络层中的第三参数矩阵(即第一网络层第三参数矩阵303、第二网络层第三参数矩阵306、第三网络层第三参数矩阵309以及第四网络层第三参数矩阵312)的稀疏度均为85％。
在进行训练时，首先将训练模型中的各网络层的参数矩阵(即第一网络层第一参数矩阵301、第二网络层第一参数矩阵304、第三网络层第一参数矩阵307以及第四网络层第一参数矩阵310)的稀疏度均设置为75％，之后，对由第一网络层第一参数矩阵301、第二网络层第一参数矩阵304、第三网络层第一参数矩阵307以及第四网络层第一参数矩阵310所构成的训练模型进行训练，得到训练后的训练模型，其中，该训练后的训练模型的每一网络层具有与其对应的训练后的稀疏度为75％的参数矩阵。本实施例中，训练停止的条件设置为训练达到预设时间后的即停止训练。当需要将每一网络层对应的参数矩阵稀疏度调整为80％时，此时，针对于每一网络层，会基于训练后的稀疏度为75％的参数矩阵，得到稀疏度为80％的参数矩阵，举例来说，通过对训练后的第一网络层第一参数矩阵中的零值数量进行调整得到第一网络层第二参数矩阵。
之后，对每一网络层稀疏度为80％的参数矩阵所组成的训练模型进行训练，训练过程中首先固定每一网络层的参数矩阵稀疏度均为80％得到训练后的每一网络层对应的稀疏度为80％的参数矩阵。再针对于每一网络层，从训练后的稀疏度为75％的参数矩阵与训练后的稀疏度为80％的参数矩阵中随机选择一个参数矩阵作为该网络层的参数矩阵。将上述随机选择后的网络层的参数矩阵所组成的训练模型进行训练。训练结束之后，再由本次随机选择后的训练得到的稀疏度为80％的参数矩阵，得到每一网络层对应的稀疏度为85％的参数矩阵，之后，重复上述过程，即固定每一网络层的稀疏度为85％进行训练，训练后，开始随机选择。即，在训练后的75％的参数矩阵、随机选择训练后的80％的参数矩阵以及固定每一网络层的稀疏度为85％训练后的参数矩阵中随机选择每一网络层的参数矩阵，在依据随机路线进行训练。
图3中，虚线箭头所指的参数矩阵所组成的训练模型，为采用固定每一网络层的稀疏度为85％进行训练的训练模型。而实线箭头所指的参数矩阵所组成的训练模型，为采用训练后的75％的参数矩阵、随机选择后的训练得到的稀疏度为80％的参数矩阵以及固定每一网络层的稀疏度为85％训练后的参数矩阵中随机选择每一网络层的参数矩阵进行训练的训练模型，并且该训练模型中各网络层的稀疏度分别为85％、80％、75％、80％，即此时该训练模型中各网络层所对应的参数矩阵的稀疏度部分相同。在随机选择路线训练结束之后，再由当前训练结束后的每一网络层对应的稀疏度为85％的参数矩阵，得到每一网络层对应的稀疏度均为90％的参数矩阵。
图4是本公开第三实施例的示意图，如图4所示，本公开实施例的基于图像识别模型的图像识别方法，包括：
S401、获取待识别图像。
示例性地，本实施例的执行主体可以为基于图像识别模型的图像识别装置(下文简称为识别装置)，识别装置可以为服务器(如本地服务器，或者，云端服务器)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。此外，识别装置与选练装置可以为相同的装置，也可以为不同的装置。
例如，若识别装置为与训练装置不同的装置，则可以由训练装置执行如上任意实施例的稀疏度的图像识别模型的训练方法，得到图像识别模型后，将图像识别模型传输给识别装置，由识别装置对图像识别模型进行部署，并基于图像识别模型实现图像识别。
具体地，待别图像可以为识别装置本身采集得到的，也可以为从其它装置接收到的，此处不做具体限制。
S402、将待识别图像输入至图像识别模型中，得到图像识别结果；其中，图像识别模型为基于上述任一实施例中的基于稀疏度的图像识别模型的训练方法训练得到的。
示例性地，在获取到待识别图像之后，可以将待识别图像输入至通过上述任一实施例基于稀疏度的图像识别模型的训练方法训练得到的图像识别模型中，进行图像识别。由于确定出的图像识别模型的准确性较高，因此，在基于图像识别模型对待识别的图像进行识别时，可以使得最终的识别结果具有较高的可靠性。
图5是本公开第四实施例的示意图，如图5所示，本公开实施例的基于稀疏度的图像识别模型的训练装置500，包括：
第一获取单元501，用于获取待训练图像。
输入单元502，用于将待训练图像输入至初始的训练模型中；其中，训练模型中包括多个用于处理待训练图像的图像特征图的网络层，网络层配置有参数矩阵，参数矩阵设置有稀疏度，稀疏度表征零值参数在参数矩阵中的比重。
重复训练单元503、生成单元504和第一确定单元505，直至达到预设的停止条件，其中，i的初始值为1，i为正整数，j为正整数。
训练单元503，用于对具有第j级稀疏度的各网络层所构成的第i个训练模型进行训练，得到训练后的第i个训练模型。
生成单元504，用于根据训练后的第i个训练模型的网络层的参数矩阵，生成第i+1个训练模型的网络层，其中，第i+1个训练模型的网络层的参数矩阵具有第j+1级稀疏度。
第一确定单元505，用于将i的取值加1，并将j的取值加1。
第二确定单元506，用于确定符合第一预设条件的训练后的训练模型，为用于识别图像的图像识别模型。
示例性地，本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
图6是本公开第五实施例的示意图，如图6所示，本公开实施例的基于稀疏度的图像识别模型的训练装置600，包括：
第一获取单元601，用于获取待训练图像。
输入单元602，用于将待训练图像输入至初始的训练模型中；其中，训练模型中包括多个用于处理待训练图像的图像特征图的网络层，网络层配置有参数矩阵，参数矩阵设置有稀疏度，稀疏度表征零值参数在参数矩阵中的比重。
重复训练单元603、生成单元604和第一确定单元605，直至达到预设的停止条件，其中，i的初始值为1，i为正整数，j为正整数。
训练单元603，用于对具有第j级稀疏度的各网络层所构成的第i个训练模型进行训练，得到训练后的第i个训练模型。
生成单元604，用于根据训练后的第i个训练模型的网络层的参数矩阵，生成第i+1个训练模型的网络层，其中，第i+1个训练模型的网络层的参数矩阵具有第j+1级稀疏度。
第一确定单元605，用于将i的取值加1，并将j的加1。
第二确定单元606，用于确定符合第一预设条件的训练后的训练模型，为用于识别图像的图像识别模型。
一个示例中，生成单元604，具体用于：
调整训练后的第i个训练模型的网络层的参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层。
一个示例中，生成单元604，具体用于：
分别调整训练后的第i个训练模型的各网络层的参数矩阵中的零值参数的个数。
一个示例中，生成单元604，包括：
第一调整模块6041，用于针对训练后的第i个训练模型的每一网络层，随机调整网络层的参数矩阵中的参数，以调整参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层。
或者，第二调整模块6042，用于针对训练后的第i个训练模型的每一网络层，间隔性的调整网络层的参数矩阵中的参数，以调整参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层。
一个示例中，生成单元604，包括：
第一生成模块6043，用于根据训练后的第i个训练模型的网络层的参数矩阵，生成中间训练模型的网络层，其中，中间训练模型的网络层的参数矩阵具有新的稀疏度。
训练模块6044，用于依据待训练图像，对中间训练模型进行训练，得到训练后的中间训练模型。
第二生成模块6045，用于根据训练后的第i个训练模型的各网络层、以及训练后的中间训练模型的网络层，生成第i+1个训练模型的网络层。
一个示例中，第一生成模块6043，具体用于：
针对每一网络层，随机从训练后的第i个训练模型和训练后的中间训练模型中选择任一训练模型，确定所选择的训练模型的网络层，为第i+1个训练模型的网络层。
一个示例中，第一生成模块6043，包括：
选择子模块60431，用于针对每一网络层，随机从训练后的各训练模型、以及与训练后的各训练模型分别对应的各中间训练模型中，选择任一训练模型。
第一确定子模块60432，用于确定所选择的训练模型的网络层，为第i+1个训练模型的网络层。
一个示例中，第一预设条件为图像处理精度信息所表征的准确性最高；第二确定单元606，包括：
第一获取模块6061，获取训练后的训练模型的图像处理精度信息；其中，图像处理精度信息表征模型识别图像的准确性。
第一确定模块6062，用于确定图像处理精度信息所表征的准确性最高的模型，为用于识别图像的图像识别模型。
一个示例中，第一预设条件为图像处理精度信息大于预设精度信息；第二确定单元606，包括：
第二确定模块，用于确定各训练后的训练模型中的多个初始对象，其中，初始对象为选择后的训练后的训练模型。
第二获取模块，用于获取初始对象的图像处理精度信息；其中，图像处理精度信息表征模型识别图像的准确性。
第三确定模块，用于确定图像处理精度信息大于预设精度信息的初始对象。
第四确定模块，用于根据图像处理精度信息大于预设精度信息的初始对象，确定出用于识别图像的图像识别模型。
一个示例中，第四确定模块，包括：
第二确定子模块，用于针对每一网络层，随机的从图像处理精度信息大于预设精度信息的初始对象中确定出网络层。
第三确定子模块，用于根据所确定出的各网络层，确定出用于识别图像的图像识别模型。
一个示例中，第i个训练模型中的每一网络层的参数矩阵的稀疏度相同；或者，第i个训练模型中的部分网络层的参数矩阵的稀疏度相同。
一个示例中，训练单元603，包括：
第一输出模块6031，用于将待训练图像输入至第i个训练模型的第1个网络层中，输出与第1个网络层对应的图像特征图。
重复以下各模块，直至达到第二预设条件，其中，q的初始值为1，q为正整数。
第二输出模块6032，用于将与第q个网络层对应的图像特征图，输入至第q+1个网络层中，输出与第q+1个网络层对应的图像特征图。
第四确定模块6033，用于将q的取值加1，其中，达到第二预设条件时所得到训练后的网络层所构成的模型，为训练后的第i个训练模型。
一个示例中，第二预设条件为对训练模型下的各网络层完成了训练，或者，第二预设条件为达到预设迭代次数。
示例性地，本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
图7是根据本公开第六实施例的示意图，如图7所示，本公开实施例的基于图像识别模型的图像识别装置700，包括：
第二获取单元701，用于获取待识别图像；
识别单元702，用于将待识别图像输入至图像识别模型中，得到图像识别结果；其中，图像识别模型为根据图5或图6所示的装置所得到的模型。
示例性地，本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
图8是根据本公开第七实施例的示意图，如图8所示，本公开中的电子设备800可以包括：处理器801和存储器802。
存储器802，用于存储程序；存储器802，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器802用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器802中。并且上述的计算机程序、计算机指令、数据等可以被处理器801调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器802中。并且上述的计算机程序、计算机指据等可以被处理器801调用。
处理器801，用于执行存储器802存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器801和存储器802可以是独立结构，也可以是集成在一起的集成结构。当处理器801和存储器802是独立结构时，存储器802、处理器801可以通过总线803耦合连接。
本实施例的电子设备可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任一实施例提供的方案。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如基于稀疏度的图像识别模型的训练方法，或者，基于图像识别模型的图像识别方法。例如，在一些实施例中，基于稀疏度的图像识别模型的训练方法，或者，基于图像识别模型的图像识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的基于稀疏度的图像识别模型的训练方法，或者，基于图像识别模型的图像识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于稀疏度的图像识别模型的训练方法，或者，基于图像识别模型的图像识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (31)
1.一种基于稀疏度的图像识别模型的训练方法，包括：
获取待训练图像，并将所述待训练图像输入至初始的训练模型中；其中，所述训练模型中包括多个用于处理所述待训练图像的图像特征图的网络层，所述网络层配置有参数矩阵，所述参数矩阵设置有稀疏度，所述稀疏度表征零值参数在参数矩阵中的比重；
重复以下步骤，直至达到预设的停止条件，其中，i的初始值为1，i为正整数，j为正整数：对具有第j级稀疏度的各网络层所构成的第i个训练模型进行训练，得到训练后的第i个训练模型；根据训练后的第i个训练模型的网络层的参数矩阵，生成第i+1个训练模型的网络层，其中，第i+1个训练模型的网络层的参数矩阵具有第j+1级稀疏度；将i的取值加1，并将j的取值加1；
确定符合第一预设条件的训练后的训练模型，为用于识别图像的图像识别模型。
2.根据权利要求1所述的方法，其中，根据训练后的第i个训练模型的网络层的参数矩阵，生成第i+1个训练模型的网络层，包括：
调整训练后的第i个训练模型的网络层的参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层。
3.根据权利要求2所述的方法，其中，调整训练后的第i个训练模型的网络层的参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层，包括：
分别调整训练后的第i个训练模型的各网络层的参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层。
4.根据权利要求3所述的方法，其中，分别调整训练后的第i个训练模型的各网络层的参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层，包括：
针对训练后的第i个训练模型的每一网络层，随机调整网络层的参数矩阵中的参数，以调整参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层；
或者，针对训练后的第i个训练模型的每一网络层，间隔性的调整网络层的参数矩阵中的参数，以调整参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层。
5.根据权利要求2所述的方法，其中，调整训练后的第i个训练模型的网络层的参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层，包括：
根据训练后的第i个训练模型的网络层的参数矩阵，生成中间训练模型的网络层，其中，所述中间训练模型的网络层的参数矩阵具有新的稀疏度；
依据所述待训练图像，对所述中间训练模型进行训练，得到训练后的中间训练模型；
根据训练后的第i个训练模型的各网络层、以及所述训练后的中间训练模型的网络层，生成第i+1个训练模型的网络层。
6.根据权利要求5所述的方法，其中，根据训练后的第i个训练模型的各网络层、以及所述训练后的中间训练模型的网络层，生成第i+1个训练模型的网络层，包括：
针对每一网络层，随机从训练后的第i个训练模型和所述训练后的中间训练模型中选择任一训练模型，确定所选择的训练模型的网络层，为第i+1个训练模型的网络层。
7.根据权利要求5所述的方法，其中，根据训练后的第i个训练模型的各网络层、以及所述训练后的中间训练模型的网络层，生成第i+1个训练模型的网络层，包括：
针对每一网络层，随机从训练后的各训练模型、以及与训练后的各训练模型分别对应的各中间训练模型中，选择任一训练模型；确定所选择的训练模型的网络层，为第i+1个训练模型的网络层。
8.根据权利要求1-7任一项所述的方法，其中，所述第一预设条件为图像处理精度信息所表征的准确性最高；所述确定符合第一预设条件的训练后的训练模型，为用于识别图像的图像识别模型，包括：
获取所述训练后的训练模型的图像处理精度信息；其中，所述图像处理精度信息表征模型识别图像的准确性；
确定图像处理精度信息所表征的准确性最高的模型，为用于识别图像的图像识别模型。
9.根据权利要求1-7任一项所述的方法，其中，所述第一预设条件为图像处理精度信息大于预设精度信息；所述确定符合第一预设条件的训练后的训练模型，为用于识别图像的图像识别模型，包括：
确定各训练后的训练模型中的多个初始对象，其中，所述初始对象为选择后的训练后的训练模型；
获取所述初始对象的图像处理精度信息；其中，所述图像处理精度信息表征模型识别图像的准确性；
确定图像处理精度信息大于预设精度信息的初始对象，并根据图像处理精度信息大于预设精度信息的初始对象，确定出用于识别图像的图像识别模型。
10.根据权利要求9所述的方法，其中，根据图像处理精度信息大于预设精度信息的初始对象，确定出用于识别图像的图像识别模型，包括：
针对每一网络层，随机的从图像处理精度信息大于预设精度信息的初始对象中确定出网络层；
根据所确定出的各网络层，确定出用于识别图像的图像识别模型。
11.根据权利要求1-10任一项所述的方法，其中，第i个训练模型中的每一网络层的参数矩阵的稀疏度相同；
或者，第i个训练模型中的部分网络层的参数矩阵的稀疏度相同。
12.根据权利要求1-11任一项所述的方法，其中，对具有第j级稀疏度的各网络层所构成的第i个训练模型进行训练，得到训练后的第i个训练模型，包括：
将所述待训练图像输入至第i个训练模型的第1个网络层中，输出与第1个网络层对应的图像特征图；
重复以下步骤，直至达到第二预设条件，其中，q的初始值为1，q为正整数：将与第q个网络层对应的图像特征图，输入至第q+1个网络层中，输出与所述第q+1个网络层对应的图像特征图；将q的取值加1；
其中，达到所述第二预设条件时所得到训练后的网络层所构成的模型，为训练后的第i个训练模型。
13.根据权利要求12所述的方法，其中，所述第二预设条件为对训练模型下的各网络层完成了训练，或者，所述第二预设条件为达到预设迭代次数。
14.一种基于图像识别模型的图像识别方法，包括：
获取待识别图像，并将所述待识别图像输入至图像识别模型中，得到图像识别结果；
其中，所述图像识别模型为根据权利要求1-13任一项所述的方法所得到的模型。
15.一种基于稀疏度的图像识别模型的训练装置，包括：
第一获取单元，用于获取待训练图像；
输入单元，用于将所述待训练图像输入至初始的训练模型中；其中，所述训练模型中包括多个用于处理所述待训练图像的图像特征图的网络层，所述网络层配置有参数矩阵，所述参数矩阵设置有稀疏度，所述稀疏度表征零值参数在参数矩阵中的比重；
重复训练单元、生成单元和第一确定单元，直至达到预设的停止条件，其中，i的初始值为1，i为正整数，j为正整数：
训练单元，用于对具有第j级稀疏度的各网络层所构成的第i个训练模型进行训练，得到训练后的第i个训练模型；
生成单元，用于根据训练后的第i个训练模型的网络层的参数矩阵，生成第i+1个训练模型的网络层，其中，第i+1个训练模型的网络层的参数矩阵具有第j+1级稀疏度；
第一确定单元，用于将i的取值加1，并将j的取值加1；
第二确定单元，用于确定符合第一预设条件的训练后的训练模型，为用于识别图像的图像识别模型。
16.根据权利要求15所述的装置，其中，所述生成单元，具体用于：
调整训练后的第i个训练模型的网络层的参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层。
17.根据权利要求16所述的装置，其中，所述生成单元，具体用于：
分别调整训练后的第i个训练模型的各网络层的参数矩阵中的零值参数的个数。
18.根据权利要求17所述的装置，其中，所述生成单元，包括：
第一调整模块，用于针对训练后的第i个训练模型的每一网络层，随机调整网络层的参数矩阵中的参数，以调整参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层；
或者，第二调整模块，用于针对训练后的第i个训练模型的每一网络层，间隔性的调整网络层的参数矩阵中的参数，以调整参数矩阵中的零值参数的个数，生成第i+1个训练模型的网络层。
19.根据权利要求16所述的装置，其中，所述生成单元，包括：
第一生成模块，用于根据训练后的第i个训练模型的网络层的参数矩阵，生成中间训练模型的网络层，其中，所述中间训练模型的网络层的参数矩阵具有新的稀疏度；
训练模块，用于依据所述待训练图像，对所述中间训练模型进行训练，得到训练后的中间训练模型；
第二生成模块，用于根据训练后的第i个训练模型的各网络层、以及所述训练后的中间训练模型的网络层，生成第i+1个训练模型的网络层。
20.根据权利要求19所述的装置，其中，所述第一生成模块，具体用于：
针对每一网络层，随机从训练后的第i个训练模型和所述训练后的中间训练模型中选择任一训练模型，确定所选择的训练模型的网络层，为第i+1个训练模型的网络层。
21.根据权利要求19所述的装置，其中，所述第一生成模块，包括：
选择子模块，用于针对每一网络层，随机从训练后的各训练模型、以及与训练后的各训练模型分别对应的各中间训练模型中，选择任一训练模型；
第一确定子模块，用于确定所选择的训练模型的网络层，为第i+1个训练模型的网络层。
22.根据权利要求15-21任一项所述的装置，其中，所述第一预设条件为图像处理精度信息所表征的准确性最高；所述第二确定单元，包括：
第一获取模块，获取所述训练后的训练模型的图像处理精度信息；其中，所述图像处理精度信息表征模型识别图像的准确性；
第一确定模块，用于确定图像处理精度信息所表征的准确性最高的模型，为用于识别图像的图像识别模型。
23.根据权利要求15-21任一项所述的装置，其中，所述第一预设条件为图像处理精度信息大于预设精度信息；所述第二确定单元，包括：
第二确定模块，用于确定各训练后的训练模型中的多个初始对象，其中，所述初始对象为选择后的训练后的训练模型；
第二获取模块，用于获取所述初始对象的图像处理精度信息；其中，所述图像处理精度信息表征模型识别图像的准确性；
第三确定模块，用于确定图像处理精度信息大于预设精度信息的初始对象；
第四确定模块，用于根据图像处理精度信息大于预设精度信息的初始对象，确定出用于识别图像的图像识别模型。
24.根据权利要求23所述的装置，其中，所述第四确定模块，包括：
第二确定子模块，用于针对每一网络层，随机的从图像处理精度信息大于预设精度信息的初始对象中确定出网络层；
第三确定子模块，用于根据所确定出的各网络层，确定出用于识别图像的图像识别模型。
25.根据权利要求15-24任一项所述的装置，其中，第i个训练模型中的每一网络层的参数矩阵的稀疏度相同；
或者，第i个训练模型中的部分网络层的参数矩阵的稀疏度相同。
26.根据权利要求15-25任一项所述的装置，其中，所述训练单元，包括：
第一输出模块，用于将所述待训练图像输入至第i个训练模型的第1个网络层中，输出与第1个网络层对应的图像特征图；
重复以下各模块，直至达到第二预设条件，其中，q的初始值为1，q为正整数：
第二输出模块，用于将与第q个网络层对应的图像特征图，输入至第q+1个网络层中，输出与所述第q+1个网络层对应的图像特征图；
第四确定模块，用于将q的取值加1；
其中，达到所述第二预设条件时所得到训练后的网络层所构成的模型，为训练后的第i个训练模型。
27.根据权利要求26所述的装置，其中，所述第二预设条件为对训练模型下的各网络层完成了训练，或者，所述第二预设条件为达到预设迭代次数。
28.一种基于图像识别模型的图像识别装置，包括：
第二获取单元，用于获取待识别图像；
识别单元，用于将所述待识别图像输入至图像识别模型中，得到图像识别结果；其中，所述图像识别模型为根据权利要求15-27任一项所述的装置所得到的模型。
29.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-13中任一项所述的方法，或者，以使所述至少一个处理器能够执行权利要求14所述的方法。
30.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的方法，或者，所述计算机指令用于使所述计算机执行根据权利要求14中所述的方法。
31.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-13中任一项所述方法的步骤，或者，该计算机程序被处理器执行时实现权利要求14所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210210049.4A CN114627342A (zh) | 2022-03-03 | 2022-03-03 | 基于稀疏度的图像识别模型的训练方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210210049.4A CN114627342A (zh) | 2022-03-03 | 2022-03-03 | 基于稀疏度的图像识别模型的训练方法、装置和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114627342A true CN114627342A (zh) | 2022-06-14 |
Family
ID=81899925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210210049.4A Pending CN114627342A (zh) | 2022-03-03 | 2022-03-03 | 基于稀疏度的图像识别模型的训练方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114627342A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2018102037A4 (en) * | 2018-12-09 | 2019-01-17 | Ge, Jiahao Mr | A method of recognition of vehicle type based on deep learning |
| CN110516806A (zh) * | 2019-08-30 | 2019-11-29 | 苏州思必驰信息科技有限公司 | 神经网络参数矩阵的稀疏化方法和装置 |
| CN111126600A (zh) * | 2019-12-20 | 2020-05-08 | 上海寒武纪信息科技有限公司 | 神经网络模型的训练方法、数据处理方法和相关产品 |
| CN111401523A (zh) * | 2020-03-13 | 2020-07-10 | 大连理工大学 | 一种基于网络层剪枝的深度学习网络模型压缩方法 |
| US20200250542A1 (en) * | 2019-02-02 | 2020-08-06 | Beijing Horizon Robotics Technology Research And Development Co., Ltd. | Neural Network Training Method, Neural Network Training Apparatus and Electronic Device |
| US20200334537A1 (en) * | 2016-06-30 | 2020-10-22 | Intel Corporation | Importance-aware model pruning and re-training for efficient convolutional neural networks |
| CN111898484A (zh) * | 2020-07-14 | 2020-11-06 | 华中科技大学 | 生成模型的方法、装置、可读存储介质及电子设备 |
| US20200387782A1 (en) * | 2019-06-07 | 2020-12-10 | Tata Consultancy Services Limited | Sparsity constraints and knowledge distillation based learning of sparser and compressed neural networks |
| CN112288046A (zh) * | 2020-12-24 | 2021-01-29 | 浙江大学 | 一种用于神经网络的基于混合粒度的联合稀疏方法 |
| CN113515370A (zh) * | 2021-04-28 | 2021-10-19 | 之江实验室 | 一种面向大规模深度神经网络的分布式训练方法 |
| CN113807517A (zh) * | 2021-09-18 | 2021-12-17 | 成都数联云算科技有限公司 | 剪枝参数搜索方法及剪枝方法、装置、设备、介质 |
| CN114037772A (zh) * | 2021-11-09 | 2022-02-11 | 京东科技信息技术有限公司 | 一种图像生成器的训练方法、图像生成方法及装置 |
| CN114065915A (zh) * | 2021-11-09 | 2022-02-18 | 京东科技信息技术有限公司 | 网络模型的构建方法、数据处理方法、装置、介质及设备 |
| CN114092708A (zh) * | 2021-11-12 | 2022-02-25 | 北京百度网讯科技有限公司 | 特征图像的处理方法、装置和存储介质 |
-
2022
- 2022-03-03 CN CN202210210049.4A patent/CN114627342A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200334537A1 (en) * | 2016-06-30 | 2020-10-22 | Intel Corporation | Importance-aware model pruning and re-training for efficient convolutional neural networks |
| AU2018102037A4 (en) * | 2018-12-09 | 2019-01-17 | Ge, Jiahao Mr | A method of recognition of vehicle type based on deep learning |
| US20200250542A1 (en) * | 2019-02-02 | 2020-08-06 | Beijing Horizon Robotics Technology Research And Development Co., Ltd. | Neural Network Training Method, Neural Network Training Apparatus and Electronic Device |
| US20200387782A1 (en) * | 2019-06-07 | 2020-12-10 | Tata Consultancy Services Limited | Sparsity constraints and knowledge distillation based learning of sparser and compressed neural networks |
| CN110516806A (zh) * | 2019-08-30 | 2019-11-29 | 苏州思必驰信息科技有限公司 | 神经网络参数矩阵的稀疏化方法和装置 |
| CN111126600A (zh) * | 2019-12-20 | 2020-05-08 | 上海寒武纪信息科技有限公司 | 神经网络模型的训练方法、数据处理方法和相关产品 |
| CN111401523A (zh) * | 2020-03-13 | 2020-07-10 | 大连理工大学 | 一种基于网络层剪枝的深度学习网络模型压缩方法 |
| CN111898484A (zh) * | 2020-07-14 | 2020-11-06 | 华中科技大学 | 生成模型的方法、装置、可读存储介质及电子设备 |
| CN112288046A (zh) * | 2020-12-24 | 2021-01-29 | 浙江大学 | 一种用于神经网络的基于混合粒度的联合稀疏方法 |
| CN113515370A (zh) * | 2021-04-28 | 2021-10-19 | 之江实验室 | 一种面向大规模深度神经网络的分布式训练方法 |
| CN113807517A (zh) * | 2021-09-18 | 2021-12-17 | 成都数联云算科技有限公司 | 剪枝参数搜索方法及剪枝方法、装置、设备、介质 |
| CN114037772A (zh) * | 2021-11-09 | 2022-02-11 | 京东科技信息技术有限公司 | 一种图像生成器的训练方法、图像生成方法及装置 |
| CN114065915A (zh) * | 2021-11-09 | 2022-02-18 | 京东科技信息技术有限公司 | 网络模型的构建方法、数据处理方法、装置、介质及设备 |
| CN114092708A (zh) * | 2021-11-12 | 2022-02-25 | 北京百度网讯科技有限公司 | 特征图像的处理方法、装置和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| TORSTEN HOEFLER 等: "Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks", 《ARXIV:2102.00554V1 [CS.LG]》, 31 January 2021 (2021-01-31), pages 1 - 90 * |
| XIN HUANG 等: "PP-YOLOv2: A Practical Object Detector", 《ARXIV:2104.10419V1 [CS.CV] 》, 21 April 2021 (2021-04-21), pages 1 - 7 * |
| 倪嘉成;许悦雷;马时平;李帅;: "结合侧抑制机制的自动编码器训练新算法", 计算机应用与软件, no. 09, 15 September 2015 (2015-09-15), pages 163 - 166 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112580733B (zh) | 分类模型的训练方法、装置、设备以及存储介质 | |
| CN113627536B (zh) | 模型训练、视频分类方法，装置，设备以及存储介质 | |
| CN113343803A (zh) | 模型训练方法、装置、设备和存储介质 | |
| CN113705628B (zh) | 预训练模型的确定方法、装置、电子设备以及存储介质 | |
| CN108805174A (zh) | 聚类方法及装置 | |
| CN114881129A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
| CN115170815A (zh) | 视觉任务处理及模型训练的方法、装置、介质 | |
| CN113641829A (zh) | 图神经网络的训练与知识图谱的补全方法、装置 | |
| CN112528995B (zh) | 用于训练目标检测模型的方法、目标检测方法及装置 | |
| CN114627342A (zh) | 基于稀疏度的图像识别模型的训练方法、装置和设备 | |
| CN114707638A (zh) | 模型训练、对象识别方法及装置、设备、介质和产品 | |
| CN114758130A (zh) | 图像处理及模型训练方法、装置、设备和存储介质 | |
| CN114691691A (zh) | 基于Geohash的空间数据处理方法、装置及电子设备 | |
| CN113032071A (zh) | 页面元素定位方法、页面测试方法、装置、设备和介质 | |
| CN113361621A (zh) | 用于训练模型的方法和装置 | |
| CN113344213A (zh) | 知识蒸馏方法、装置、电子设备及计算机可读存储介质 | |
| CN113807391A (zh) | 任务模型的训练方法、装置、电子设备及存储介质 | |
| CN112784962A (zh) | 超网络的训练方法、装置、电子设备和存储介质 | |
| CN113408304A (zh) | 文本翻译方法、装置、电子设备及存储介质 | |
| CN115578583B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN116416500B (zh) | 图像识别模型训练方法、图像识别方法、装置及电子设备 | |
| CN115482422B (zh) | 深度学习模型的训练方法、图像处理方法和装置 | |
| CN114494818B (zh) | 图像处理方法、模型训练方法、相关装置及电子设备 | |
| CN113327194A (zh) | 图像风格迁移方法、装置、设备和存储介质 | |
| CN114693995A (zh) | 应用于图像处理的模型训练方法、图像处理方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |