CN112712094A - 模型的训练方法、装置、设备及存储介质 - Google Patents
模型的训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112712094A CN112712094A CN201911016119.7A CN201911016119A CN112712094A CN 112712094 A CN112712094 A CN 112712094A CN 201911016119 A CN201911016119 A CN 201911016119A CN 112712094 A CN112712094 A CN 112712094A
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- model
- training
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000006870 function Effects 0.000 claims abstract description 142
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000003062 neural network model Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000002346 layers by function Substances 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种模型的训练方法、装置、设备及存储介质，该方法，包括：将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，所述T帧图像和所述T+J帧图像为未进行标注处理的图像，所述预训练模型是已具备图像特征提取功能的神经网络模型；通过所述预训练模型提取所述T帧图像和所述T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能。从而通过未标注的视频数据对模型进行非监督学习，提高模型对特定场景的预测能力，缩短模型的训练周期，提高模型的训练效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种模型的训练方法、装置、设备及存储介质。
背景技术
计算机视觉在图像处理技术中占有重要的地位，而计算机视觉一般都是通过训练神经网络模型来达到对图像的检测、分类、预测的目的。
目前，一般通过大量的标注数据对神经网络模型进行监督学习，以得到符合要求的神经网络模型。
但是，这种方式需要预先生成大量的训练数据，训练周期长，对训练数据的依赖度高，模型训练过程复杂，效率低下。
发明内容
本发明提供一种模型的训练方法、装置、设备及存储介质，可以通过未标注的视频数据对模型进行非监督学习，提高模型对特定场景的预测能力，缩短模型的训练周期，提高模型的训练效率。
第一方面，本发明实施例提供一种模型的训练方法，包括：
将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，所述T帧图像和所述T+J帧图像为未进行标注处理的图像，所述预训练模型是已具备图像特征提取功能的神经网络模型；
通过所述预训练模型提取所述T帧图像和所述T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；
根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能。
第二方面，本发明实施例提供一种模型的训练装置，包括：
第一输入模块，用于第一输入模块，用于将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，所述T帧图像和所述T+J帧图像为未进行标注处理的图像，所述预训练模型是已具备图像特征提取功能的神经网络模型；
第一提取模块，用于通过所述预训练模型提取所述T帧图像和所述T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；
第一优化模块，用于根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能。
第三方面，本发明实施例提供一种模型的训练设备，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如第一方面中任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，包括：计算机程序，当其在计算机上运行时，使得计算机执行第一方面中任一所述的方法。
本发明提供的模型的训练方法、装置、设备及存储介质，通过将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，所述T帧图像和所述T+J帧图像为未进行标注处理的图像，所述预训练模型是已具备图像特征提取功能的神经网络模型；通过所述预训练模型提取所述T帧图像和所述T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能。从而通过未标注的视频数据对模型进行非监督学习，提高模型对特定场景的预测能力，缩短模型的训练周期，提高模型的训练效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一应用场景的原理示意图；
图2为本发明实施例一提供的模型的训练方法的流程图；
图3为本发明实施例二提供的模型的训练方法的流程图；
图4为本发明实施例三提供的模型的训练装置的结构示意图；
图5为本发明实施例四提供的模型的训练装置的结构示意图；
图6为本发明实施例五提供的模型的训练设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
计算机视觉在图像处理技术中占有重要的地位，而计算机视觉一般都是通过训练神经网络模型来达到对图像的检测、分类、预测的目的。现有的非监督学习希望使用未标注的数据完成模型训练，以专注于更好的特征学习。但是单纯的非监督学习难以达到监督学习的准确率。因此，现有技术一般通过大量的标注数据对神经网络模型进行监督学习，以得到符合要求的神经网络模型。但是，这种方式需要预先生成大量的训练数据，训练周期长，对训练数据的依赖度高，模型训练过程复杂，效率低下。
本发明的目的并不是为了通过完全的非监督学习来训练神经网络，而是在监督学习后的神经网络模型基础上，利用视频数据进行非监督学习，以提升神经网络针对特定场景的预测能力，是利用非监督学习进行迁移学习的过程。本发明使用的训练方法无需提前额外生成训练数据，通过神经网络直接预测前后帧无需额外的数据生成，方便大规模使用。
由于已标注数据规模远远小于未标注数据，利用未标注数据的需求变得十分明显。对于视频采集的数据，具有序列相关的特点。本发明利用这一特点，使用生成模型训练的方法，将未标注的大量视频数据引入训练，可以更好的提升神经网络的特征提取能力，尤其是通用神经网络迁移到特定场景下的特征提取能力。最终，会提升神经网络在特定场景中的各项任务的能力。
图1为本发明一应用场景的原理示意图，如图1所示，本发明的目的并不是为了通过完全的非监督学习来训练神经网络，而是在监督学习后的神经网络模型基础上，利用视频数据进行非监督学习，以提升神经网络针对特定场景的预测能力，是利用非监督学习进行迁移学习的过程。首先，构造包括：图像以及图像对应的图像特征的训练集。然后，构建神经网络模型，通过训练集中的图像对神经网络模型进行监督学习训练，得到预训练模型。具体地，以图像作为神经网络模型的输入，以图像特征作为初始神经网络模型的输出，迭代训练，直到得到具备图像特征提取功能的预训练模型。将预训练模型作为目标调优网络，虽然预训练模型已经具备了一定的特征提取能力，但是需要针对特定场景进一步的调优。而本发明的核心就是对预训练模型作进一步优化训练，充分利用视频采集的数据具有序列相关的特点，将未标注的大量视频数据引入训练，从而可以更好的提升神经网络的特征提取能力。
具体地，在视频中提取连续两帧，也即T帧图像和T+1帧图像，并将采集到的到的T帧图像和T+1帧图像输入预训练模型；T为大于0的自然数。然后，通过预训练模型提取T帧图像和T+1帧图像的图像特征，得到T帧图像特征和T+1帧图像特征。通过神经网络的反向传递功能，根据第一约束损失函数的输出值，不断优化预训练模型的特征提取功能，直到第一约束损失函数的输出值小于第一预设阈值；其中，第一约束损失函数用于评估T帧的图像特征和T+1帧的图像特征的相似度；T帧的图像特征和T+1帧的图像特征的相似度越高，则第一约束损失函数的输出值越小；第一约束损失函数可以选择L1损失函数、L2损失函数、余弦相似度损失函数等中的任一种。
进一步地，还可以将T帧特征和T+1帧特征输入至少一个重构模型；其中，重构模型用于根据前序的图像特征预测后续的图像特征；通过重构模型预测T+N帧的图像特征，得到预测的T+N帧特征；其中，N为大于1的自然数；从视频中提取真实的T+N帧的图像特征，得到真实的T+N帧特征；构建用于表征预测的T+N帧特征和真实的T+N帧特征之间相似度的第二约束损失函数；第二约束损失函数可以选择L1损失函数、L2损失函数、余弦相似度损失函数等中的任一种。通过神经网络的反向传递功能，根据第二约束损失函数的输出值，不断优化预训练模型的特征提取功能，直到第二约束损失函数的输出值小于第二预设阈值。需要说明的是，本发明不限定重建模型的数量，重构模型可以是一个，也可以是多个。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例一提供的模型的训练方法的流程图，如图2所示，本实施例中的方法可以包括：
S101、将采集到的T帧图像和T+J帧图像输入预训练模型。
本实施例中，预训练模型是指通过训练集训练的，已具备图像特征提取功能的神经网络模型；其中，训练集包括：图像以及图像对应的图像特征；在训练过程中，以图像作为神经网络模型的输入，以图像特征作为初始神经网络模型的输出，迭代训练，得到预训练模型。
具体地，构造包括图像以及图像对应的图像特征的训练集。然后，进行监督学习训练模型。具体地，以图像作为神经网络模型的输入，以图像特征作为神经网络模型的输出，迭代训练，得到预训练模型；该预训练模型是已具备图像特征提取功能的神经网络模型。进一步地，在视频中提取T帧和T+J帧，并将采集到的到的T帧图像和T+J帧图像输入预训练模型；其中，T和J为大于0的自然数；且T帧图像和T+J帧图像为未进行标注处理的图像。
S102、通过预训练模型提取T帧图像和T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征。
本实施例中，将T帧图像和T+J帧图像输入预训练模型进行图像特征提取，对应的结果分别为：T帧的图像特征、T+J帧的图像特征。
S103、根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化预训练模型的特征提取功能。
本实施例中，设置表征T帧特征和T+1帧特征之间相似度的第一约束损失函数；第一约束损失函数包括：L1损失函数、L2损失函数、余弦相似度损失函数中的任一种。通过神经网络的反向传递功能，根据第一约束损失函数的输出值，不断优化预训练模型的特征提取功能，直到第一约束损失函数的输出值小于第一预设阈值；其中，第一约束损失函数用于评估T帧的图像特征和T+J帧的图像特征的相似度；T帧的图像特征和T+J帧的图像特征的相似度越高，则第一约束损失函数的输出值越小。
示例性的，当使用T帧的图像特征和T+1帧的图像特征时，由于连续帧图像的相似度较高，因此可以使用连续帧的余弦相似度来评估两帧图像的相似度，此时可以将第一约束损失函数设置为余弦相似度损失函数。
具体地，神经网络模型包含多个功能层，可以采用本发明中的方法训练任何一个功能层。即可以针对神经网络某部分训练，而非整体。如，可以通过预测更接近的视频帧来单独训练卷积网络的底层特征。或者锁定底层参数，单独训练更加抽象的层次。还可以使用额外的约束条件，如，视频帧相关性较强，可以约束两帧之间的隐藏层特征的相似性，最直接的，可以最小化两者之间的余弦差距。也可以多任务训练作为约束。利用部分的标注数据同时进行训练，可以在非监督学习的过程中同时加入监督学习，由于部分数据属于已标注样本，针对这些标注的训练任务可以更好的约束神经网络的学习方向。
本实施例，通过将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，T帧图像和T+J帧图像为未进行标注处理的图像，预训练模型是已具备图像特征提取功能的神经网络模型；通过预训练模型提取T帧图像和T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化预训练模型的特征提取功能。从而通过未标注的视频数据对模型进行非监督学习，提高模型对特定场景的预测能力，缩短模型的训练周期，提高模型的训练效率。
图3为本发明实施例二提供的模型的训练方法的流程图，如图3所示，本实施例中的方法可以包括：
S201、将采集到的T帧图像和T+J帧图像输入预训练模型。
S202、通过预训练模型提取T帧图像和T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征。
S203、根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化预训练模型的特征提取功能。
本实施例中，步骤S201～步骤S203的具体实现过程和技术原理请参见图2所示的方法中步骤S101～步骤S103中的相关描述，此处不再赘述。
S204、将T帧的图像特征和T+J帧的图像特征输入至少一个重构模型，得到预测的T+N帧的图像特征。
本实施例中，还可以将T帧的图像特征和T+1帧的图像特征融合之后输入到至少一个重构模型。其中，重建模型是指重新初始化的未经过训练的神经网络模型，该重构模型用于根据T帧的图像特征和T+J帧的图像特征的融合特征，预测T+N帧的图像特征；N为大于J的自然数。需要说明的是，本发明不限定重建模型的数量，重构模型可以是一个，也可以是多个。例如，两个重构模型分别用于预测T+10帧的图像、T+20帧的图像。
S205、从视频中提取出真实的T+N帧的图像特征。
本实施例中，可以通过现有的特征提取模型从视频中提取出真实的T+N帧的图像特征。
S206、根据真实的T+N帧的图像特征和预测的T+N帧的图像特征所对应的第二优化函数，优化预训练模型的特征提取功能。
本实施例中，通过神经网络的反向传递功能，根据第二约束损失函数的输出值，不断优化预训练模型的特征提取功能，直到第二约束损失函数的输出值小于第二预设阈值；其中，第二约束损失函数用于评估真实的T+N帧的图像特征和预测的T+N帧的图像特征的相似度；真实的T+N帧的图像特征和预测的T+N帧的图像特征的相似度越高，则第二约束损失函数的输出值越小；第二约束损失函数包括：L1损失函数、L2损失函数、余弦相似度损失函数中的任一种。需要说明的是，真实的T+N帧图像和预测的T+N帧图像的帧率可以不同。因为可以通过下采样处理来使得真实的T+N帧图像与预测的T+N帧相同。
本实施例，通过将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，T帧图像和T+J帧图像为未进行标注处理的图像，预训练模型是已具备图像特征提取功能的神经网络模型；通过预训练模型提取T帧图像和T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化预训练模型的特征提取功能。并T帧的图像特征和T+J帧的图像特征输入至少一个重构模型，根据真实的T+N帧的图像特征和预测的T+N帧的图像特征所对应的第二优化函数，优化预训练模型的特征提取功能。从而通过未标注的视频数据对模型进行非监督学习，提高模型对特定场景的预测能力，缩短模型的训练周期，提高模型的训练效率。
图4为本发明实施例三提供的模型的训练装置的结构示意图，如图4所示，本实施例中的装置可以包括：
第一输入模块31，用于将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，T帧图像和T+J帧图像为未进行标注处理的图像，预训练模型是已具备图像特征提取功能的神经网络模型；
第一提取模块32，用于通过预训练模型提取T帧图像和T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；
第一优化模块33，用于根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化预训练模型的特征提取功能。
可选地，第一优化模块33，具体用于：
通过神经网络的反向传递功能，根据第一约束损失函数的输出值，不断优化预训练模型的特征提取功能，直到第一约束损失函数的输出值小于第一预设阈值；其中，第一约束损失函数用于评估T帧的图像特征和T+J帧的图像特征的相似度；T帧的图像特征和T+J帧的图像特征的相似度越高，则第一约束损失函数的输出值越小；第一约束损失函数包括：L1损失函数、L2损失函数、余弦相似度损失函数中的任一种。
可选地，预训练模型是通过训练集训练的具备图像特征提取功能的神经网络模型，训练集包括：图像以及图像对应的图像特征；
在训练过程中，以图像作为神经网络模型的输入，以图像特征作为神经网络模型的输出进行迭代训练，得到预训练模型。
本实施例的模型的训练装置，可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
本实施例，通过将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，T帧图像和T+J帧图像为未进行标注处理的图像，预训练模型是已具备图像特征提取功能的神经网络模型；通过预训练模型提取T帧图像和T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化预训练模型的特征提取功能。从而通过未标注的视频数据对模型进行非监督学习，提高模型对特定场景的预测能力，缩短模型的训练周期，提高模型的训练效率。
图5为本发明实施例四提供的模型的训练装置的结构示意图，如图5所示，本实施例的模型的训练装置在图4所示装置的基础上，还可以包括：
第二输入模块34，用于将T帧的图像特征和T+J帧的图像特征输入至少一个重构模型，得到预测的T+N帧的图像特征；其中，重构模型为未经训练的神经网络模型，用于根据T帧的图像特征和T+J帧的图像特征的融合特征，预测T+N帧的图像特征；N为大于J的自然数。
可选地，还包括：第二优化模块35，用于：
从视频中提取出真实的T+N帧的图像特征；
通过神经网络的反向传递功能，根据第二约束损失函数的输出值，不断优化预训练模型的特征提取功能，直到第二约束损失函数的输出值小于第二预设阈值；其中，第二约束损失函数用于评估真实的T+N帧的图像特征和预测的T+N帧的图像特征的相似度；真实的T+N帧的图像特征和预测的T+N帧的图像特征的相似度越高，则第二约束损失函数的输出值越小；第二约束损失函数包括：L1损失函数、L2损失函数、余弦相似度损失函数中的任一种。
本实施例的模型的训练装置，可以执行图2、图3所示方法中的技术方案，其具体实现过程和技术原理参见图2、图3所示方法中的相关描述，此处不再赘述。
本实施例，通过将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，T帧图像和T+J帧图像为未进行标注处理的图像，预训练模型是已具备图像特征提取功能的神经网络模型；通过预训练模型提取T帧图像和T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化预训练模型的特征提取功能。并T帧的图像特征和T+J帧的图像特征输入至少一个重构模型，根据真实的T+N帧的图像特征和预测的T+N帧的图像特征所对应的第二优化函数，优化预训练模型的特征提取功能。从而通过未标注的视频数据对模型进行非监督学习，提高模型对特定场景的预测能力，缩短模型的训练周期，提高模型的训练效率。
图6为本发明实施例五提供的模型的训练设备的结构示意图，如图6所示，本实施例中的模型的训练设备40可以包括：处理器41和存储器42。
存储器42，用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器42中。并且上述的计算机程序、计算机指令、数据等可以被处理器41调用。
处理器41，用于执行存储器42存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器41和存储器42可以是独立结构，也可以是集成在一起的集成结构。当处理器41和存储器42是独立结构时，存储器42、处理器41可以通过总线43耦合连接。
本实施例的模型的训练设备可以执行图2、图3所示方法中的技术方案，其具体实现过程和技术原理参见图2、图3所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种模型的训练方法，其特征在于，包括：
将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，所述T帧图像和所述T+J帧图像为未进行标注处理的图像，所述预训练模型是已具备图像特征提取功能的神经网络模型；
通过所述预训练模型提取所述T帧图像和所述T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；
根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能。
2.根据权利要求1所述的方法，其特征在于，根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能，包括：
通过神经网络的反向传递功能，根据所述第一约束损失函数的输出值，不断优化所述预训练模型的特征提取功能，直到所述第一约束损失函数的输出值小于第一预设阈值；其中，所述第一约束损失函数用于评估所述T帧的图像特征和T+J帧的图像特征的相似度；所述T帧的图像特征和T+J帧的图像特征的相似度越高，则所述第一约束损失函数的输出值越小；所述第一约束损失函数包括：L1损失函数、L2损失函数、余弦相似度损失函数中的任一种。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
将所述T帧的图像特征和所述T+J帧的图像特征输入至少一个重构模型，得到预测的T+N帧的图像特征；其中，所述重构模型为未经训练的神经网络模型，用于根据所述T帧的图像特征和所述T+J帧的图像特征的融合特征，预测T+N帧的图像特征；N为大于J的自然数。
4.根据权利要求3所述的方法，其特征在于，还包括：
从视频中提取出真实的T+N帧的图像特征；
通过神经网络的反向传递功能，根据第二约束损失函数的输出值，不断优化所述预训练模型的特征提取功能，直到所述第二约束损失函数的输出值小于第二预设阈值；其中，所述第二约束损失函数用于评估所述真实的T+N帧的图像特征和预测的T+N帧的图像特征的相似度；所述真实的T+N帧的图像特征和预测的T+N帧的图像特征的相似度越高，则所述第二约束损失函数的输出值越小；所述第二约束损失函数包括：L1损失函数、L2损失函数、余弦相似度损失函数中的任一种。
5.根据权利要求1所述的方法，其特征在于，所述预训练模型是通过训练集训练的具备图像特征提取功能的神经网络模型，所述训练集包括：图像以及所述图像对应的图像特征；
在训练过程中，以所述图像作为所述神经网络模型的输入，以所述图像特征作为所述神经网络模型的输出进行迭代训练，得到所述预训练模型。
6.一种模型的训练装置，其特征在于，包括：
第一输入模块，用于将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，所述T帧图像和所述T+J帧图像为未进行标注处理的图像，所述预训练模型是已具备图像特征提取功能的神经网络模型；
第一提取模块，用于通过所述预训练模型提取所述T帧图像和所述T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；
第一优化模块，用于根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能。
7.根据权利要求6所述的装置，其特征在于，还包括：
第二输入模块，用于将所述T帧的图像特征和所述T+J帧的图像特征输入至少一个重构模型，得到预测的T+N帧的图像特征；其中，所述重构模型为未经训练的神经网络模型，用于根据所述T帧的图像特征和所述T+J帧的图像特征的融合特征，预测T+N帧的图像特征；N为大于J的自然数。
8.根据权利要求7所述的装置，其特征在于，还包括：第二优化模块，用于：
从视频中提取出真实的T+N帧的图像特征；
通过神经网络的反向传递功能，根据第二约束损失函数的输出值，不断优化所述预训练模型的特征提取功能，直到所述第二约束损失函数的输出值小于第二预设阈值；其中，所述第二约束损失函数用于评估所述真实的T+N帧的图像特征和预测的T+N帧的图像特征的相似度；所述真实的T+N帧的图像特征和预测的T+N帧的图像特征的相似度越高，则所述第二约束损失函数的输出值越小；所述第二约束损失函数包括：L1损失函数、L2损失函数、余弦相似度损失函数中的任一种。
9.一种模型的训练设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括：计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911016119.7A CN112712094A (zh) | 2019-10-24 | 2019-10-24 | 模型的训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911016119.7A CN112712094A (zh) | 2019-10-24 | 2019-10-24 | 模型的训练方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112712094A true CN112712094A (zh) | 2021-04-27 |
Family
ID=75541270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911016119.7A Pending CN112712094A (zh) | 2019-10-24 | 2019-10-24 | 模型的训练方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112712094A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017158058A1 (en) * | 2016-03-15 | 2017-09-21 | Imra Europe Sas | Method for classification of unique/rare cases by reinforcement learning in neural networks |
| CN107358142A (zh) * | 2017-05-15 | 2017-11-17 | 西安电子科技大学 | 基于随机森林构图的极化sar图像半监督分类方法 |
| CN107506800A (zh) * | 2017-09-21 | 2017-12-22 | 深圳市唯特视科技有限公司 | 一种基于无监督域适应的无标签视频人脸识别方法 |
| CN108446334A (zh) * | 2018-02-23 | 2018-08-24 | 浙江工业大学 | 一种无监督对抗训练的基于内容的图像检索方法 |
| CN108491763A (zh) * | 2018-03-01 | 2018-09-04 | 北京市商汤科技开发有限公司 | 三维场景识别网络的无监督训练方法、装置及存储介质 |
| CN109902192A (zh) * | 2019-01-15 | 2019-06-18 | 华南师范大学 | 基于无监督深度回归的遥感图像检索方法、系统、设备及介质 |
| CN110163278A (zh) * | 2019-05-16 | 2019-08-23 | 东南大学 | 一种基于图像识别的火焰稳定性监测方法 |
| CN110335228A (zh) * | 2018-03-30 | 2019-10-15 | 杭州海康威视数字技术股份有限公司 | 一种图像视差的确定方法、装置及系统 |
-
2019
- 2019-10-24 CN CN201911016119.7A patent/CN112712094A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017158058A1 (en) * | 2016-03-15 | 2017-09-21 | Imra Europe Sas | Method for classification of unique/rare cases by reinforcement learning in neural networks |
| CN107358142A (zh) * | 2017-05-15 | 2017-11-17 | 西安电子科技大学 | 基于随机森林构图的极化sar图像半监督分类方法 |
| CN107506800A (zh) * | 2017-09-21 | 2017-12-22 | 深圳市唯特视科技有限公司 | 一种基于无监督域适应的无标签视频人脸识别方法 |
| CN108446334A (zh) * | 2018-02-23 | 2018-08-24 | 浙江工业大学 | 一种无监督对抗训练的基于内容的图像检索方法 |
| CN108491763A (zh) * | 2018-03-01 | 2018-09-04 | 北京市商汤科技开发有限公司 | 三维场景识别网络的无监督训练方法、装置及存储介质 |
| CN110335228A (zh) * | 2018-03-30 | 2019-10-15 | 杭州海康威视数字技术股份有限公司 | 一种图像视差的确定方法、装置及系统 |
| CN109902192A (zh) * | 2019-01-15 | 2019-06-18 | 华南师范大学 | 基于无监督深度回归的遥感图像检索方法、系统、设备及介质 |
| CN110163278A (zh) * | 2019-05-16 | 2019-08-23 | 东南大学 | 一种基于图像识别的火焰稳定性监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 曾琦 等: "基于半监督深度生成对抗网络的图像识别方法", 《测控技术》, 31 August 2019 (2019-08-31), pages 37 - 42 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110347873B (zh) | 视频分类方法、装置、电子设备及存储介质 | |
| CN108062754B (zh) | 基于密集网络图像的分割、识别方法和装置 | |
| CN111026915B (zh) | 视频分类方法、视频分类装置、存储介质与电子设备 | |
| Perarnau et al. | Invertible conditional gans for image editing | |
| KR102480323B1 (ko) | 비디오 시간 세그먼트를 검색하는 방법과 시스템 | |
| CN110751224B (zh) | 视频分类模型的训练方法、视频分类方法、装置及设备 | |
| CN113128478B (zh) | 模型训练方法、行人分析方法、装置、设备及存储介质 | |
| Wu et al. | Dynamic inference: A new approach toward efficient video action recognition | |
| CN110781960B (zh) | 视频分类模型的训练方法、分类方法、装置及设备 | |
| CN112529210A (zh) | 模型训练方法、装置以及计算机可读存储介质 | |
| CN113435430B (zh) | 基于自适应时空纠缠的视频行为识别方法、系统、设备 | |
| CN112749666A (zh) | 一种动作识别模型的训练及动作识别方法与相关装置 | |
| CN112818955A (zh) | 一种图像分割方法、装置、计算机设备以及存储介质 | |
| CN112364933A (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| CN113570689A (zh) | 人像卡通化方法、装置、介质和计算设备 | |
| CN117033657A (zh) | 一种信息检索方法及装置 | |
| CN116702835A (zh) | 神经网络推理加速方法、目标检测方法、设备及存储介质 | |
| CN114492601A (zh) | 资源分类模型的训练方法、装置、电子设备及存储介质 | |
| CN112633100B (zh) | 行为识别方法、装置、电子设备和存储介质 | |
| CN116612416A (zh) | 一种指代视频目标分割方法、装置、设备及可读存储介质 | |
| CN112712094A (zh) | 模型的训练方法、装置、设备及存储介质 | |
| JP2023126130A (ja) | オブジェクト検出のためのコンピュータにより実施される方法、データ処理機器及びコンピュータプログラム | |
| CN115905613A (zh) | 音视频多任务学习、评估方法、计算机设备及介质 | |
| US20220303560A1 (en) | Systems, methods and computer media for joint attention video processing | |
| CN115082306A (zh) | 一种基于蓝图可分离残差网络的图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |