CN113920406A - 神经网络训练及分类方法、装置、设备及存储介质 - Google Patents
神经网络训练及分类方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113920406A CN113920406A CN202111394751.2A CN202111394751A CN113920406A CN 113920406 A CN113920406 A CN 113920406A CN 202111394751 A CN202111394751 A CN 202111394751A CN 113920406 A CN113920406 A CN 113920406A
- Authority
- CN
- China
- Prior art keywords
- picture
- training
- text
- neural network
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 209
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 74
- 238000000605 extraction Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000011144 upstream manufacturing Methods 0.000 description 6
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种神经网络训练及分类方法、装置、设备及存储介质，其中，该方法包括：获取各个训练图片样本以及与每个训练图片样本对应的文本描述内容；从训练图片样本中提取图片特征信息，以及从训练图片样本对应的文本描述内容中提取文本特征信息；基于提取的图片特征信息和文本特征信息，确定待训练的神经网络的损失函数值；在不满足神经网络的迭代训练截止条件的情况下，基于确定的损失函数值调整神经网络的网络参数值，并进行调整后的神经网络的再次训练，直至满足神经网络的迭代训练截止条件，得到训练好的用于对目标图片进行处理的神经网络。本公开利用文本特征信息为图片训练提供额外的监督信号，大幅度提升了网络训练的性能。
Description
技术领域
本公开涉及机器学习技术领域，具体而言，涉及一种神经网络训练及分类方法、装置、设备及存储介质。
背景技术
随着深度学习的不断发展，各种机器学习模型在各行各业取得了越来越大的成功，可以广泛应用于图像分类、目标检测等各种应用场景中。
在实际应用场景中，能够利用的训练样本可能是少量，在少量的训练样本上直接训练一个神经网络模型的性能往往导致性能较差。为了解决这一问题，相关技术中可以利用一个较大的计算机视觉数据集预先训练一个特征提取器，而后将这一特征提取器迁移到具体的应用场景中再进行神经网络模型的训练以提升模型性能。
然而，由于计算机视觉数据集所对应上游任务与当前应用场景所对应下游任务之间的领域跨度较大，导致模型性能提升效果不佳。
发明内容
本公开实施例至少提供一种神经网络训练及分类方法、装置、设备及存储介质。
第一方面，本公开实施例提供了一种神经网络训练的方法，所述方法包括：
获取各个训练图片样本以及与每个所述训练图片样本对应的文本描述内容；
从所述训练图片样本中提取图片特征信息，以及从所述训练图片样本对应的文本描述内容中提取文本特征信息；
基于提取的所述图片特征信息和所述文本特征信息，确定待训练的神经网络的损失函数值；
在不满足神经网络的迭代训练截止条件的情况下，基于确定的所述损失函数值调整所述神经网络的网络参数值，并进行调整后的神经网络的再次训练，直至满足神经网络的迭代训练截止条件，得到训练好的用于对目标图片进行处理的神经网络。
采用上述神经网络训练的方法，在获取到各个训练图片样本以及与每个训练图片样本对应的文本描述内容的情况下，可以从训练图片样本和对应的文本描述内容中分别提取图片特征信息和文本特征信息，从而可以确定待训练的神经网络的损失函数值，并能够基于损失函数值进行网络训练的调整以训练得到神经网络。本公开利用文本特征信息为图片训练提供额外的监督信号，可以有效减少由跨场景数据迁徙对网络性能产生的不利影响，大幅度提升了网络训练的性能，准确性和鲁棒性均较佳。
在一种可能的实施方式中，所述神经网络包括第一特征提取器和第二特征提取器；
所述从所述训练图片样本中提取图片特征信息，包括：
利用所述第一特征提取器对所述训练图片样本进行图片特征提取，得到所述训练图片样本对应的图片特征信息；
所述从所述训练图片样本对应的文本描述内容中提取文本特征信息，包括：
利用所述第二特征提取器对所述训练图片样本对应的文本描述内容进行文本特征提取，得到所述训练图片样本对应的文本特征信息。
在一种可能的实施方式中，所述神经网络包括分类器；所述基于提取的所述图片特征信息和所述文本特征信息，确定待训练的神经网络的损失函数值，包括：
基于提取的所述图片特征信息和所述文本特征信息，确定第一子损失函数值；以及，基于提取的所述图片特征信息以及所述分类器，确定第二子损失函数值；
基于所述第一子损失函数值和所述第二子损失函数值，确定所述损失函数值。
这里，利用第一子损失函数值和第二子损失函数值分别对网络训练进行监督，前置可以就图片和文本之间的相似度提供网络训练的监督信号，该监督信号可以作为后者就图片分类提供网络训练的监督信号的补充信号，从而有效的提升在跨领域数据迁徙下的网络训练性能。
在一种可能的实施方式中，所述基于提取的所述图片特征信息和所述文本特征信息，确定第一子损失函数值，包括：
确定提取的所述图片特征信息和所述文本特征信息之间的特征相似度；
基于所述特征相似度，确定所述第一子损失函数值。
在一种可能的实施方式中，在所述训练图片样本对应的文本描述内容为多个的情况下，所述基于所述特征相似度，确定所述第一子损失函数值，包括：
基于提取的所述图片特征信息和每个所述文本特征信息之间的特征相似度、以及每个所述文本描述内容对应的权重值，确定所述第一子损失函数值。
这里，可以基于针对训练图片样本对应的多个文本描述内容的权重来确定第一子损失函数值，更为准确。
在一种可能的实施方式中，所述基于提取的所述图片特征信息以及所述分类器，确定第二子损失函数值，包括：
将提取的所述图片特征信息输入到所述分类器中，得到所述分类器输出的分类结果；
基于所述分类器输出的分类结果以及针对所述训练图片样本预先标注的标注结果，确定所述第二子损失函数值。
在一种可能的实施方式中，所述将提取的所述图片特征信息输入到所述分类器之前，还包括：
利用提取的所述文本特征信息对所述分类器进行初始化，得到初始化后的分类器；
所述将提取的所述图片特征信息输入到所述分类器中，得到所述分类器输出的分类结果，包括：
将提取的所述图片特征信息输入到所述初始化后的分类器中，得到所述分类器输出的分类结果。
在一种可能的实施方式中，所述利用提取的所述文本特征信息对所述分类器进行初始化，得到初始化后的分类器，包括：
基于提取的所述文本特征信息，以及所述文本特征信息对应的训练图片样本匹配的预设分类结果，确定所述分类器的初始权重；
将所述初始权重确定为所述初始化后的分类器的网络参数值。
这里，可以基于文本特征信息来确定初始化后的分类器的网络参数值，由于文本特征可以从文本维度来描述分类信息，这一定程度上可以提升分类器的分类准确性。
在一种可能的实施方式中，按照如下至少一种方式确定所述训练图片样本对应的文本描述内容：
响应针对所述训练图片样本的人工标注请求，获取所述训练图片样本对应的文本描述内容；
通过网络获取多组图片文本对，将所述训练图片样本与每组所述图片文本对包括的图片进行比对，并将比对成功的图片文本对包括的文本内容确定为所述训练图片样本对应的文本描述内容；
利用训练好的文本生成网络对所述训练图片样本进行文本提取，得到所述训练图片样本对应的文本描述内容。
第二方面，本公开实施例还提供了一种分类的方法，包括：
获取目标图片；
将所述目标图片输入到根据第一方面及其各种实施方式任一所述的方法训练好的神经网络中，得到所述目标图片对应的分类结果。
第三方面，本公开实施例还提供了一种神经网络训练的装置，所述装置包括：
获取模块，用于获取各个训练图片样本以及与每个所述训练图片样本对应的文本描述内容；
提取模块，用于从所述训练图片样本中提取图片特征信息，以及从所述训练图片样本对应的文本描述内容中提取文本特征信息；
确定模块，用于基于提取的所述图片特征信息和所述文本特征信息，确定待训练的神经网络的损失函数值；
训练模块，用于在不满足神经网络的迭代训练截止条件的情况下，基于确定的所述损失函数值调整所述神经网络的网络参数值，并进行调整后的神经网络的再次训练，直至满足神经网络的迭代训练截止条件，得到训练好的用于对目标图片进行处理的神经网络。
第四方面，本公开实施例还提供了一种分类的装置，包括：
获取模块，用于获取目标图片；
分类模块，用于将所述目标图片输入到根据第一方面及其各种实施方式任一所述的方法训练好的神经网络中，得到所述目标图片对应的分类结果。
第五方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的神经网络训练的方法的步骤或者如第二方面所述的分类的方法的步骤。
第六方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的神经网络训练的方法的步骤或者如第二方面所述的分类的方法的步骤。
关于上述装置、电子设备、及计算机可读存储介质的效果描述参见上述方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种神经网络训练的方法的流程图；
图2示出了本公开实施例所提供的一种神经网络训练的方法中，训练神经网络的具体流程图；
图3示出了本公开实施例所提供的一种神经网络训练的装置的示意图；
图4示出了本公开实施例所提供的一种分类的装置的示意图；
图5示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，可以利用一个较大的计算机视觉数据集预先训练一个特征提取器，而后将这一特征提取器迁移到具体的应用场景中再进行神经网络模型的训练以提升模型性能。
在将上游训练的特征提取器迁移到下游数据集时，常见的迁移方法包括：微调、多任务学习、元学习等。然而，由于计算机视觉数据集所对应上游任务与当前应用场景所对应下游任务之间的领域跨度较大，导致模型性能提升效果不佳。
基于上述研究，本公开提供了一种神经网络训练及分类方法、装置、设备及存储介质，以提升训练性能。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种神经网络训练的方法进行详细介绍，本公开实施例所提供的神经网络训练的方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该神经网络训练的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的神经网络训练的方法的流程图，方法包括步骤S101～S104，其中：
S101：获取各个训练图片样本以及与每个训练图片样本对应的文本描述内容；
S102：从训练图片样本中提取图片特征信息，以及从训练图片样本对应的文本描述内容中提取文本特征信息；
S103：基于提取的图片特征信息和文本特征信息，确定待训练的神经网络的损失函数值；
S104：在不满足神经网络的迭代训练截止条件的情况下，基于确定的损失函数值调整神经网络的网络参数值，并进行调整后的神经网络的再次训练，直至满足神经网络的迭代训练截止条件，得到训练好的用于对目标图片进行处理的神经网络。
为了便于理解本公开实施例提供的神经网络训练的方法，接下来首先对该方法的应用场景进行简单说明。本公开实施例中的神经网络训练的方法主要可以应用于场景迁移下的有关下游训练任务，这里的下游训练任务可以是基于当前所迁移到的场景下的相关任务，具有的训练样本数量相对较少，与下游训练任务对应的是上游训练任务，可以是具有较多训练样本的相关任务。以目标分类任务为例，目前已经具备包括由各目标对象组成的训练数据库训练得到的目标分类神经网络，然而对于下游具体的应用场景自动驾驶而言，由于对应这一场景下的训练数据相对较少，因而往往需要借助上游的训练结果来支持下游的训练。
相关技术中，可以通过微调等方式对上游训练的特征提取器进行调整并将调整后的特征提取器应用到下游任务中，然而，由于领域跨度较大，导致所训练神经网络的性能提升效果不佳。
正是为了解决上述问题，本公开实施例才提供了一种结合文本特征进行网络监督的神经网络训练的方案，所训练得到的神经网络的性能较佳。
在进行神经网络训练之前，本公开实施例可以获取多个训练图片样本以及与每个训练图片样本对应的文本描述内容。这里的训练图片样本对应的可以是下游任务所采集的图片，针对不同的应用场景所对应采集的图片也不同。这里的文本描述内容可以是对于训练图片样本进行文本描述得到的相关文字。
其中，上述文本描述内容可以是基于各种方式确定的。
其一，可以基于人工标注得到，也即，通过响应针对训练图片样本的人工标注请求，获取训练图片样本对应的文本描述内容，通过人工标注为图片生成的文本描述相对准确。
其二，可以是通过网络获取多组图片文本对，将训练图片样本与每组图片文本对包括的图片进行比对，并将比对成功的图片文本对包括的文本内容确定为训练图片样本对应的文本描述内容。这里主要是考虑到互联网上天然存在大量的图片文本对，因此可以通过匹配下游图片与网络上图片的相似度，进行文本筛选，方便快捷，具有可扩展性。
其三，可以利用训练好的文本生成网络对训练图片样本进行文本提取，得到训练图片样本对应的文本描述内容。这里的文本生成网络可以是基于图像描述生成(ImageCaption)任务得到的，这里的Image Caption任务是一个需要综合计算机视觉和自然语言处理的任务，需要使用计算机建立某种映射方式，将处于视觉模态当中的数据映射到文本模态当中，方便快捷，具有可扩展性。
除此之外，本公开实施例还可以基于其它方式来生成文本描述内容，例如，这里可以为图片预设对应的结构化描述语句，先从图片提取相应的实体元素，再将提取的实体元素代入到结构化描述语句中即可以得到文本描述内容。在实际应用中，具体采用哪一种文本描述内容生成方式可以结合不同的应用需求来确定，本公开实施例对此不做具体的限制。
在获取到训练图片样本以及对应的文本描述内容的情况下，这里可以分别从训练图片样本和文本描述内容中提取图片特征信息和文本特征信息，而后基于提取的两个特征信息(即图片特征信息和文本特征信息)确定待训练的神经网络的损失函数值，而后基于损失函数值对神经网络的调整实现神经网络的训练。
其中，有关提取的图片特征信息可以是与训练图片样本相关的图片特征，这里的图片特征可以是包括图片本身的相关场景特征，还可以包括图片纹理、颜色等维度的特征，还可以是包括图片中目标对象的相关特征，例如，目标人物在图片中的位置等特征。本公开实施例中可以基于图片处理等方式来确定图片特征信息，也可以基于深度学习实现图片特征信息的提取，这里，可以在神经网络包括第一特征提取器的情况下，利用第一特征提取器提取上述图片特征信息。
另外，有关提取的文本特征信息，可以是与文本描述内容相关的文本特征，这里的文本特征可以是包括关键词/组在内的信息，还可以是包括语义信息在内的特征。本公开实施例也可以基于深度学习实现文本特征信息的提取，这里，可以在神经网络包括第二特征提取器的情况下，利用第二特征提取器提取上述文本特征信息。
基于提取的上述图片特征信息和文本特征信息，可以确定待训练的神经网络的损失函数值。这里的损失函数值一部分可以是结合图片特征信息与文本特征信息对应的对比损失来确定，另一部分则可以是由图片特征信息对应的分类损失来确定，具体可以通过如下步骤来实现：
步骤一、基于提取的图片特征信息和文本特征信息，确定第一子损失函数值；以及，基于提取的图片特征信息以及分类器，确定第二子损失函数值；
步骤二、基于第一子损失函数值和第二子损失函数值，确定损失函数值。
这里，一方面可以基于提取的图片特征信息和文本特征信息之间的特征相似度确定第一子损失函数值，另一方面可以将提取的图片特征信息输入到分类器中，得到分类器输出的分类结果，而后基于分类器输出的分类结果以及针对训练图片样本预先标注的标注结果，确定第二子损失函数值。
其中，第一子损失函数值可以作为对比监督信号。针对一个训练图片样本而言，其图片特征信息和对应的文本特征信息越接近，说明文本描述内容一定程度上能够更准确的描述训练图片样本。本公开实施例通过这一对比监督信息可以很好的将文本特征作为图片特征的参考特征，提供了更多的训练参考维度，这将显著提升网络的训练性能。
为了进一步提升网络的训练性能，这里可以为一个训练图片样本对应的多个文本描述内容进行加权，而后再确定第一子损失函数值。
在实际应用中，对于任一个训练图片样本，可以利用上述文本生成方案生成对应这一样本的文本描述，从而得到多个文本特征。将其进行加权求和后来计算对比监督损失，相比于只用单个文本描述，这样能有效地提升神经网络的性能。
另外，第二子损失函数值可以作为分类监督信号。本公开实施例可以利用提取的文本特征信息对分类器进行初始化，而后利用初始化后的分类器确定分类监督信号。这主要是考虑到相关技术中针对分类器所采用的随机初始化的方式无法很好的满足神经网络的训练性能，本公开实施例中针对训练图片样本确定的文本特征信息一定程度上可以表征图片的分类特征，因而通过文本特征初始化后的分类器可以进一步提升后续进行网络训练的性能。本公开实施例中可以按照如下步骤进行分类器的初始化：
步骤一、基于提取的文本特征信息，以及文本特征信息对应的训练图片样本匹配的预设分类结果，确定分类器的初始权重；
步骤二、将初始权重确定为初始化后的分类器的网络参数值。
这里，可以先确定文本特征信息对应的训练图片样本匹配的预设分类结果，而后基于所确定的预设分类结果为分类器对应的网络参数赋予初始值，也即，可以将文本特征信息所对应的分类特征预先分配给分类器进行学习，这相比随机初始化而言，将大大提升分类器的分类性能。
为了便于进一步理解本公开实施例提供的神经网络训练的方法，接下来可以结合图2对上述训练神经网络的过程进行详细说明。
如图2所示，图片文本对包括图片(对应训练图片样本)和文本(对应训练图片样本的文本描述内容)；针对文本描述内容，将其输入到第二特征提取器中，生成该文本的文本特征信息，将文本特征信息和图片特征信息进行对比学习，计算余弦相似度，将相似度作为对比监督损失(对应第一子损失函数值)；针对训练图片样本，这里可以使用ResNet50预训练模型作为视觉特征提取器(即第一特征提取器)。将下游任务的图片数据输入ResNet50模型，提取到图片特征信息，再将其送入用利用文本特征初始化后的分类器(Classfier)，计算出交叉熵损失(对应第二子损失函数值)。
在确定对比监督损失以及交叉熵损失之后，进行相加，作为最终的损失，并进行反向传播。在不满足神经网络的迭代训练截止条件的情况下，基于确定的损失函数值调整神经网络的网络参数值，并进行调整后的神经网络的再次训练，直至满足神经网络的迭代训练截止条件，得到训练好的用于对目标图片进行处理的神经网络。
其中，上述迭代训练截止条件可以是训练次数达到预设次数，也可以是最终确定的损失小于预设值，也可以是遍历完各个训练图片样本，还可以是其它介质条件，本公开实施例对此不做具体的限制。
基于上述训练得到的神经网络，本公开实施例可以实现图片分类，具体可以通过如下步骤实现：
步骤一、获取目标图片；
步骤二、将目标图片输入到根据上述神经网络训练的方法训练好的神经网络中，得到目标图片对应的分类结果。
其中，上述目标图片可以是当前所跨环境下采集到的图片，利用训练好的神经网络即可以实现图片分类。
需要说明的是，上述图片分类仅为神经网络的一个具体的应用示例，在实际应用中，还可以利用神经网络执行图片检测、识别等各种特定任务，本公开实施例对此不做具体的限制。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与方法对应的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图3所示，为本公开实施例提供的一种神经网络训练的装置的示意图，上述装置包括：获取模块301、提取模块302、确定模块303和训练模块304；其中，
获取模块301，用于获取各个训练图片样本以及与每个训练图片样本对应的文本描述内容；
提取模块302，用于从训练图片样本中提取图片特征信息，以及从训练图片样本对应的文本描述内容中提取文本特征信息；
确定模块303，用于基于提取的图片特征信息和文本特征信息，确定待训练的神经网络的损失函数值；
训练模块304，用于在不满足神经网络的迭代训练截止条件的情况下，基于确定的损失函数值调整神经网络的网络参数值，并进行调整后的神经网络的再次训练，直至满足神经网络的迭代训练截止条件，得到训练好的用于对目标图片进行处理的神经网络。
采用上述神经网络训练的装置，在获取到各个训练图片样本以及与每个训练图片样本对应的文本描述内容的情况下，可以从训练图片样本和对应的文本描述内容中分别提取图片特征信息和文本特征信息，从而可以确定待训练的神经网络的损失函数值，并能够基于损失函数值进行网络训练的调整以训练得到神经网络。本公开利用文本特征信息为图片训练提供额外的监督信号，可以有效减少由跨场景数据迁徙对网络性能产生的不利影响，大幅度提升了网络训练的性能，准确性和鲁棒性均较佳。
在一种可能的实施方式中，神经网络包括第一特征提取器和第二特征提取器；
提取模块302，用于按照如下步骤从训练图片样本中提取图片特征信息：
利用第一特征提取器对训练图片样本进行图片特征提取，得到训练图片样本对应的图片特征信息；
提取模块302，用于按照如下步骤从训练图片样本对应的文本描述内容中提取文本特征信息：
利用第二特征提取器对训练图片样本对应的文本描述内容进行文本特征提取，得到训练图片样本对应的文本特征信息。
在一种可能的实施方式中，神经网络包括分类器；确定模块303，用于按照如下步骤基于提取的图片特征信息和文本特征信息，确定待训练的神经网络的损失函数值：
基于提取的图片特征信息和文本特征信息，确定第一子损失函数值；以及，基于提取的图片特征信息以及分类器，确定第二子损失函数值；
基于第一子损失函数值和第二子损失函数值，确定损失函数值。
在一种可能的实施方式中，确定模块303，用于按照如下步骤基于提取的图片特征信息和文本特征信息，确定第一子损失函数值：
确定提取的图片特征信息和文本特征信息之间的特征相似度；
基于特征相似度，确定第一子损失函数值。
在一种可能的实施方式中，在训练图片样本对应的文本描述内容为多个的情况下，确定模块303，用于按照如下步骤基于特征相似度，确定第一子损失函数值：
基于提取的图片特征信息和每个文本特征信息之间的特征相似度、以及每个文本描述内容对应的权重值，确定第一子损失函数值。
在一种可能的实施方式中，确定模块303，用于按照如下步骤基于提取的图片特征信息以及分类器，确定第二子损失函数值：
将提取的图片特征信息输入到分类器中，得到分类器输出的分类结果；
基于分类器输出的分类结果以及针对训练图片样本预先标注的标注结果，确定第二子损失函数值。
在一种可能的实施方式中，确定模块303，用于按照如下步骤将提取的图片特征信息输入到分类器中，得到分类器输出的分类结果：
将提取的图片特征信息输入到分类器之前，利用提取的文本特征信息对分类器进行初始化，得到初始化后的分类器；
将提取的图片特征信息输入到初始化后的分类器中，得到分类器输出的分类结果。
在一种可能的实施方式中，确定模块303，用于按照如下步骤利用提取的文本特征信息对分类器进行初始化，得到初始化后的分类器：
基于提取的文本特征信息，以及文本特征信息对应的训练图片样本匹配的预设分类结果，确定分类器的初始权重；
将初始权重确定为初始化后的分类器的网络参数值。
在一种可能的实施方式中，获取模块301，用于按照如下至少一种方式确定训练图片样本对应的文本描述内容：
响应针对训练图片样本的人工标注请求，获取训练图片样本对应的文本描述内容；
通过网络获取多组图片文本对，将训练图片样本与每组图片文本对包括的图片进行比对，并将比对成功的图片文本对包括的文本内容确定为训练图片样本对应的文本描述内容；
利用训练好的文本生成网络对训练图片样本进行文本提取，得到训练图片样本对应的文本描述内容。
参照图4所示，为本公开实施例提供的一种分类的装置的示意图，装置包括：获取模块401和分类模块402；其中，
获取模块401，用于获取目标图片；
分类模块402，用于将目标图片输入到根据神经网络训练的方法训练好的神经网络中，得到目标图片对应的分类结果。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种电子设备，如图5所示，为本公开实施例提供的电子设备结构示意图，至少包括：处理器501、存储器502和总线503。存储器502存储有处理器501可执行的机器可读指令(比如，图3中的装置中获取模块301、提取模块302、确定模块303以及训练模块304对应的执行指令等，再如，图4中的装置中获取模块401、分类模块402对应的执行指令等)，当电子设备运行时，处理器501与存储器502之间通过总线503通信，机器可读指令被处理器501执行时执行上述神经网络训练的方法或者上述分类的方法。
在执行上述神经网络训练的方法的过程中，本公开实施例提供的电子设备还可以包括收发器504，这样可以通过收发器504接收各个训练图片样本以及与每个所述训练图片样本对应的文本描述内容，从而便于处理器501执行相关的神经网络训练的操作；另一方面，在执行上述分类的方法的过程中，本公开实施例提供的电子设备可以通过收发器504接收目标图片，从而便于处理器501执行相关的分类的操作。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (14)
1.一种神经网络训练的方法，其特征在于，所述方法包括：
获取各个训练图片样本以及与每个所述训练图片样本对应的文本描述内容；
从所述训练图片样本中提取图片特征信息，以及从所述训练图片样本对应的文本描述内容中提取文本特征信息；
基于提取的所述图片特征信息和所述文本特征信息，确定待训练的神经网络的损失函数值；
在不满足神经网络的迭代训练截止条件的情况下，基于确定的所述损失函数值调整所述神经网络的网络参数值，并进行调整后的神经网络的再次训练，直至满足神经网络的迭代训练截止条件，得到训练好的用于对目标图片进行处理的神经网络。
2.根据权利要求1所述的方法，其特征在于，所述神经网络包括第一特征提取器和第二特征提取器；
所述从所述训练图片样本中提取图片特征信息，包括：
利用所述第一特征提取器对所述训练图片样本进行图片特征提取，得到所述训练图片样本对应的图片特征信息；
所述从所述训练图片样本对应的文本描述内容中提取文本特征信息，包括：
利用所述第二特征提取器对所述训练图片样本对应的文本描述内容进行文本特征提取，得到所述训练图片样本对应的文本特征信息。
3.根据权利要求1或2所述的方法，其特征在于，所述神经网络包括分类器；所述基于提取的所述图片特征信息和所述文本特征信息，确定待训练的神经网络的损失函数值，包括：
基于提取的所述图片特征信息和所述文本特征信息，确定第一子损失函数值；以及，基于提取的所述图片特征信息以及所述分类器，确定第二子损失函数值；
基于所述第一子损失函数值和所述第二子损失函数值，确定所述损失函数值。
4.根据权利要求3所述的方法，其特征在于，所述基于提取的所述图片特征信息和所述文本特征信息，确定第一子损失函数值，包括：
确定提取的所述图片特征信息和所述文本特征信息之间的特征相似度；
基于所述特征相似度，确定所述第一子损失函数值。
5.根据权利要求4所述的方法，其特征在于，在所述训练图片样本对应的文本描述内容为多个的情况下，所述基于所述特征相似度，确定所述第一子损失函数值，包括：
基于提取的所述图片特征信息和每个所述文本特征信息之间的特征相似度、以及每个所述文本描述内容对应的权重值，确定所述第一子损失函数值。
6.根据权利要求3至5任一所述的方法，其特征在于，所述基于提取的所述图片特征信息以及所述分类器，确定第二子损失函数值，包括：
将提取的所述图片特征信息输入到所述分类器中，得到所述分类器输出的分类结果；
基于所述分类器输出的分类结果以及针对所述训练图片样本预先标注的标注结果，确定所述第二子损失函数值。
7.根据权利要求6所述的方法，其特征在于，所述将提取的所述图片特征信息输入到所述分类器之前，还包括：
利用提取的所述文本特征信息对所述分类器进行初始化，得到初始化后的分类器；
所述将提取的所述图片特征信息输入到所述分类器中，得到所述分类器输出的分类结果，包括：
将提取的所述图片特征信息输入到所述初始化后的分类器中，得到所述分类器输出的分类结果。
8.根据权利要求7所述的方法，其特征在于，所述利用提取的所述文本特征信息对所述分类器进行初始化，得到初始化后的分类器，包括：
基于提取的所述文本特征信息，以及所述文本特征信息对应的训练图片样本匹配的预设分类结果，确定所述分类器的初始权重；
将所述初始权重确定为所述初始化后的分类器的网络参数值。
9.根据权利要求1至8任一所述的方法，其特征在于，按照如下至少一种方式确定所述训练图片样本对应的文本描述内容：
响应针对所述训练图片样本的人工标注请求，获取所述训练图片样本对应的文本描述内容；
通过网络获取多组图片文本对，将所述训练图片样本与每组所述图片文本对包括的图片进行比对，并将比对成功的图片文本对包括的文本内容确定为所述训练图片样本对应的文本描述内容；
利用训练好的文本生成网络对所述训练图片样本进行文本提取，得到所述训练图片样本对应的文本描述内容。
10.一种分类的方法，其特征在于，包括：
获取目标图片；
将所述目标图片输入到根据权利要求1至9任一所述的方法训练好的神经网络中，得到所述目标图片对应的分类结果。
11.一种神经网络训练的装置，其特征在于，所述装置包括：
获取模块，用于获取各个训练图片样本以及与每个所述训练图片样本对应的文本描述内容；
提取模块，用于从所述训练图片样本中提取图片特征信息，以及从所述训练图片样本对应的文本描述内容中提取文本特征信息；
确定模块，用于基于提取的所述图片特征信息和所述文本特征信息，确定待训练的神经网络的损失函数值；
训练模块，用于在不满足神经网络的迭代训练截止条件的情况下，基于确定的所述损失函数值调整所述神经网络的网络参数值，并进行调整后的神经网络的再次训练，直至满足神经网络的迭代训练截止条件，得到训练好的用于对目标图片进行处理的神经网络。
12.一种分类的装置，其特征在于，包括：
获取模块，用于获取目标图片；
分类模块，用于将所述目标图片输入到根据权利要求1-9任一所述的方法训练好的神经网络中，得到所述目标图片对应的分类结果。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的神经网络训练的方法的步骤或者如权利要求10所述的分类的方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任一所述的神经网络训练的方法的步骤或者如权利要求10所述的分类的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111394751.2A CN113920406A (zh) | 2021-11-23 | 2021-11-23 | 神经网络训练及分类方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111394751.2A CN113920406A (zh) | 2021-11-23 | 2021-11-23 | 神经网络训练及分类方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113920406A true CN113920406A (zh) | 2022-01-11 |
Family
ID=79247961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111394751.2A Pending CN113920406A (zh) | 2021-11-23 | 2021-11-23 | 神经网络训练及分类方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920406A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116597454A (zh) * | 2023-05-24 | 2023-08-15 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理模型的训练方法和装置 |
-
2021
- 2021-11-23 CN CN202111394751.2A patent/CN113920406A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116597454A (zh) * | 2023-05-24 | 2023-08-15 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理模型的训练方法和装置 |
| CN116597454B (zh) * | 2023-05-24 | 2024-07-12 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理模型的训练方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111104962B (zh) | 图像的语义分割方法、装置、电子设备及可读存储介质 | |
| CN110532431B (zh) | 短视频关键词提取方法、装置及存储介质 | |
| CN112614110B (zh) | 评估图像质量的方法、装置及终端设备 | |
| CN113657087B (zh) | 信息的匹配方法及装置 | |
| CN110807472B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| WO2023040626A1 (zh) | 神经网络训练及文字识别的方法、装置、设备、存储介质及计算机程序产品 | |
| CN109697442B (zh) | 一种字符识别模型的训练方法和装置 | |
| CN111353514A (zh) | 模型训练方法、图像识别方法、装置及终端设备 | |
| CN113920406A (zh) | 神经网络训练及分类方法、装置、设备及存储介质 | |
| CN106611148B (zh) | 基于图像的离线公式识别方法和装置 | |
| CN117217283A (zh) | 模型蒸馏方法、装置、电子设备及存储介质 | |
| CN113495987A (zh) | 数据搜索方法、装置、设备和存储介质 | |
| CN114863450B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Akusok et al. | Image-based classification of websites | |
| CN114328884B (zh) | 一种图文去重方法及装置 | |
| Rodin et al. | Document image quality assessment via explicit blur and text size estimation | |
| CN103530656B (zh) | 基于隐结构学习的图像摘要生成方法 | |
| CN110516717B (zh) | 用于生成图像识别模型的方法和装置 | |
| CN110765779A (zh) | 字矩阵的训练方法及装置 | |
| CN113159085A (zh) | 分类模型的训练及基于图像的分类方法、相关装置 | |
| Fu et al. | Motion‐blurred SIFT invariants based on sampling in image deformation space and univariate search | |
| CN113610064B (zh) | 笔迹识别方法和装置 | |
| CN113096170B (zh) | 文本图像配准方法、装置、设备、存储介质 | |
| CN115455227B (zh) | 图形界面的元素搜索方法及电子设备、存储介质 | |
| CN112199522B (zh) | 互动实现方法、终端、服务端、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |