CN112084861A - 模型训练方法、装置、电子设备和存储介质 - Google Patents
模型训练方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112084861A CN112084861A CN202010783331.2A CN202010783331A CN112084861A CN 112084861 A CN112084861 A CN 112084861A CN 202010783331 A CN202010783331 A CN 202010783331A CN 112084861 A CN112084861 A CN 112084861A
- Authority
- CN
- China
- Prior art keywords
- model
- sample
- training
- samples
- cutting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000006870 function Effects 0.000 claims description 21
- 230000000694 effects Effects 0.000 abstract description 26
- 230000000875 corresponding effect Effects 0.000 description 30
- 238000001514 detection method Methods 0.000 description 22
- 229910000831 Steel Inorganic materials 0.000 description 6
- 239000010959 steel Substances 0.000 description 6
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种模型训练方法、装置、电子设备和存储介质,该方法包括:获取第一样本,并对第一样本中符合裁剪条件的样本进行裁剪,得到第二样本。再利用由第一样本和第二样本组成的训练样本进行训练,得到第一模型。最后,根据第一模型输出的对应于训练样本的预测结果,确定对应的调整策略,并用此调整策略调整第一模型,得到第二模型。可见,本发明提供的方法中只会对符合裁剪条件的样本进行裁剪,避免出现将不满足裁剪条件的训练样本中的特征信息裁剪得过于细碎,导致模型训练效果降低的情况,也即是保证训练样本的质量。另外,本发明使用的是与预测结果对应的调整策略,使得调整方向更加有针对性,从而保证了模型训练的效果。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种模型训练方法、装置、电子设备和存储介质。
背景技术
遥感可以通过人造地球卫星、航空等平台上的遥测仪器来对地球表面实施感应遥测。通过得到的遥感图像可以进行资源管理和检测。一种常见的资源监测场景为:对土地覆盖的检测,也即是检测出土地是森林、空旷土地、耕地、水域、工厂、商业区等。利用检测结果,可以实现对森林砍伐进行跟踪,也可以为城市规划提供参考。
对于遥感图像的分析,一种常见的方式为对遥感图像进行目标检测,以根据检测结果实现对遥感图像的分析。现有技术中,对遥感图像的目标检测通常是借助与预先训练完成的目标检测模型实现的。因此,目标检测模型的训练效果会直接影响目标检测结果的准确性。
而在模型训练过程中,训练样本的质量会直接影响到模型的训练效果,因此,如何得到合适的训练样本从而保证目标检测模型的训练效果就成了一个亟待解决的问题。
发明内容
本发明实施例提供一种模型训练方法、装置、电子设备和存储介质,用以保证训练样本的质量,并进一步保证模型的训练效果。
本发明实施例提供一种模型训练方法,包括:
获取第一样本;
对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本;
根据包括所述第一样本和所述第二样本的训练样本进行模型训练,得到第一模型;
根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,以得到第二模型,所述预测结果对应于所述训练样本。
本发明实施例提供一种模型训练装置,包括:
获取模块,用于获取第一样本;
裁剪模块,用于对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本;
训练模块,用于根据包括所述第一样本和所述第二样本的训练样本进行模型训练,得到第一模型;
调整模块,用于根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,以得到第二模型,所述预测结果对应于所述训练样本。
本发明实施例提供一种电子设备,包括:处理器和存储器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现:
获取第一样本;
对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本;
根据包括所述第一样本和所述第二样本的训练样本进行模型训练,得到第一模型;
根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,以得到第二模型,所述预测结果对应于所述训练样本。
本发明实施例提供了一种存储计算机指令的计算机可读存储介质,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器至少执行以下的动作:
获取第一样本;
对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本;
根据包括所述第一样本和所述第二样本的训练样本进行模型训练,得到第一模型;
根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,以得到第二模型,所述预测结果对应于所述训练样本。
在本发明提供的模型训练方法中,训练装置先获取第一样本,并对第一样本中符合裁剪条件的样本进行裁剪,以得到第二样本,通过上述的裁剪处理,能够使得训练样本更加丰富。然后,将第一样本和第二样本共同确定为训练样本,并利用其训练得到第一模型。为了保证模型的预测效果,训练装置还会优化第一模型。具体地,第一模型可以输出对应于训练样本的预测结果,训练装置则会确定与此预测结果对应的调整策略,并用此调整策略调整第一模型。调整后得到的第二模型,其的预测能力会大大优于第一模型。
根据上述描述可知,一方面,对于用于丰富样本的裁剪处理,本发明提供的方法中只会对符合裁剪条件的样本进行裁剪,这样可以避免出现将不满足裁剪条件的训练样本进行裁剪后,训练样本中地物的特征信息会被裁剪得过于细碎,反而导致模型训练效果降低的情况,也即是保证了训练样本的质量。另一方面,在对第一模型进行优化时,使用的是与预测结果对应的调整策略,使得调整方向更加有针对性,从而进一步保证了模型训练的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种模型训练方法的流程图;
图2为本发明实施例提供的一种第一样本裁剪方式的流程图;
图3为本发明实施例提供的另一种第一样本裁剪方式的流程图;
图4为本发明实施例提供的一种模型调整方式的流程图;
图5为本发明实施例提供的一种模型训练装置的结构示意图;
图6为与图5所示实施例提供的模型训练装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式。除非上下文清楚地表示其他含义,“多个”一般包含至少两个。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
下面结合以下的实施例对本文提供的模型训练方法进行详细介绍。下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。另外,在各实施例之间不冲突的情况下,下述各实施例及各实施例中的特征可以相互组合。
图1为本发明实施例提供的一种模型训练方法的流程图。该模型训练方法可以由训练装置执行,此训练装置具体可以为具有数据处理能力的电子设备。如图1所示,该方法可以包括如下步骤:
S101、获取第一样本。
对于用于模型训练的第一样本,其可以由人工编写,也可以从网络中获取。容易理解的,第一样本的数量越多,对于模型的训练效果越有利。并且获取到的第一样本的内容和类型应该与训练得到的模型对应于相同的应用场景。
举例来说,训练出的模型可以是应用于人机交互场景中的语义识别模型,则第一样本和第二样本均可以表现为用户产生的语句,语句可以表现为语音形式或者文字形式等等。并且根据发生人机交互的场合,比如银行、医院等,第一样本和第二样本的内容也应与银行、医院等具体场合相对应。
需要说明的有,本实施例以及下述实施例均可以以遥感场景为例进行说明,此时,第一样本和第二样本均为遥感图像,训练得到的模型的为用于检测预设类型地物的目标检测模型。
在遥感场景下,举例来说,训练出的模型还可以是应用于遥感场景中的目标检测模型,则第一样本和下述步骤得到的第二样本均可以表现为遥感图像。并且当用此目标检测模型检测遥感图像中是否包含预设类别的地物时,第一样本和第二样本中可以包含此预设类别的地物。其中,预设类型的地物通常可以是运动场、钢铁厂等等。
比如,目标检测模型可以用于检测遥感图像中是否存在钢铁厂时,第一样本和第二样本中可以包含钢铁厂;目标检测模型可以用于检测运动场时,第一样本和第二样本中可以包含运动场。
S102、对第一样本中符合裁剪条件的样本进行裁剪,得到第二样本。
由于第一样本的数量往往有限,而样本数量又与模型训练的效果正相关,因此,为了进一步丰富样本,还可以对第一样本进行裁剪。但需要说明的有,在对样本进行裁剪处理的过程中,通常需要保证裁剪后的样本中包含完整的地物,这种完整性也即是保证了裁剪后样本的实用性。
因此,为了避免出现将样本裁剪地较为细碎,导致裁剪后样本不具有实用性的情况,训练装置还可以对第一样本进行判断,并对符合裁剪条件的第一样本进行裁剪。
对于判断第一样本是否符合裁剪条件,一种可选地方式,可以以第一样本中包含的地物在第一样本中的尺寸信息为依据判断是否符合裁剪条件。
承接上述遥感场景的举例,则第一样本为遥感图像。当遥感图像包含的地物在遥感图像中的尺寸信息符合预设尺寸范围时,可以认为此地物具有的特征信息较为丰富,对其进行裁剪通常不会破坏地物特征信息的完整性,此时,可以判定此遥感图像符合裁剪条件,对其进行裁剪,以得到第二样本,当然第二样本也表现为遥感图像。这种地物的尺寸信息符合预设尺寸范围的遥感图像通常为包含钢铁厂的遥感图像。
上述方法是一种通过地物尺寸判断是否裁剪的方式。而在实际应用中,地物尺寸越大,不一定表明此地物的特征信息越丰富。因此,另一种可选地方式,可以以第一样本中地物所属的类别为依据判断是否符合裁剪条件。
具体地,当遥感图像中地物所属的类别为预设类别时,判定遥感图像符合裁剪条件,并进一步裁剪得到遥感图像。其中,对于预设类别,通常为在遥感图像中所占面积较大的地物所属的类别,比如钢铁厂。由于这类别的地物中具有的特征信息较为丰富,即使裁剪后也能够保证裁剪后的遥感图像中特征信息的完整性。
利用上述两种方式判断是否裁剪并得到第二样本的具体过程可以参见下述如图2~图3所示的实施例。
可选地,在裁剪之前,训练装置还可以先将第一样本进行旋转,然后再进行裁剪,以使得裁剪得到的第二样本更具多样性。另外,不符合裁剪条件的遥感图像中包含的地物通常为小目标地物,比如运动场、飞机等等。
S103、根据包括第一样本和第二样本的训练样本进行模型训练,得到第一模型。
S104、根据与第一模型输出的预测结果对应的调整策略调整第一模型,以得到第二模型,预测结果对应于训练样本。
在得到第二样本之后,可以由第二样本和第一样本共同组成训练样本,并利用此训练样本进行模型训练,以得到第一模型。但此时得到的第一模型只是一个粗糙的模型,为了进一步优化模型的训练效果,还可以使用调整策略来对第一模型进行调整,以得到第二模型。
具体的,对于第一模型,训练装置可以再将训练样本输入至第一模型,以由第一模型输出对应于训练样本的预测结果。此预测结果的准确性可以表明第一模型的训练效果,也可以表明第一模型的调整方向。此时,训练装置可以进一步确定出与此预测结果对应的调整策略,从而对第一模型进行调整,得到第二模型。
以目标检测模型为例,假设预测结果可以表明其对运动场的检测效果较差,则此时使用的与预测结果对应的调整策略的调整方向正是加强对运动场学习能力的方向,因此,调整后得到的第二模型具有更好的目标检测效果。
具体来说,第一模型输出的预测结果可以包括结果内容以及结果内容的置信度。承接上述举例,第一模型可以是遥感场景中的目标检测模型,则预测结果中的结果内容即为检测出遥感图像中地物所属的类别,置信度即为地物属于此类别的概率值。则一种可选地方式,可以确定与置信度对应的调整策略,并进一步调整第一模型。
另外,上述方式对应的调整策略具体可以体现为损失函数中的权重系数不同。上述调整方式的具体过程可以参见下述如图4所示的实施例。
本实施例中,训练装置先获取第一样本,并对第一样本中符合裁剪条件的样本进行裁剪,以得到第二样本。再将第一样本和第二样本共同确定为训练样本,并利用其训练得到第一模型。最后,训练装置会确定与第一模型输出的预测结果对应的调整策略,并用此调整策略调整第一模型。调整后得到的第二模型,其的预测能力会大大优于第一模型。
根据上述描述可知,一方面,对于样本的裁剪处理,本实施例是对符合裁剪条件的样本进行裁剪,这样可以避免出现将不满足裁剪条件的训练样本进行裁剪后,训练样本中的特征信息被裁剪得过于细碎,反而导致模型训练效果降低的情况。另一方面,在对第一模型进行优化时,使用的是与预测结果对应的调整策略,使得调整方向更加有针对性,从而进一步保证了模型训练的效果。
对于第一样本的裁剪方式,图1所示实施例中已经提供了两种可选地方式,其中,对于根据地物的尺寸信息进行裁剪的方式,也即是步骤102的一种可选地实现方式,可以如图2所示:
S1021、确定第一样本包含的地物在第一样本中的尺寸信息。
S1022、若尺寸信息符合预设尺寸范围,则对第一样本进行裁剪,得到第二样本。
具体地,继续承接上述的遥感场景,第一样本可以表现为遥感图像,则对于遥感图像,可选地,往往在开始模型训练前会进行人工进行标注,此人工标注就可以是对遥感图像包含的地物的尺寸信息的标注。此时,根据标注结果,即可直接得到遥感图像包含的地物在第一样本中的尺寸信息。
可选地,还可以根据遥感图像中各像素点在各个颜色通道的颜色值来确定遥感图像包含的地物在遥感图像中的尺寸信息。比如统计颜色值相近且像素坐标相邻的像素点的个数,并根据像素点的个数进一步得到地物在遥感图像中的尺寸信息。
若地物的尺寸信息符合预设尺寸范围,表明地物在遥感图像中所占的比重较大,地物的特征信息较为丰富,对其进行裁剪也不会对地物特征信息的完整性造成影响,则表明第一样本符合裁剪条件,对其进行裁剪后,得到第二样本。
对于根据地物所属的类别进行裁剪的方式,也即是步骤102的另一种可选地实现方式,如图3所示,具体可以包括:
S1023、获取第一样本中地物所属的类别。
S1024、若地物所属的类别为预设类别,则确定与预设类别对应的裁剪尺寸。
S1025、根据裁剪尺寸裁剪第一样本,得到第二样本。
具体地,继续承接上述的遥感场景,第一样本可以表现为遥感图像,则对于遥感图像中地物所属的类别可以进行人工标注,通过人工标注即可得到遥感图像中地物所属的类别。若地物所属的类别为预设类别,则根据预设类别与裁剪尺寸之间的预设对应关系确定此类别对应的裁剪尺寸。以根据此裁剪尺寸对遥感图像进行裁剪。
其中,预设类别可以为多个,且每个类别对应的裁剪尺寸可以相同或者不同。同时设置预设类别与裁剪尺寸之间对应关系的依据应该是保证裁剪尺寸可以完整包含此预设类型的地物。
综上所述,在如图2~图3所示的实施例中,提供了两种不同的裁剪方式。相较于图2所示的裁剪方式,使用图3所示实施例的裁剪方式对第一样本进行裁剪更能够保证不会出现将样本裁剪的过于细碎,破坏样本中地物特征信息的完整性的情况。然而在实际应用中,可以根据实际需求选择不同的裁剪方式。
对于第一模型的调整,如图1所示的实施例中已经提供了相应的调整方式,可选地,如图4所示,步骤104的一种具体实现方式可以为:
S1041、获取第一模型输出的预测结果的置信度。
S1042、若置信度小于预设阈值,则根据与置信度具有负相关关系的第一损失函数调整第一模型。
S1043、若置信度大于或等于预设阈值,则根据第二损失函数调整第一模型。
具体地,在训练得到第一模型后,为了检验模型的训练效果,还可以将训练样本中的部分样本重新输入至第一模型,以由第一模型输出预测结果。假设将训练样本A输入至第一模型,第一模型为遥感场景中的目标检测模型,则预测结果可以包括:训练样本A中的地物为运动场以及地物为运动场的置信度。
当置信度小于预设阈值时,表明当前的第一模型对于运动场的学习效果欠佳。此时,可以使用第一损失函数对第一模型进行调整,此第一损失函数与此较小的置信度呈负相关关系。这种负相关可以体现为:训练样本A对应的置信度越低,使用此第一损失函数计算出的损失值越大。并且置信度和损失值之间的负相关关系可以呈现指数关系。此较大的损失值就会促使第一模型向加强运动场学习的方向调整,从而提高对运动场识别的准确性。可选地,第一损失函数具体可以为焦点损失(focal loss)。
当置信度大于或等于预设阈值时,表明当前的第一模型对于运动场的学习效果十分理想。此时,可以使用第二损失函数对第一模型进行调整。一种可选地方式,可以使用常用的对数损失函数(logarithmic loss)、平方损失函数(squared loss)等等对第一模型进行调整,通过调整后可以使第一模型保持当前学习力度继续对运动场进行学习。
另一种可选地方式,还可以为上述的损失函数设置一个很小的系数,这样的话,训练样本A对应的置信度很高时,计算出的损失值会很小,此较小的损失值又会促使第一模型向减弱对运动场学习的方向调整,以使第一模型的学习重点调整至其他学习效果较差的地物类型上,比如钢铁厂等等。具有较小系数的第二函数也可以认为是与置信度之间呈负相关关系。另外,在实际应用中,在置信度大于或等于预设阈值时,也可以使用第一损失函数来对第一模型进行调整。
在将训练样本中的多个样本依次重新输入至第一模型后,便可以实现对第一模型的多次调整,经过多次调整后即可逐步提高模型的训练效果,从而得到最终训练完成的第二模型。
本实施例中,可以将训练样本重新输入至第一模型中,以由第一模型输出相应的预测结果,预测结果可以包括地物所属类型以及置信度。若置信度小于预设阈值,表明第一模型对于此类型地物的学习效果欠佳,此时。可以使用第一损失函数对第一模型进行调整,以加强第一模型对此类型地物的学习力度,提高第一模型对此类型地物的学习效果。若置信度大于或等于预设阈值,表明第一模型对于此类型的地物已经有很好的学习效果,此时,可以使用第二损失函数对第一模型进行调整,以减弱第一模型对此类型地物的学习力度,使模型的学习重点放到学习效果欠佳的地物类型上。
以下将详细描述本发明的一个或多个实施例的模型训练装置。本领域技术人员可以理解,这些模型训练装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图5为本发明实施例提供的一种模型训练装置的结构示意图,如图5所示,该装置包括:
获取模块11,用于获取第一样本。
裁剪模块12,用于对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本。
训练模块13,用于根据包括所述第一样本和所述第二样本的训练样本进行模型训练,得到第一模型。
调整模块14,用于根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,以得到第二模型,所述预测结果对应于所述训练样本。
可选地,所述裁剪模块12具体包括:
获取单元121,用于获取所述第一样本包含的地物所属的类别。
确定单元122,用于若所述地物所属的类别为所述预设类别,则确定与所述预设类别对应的裁剪尺寸。
裁剪单元123,用于根据所述裁剪尺寸裁剪所述第一样本,得到所述第二样本。
其中,所述第一样本和所述第二样本为遥感图像,所述第一模型和所述第二模型用于检测遥感图像中是否包含预设类别的地物。
可选地,所述确定单元122,还用于确定所述第一样本包含的地物在所述第一样本中的尺寸信息。
所述裁剪单元123,还用于若所述尺寸信息符合预设尺寸范围,则对所述第一样本进行裁剪,得到所述第二样本。
可选地,所述调整模块14具体包括:
获取单元141,用于获取所述第一模型输出的预测结果的置信度。
第一调整单元142,用于若所述置信度小于预设阈值,则根据与所述置信度具有负相关关系的第一损失函数调整所述第一模型。
第二调整单元143,用于若所述置信度大于或等于所述预设阈值,则根据第二损失函数调整所述第一模型。
图5所示模型训练装置可以执行前述图1至图4所示实施例提供的模型训练方法,本实施例未详细描述的部分,可参考对图1至图4所示实施例的相关说明,在此不再赘述。
以上描述了模型训练装置的内部功能和结构,在一个可能的设计中,模型训练装置的结构可实现为电子设备,如图6所示,该电子设备可以包括:处理器21和存储器22。其中,所述存储器22用于存储支持该电子设备执行前述图1至图4所示实施例中提供的模型训练方法的程序,所述处理器21被配置为用于执行所述存储器22中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器21执行时能够实现如下步骤:
获取第一样本;
对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本;
根据包括所述第一样本和所述第二样本的训练样本进行模型训练,得到第一模型;
根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,以得到第二模型,所述预测结果对应于所述训练样本。
可选地,所述处理器21还用于执行前述图1至图4所示实施例中的全部或部分步骤。
其中,所述电子设备的结构中还可以包括通信接口23,用于与其他设备或通信网络通信。
另外,本发明实施例提供了一种存储计算机指令的计算机可读存储介质,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器至少执行以下的动作:
获取第一样本;
对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本;
根据包括所述第一样本和所述第二样本的训练样本进行模型训练,得到第一模型;
根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,以得到第二模型,所述预测结果对应于所述训练样本。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种模型训练方法,其特征在于,包括:
获取第一样本;
对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本;
根据包括所述第一样本和所述第二样本的训练样本进行模型训练,得到第一模型;
根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,以得到第二模型,所述预测结果对应于所述训练样本。
2.根据权利要求1所述的方法,其特征在于,所述第一样本和所述第二样本为遥感图像,所述第一模型和所述第二模型用于检测遥感图像中是否包含预设类别的地物。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本,包括:
获取所述第一样本包含的地物所属的类别;
若所述地物所属的类别为所述预设类别,则确定与所述预设类别对应的裁剪尺寸;
根据所述裁剪尺寸裁剪所述第一样本,得到所述第二样本。
4.根据权利要求2所述的方法,其特征在于,所述对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本,包括:
确定所述第一样本包含的地物在所述第一样本中的尺寸信息;
若所述尺寸信息符合预设尺寸范围,则对所述第一样本进行裁剪,得到所述第二样本。
5.根据权利要求3所述的方法,其特征在于,所述根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,包括:
获取所述第一模型输出的预测结果的置信度;
若所述置信度小于预设阈值,则根据与所述置信度具有负相关关系的第一损失函数调整所述第一模型;
若所述置信度大于或等于所述预设阈值,则根据第二损失函数调整所述第一模型。
6.一种模型训练装置,其特征在于,包括:
获取模块,用于获取第一样本;
裁剪模块,用于对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本;
训练模型,用于根据包括所述第一样本和所述第二样本的训练样本进行模型训练,得到第一模型;
调整模型,用于根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,以得到第二模型,所述预测结果对应于所述训练样本。
7.根据权利要求6所述的装置,其特征在于,所述裁剪模块具体包括:
获取单元,用于获取所述第一样本包含的地物所属的类别;
确定单元,用于若所述地物所属的类别为所述预设类别,则确定与所述预设类别对应的裁剪尺寸;
裁剪单元,用于根据所述裁剪尺寸裁剪所述第一样本,得到所述第二样本。
8.根据权利要求7所述的装置,其特征在于,所述调整模块具体包括:
获取单元,用于获取所述第一模型输出的预测结果的置信度;
第一调整单元,用于若所述置信度小于预设阈值,则根据与所述置信度具有负相关关系的第一损失函数调整所述第一模型;
第二调整单元,用于若所述置信度大于或等于所述预设阈值,则根据第二损失函数调整所述第一模型。
9.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现:
获取第一样本;
对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本;
根据包括所述第一样本和所述第二样本的训练样本进行模型训练,得到第一模型;
根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,以得到第二模型,所述预测结果对应于所述训练样本。
10.一种存储计算机指令的计算机可读存储介质,其特征在于,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器至少执行以下的动作:
获取第一样本;
对所述第一样本中符合裁剪条件的样本进行裁剪,得到第二样本;
根据包括所述第一样本和所述第二样本的训练样本进行模型训练,得到第一模型;
根据与所述第一模型输出的预测结果对应的调整策略调整所述第一模型,以得到第二模型,所述预测结果对应于所述训练样本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010783331.2A CN112084861A (zh) | 2020-08-06 | 2020-08-06 | 模型训练方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010783331.2A CN112084861A (zh) | 2020-08-06 | 2020-08-06 | 模型训练方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112084861A true CN112084861A (zh) | 2020-12-15 |
Family
ID=73735421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010783331.2A Pending CN112084861A (zh) | 2020-08-06 | 2020-08-06 | 模型训练方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112084861A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492581A (zh) * | 2018-11-09 | 2019-03-19 | 中国石油大学(华东) | 一种基于tp-stg框架的人体动作识别方法 |
CN109886335A (zh) * | 2019-02-21 | 2019-06-14 | 厦门美图之家科技有限公司 | 分类模型训练方法及装置 |
US20190286940A1 (en) * | 2018-03-13 | 2019-09-19 | Fujitsu Limited | Method and apparatus for training image model, and method and apparatus for category prediction |
CN110633680A (zh) * | 2019-09-19 | 2019-12-31 | 天津天地伟业机器人技术有限公司 | 一种基于视频的人数异常检测方法 |
CN111144494A (zh) * | 2019-12-27 | 2020-05-12 | 睿魔智能科技(深圳)有限公司 | 物体检测模型训练方法、检测方法、装置、设备及介质 |
CN111275080A (zh) * | 2020-01-14 | 2020-06-12 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像分类模型训练方法、分类方法及装置 |
-
2020
- 2020-08-06 CN CN202010783331.2A patent/CN112084861A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190286940A1 (en) * | 2018-03-13 | 2019-09-19 | Fujitsu Limited | Method and apparatus for training image model, and method and apparatus for category prediction |
CN109492581A (zh) * | 2018-11-09 | 2019-03-19 | 中国石油大学(华东) | 一种基于tp-stg框架的人体动作识别方法 |
CN109886335A (zh) * | 2019-02-21 | 2019-06-14 | 厦门美图之家科技有限公司 | 分类模型训练方法及装置 |
CN110633680A (zh) * | 2019-09-19 | 2019-12-31 | 天津天地伟业机器人技术有限公司 | 一种基于视频的人数异常检测方法 |
CN111144494A (zh) * | 2019-12-27 | 2020-05-12 | 睿魔智能科技(深圳)有限公司 | 物体检测模型训练方法、检测方法、装置、设备及介质 |
CN111275080A (zh) * | 2020-01-14 | 2020-06-12 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像分类模型训练方法、分类方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111259625B (zh) | 意图识别方法、装置、设备及计算机可读存储介质 | |
CN108009544B (zh) | 目标检测方法及装置 | |
CN112487899B (zh) | 基于无人机的目标识别方法、系统、存储介质及电子设备 | |
US9824313B2 (en) | Filtering content in an online system based on text and image signals extracted from the content | |
CN110334702B (zh) | 基于配置平台的数据传输方法、装置和计算机设备 | |
CN111191032A (zh) | 语料扩充方法、装置、计算机设备和存储介质 | |
CN111090719B (zh) | 文本分类方法、装置、计算机设备及存储介质 | |
CN113179421B (zh) | 视频封面选择方法、装置、计算机设备和存储介质 | |
CN113688837A (zh) | 图像脱敏方法、装置、电子设备及计算机可读存储介质 | |
CN114722958A (zh) | 网络训练及目标检测方法、装置、电子设备和存储介质 | |
CN114399379A (zh) | 基于人工智能的催收行为识别方法、装置、设备及介质 | |
CN112084861A (zh) | 模型训练方法、装置、电子设备和存储介质 | |
CN117475253A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
CN113343695A (zh) | 一种文本标注噪声检测方法、装置、存储介质及电子设备 | |
CN113220859B (zh) | 基于图像的问答方法、装置、计算机设备及存储介质 | |
CN117041199A (zh) | 基于机器学习及智能算法的垃圾通知过滤方法 | |
CN113052191A (zh) | 一种神经语言网络模型的训练方法、装置、设备及介质 | |
CN115187839A (zh) | 图文语义对齐模型训练方法及装置 | |
CN114972792A (zh) | 基于双模态特征融合的问答方法、装置、设备和存储介质 | |
CN114330542A (zh) | 一种基于目标检测的样本挖掘方法、装置及存储介质 | |
CN115311649A (zh) | 一种卡证类别识别方法、装置、电子设备及存储介质 | |
CN112287929A (zh) | 基于特征集成深度学习网络的遥感图像显著性分析方法 | |
CN112148902A (zh) | 数据处理方法、装置、服务器及存储介质 | |
CN114840700B (zh) | 结合rpa和ai实现ia的图像检索方法、装置及电子设备 | |
CN116597855B (zh) | 自适应降噪的方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201215 |
|
RJ01 | Rejection of invention patent application after publication |