CN111428858A - 样本数量的确定方法、装置、电子设备及存储介质 - Google Patents
样本数量的确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111428858A CN111428858A CN202010144448.6A CN202010144448A CN111428858A CN 111428858 A CN111428858 A CN 111428858A CN 202010144448 A CN202010144448 A CN 202010144448A CN 111428858 A CN111428858 A CN 111428858A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- learning model
- image information
- sample image
- evaluation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013136 deep learning model Methods 0.000 claims abstract description 236
- 238000011156 evaluation Methods 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 66
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 55
- 238000012360 testing method Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000002372 labelling Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种样本数量的确定方法、装置、电子设备及存储介质,所述方法包括:获取用于训练深度学习模型的多幅样本图像信息;从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型;获取每个所述深度学习模型的评价结果;基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。本发明可以实现基于深度学习模型的训练准确的确定使所述深度学习模型稳定的最小样本数量,有利于模型训练成本的控制,进而可以实现后续合理的安排为样本图像打标签的员工的工作量。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种样本数量的确定方法、装置、电子设备及存储介质。
背景技术
深度学习模型训练的整体框架包括:获取样本图像,然后对样本图像进行预处理,然后将预处理后的图像输入已有模型(如,yolo模型等)中进行训练,以得到稳定的模型。
相关技术中通常是基于经验确定用于训练深度学习模型的样本图像信息数量,不利于模型训练成本的控制,也无法实现合理安排为样本图像打标签的员工的工作量。
发明内容
有鉴于此,本发明提出一种样本数量的确定方法、装置、电子设备及存储介质以解决上述技术问题。
为了达到上述目的,本发明所采用的技术方案为:
根据本发明实施例的第一方面,提出了一种样本数量的确定方法,包括:
获取用于训练深度学习模型的多幅样本图像信息;
从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型;
获取每个所述深度学习模型的评价结果;
基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
在一实施例中,所述从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型,包括:
从所述多幅样本图像信息中每次获取设定数量的样本图像信息,对当前得到的深度学习模型进行训练,得到每次训练后的深度学习模型。
在一实施例中,所述获取每个所述深度学习模型的评价结果,包括:
将测试图像信息输入每个所述深度学习模型,得到各个所述深度学习模型对所述测试图像信息中目标物体的预测结果;
基于所述预测结果对每个所述深度学习模型进行评价,得到每个所述深度学习模型的评价结果。
在一实施例中,所述基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量,包括:
绘制各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线;
基于所述曲线确定使所述深度学习模型稳定的最小样本数量。
在一实施例中,所述基于所述曲线确定使所述深度学习模型稳定的最小样本数量,包括:
基于所述曲线确定使所述深度学习模型稳定的各个样本图像信息数量;
基于所述各个样本图像信息数量中最小的样本图像信息数量,确定使所述深度学习模型稳定的最小样本数量。
根据本发明实施例的第二方面,提出了一种样本数量的确定装置,包括:
样本图像获取模块,用于获取用于训练深度学习模型的多幅样本图像信息;
学习模型训练模块,用于从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型;
评价结果获取模块,用于获取每个所述深度学习模型的评价结果;
样本图像信息数量确定模块,用于基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
在一实施例中,所述学习模型训练模块,还用于从所述多幅样本图像信息中每次获取设定数量的样本图像信息,对当前得到的深度学习模型进行训练,得到每次训练后的深度学习模型。
在一实施例中,所述评价结果获取模块,包括:
预测结果获取单元,用于将测试图像信息输入每个所述深度学习模型,得到各个所述深度学习模型对所述测试图像信息中目标物体的预测结果;
评价结果获取单元,用于基于所述预测结果对每个所述深度学习模型进行评价,得到每个所述深度学习模型的评价结果。
在一实施例中,所述样本图像信息数量确定模块,包括:
关系曲线绘制单元,用于绘制各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线;
样本图像信息数量确定单元,用于基于所述曲线确定使所述深度学习模型稳定的最小样本数量。
在一实施例中,所述样本图像信息数量确定单元,还用于:
基于所述曲线确定使所述深度学习模型稳定的各个样本图像信息数量;
基于所述各个样本图像信息数量中最小的样本图像信息数量,确定使所述深度学习模型稳定的最小样本数量。
根据本发明实施例的第三方面,提出了一种电子设备,所述电子设备包括:
处理器;
被配置为存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取用于训练深度学习模型的多幅样本图像信息;
从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型;
获取每个所述深度学习模型的评价结果;
基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
根据本发明实施例的第四方面,提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器处理时实现:
获取用于训练深度学习模型的多幅样本图像信息;
从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型;
获取每个所述深度学习模型的评价结果;
基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
与现有技术相比较,本发明的样本数量的确定方法,通过获取用于训练深度学习模型的多幅样本图像信息,并从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型,以及获取每个所述深度学习模型的评价结果,进而基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量,可以实现基于深度学习模型的训练准确的确定使所述深度学习模型稳定的最小样本数量,有利于模型训练成本的控制,进而可以实现后续合理的安排为样本图像打标签的员工的工作量。
附图说明
图1示出了根据本发明的一示例性实施例的样本数量的确定方法的流程图;
图2示出了根据本发明的如何获取每个所述深度学习模型的评价结果的示意图;
图3示出了根据本发明的如何确定使所述深度学习模型稳定的最小样本数量的示意图;
图4示出了根据本发明的如何基于所述曲线确定使所述深度学习模型稳定的最小样本数量的示意图;
图5示出了根据本发明的一示例性实施例的样本数量的确定装置的结构框图;
图6示出了根据本发明的另一示例性实施例的样本数量的确定装置的结构框图;
图7示出了根据本发明的一示例性实施例的电子设备的结构框图。
具体实施方式
以下将结合附图所示的具体实施例对本发明进行详细描述。但这些实施例并不限制本发明,本领域的普通技术人员根据这些实施例所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语实际、预测等来描述各种结构,但这些结构不应限于这些术语。这些术语仅用来将同一类型的结构彼此区分开。
图1示出了根据本发明的一示例性实施例的样本数量的确定方法的流程图。本实施例的方法可以应用于服务端(如,一台服务器或多台服务器组成的服务器集群等)。如图1所示,该方法包括以下步骤S101-S104:
在步骤S101中,获取用于训练深度学习模型的多幅样本图像信息。
本实施例中,服务端可以获取用于训练深度学习模型的多幅样本图像信息。
可以理解的是,上述样本图像信息与深度学习模型的用途相匹配。
举例来说,若上述深度学习模型的用途是在自动驾驶领域实现车辆周围环境内的目标物体的识别,则上述样本图像信息可以包括车辆周围环境的图像,在此基础上,上述目标物体可以为该样本图像中的车辆或障碍物等物体。
在一可选的实施例中,上述样本图像信息可以由安装在车辆上设定位置的单目摄像头等装置进行采集。
值得说明的是,上述样本图像信息的类型可以由开发人员根据实际需要进行设置,本实施例对此不进行限定。
在步骤S102中,从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型。
本实施例中,当获取用于训练深度学习模型的多幅样本图像信息后,可以从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型。
举例来说,可以获取20000幅样本图像信息,进而根据业务需要从该20000幅样本图像信息中获取多个不同设定数量的样本图像信息,如500幅、1000幅、1500幅等。其中,这些不同设定数量的样本图像信息可以存在相同的样本图像信息,也可以不存在相同的样本图像信息,本实施例对此不进行限定。
在此基础上,当从该20000幅样本图像信息中获取多个不同设定数量的样本图像信息后,可以基于这些不同设定数量的样本图像信息分别训练预设的神经网络模型,得到每个设定数量的样本图像信息所对应的深度学习模型。
在一可选的实施例中,上述深度学习模型可以基于设定的模型训练方法进行训练,该设定的模型训练方法可以基于实际业务需要进行设置,本实施例对此不进行限定。
在另一可选的实施例中,服务端可以从所述多幅样本图像信息中每次获取设定数量的样本图像信息,对当前得到的深度学习模型进行训练,得到每次训练后的深度学习模型。
举例来说,可以获取20000幅样本图像信息,进而可以从该20000幅样本图像信息中获取500幅样本图像信息对预先构建的神经网络模型进行训练,得到第一深度学习模型,然后再从该20000幅样本图像信息中获取500幅样本图像信息对当前得到的第一深度学习模型进行训练,得到第二深度学习模型,……以此类推,共可以获得40个深度学习模型。
在步骤S103中,获取每个所述深度学习模型的评价结果。
本实施例中,当从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型后,可以基于设定的模型评价方式对每个所述深度学习模型进行评价,得到每个所述深度学习模型的评价结果。
值得说明的是,上述模型评价方式可以由开发人员根据实际业务需要进行设定,如设定为平均准确度(Mean Average Precision,MAP)指标评价方式等,本实施例对此不进行限定。
在另一可选的实施例中,上述获取每个所述深度学习模型的评价结果的方式可以参见下述图2所示实施例,在此先不进行详述。
在步骤S104中,基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
本实施例中,当获取每个所述深度学习模型的评价结果后,可以基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
可以理解的是,随着训练深度学习模型的样本图像信息的数量增加,深度学习模型会趋于稳定。因此,本实施例中可以基于所述评价结果判断深度学习模型是否稳定,进而当确定深度学习模型稳定后,从使深度学习模型稳定的多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
在另一可选的实施例中,上述确定使所述深度学习模型稳定的最小样本数量的方式可以参见下述图3所示实施例,在此先不进行详述。
由上述技术方案可知,本实施例的样本数量的确定方法,通过获取用于训练深度学习模型的多幅样本图像信息,并从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型,以及获取每个所述深度学习模型的评价结果,进而基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量,可以实现基于深度学习模型的训练准确的确定使所述深度学习模型稳定的最小样本数量,有利于模型训练成本的控制,进而可以实现后续合理的安排为样本图像打标签的员工的工作量。
图2示出了根据本发明的如何获取每个所述深度学习模型的评价结果的示意图;本实施例在上述实施例的基础上,以如何获取每个所述深度学习模型的评价结果为例进行示例性说明。如图2所示,上述步骤S103中所述获取每个所述深度学习模型的评价结果,可以包括以下步骤S201-S202:
在步骤S201中,将测试图像信息输入每个所述深度学习模型,得到各个所述深度学习模型对所述测试图像信息中目标物体的预测结果。
本实施例中,当从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型后,可以将测试图像信息输入每个所述深度学习模型,得到各个所述深度学习模型对所述测试图像信息中目标物体的预测结果。
可以理解的是,上述测试图像信息与深度学习模型的用途相匹配。
举例来说,若上述深度学习模型的用途是在自动驾驶领域实现车辆周围环境内的目标物体的识别,则上述测试图像信息可以包括车辆周围环境的图像,在此基础上,上述目标物体可以为该样本图像中的车辆或障碍物等物体。
在一可选的实施例中,上述测试图像信息可以由安装在车辆上设定位置的单目摄像头等装置进行采集。
值得说明的是,上述测试图像信息的类型可以由开发人员根据实际需要进行设置,本实施例对此不进行限定。
在步骤S202中,基于所述预测结果对每个所述深度学习模型进行评价,得到每个所述深度学习模型的评价结果。
本实施例中,当得到各个所述深度学习模型对所述测试图像信息中目标物体的预测结果后,可以基于所述预测结果对每个所述深度学习模型进行评价,得到每个所述深度学习模型的评价结果。
举例来说,当得到各个所述深度学习模型对所述测试图像信息中目标物体的预测结果后,可以基于所述预测结果,确定每个深度学习模型的平均准确度MAP指标值,进而基于该MAP指标值确定每个所述深度学习模型的评价结果。
值得说明的是,上述平均准确度MAP是预测目标位置以及类别的这一类算法的性能度量标准,其对于评估目标定位模型、目标检测模型以及实例分割模型非常有用。本实施例例中,上述深度学习模型的MAP指标的计算方式可以参见相关技术中的解释和说明,本实施例对此不进行限定。
可以理解的是,上述通过确定每个深度学习模型的平均准确度MAP指标值的方式来评价每个所述深度学习模型的方案仅用于示例性说明,在实际应用中,本领域技术人员可以基于实际业务需要选取其他的模型评价方案,所得结果同样适用于本发明的后续步骤,本实施例对此不进行限定。
由上述技术方案可知,本实施例通过将测试图像信息输入每个所述深度学习模型,得到各个所述深度学习模型对所述测试图像信息中目标物体的预测结果,并基于所述预测结果对每个所述深度学习模型进行评价,得到每个所述深度学习模型的评价结果,可以实现准确评价基于不同设定数量的样本图像信息所训练的多个深度学习模型,进而可以实现后续基于各个深度学习模型的评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
图3示出了根据本发明的如何确定使所述深度学习模型稳定的最小样本数量的示意图;本实施例在上述实施例的基础上以如何确定使所述深度学习模型稳定的最小样本数量为例进行示例性说明。如图3所示,上步骤S104中所述基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量,可以包括以下步骤S301-S302:
在步骤S301中,绘制各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线。
本实施例中,当获取每个所述深度学习模型的评价结果后,可以绘制各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线。
以所得的深度学习模型的评价结果为平均准确度MAP指标为例,当获取每个所述深度学习模型的MAP指标值后,可以绘制各个深度学习模型的样本图像信息数量与MAP指标值的对应关系曲线。
举例来说,可以基于每个深度学习模型确定一个坐标点,其中,该坐标点的纵坐标为该深度学习模型的MAP指标值,且横坐标为深度学习模型对应的样本图像信息数量。在此基础上,可以基于各个深度学习模型对应的坐标点绘制上述曲线。
值得说明的是,上述基于多个坐标点绘制曲线的方式可以参见相关技术中的解释和说明,本实施例对此不进行限定。
在步骤S302中,基于所述曲线确定使所述深度学习模型稳定的最小样本数量。
本实施例中,当绘制各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线后,可以基于所述曲线确定使所述深度学习模型稳定的最小样本数量。
举例来说,当绘制上述样本图像信息数量与评价结果的对应关系曲线后,可以基于该曲线确定深度学习模型是否达到稳定状态,如深度学习模型的MAP值是否趋于稳定,进而可以获取使所述深度学习模型稳定的最小样本数量。
在另一实施例中,上述基于所述曲线确定使所述深度学习模型稳定的最小样本数量的方式可以参见下述图4所示实施例,在此先不进行详述。
由上述技术方案可知,本实施例通过绘制各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线,并基于所述曲线确定使所述深度学习模型稳定的最小样本数量,可以实现基于各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线准确的确定使所述深度学习模型稳定的最小样本数量,可以为后续控制深度学习模型的训练成本提供依据,并可以实现后续合理的安排为样本图像打标签的员工的工作量。
图4示出了根据本发明的如何基于所述曲线确定使所述深度学习模型稳定的最小样本数量的示意图;本实施例在上述实施例的基础上,以如何基于所述曲线确定使所述深度学习模型稳定的最小样本数量为例进行示例性说明。如图4所示,上述步骤S302中所述基于所述曲线确定使所述深度学习模型稳定的最小样本数量,可以包括以下步骤S401-S402:
在步骤S401中,基于所述曲线确定使所述深度学习模型稳定的各个样本图像信息数量。
本实施例中,当绘制各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线后,可以基于该曲线确定使所述深度学习模型稳定的各个样本图像信息数量。
可以理解的是,随着训练深度学习模型的样本图像信息数量增加,当前训练的深度学习模型的评价结果(如,MAP指标值)会趋于稳定。因此,当绘制各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线后,可以基于该曲线确定使所述深度学习模型稳定的各个样本图像信息数量,如2500、3000、……20000。
也即是说,设定的样本图像信息数量500、1000、1500以及2000无法使深度学习模型稳定,直到样本图像信息数量增加至2500以上才使训练的深度学习模型稳定。
在步骤S402中,基于所述各个样本图像信息数量中最小的样本图像信息数量,确定使所述深度学习模型稳定的最小样本数量。
本实施例中,当基于所述曲线确定使所述深度学习模型稳定的各个样本图像信息数量,可以从该各个样本图像信息数量中确定最小的样本图像信息数量,进而可以将该数量确定为使所述深度学习模型稳定的最小样本数量。
由上述技术方案可知,本实施例通过基于所述曲线确定使所述深度学习模型稳定的各个样本图像信息数量,并基于所述各个样本图像信息数量中最小的样本图像信息数量,确定使所述深度学习模型稳定的最小样本数量,可以实现准确的确定使所述深度学习模型稳定的最小样本数量,进而可以实现后续控制深度学习模型的训练成本,并可以为后续合理的安排为样本图像打标签的员工的工作量提供依据。
图5示出了根据本发明的一示例性实施例的样本数量的确定装置的结构框图;如图5所示,该装置包括:样本图像获取模块110、学习模型训练模块120、评价结果获取模块130以及样本图像信息数量确定模块140,其中:
样本图像获取模块110,用于获取用于训练深度学习模型的多幅样本图像信息;
学习模型训练模块120,用于从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型;
评价结果获取模块130,用于获取每个所述深度学习模型的评价结果;
样本图像信息数量确定模块140,用于基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
由上述技术方案可知,本实施例的样本数量的确定装置,通过获取用于训练深度学习模型的多幅样本图像信息,并从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型,以及获取每个所述深度学习模型的评价结果,进而基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量,可以实现基于深度学习模型的训练准确的确定使所述深度学习模型稳定的最小样本数量,有利于模型训练成本的控制,进而可以实现后续合理的安排为样本图像打标签的员工的工作量。
图6示出了根据本发明的另一示例性实施例的样本数量的确定装置的结构框图;其中,样本图像获取模块210、学习模型训练模块220、评价结果获取模块230以及样本图像信息数量确定模块240与前述图6所示实施例中的样本图像获取模块110、学习模型训练模块120、评价结果获取模块130以及样本图像信息数量确定模块140的功能相同,在此不进行赘述。
本实施例中,学习模型训练模块220,还可以用于从所述多幅样本图像信息中每次获取设定数量的样本图像信息,对当前得到的深度学习模型进行训练,得到每次训练后的深度学习模型。
如图6所示,评价结果获取模块230,可以包括:
预测结果获取单元231,用于将测试图像信息输入每个所述深度学习模型,得到各个所述深度学习模型对所述测试图像信息中目标物体的预测结果;
评价结果获取单元232,用于基于所述预测结果对每个所述深度学习模型进行评价,得到每个所述深度学习模型的评价结果。
在一实施例中,样本图像信息数量确定模块240,可以包括:
关系曲线绘制单元241,用于绘制各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线;
样本图像信息数量确定单元242,用于基于所述曲线确定使所述深度学习模型稳定的最小样本数量。
在一实施例中,样本图像信息数量确定单元242,还可以用于:
基于所述曲线确定使所述深度学习模型稳定的各个样本图像信息数量;
基于所述各个样本图像信息数量中最小的样本图像信息数量,确定使所述深度学习模型稳定的最小样本数量。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明样本数量的确定装置的实施例可以应用在网络设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图7所示,为本发明的样本数量的确定装置所在电子设备的一种硬件结构图,除了图7所示的处理器、网络接口、内存以及非易失性存储器之外,实施例中装置所在的设备通常还可以包括其他硬件,如负责处理报文的转发芯片等等;从硬件结构上来讲该设备还可能是分布式的设备,可能包括多个接口卡,以便在硬件层面进行报文处理的扩展。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器处理时实现以下任务处理方法:
获取用于训练深度学习模型的多幅样本图像信息;
从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型;
获取每个所述深度学习模型的评价结果;
基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由本发明的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (12)
1.一种样本数量的确定方法,其特征在于,包括:
获取用于训练深度学习模型的多幅样本图像信息;
从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型;
获取每个所述深度学习模型的评价结果;
基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
2.根据权利要求1所述的方法,其特征在于,所述从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型,包括:
从所述多幅样本图像信息中每次获取设定数量的样本图像信息,对当前得到的深度学习模型进行训练,得到每次训练后的深度学习模型。
3.根据权利要求1所述的方法,其特征在于,所述获取每个所述深度学习模型的评价结果,包括:
将测试图像信息输入每个所述深度学习模型,得到各个所述深度学习模型对所述测试图像信息中目标物体的预测结果;
基于所述预测结果对每个所述深度学习模型进行评价,得到每个所述深度学习模型的评价结果。
4.根据权利要求1所述的方法,其特征在于,所述基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量,包括:
绘制各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线;
基于所述曲线确定使所述深度学习模型稳定的最小样本数量。
5.根据权利要求4所述的方法,其特征在于,所述基于所述曲线确定使所述深度学习模型稳定的最小样本数量,包括:
基于所述曲线确定使所述深度学习模型稳定的各个样本图像信息数量;
基于所述各个样本图像信息数量中最小的样本图像信息数量,确定使所述深度学习模型稳定的最小样本数量。
6.一种样本数量的确定装置,其特征在于,包括:
样本图像获取模块,用于获取用于训练深度学习模型的多幅样本图像信息;
学习模型训练模块,用于从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型;
评价结果获取模块,用于获取每个所述深度学习模型的评价结果;
样本图像信息数量确定模块,用于基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
7.根据权利要求6所述的装置,其特征在于,所述学习模型训练模块,还用于从所述多幅样本图像信息中每次获取设定数量的样本图像信息,对当前得到的深度学习模型进行训练,得到每次训练后的深度学习模型。
8.根据权利要求6所述的装置,其特征在于,所述评价结果获取模块,包括:
预测结果获取单元,用于将测试图像信息输入每个所述深度学习模型,得到各个所述深度学习模型对所述测试图像信息中目标物体的预测结果;
评价结果获取单元,用于基于所述预测结果对每个所述深度学习模型进行评价,得到每个所述深度学习模型的评价结果。
9.根据权利要求6所述的装置,其特征在于,所述样本图像信息数量确定模块,包括:
关系曲线绘制单元,用于绘制各个深度学习模型的样本图像信息数量与评价结果的对应关系曲线;
样本图像信息数量确定单元,用于基于所述曲线确定使所述深度学习模型稳定的最小样本数量。
10.根据权利要求9所述的装置,其特征在于,所述样本图像信息数量确定单元,还用于:
基于所述曲线确定使所述深度学习模型稳定的各个样本图像信息数量;
基于所述各个样本图像信息数量中最小的样本图像信息数量,确定使所述深度学习模型稳定的最小样本数量。
11.一种电子设备,其特征在于,所述电子设备包括:
处理器;
被配置为存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取用于训练深度学习模型的多幅样本图像信息;
从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型;
获取每个所述深度学习模型的评价结果;
基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器处理时实现:
获取用于训练深度学习模型的多幅样本图像信息;
从所述多幅样本图像信息中获取多个不同设定数量的样本图像信息,训练出多个深度学习模型;
获取每个所述深度学习模型的评价结果;
基于所述评价结果,从所述多个不同设定数量中确定使所述深度学习模型稳定的最小样本数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010144448.6A CN111428858A (zh) | 2020-03-04 | 2020-03-04 | 样本数量的确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010144448.6A CN111428858A (zh) | 2020-03-04 | 2020-03-04 | 样本数量的确定方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111428858A true CN111428858A (zh) | 2020-07-17 |
Family
ID=71547700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010144448.6A Pending CN111428858A (zh) | 2020-03-04 | 2020-03-04 | 样本数量的确定方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111428858A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111950644A (zh) * | 2020-08-18 | 2020-11-17 | 东软睿驰汽车技术(沈阳)有限公司 | 模型的训练样本选择方法、装置及计算机设备 |
CN116541726A (zh) * | 2023-07-06 | 2023-08-04 | 中国科学院空天信息创新研究院 | 用于植被覆盖度估算的样本量确定方法、装置及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997042075A1 (fr) * | 1996-05-07 | 1997-11-13 | Ishikawajima-Harima Heavy Industries Co., Ltd. | Corps immerge et procede servant a commander sa position d'immersion |
US20170300933A1 (en) * | 2016-04-15 | 2017-10-19 | Intuit Inc. | Method and system for updating analytics models that are used to dynamically and adaptively provide personalized user experiences in a software system |
CN107945175A (zh) * | 2017-12-12 | 2018-04-20 | 百度在线网络技术(北京)有限公司 | 图像的评价方法、装置、服务器及存储介质 |
CN108629323A (zh) * | 2018-05-11 | 2018-10-09 | 哈尔滨工业大学 | 一种景区游客链式出行一体化提供方法 |
CN109165582A (zh) * | 2018-08-09 | 2019-01-08 | 河海大学 | 一种城市街道垃圾检测和清洁度评估方法 |
CN110059616A (zh) * | 2019-04-17 | 2019-07-26 | 南京邮电大学 | 基于融合损失函数的行人重识别模型优化方法 |
CN110414330A (zh) * | 2019-06-20 | 2019-11-05 | 平安科技(深圳)有限公司 | 一种手掌图像的检测方法及装置 |
CN110458181A (zh) * | 2018-06-07 | 2019-11-15 | 中国矿业大学 | 一种基于宽度随机森林的句法依存模型、训练方法和分析方法 |
-
2020
- 2020-03-04 CN CN202010144448.6A patent/CN111428858A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997042075A1 (fr) * | 1996-05-07 | 1997-11-13 | Ishikawajima-Harima Heavy Industries Co., Ltd. | Corps immerge et procede servant a commander sa position d'immersion |
US20170300933A1 (en) * | 2016-04-15 | 2017-10-19 | Intuit Inc. | Method and system for updating analytics models that are used to dynamically and adaptively provide personalized user experiences in a software system |
CN107945175A (zh) * | 2017-12-12 | 2018-04-20 | 百度在线网络技术(北京)有限公司 | 图像的评价方法、装置、服务器及存储介质 |
CN108629323A (zh) * | 2018-05-11 | 2018-10-09 | 哈尔滨工业大学 | 一种景区游客链式出行一体化提供方法 |
CN110458181A (zh) * | 2018-06-07 | 2019-11-15 | 中国矿业大学 | 一种基于宽度随机森林的句法依存模型、训练方法和分析方法 |
CN109165582A (zh) * | 2018-08-09 | 2019-01-08 | 河海大学 | 一种城市街道垃圾检测和清洁度评估方法 |
CN110059616A (zh) * | 2019-04-17 | 2019-07-26 | 南京邮电大学 | 基于融合损失函数的行人重识别模型优化方法 |
CN110414330A (zh) * | 2019-06-20 | 2019-11-05 | 平安科技(深圳)有限公司 | 一种手掌图像的检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
INDRANIL BALKI, HBSC等: ""Sample-Size Determination Methodologies for Machine Learning in Medical Imaging Research: A Systematic Review"", 《CANADIAN ASSOCIATION OF RADIOLOGISTS JOURNAL》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111950644A (zh) * | 2020-08-18 | 2020-11-17 | 东软睿驰汽车技术(沈阳)有限公司 | 模型的训练样本选择方法、装置及计算机设备 |
CN111950644B (zh) * | 2020-08-18 | 2024-03-26 | 东软睿驰汽车技术(沈阳)有限公司 | 模型的训练样本选择方法、装置及计算机设备 |
CN116541726A (zh) * | 2023-07-06 | 2023-08-04 | 中国科学院空天信息创新研究院 | 用于植被覆盖度估算的样本量确定方法、装置及设备 |
CN116541726B (zh) * | 2023-07-06 | 2023-09-19 | 中国科学院空天信息创新研究院 | 用于植被覆盖度估算的样本量确定方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Eikelboom et al. | Improving the precision and accuracy of animal population estimates with aerial image object detection | |
CN111401609B (zh) | 车流量时间序列的预测方法及预测装置 | |
US10872299B2 (en) | Memory augmented generative temporal models | |
EP3843036B1 (en) | Sample labeling method and device, and damage category identification method and device | |
CN109685131A (zh) | 汽车车机系统异常识别方法及装置 | |
CN109285105A (zh) | 水印检测方法、装置、计算机设备和存储介质 | |
US10984518B2 (en) | Methods and systems for assessing the quality of geospatial data | |
CN111428858A (zh) | 样本数量的确定方法、装置、电子设备及存储介质 | |
CN116964588A (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
CN111159241A (zh) | 一种点击转化预估方法及装置 | |
CN111797993B (zh) | 深度学习模型的评价方法、装置、电子设备及存储介质 | |
CN117196322A (zh) | 智能风控方法、装置、计算机设备及存储介质 | |
CN117056079A (zh) | 一种算力需求的评估方法、装置及可读存储介质 | |
CN115527083B (zh) | 图像标注方法、装置和电子设备 | |
CN110363424A (zh) | 一种团队业绩跟踪系统 | |
CN111400534B (zh) | 图像数据的封面确定方法、装置及计算机存储介质 | |
CN112633651A (zh) | 一种路段拥堵程度评价方法及装置、设备、存储介质 | |
CN111078984B (zh) | 网络模型发布方法、装置、计算机设备和存储介质 | |
CN111402335B (zh) | 深度学习模型的评价方法、装置、电子设备及存储介质 | |
CN111874768A (zh) | 检测电梯部件安装状态的方法、装置、设备和系统 | |
CN112446229A (zh) | 一种标志杆的像素坐标获取方法及装置 | |
CN113807150A (zh) | 数据处理、姿态预测方法、设备及存储介质 | |
CN116450632B (zh) | 地理样本数据质量评估方法、设备及存储介质 | |
CN113642642B (zh) | 控件识别方法及装置 | |
CN115249339B (zh) | 河道漂浮物识别系统、方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200717 |
|
RJ01 | Rejection of invention patent application after publication |