CN111767937A - 目标检测模型训练方法、装置、电子设备及存储介质 - Google Patents

目标检测模型训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111767937A
CN111767937A CN201911104715.0A CN201911104715A CN111767937A CN 111767937 A CN111767937 A CN 111767937A CN 201911104715 A CN201911104715 A CN 201911104715A CN 111767937 A CN111767937 A CN 111767937A
Authority
CN
China
Prior art keywords
detection model
training
target detection
labeling
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911104715.0A
Other languages
English (en)
Inventor
陈汉苑
虞抒沁
童俊艳
谭拢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201911104715.0A priority Critical patent/CN111767937A/zh
Publication of CN111767937A publication Critical patent/CN111767937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明实施例提供了一种目标检测模型训练方法、装置、电子设备及存储介质,从预训练的原始目标检测模型中读取各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型,待训练的目标检测模型能够复用原始目标检测模型中各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,这些网络层和输出通道的参数在原始目标检测模型中已经历过训练,是较为优化的参数,因此在对待训练的目标检测模型进行训练时,这些网络层和输出通道的参数训练时间会大幅度减少,并且,并不需要对原始目标检测模型的网络结构进行修改,从而实现了不改变目标检测模型的网络结构的基础上,减少目标检测模型的训练时长的目的。

Description

目标检测模型训练方法、装置、电子设备及存储介质
技术领域
本发明涉及目标检测技术领域,特别是涉及一种目标检测模型训练方法、装置、电子设备及存储介质。
背景技术
随着深度学习技术的不断发展,目标检测模型的网络结构越来越复杂,网络结构的复杂直接导致了目标检测模型的训练时间越来越长,而目标检测模型训练的时间过长,使得搭载有目标检测模型的产品开发成本增高。为了解决上述问题,需要在保证目标检测模型性能的前提下,减少目标检测模型的训练时间。
目前,减少目标检测模型的训练时间的方法,主要是对样本数据集和目标检测模型的网络结构进行修改,增加目标检测模型的输入输出层节点数,使得多个样本数据可以同时输入目标检测模型进行训练,通过增加目标检测模型训练过程中单次迭代训练的数据量来减少总的迭代训练次数,进而减少了目标检测模型的训练时长。然而,由于增加了单次迭代训练的数据量,导致单次迭代训练对硬件的要求较高,因此,在不改变目标检测模型的网络结构的基础上,如何减少目标检测模型的训练时长成为目前亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种目标检测模型训练方法、装置、电子设备及存储介质,以实现在不改变目标检测模型的网络结构的基础上,减少目标检测模型的训练时长的目的。具体技术方案如下:
第一方面,本发明实施例提供了一种目标检测模型训练方法,所述方法包括:
获取样本数据集以及预训练的原始目标检测模型,所述样本数据集包括多个样本图片;
从所述原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数,所述特定层为包含候选框的网络层,所述常规层为除所述特定层以外的其他网络层,所述指定输出通道为用于目标定位的输出通道;
基于读取的所述各常规层的预训练参数及所述各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型;
利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练。
可选的,所述样本数据集中的样本图片为预先以标注框的形式进行标注的样本图片,所述样本图片的标注框信息记录在标注文件中,所述标注框信息包括标注框的标注形式及标注框尺寸;
在所述获取样本数据集之后,所述方法还包括:
统计所述样本数据集中样本图片的图片数目,并从所述标注文件中,读取各样本图片的标注框信息;
判断所述图片数目是否等于预设标注图片数目、所述各样本图片的标注框的标注形式是否为预设标注形式,以及所述各样本图片的标注框尺寸是否在样本图片的尺寸范围内;
所述利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练,包括:
若所述图片数目等于所述预设标注图片数目、所述各样本图片的标注框的标注形式为所述预设标注形式,且所述各样本图片的标注框尺寸在样本图片的尺寸范围内,则利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练。
可选的,在所述利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练之前,所述方法还包括:
若所述图片数目等于所述预设标注图片数目、所述各样本图片的标注框的标注形式为所述预设标注形式,且所述各样本图片的标注框尺寸在样本图片的尺寸范围内,则将所述样本数据集划分为训练集和验证集;
所述利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练,包括:
利用所述训练集中的各样本图片,对所述待训练的目标检测模型进行训练;
在所述利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练之后,所述方法还包括:
利用所述验证集中的样本图片,对训练后的所述目标检测模型进行测试;
若测试结果不满足预设的检测条件,则利用所述训练集中的各样本图片,对训练后的所述目标检测模型继续进行训练。
可选的,在所述基于读取的所述各常规层的预训练参数及所述各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型之前,所述方法还包括:
获取所述原始目标检测模型的原始网络定义文件,所述原始网络定义文件包括所述原始目标检测模型可检测的目标类别数目、各网络层的名称及类型、所述各特定层的候选框数目;
根据所述目标类别数目及所述各特定层的候选框数目,分别计算所述各特定层的输出通道数;
生成目标网络定义文件,所述目标网络定义文件为在所述原始网络定义文件中添加所述各特定层的输出通道数得到。
可选的,所述从所述原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数,包括:
根据所述原始网络定义文件和所述目标网络定义文件中所述各网络层的名称及类型,从所述原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数。
可选的,所述指定输出通道包括目标框回归通道及目标置信度通道;所述特定层还包括类别置信度通道。
第二方面,本发明实施例提供了一种目标检测模型训练装置,所述装置包括:
获取模块,用于获取样本数据集以及预训练的原始目标检测模型,所述样本数据集包括多个样本图片;
模型生成模块,用于从所述原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数,所述特定层为包含候选框的网络层,所述常规层为除所述特定层以外的其他网络层,所述指定输出通道为用于目标定位的输出通道;基于读取的所述各常规层的预训练参数及所述各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型;
模型训练模块,用于利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练。
可选的,所述样本数据集中的样本图片为预先以标注框的形式进行标注的样本图片,所述样本图片的标注框信息记录在标注文件中,所述标注框信息包括标注框的标注形式及标注框尺寸;
所述装置还包括:
数据处理模块,用于统计所述样本数据集中样本图片的图片数目,并从所述标注文件中,读取各样本图片的标注框信息;判断所述图片数目是否等于预设标注图片数目、所述各样本图片的标注框的标注形式是否为预设标注形式,以及所述各样本图片的标注框尺寸是否在样本图片的尺寸范围内;
所述模型训练模块,具体用于:
若所述数据处理模块的判断结果为所述图片数目等于所述预设标注图片数目、所述各样本图片的标注框的标注形式为所述预设标注形式,且所述各样本图片的标注框尺寸在样本图片的尺寸范围内,则利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练。
可选的,所述数据处理模块,还用于若所述图片数目等于所述预设标注图片数目、所述各样本图片的标注框的标注形式为所述预设标注形式,且所述各样本图片的标注框尺寸在样本图片的尺寸范围内,则将所述样本数据集划分为训练集和验证集;
所述模型训练模块,具体用于:利用所述训练集中的各样本图片,对所述待训练的目标检测模型进行训练;
所述装置还包括:
模型测试模块,用于利用所述验证集中的样本图片,对训练后的所述目标检测模型进行测试;若测试结果不满足预设的检测条件,则利用所述训练集中的各样本图片,对训练后的所述目标检测模型继续进行训练。
可选的,所述模型生成模块包括:参数初始化单元和网络定义生成单元;
所述参数初始化单元,用于获取所述原始目标检测模型的原始网络定义文件,所述原始网络定义文件包括所述原始目标检测模型可检测的目标类别数目、各网络层的名称及类型、所述各特定层的候选框数目;
所述网络定义生成单元,用于根据所述目标类别数目及所述各特定层的候选框数目,分别计算所述各特定层的输出通道数;生成目标网络定义文件,所述目标网络定义文件为在所述原始网络定义文件中添加所述各特定层的输出通道数得到。
可选的,所述模型生成模块还包括:模型参数读写单元;
所述模型参数读写单元,用于根据所述原始网络定义文件和所述目标网络定义文件中所述各网络层的名称及类型,从所述原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数。
可选的,所述指定输出通道包括目标框回归通道及目标置信度通道;所述特定层还包括类别置信度通道。
第三方面,本发明实施例提供了一种电子设备,包括处理器和存储器;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序时,实现本发明实施例第一方面所提供的方法。
第四方面,本发明实施例提供了一种存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例第一方面所提供的方法。
本发明实施例提供的一种目标检测模型训练方法、装置、电子设备及存储介质,获取样本数据集以及预训练的原始目标检测模型,从原始目标检测模型中,读取各常规层的预训练参数以及各特定层中指定输出通道对应的预训练参数,基于读取的各常规层的预训练参数及各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型,利用样本数据集中的各样本图片,对待训练的目标检测模型进行训练,其中,特定层为包含候选框的网络层,常规层为除特定层以外的其他网络层,指定输出通道为用于目标定位的输出通道。通过从预训练的原始目标检测模型中读取各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型,待训练的目标检测模型能够复用原始目标检测模型中各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,这些网络层和输出通道的参数在原始目标检测模型中已经历过训练,是较为优化的参数,因此在对待训练的目标检测模型进行训练时,这些网络层和输出通道的参数训练时间会大幅度减少,并且,并不需要对原始目标检测模型的网络结构进行修改,从而实现了不改变目标检测模型的网络结构的基础上,减少目标检测模型的训练时长的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例的目标检测模型训练方法的流程示意图;
图2为本发明另一实施例的目标检测模型训练方法的流程示意图;
图3为本发明一实施例的目标检测模型训练装置的结构示意图;
图4为本发明另一实施例的目标检测模型训练装置的结构示意图;
图5为本发明实施例的模型生成模块的结构示意图;
图6为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了实现在不改变目标检测模型的网络结构的基础上,减少目标检测模型的训练时长的目的,本发明实施例提供了一种目标检测模型训练方法、装置、电子设备及存储介质。下面,首先对本发明实施例所提供的目标检测模型训练方法进行介绍。
本发明实施例所提供的目标检测模型训练方法的执行主体可以为具有目标检测功能的电子设备(例如图像处理器、相机等),也可以为具有深度学习模型训练功能的电子设备(例如带有GPU(Graphics Processing Unit,图形处理器)的训练机器、文件存储服务器等)。实现本发明实施例所提供的目标检测模型训练方法的方式可以为设置于上述执行主体中的软件、硬件电路和逻辑电路中的至少一种。
如图1所示,本发明实施例所提供的一种目标检测模型训练方法,可以包括如下步骤。
S101,获取样本数据集以及预训练的原始目标检测模型,其中,样本数据集包括多个样本图片。
在进行目标检测模型训练时,需要收集大量的样本图片,这些样本图片组成样本数据集。基于目标检测模型需要实现的检测功能不同,所收集的样本数据集也不同,例如,如果是训练用于进行人脸检测的目标检测模型,收集的样本数据集中包括大量的人脸图片;如果是训练用于进行车辆检测的目标检测模型,收集的样本数据集中包括大量的车辆图片。原始目标检测模型是预先基于特定领域或者公开样本数据集训练得到的目标检测模型。
S102,从原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数,其中,特定层为包含候选框的网络层,常规层为除特定层以外的其他网络层,指定输出通道为用于目标定位的输出通道。
目标检测模型中一般包括两种类型的网络层(特定层和常规层),特定层是指包含有anchor(候选框)的网络层,特定层的输出通道数量往往与实际检测类别数目有关,而常规层则指除了特定层以外的其他基本网络层。
对于特定层而言,特定层的运算过程是:预设一组不同尺度不同位置的候选框,覆盖几乎所有位置和尺度,每个候选框负责检测与本候选框的交并比大于阈值的目标,特定层可以实现对候选框中有没有目标、目标偏离候选框有多远的识别,不需要多尺度遍历滑窗,能够快速的识别出目标。可以看出,特定层主要用来进行目标定位,则特定层中用于目标定位的指定输出通道是可以复用的。而常规层是进行常规的网络运算,常规层也是可以复用的。
可选的,指定输出通道可以包括目标框回归通道及目标置信度通道,特定层还可以包括类别置信度通道。
在目标检测模型中,特定层中用于目标定位的输出通道主要包括目标框回归通道和目标置信度通道,目标框回归通道用于定位目标框在什么位置,目标置信度通道用于定位目标框中是否包括目标,除此之外,特定层中还可以包括用于目标类别识别的类别置信度通道。则在读取特定层中指定输出通道对应的预训练参数时,可以只读取目标框回归通道和目标置信度通道的预训练参数,不读取类别置信度通道的预训练参数。
S103,基于读取的各常规层的预训练参数及各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型。
在从原始目标检测模型中,读取出各常规层的预训练参数以及各特定层中指定输出通道对应的预训练参数之后,由于特定层的指定输出通道和常规层是可以复用的,可以直接基于各常规层以及各特定层中指定输出通道对应的预训练参数,构建新的待训练的目标检测模型。
新构建的待训练的目标检测模型中,常规层的训练参数与原始目标检测模型中常规层的预训练参数相同、特定层中指定输出通道的训练参数与原始目标检测模型的特定层中指定输出通道的预训练参数相同,预训练参数即预先基于特定领域或者公开样本数据集训练得到的目标检测模型中的训练参数。待训练的目标检测模型中,特定层的输出通道可以仅包括指定输出通道,也可以包括除指定输出通道以外的其他输出通道。
S104,利用样本数据集中的各样本图片,对待训练的目标检测模型进行训练。
在构建出待训练的目标检测模型后,可以利用样本数据集中的各样本图片,对待训练的目标检测模型进行训练,训练过程可以采用传统的BP(Back Propagation,反向传播)算法,具体的,是每输入一个样本图片至目标检测模型,输出的检测结果和标称值进行比较,基于比较结果,对目标检测模型中各网络层的训练参数进行调整,这是模型训练的一个迭代过程,经过多个迭代过程直至检测结果逼近于标称值,或者迭代次数达到一定次数,则认为完成对目标检测模型的训练。
应用本发明实施例,获取样本数据集以及预训练的原始目标检测模型,从原始目标检测模型中,读取各常规层的预训练参数以及各特定层中指定输出通道对应的预训练参数,基于读取的各常规层的预训练参数及各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型,利用样本数据集中的各样本图片,对待训练的目标检测模型进行训练,其中,特定层为包含候选框的网络层,常规层为除特定层以外的其他网络层,指定输出通道为用于目标定位的输出通道。通过从预训练的原始目标检测模型中读取各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型,待训练的目标检测模型能够复用原始目标检测模型中各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,这些网络层和输出通道的参数在原始目标检测模型中已经历过训练,是较为优化的参数,因此在对待训练的目标检测模型进行训练时,这些网络层和输出通道的参数训练时间会大幅度减少,并且,并不需要对原始目标检测模型的网络结构进行修改,从而实现了不改变目标检测模型的网络结构的基础上,减少目标检测模型的训练时长的目的。
相比于大批次和修改网络结构来加快目标检测模型的训练过程,本发明实施例所提供的方法不需要增加显存占用成本和网络结构修改的复杂操作,并且,对于目标特征复杂、模型训练难度大的任务,本发明实施例所提供的目标检测模型训练过程更加稳定和快速。
可选的,上述实施例中,样本数据集中的样本图片可以为预先以标注框的形式进行标注的样本图片,样本图片的标注框信息记录在标注文件中,标注框信息包括标注框的标注形式及标注框尺寸。
相应的,在执行S101之后,本发明实施例所提供的目标检测模型训练方法还可以执行:统计样本数据集中样本图片的图片数目,并从标注文件中,读取各样本图片的标注框信息;判断图片数目是否等于预设标注图片数目、各样本图片的标注框的标注形式是否为预设标注形式,以及各样本图片的标注框尺寸是否在样本图片的尺寸范围内。
则在图片数目等于预设标注图片数目、各样本图片的标注框的标注形式为预设标注形式,且各样本图片的标注框尺寸在样本图片的尺寸范围内时,执行S104。
样本数据集中可以包括大量的预先以标注框的形式进行标注的样本图片,具体的标注框信息可以记录在标注文件中,则在获取到样本数据集后,首先可以对样本图片进行格式校验,校验的内容包括:判断图片数目是否等于预设标注图片数目、各样本图片的标注框的标注形式是否为预设标注形式、各样本图片的标注框尺寸是否在样本图片的尺寸范围内,预设标注图片数目和预设标注形式都是预先人工设置的,预设标注形式可以为例如长*宽的标注形式、顶点坐标的标注形式等。完成格式校验的样本数据集才会用来对目标检测模型进行训练。
可选的,在执行S103之前,本发明实施例所提供的目标检测模型训练方法还可以执行:获取原始目标检测模型的原始网络定义文件,其中,原始网络定义文件包括原始目标检测模型可检测的目标类别数目、各网络层的名称及类型、各特定层的候选框数目;根据目标类别数目及各特定层的候选框数目,分别计算各特定层的输出通道数;生成目标网络定义文件,其中,目标网络定义文件为在原始网络定义文件中添加各特定层的输出通道数得到。
一个目标检测模型对应的有一个网络定义文件,网络定义文件中记录的是目标检测模型中包含有哪些网络层、能够检测多少种目标类别、每个特定层有多少候选框等信息,由于特定层是指包含有anchor(候选框)的网络层,特定层的输出通道数量往往与实际检测类别数目有关,则从网络定义文件里获取到每个特定层的候选框数目和原始目标检测模型可检测的目标类别数目后,可以根据目标类别数目及各特定层的候选框数目,分别计算各特定层的输出通道数,具体的,可以采用A*(5+C)来计算各特定层的输出通道数,其中,A表示各特定层的候选框数目,C表示原始目标检测模型可检测的目标类别数目。在计算得到各特定层的输出通道数后,复制一份原始网络定义文件,通过将各特定层的输出通道数添加至该复制后的原始网络定义文件中,生成一个新的目标网络定义文件,目标网络定义文件中记录了待训练的目标检测模型的基本网络架构信息。
可选的,S102具体可以为:根据原始网络定义文件和目标网络定义文件中各网络层的名称及类型,从原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数。
目标网络定义文件中记录着待训练的目标检测模型中各网络层的名称和类型,原始网络定义文件中记录着原始目标检测模型中各网络层的名称和类型,目标网络定义文件中的各网络层即为需要从原始目标检测模型中读取的网络层,则根据原始网络定义文件和目标网络定义文件中各网络层的名称及类型,可以从原始目标检测模型中,读取出各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数。
基于图1所示实施例,本发明实施例还提供了一种目标检测模型训练方法,如图2所示,该方法可以包括如下步骤:
S201,获取样本数据集以及预训练的原始目标检测模型,其中,样本数据集包括多个样本图片。
S202,统计样本数据集中样本图片的图片数目,并从标注文件中,读取各样本图片的标注框信息,其中,标注框信息包括标注框的标注形式及标注框尺寸。
S203,在图片数目等于预设标注图片数目、各样本图片的标注框的标注形式为预设标注形式,且各样本图片的标注框尺寸在样本图片的尺寸范围内时,将样本数据集划分为训练集和验证集。
S204,从原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数,其中,特定层为包含候选框的网络层,常规层为除特定层以外的其他网络层,指定输出通道为用于目标定位的输出通道。
S205,基于读取的各常规层的预训练参数及各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型。
S206,利用训练集中的各样本图片,对待训练的目标检测模型进行训练。
S207,利用验证集中的样本图片,对训练后的目标检测模型进行测试。
S208,若测试结果不满足预设的检测条件,则利用训练集中的各样本图片,对训练后的目标检测模型继续进行训练。
在获取到样本数据集后,首先对样本图片进行格式校验,校验的内容包括:判断图片数目是否等于预设标注图片数目、各样本图片的标注框的标注形式是否为预设标注形式、各样本图片的标注框尺寸是否在样本图片的尺寸范围内。完成格式校验的样本数据集会被划分为训练集和验证集,训练集中的样本图片要来对目标检测模型进行训练,验证集中的样本图片用来对训练后的目标检测模型进行测试,测试结果反映了目标检测模型的性能,如果测试结果不满足预设的检测条件,例如准确率未达到预设值,则利用训练集中的各样本图片,对目标检测模型继续进行训练,如果测试结果满足预设的检测条件,则可以确定当前的目标检测模型为最佳性能的目标检测模型。每次检测的结果可以输出给用户,以告知用户详细的目标检测模型的性能指标。
相应于上述方法实施例,本发明实施例提供了一种目标检测模型训练装置,如图3所示,该装置可以包括:
获取模块310,用于获取样本数据集以及预训练的原始目标检测模型,其中,样本数据集包括多个样本图片;
模型生成模块320,用于从原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数,其中,特定层为包含候选框的网络层,常规层为除特定层以外的其他网络层,指定输出通道为用于目标定位的输出通道;基于读取的各常规层的预训练参数及各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型;
模型训练模块330,用于利用样本数据集中的各样本图片,对待训练的目标检测模型进行训练。
应用本发明实施例,获取样本数据集以及预训练的原始目标检测模型,从原始目标检测模型中,读取各常规层的预训练参数以及各特定层中指定输出通道对应的预训练参数,基于读取的各常规层的预训练参数及各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型,利用样本数据集中的各样本图片,对待训练的目标检测模型进行训练,其中,特定层为包含候选框的网络层,常规层为除特定层以外的其他网络层,指定输出通道为用于目标定位的输出通道。通过从预训练的原始目标检测模型中读取各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型,待训练的目标检测模型能够复用原始目标检测模型中各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,这些网络层和输出通道的参数在原始目标检测模型中已经历过训练,是较为优化的参数,因此在对待训练的目标检测模型进行训练时,这些网络层和输出通道的参数训练时间会大幅度减少,并且,并不需要对原始目标检测模型的网络结构进行修改,从而实现了不改变目标检测模型的网络结构的基础上,减少目标检测模型的训练时长的目的。
可选的,样本数据集中的样本图片为预先以标注框的形式进行标注的样本图片,样本图片的标注框信息记录在标注文件中,标注框信息包括标注框的标注形式及标注框尺寸;
该装置还可以包括:
数据处理模块,用于统计样本数据集中样本图片的图片数目,并从标注文件中,读取各样本图片的标注框信息;判断图片数目是否等于预设标注图片数目、各样本图片的标注框的标注形式是否为预设标注形式,以及各样本图片的标注框尺寸是否在样本图片的尺寸范围内;
模型训练模块330,具体可以用于:若数据处理模块的判断结果为图片数目等于预设标注图片数目、各样本图片的标注框的标注形式为预设标注形式,且各样本图片的标注框尺寸在样本图片的尺寸范围内,则利用样本数据集中的各样本图片,对待训练的目标检测模型进行训练。
可选的,指定输出通道可以包括目标框回归通道及目标置信度通道;特定层还可以包括类别置信度通道。
基于图3所示实施例,本发明实施例还提供了一种目标检测模型训练装置,如图4所示,该装置可以包括:
获取模块410,用于获取样本数据集以及预训练的原始目标检测模型,其中,样本数据集包括多个样本图片;
数据处理模块420,用于统计样本数据集中样本图片的图片数目,并从标注文件中,读取各样本图片的标注框信息;判断图片数目是否等于预设标注图片数目、各样本图片的标注框的标注形式是否为预设标注形式,以及各样本图片的标注框尺寸是否在样本图片的尺寸范围内;若图片数目等于预设标注图片数目、各样本图片的标注框的标注形式为预设标注形式,且各样本图片的标注框尺寸在样本图片的尺寸范围内,则将样本数据集划分为训练集和验证集;
模型生成模块430,用于从原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数,其中,特定层为包含候选框的网络层,常规层为除特定层以外的其他网络层,指定输出通道为用于目标定位的输出通道;基于读取的各常规层的预训练参数及各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型;
模型训练模块440,用于利用训练集中的各样本图片,对待训练的目标检测模型进行训练;
模型测试模块450,用于利用验证集中的样本图片,对训练后的目标检测模型进行测试;若测试结果不满足预设的检测条件,则利用训练集中的各样本图片,对训练后的目标检测模型继续进行训练。
上述实施例中的模型生成模块可以包括:参数初始化单元和网络定义生成单元;
参数初始化单元,用于获取原始目标检测模型的原始网络定义文件,其中,原始网络定义文件包括原始目标检测模型可检测的目标类别数目、各网络层的名称及类型、各特定层的候选框数目;
网络定义生成单元,用于根据目标类别数目及各特定层的候选框数目,分别计算各特定层的输出通道数;生成目标网络定义文件,其中,目标网络定义文件为在原始网络定义文件中加各特定层的输出通道数得到。
可选的,模型生成模块还可以包括:模型参数读写单元;
模型参数读写单元,用于根据原始网络定义文件和目标网络定义文件中各网络层的名称及类型,从原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数。
本发明的一个实施例中模型生成模块可以包括:参数初始化单元、网络定义生成单元和模型参数读写单元,如图5所示。
参数初始化单元501,用于获取原始目标检测模型的原始网络定义文件,其中,原始网络定义文件包括原始目标检测模型可检测的目标类别数目、各网络层的名称及类型、各特定层的候选框数目;
网络定义生成单元502,用于根据目标类别数目及各特定层的候选框数目,分别计算各特定层的输出通道数;在原始网络定义文件中,添加各特定层的输出通道数,得到目标网络定义文件;
模型参数读写单元503,用于根据原始网络定义文件和目标网络定义文件中各网络层的名称及类型,从原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数。
本发明实施例还提供了一种电子设备,如图6所示,包括处理器601和存储器602;
存储器602,用于存放计算机程序;
处理器601,用于执行存储器602上所存放的计算机程序时,实现本发明实施例所提供的目标检测模型训练方法。
本发明实施例中,处理器601通过读取存储器602中存储的计算机程序,被计算机程序促使能够实现:获取样本数据集以及预训练的原始目标检测模型,从原始目标检测模型中,读取各常规层的预训练参数以及各特定层中指定输出通道对应的预训练参数,基于读取的各常规层的预训练参数及各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型,利用样本数据集中的各样本图片,对待训练的目标检测模型进行训练,其中,特定层为包含候选框的网络层,常规层为除特定层以外的其他网络层,指定输出通道为用于目标定位的输出通道。通过从预训练的原始目标检测模型中读取各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型,待训练的目标检测模型能够复用原始目标检测模型中各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,这些网络层和输出通道的参数在原始目标检测模型中已经历过训练,是较为优化的参数,因此在对待训练的目标检测模型进行训练时,这些网络层和输出通道的参数训练时间会大幅度减少,并且,并不需要对原始目标检测模型的网络结构进行修改,从而实现了不改变目标检测模型的网络结构的基础上,减少目标检测模型的训练时长的目的。
上述存储器可以包括RAM(Random Access Memory,随机存取存储器),也可以包括NVM(Non-volatile Memory,非易失性存储器),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括CPU(Central Processing Unit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(Digital Signal Processor,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外,本发明实施例还提供了一种存储介质,存储介质内存储有计算机程序,计算机程序被处理器执行时实现本发明实施例所提供的目标检测模型训练方法。
本实施例中,存储介质中存储的计算机程序在运行时能够实现:获取样本数据集以及预训练的原始目标检测模型,从原始目标检测模型中,读取各常规层的预训练参数以及各特定层中指定输出通道对应的预训练参数,基于读取的各常规层的预训练参数及各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型,利用样本数据集中的各样本图片,对待训练的目标检测模型进行训练,其中,特定层为包含候选框的网络层,常规层为除特定层以外的其他网络层,指定输出通道为用于目标定位的输出通道。通过从预训练的原始目标检测模型中读取各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型,待训练的目标检测模型能够复用原始目标检测模型中各常规层的预训练参数和各特定层中指定输出通道对应的预训练参数,这些网络层和输出通道的参数在原始目标检测模型中已经历过训练,是较为优化的参数,因此在对待训练的目标检测模型进行训练时,这些网络层和输出通道的参数训练时间会大幅度减少,并且,并不需要对原始目标检测模型的网络结构进行修改,从而实现了不改变目标检测模型的网络结构的基础上,减少目标检测模型的训练时长的目的。
对于电子设备以及存储介质实施例而言,由于其涉及的方法内容基本相似于前述的方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备以及存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (14)

1.一种目标检测模型训练方法,其特征在于,所述方法包括:
获取样本数据集以及预训练的原始目标检测模型,所述样本数据集包括多个样本图片;
从所述原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数,所述特定层为包含候选框的网络层,所述常规层为除所述特定层以外的其他网络层,所述指定输出通道为用于目标定位的输出通道;
基于读取的所述各常规层的预训练参数及所述各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型;
利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练。
2.根据权利要求1所述的方法,其特征在于,所述样本数据集中的样本图片为预先以标注框的形式进行标注的样本图片,所述样本图片的标注框信息记录在标注文件中,所述标注框信息包括标注框的标注形式及标注框尺寸;
在所述获取样本数据集之后,所述方法还包括:
统计所述样本数据集中样本图片的图片数目,并从所述标注文件中,读取各样本图片的标注框信息;
判断所述图片数目是否等于预设标注图片数目、所述各样本图片的标注框的标注形式是否为预设标注形式,以及所述各样本图片的标注框尺寸是否在样本图片的尺寸范围内;
所述利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练,包括:
若所述图片数目等于所述预设标注图片数目、所述各样本图片的标注框的标注形式为所述预设标注形式,且所述各样本图片的标注框尺寸在样本图片的尺寸范围内,则利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练。
3.根据权利要求2所述的方法,其特征在于,在所述利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练之前,所述方法还包括:
若所述图片数目等于所述预设标注图片数目、所述各样本图片的标注框的标注形式为所述预设标注形式,且所述各样本图片的标注框尺寸在样本图片的尺寸范围内,则将所述样本数据集划分为训练集和验证集;
所述利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练,包括:
利用所述训练集中的各样本图片,对所述待训练的目标检测模型进行训练;
在所述利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练之后,所述方法还包括:
利用所述验证集中的样本图片,对训练后的所述目标检测模型进行测试;
若测试结果不满足预设的检测条件,则利用所述训练集中的各样本图片,对训练后的所述目标检测模型继续进行训练。
4.根据权利要求1所述的方法,其特征在于,在所述基于读取的所述各常规层的预训练参数及所述各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型之前,所述方法还包括:
获取所述原始目标检测模型的原始网络定义文件,所述原始网络定义文件包括所述原始目标检测模型可检测的目标类别数目、各网络层的名称及类型、所述各特定层的候选框数目;
根据所述目标类别数目及所述各特定层的候选框数目,分别计算所述各特定层的输出通道数;
生成目标网络定义文件,所述目标网络定义文件为在所述原始网络定义文件中添加所述各特定层的输出通道数得到。
5.根据权利要求4所述的方法,其特征在于,所述从所述原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数,包括:
根据所述原始网络定义文件和所述目标网络定义文件中所述各网络层的名称及类型,从所述原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数。
6.根据权利要求1所述的方法,其特征在于,所述指定输出通道包括目标框回归通道及目标置信度通道;所述特定层还包括类别置信度通道。
7.一种目标检测模型训练装置,其特征在于,所述装置包括:
获取模块,用于获取样本数据集以及预训练的原始目标检测模型,所述样本数据集包括多个样本图片;
模型生成模块,用于从所述原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数,所述特定层为包含候选框的网络层,所述常规层为除所述特定层以外的其他网络层,所述指定输出通道为用于目标定位的输出通道;基于读取的所述各常规层的预训练参数及所述各特定层中指定输出通道对应的预训练参数,构建待训练的目标检测模型;
模型训练模块,用于利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练。
8.根据权利要求7所述的装置,其特征在于,所述样本数据集中的样本图片为预先以标注框的形式进行标注的样本图片,所述样本图片的标注框信息记录在标注文件中,所述标注框信息包括标注框的标注形式及标注框尺寸;
所述装置还包括:
数据处理模块,用于统计所述样本数据集中样本图片的图片数目,并从所述标注文件中,读取各样本图片的标注框信息;判断所述图片数目是否等于预设标注图片数目、所述各样本图片的标注框的标注形式是否为预设标注形式,以及所述各样本图片的标注框尺寸是否在样本图片的尺寸范围内;
所述模型训练模块,具体用于:
若所述数据处理模块的判断结果为所述图片数目等于所述预设标注图片数目、所述各样本图片的标注框的标注形式为所述预设标注形式,且所述各样本图片的标注框尺寸在样本图片的尺寸范围内,则利用所述样本数据集中的各样本图片,对所述待训练的目标检测模型进行训练。
9.根据权利要求8所述的装置,其特征在于,所述数据处理模块,还用于若所述图片数目等于所述预设标注图片数目、所述各样本图片的标注框的标注形式为所述预设标注形式,且所述各样本图片的标注框尺寸在样本图片的尺寸范围内,则将所述样本数据集划分为训练集和验证集;
所述模型训练模块,具体用于:利用所述训练集中的各样本图片,对所述待训练的目标检测模型进行训练;
所述装置还包括:
模型测试模块,用于利用所述验证集中的样本图片,对训练后的所述目标检测模型进行测试;若测试结果不满足预设的检测条件,则利用所述训练集中的各样本图片,对训练后的所述目标检测模型继续进行训练。
10.根据权利要求7所述的装置,其特征在于,所述模型生成模块包括:参数初始化单元和网络定义生成单元;
所述参数初始化单元,用于获取所述原始目标检测模型的原始网络定义文件,所述原始网络定义文件包括所述原始目标检测模型可检测的目标类别数目、各网络层的名称及类型、所述各特定层的候选框数目;
所述网络定义生成单元,用于根据所述目标类别数目及所述各特定层的候选框数目,分别计算所述各特定层的输出通道数;生成目标网络定义文件,所述目标网络定义文件为在所述原始网络定义文件中添加所述各特定层的输出通道数得到。
11.根据权利要求10所述的装置,其特征在于,所述模型生成模块还包括:模型参数读写单元;
所述模型参数读写单元,用于根据所述原始网络定义文件和所述目标网络定义文件中所述各网络层的名称及类型,从所述原始目标检测模型中,读取各常规层的预训练参数,以及各特定层中指定输出通道对应的预训练参数。
12.根据权利要求7所述的装置,其特征在于,所述指定输出通道包括目标框回归通道及目标置信度通道;所述特定层还包括类别置信度通道。
13.一种电子设备,其特征在于,包括处理器和存储器;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序时,实现权利要求1-6任一项所述的方法。
14.一种存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
CN201911104715.0A 2019-11-13 2019-11-13 目标检测模型训练方法、装置、电子设备及存储介质 Pending CN111767937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911104715.0A CN111767937A (zh) 2019-11-13 2019-11-13 目标检测模型训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911104715.0A CN111767937A (zh) 2019-11-13 2019-11-13 目标检测模型训练方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111767937A true CN111767937A (zh) 2020-10-13

Family

ID=72718933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911104715.0A Pending CN111767937A (zh) 2019-11-13 2019-11-13 目标检测模型训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111767937A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116629338A (zh) * 2023-07-13 2023-08-22 腾讯科技(深圳)有限公司 一种模型数据的处理方法、相关装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985186A (zh) * 2018-06-27 2018-12-11 武汉理工大学 一种基于改进YOLOv2的无人驾驶中行人检测方法
CN109033947A (zh) * 2018-06-11 2018-12-18 北京航空航天大学 基于深度学习的路面遗撒识别方法
CN110211173A (zh) * 2019-04-03 2019-09-06 中国地质调查局发展研究中心 一种基于深度学习的古生物化石定位和识别方法
CN110363198A (zh) * 2019-07-04 2019-10-22 武汉科技大学 一种神经网络权重矩阵拆分与组合的方法
CN110399895A (zh) * 2019-03-27 2019-11-01 上海灏领科技有限公司 图像识别的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033947A (zh) * 2018-06-11 2018-12-18 北京航空航天大学 基于深度学习的路面遗撒识别方法
CN108985186A (zh) * 2018-06-27 2018-12-11 武汉理工大学 一种基于改进YOLOv2的无人驾驶中行人检测方法
CN110399895A (zh) * 2019-03-27 2019-11-01 上海灏领科技有限公司 图像识别的方法和装置
CN110211173A (zh) * 2019-04-03 2019-09-06 中国地质调查局发展研究中心 一种基于深度学习的古生物化石定位和识别方法
CN110363198A (zh) * 2019-07-04 2019-10-22 武汉科技大学 一种神经网络权重矩阵拆分与组合的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116629338A (zh) * 2023-07-13 2023-08-22 腾讯科技(深圳)有限公司 一种模型数据的处理方法、相关装置、设备以及存储介质
CN116629338B (zh) * 2023-07-13 2024-01-30 腾讯科技(深圳)有限公司 一种模型数据的处理方法、相关装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN111737522B (zh) 视频匹配方法、基于区块链的侵权存证方法和装置
CN110675399A (zh) 屏幕外观瑕疵检测方法及设备
CN107492383B (zh) 直播内容的筛选方法、装置、设备及存储介质
CN110796647A (zh) 一种电子设备屏幕区域瑕疵检测方法与设备
CN112634201B (zh) 目标检测方法、装置和电子设备
CN111401228A (zh) 视频目标标注方法、装置及电子设备
CN114463603B (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
CN113989616A (zh) 一种目标检测方法、装置、设备和存储介质
CN115455166A (zh) 一种智能对话系统异常检测的方法、装置、介质及设备
CN109344255B (zh) 标签的填充方法及终端设备
CN114120071A (zh) 一种带有对象标注框图像的检测方法
CN112533060B (zh) 一种视频处理方法及装置
CN111767937A (zh) 目标检测模型训练方法、装置、电子设备及存储介质
CN107729944B (zh) 一种低俗图片的识别方法、装置、服务器及存储介质
CN113762455A (zh) 检测模型训练方法、单字检测方法、装置、设备及介质
CN105302700A (zh) 一种记录在触摸终端上的用户操作的方法与设备
CN111652144A (zh) 基于目标区域融合的题目分割方法、装置、设备和介质
US20210406773A1 (en) Transforming method, training device, and inference device
AU2021251463B2 (en) Generating performance predictions with uncertainty intervals
CN114065858A (zh) 一种模型训练方法、装置、电子设备及存储介质
CN110704742B (zh) 一种特征提取方法及装置
CN113255670A (zh) 非均衡小样本目标检测方法、装置和计算机设备
CN112149743A (zh) 一种访问控制方法、装置、设备及介质
CN111428016A (zh) 一种检测谣言的方法与设备
CN111523539A (zh) 一种文字检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination