CN113963322B - 一种检测模型训练方法、装置及电子设备 - Google Patents
一种检测模型训练方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113963322B CN113963322B CN202111271438.XA CN202111271438A CN113963322B CN 113963322 B CN113963322 B CN 113963322B CN 202111271438 A CN202111271438 A CN 202111271438A CN 113963322 B CN113963322 B CN 113963322B
- Authority
- CN
- China
- Prior art keywords
- detection model
- model
- target
- sample image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 221
- 238000012549 training Methods 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013145 classification model Methods 0.000 claims abstract description 40
- 238000012360 testing method Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 241000283073 Equus caballus Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本公开提供了一种检测模型训练方法、装置及电子设备,涉及计算机领域,尤其涉及计算机视觉技术领域。具体实现方案为:利用第一检测模型检测第一样本图像中存在的对象,得到所述第一样本图像中各个潜在对象所处的第一位置;根据各个所述潜在对象所处的第一位置,利用分类模型对每个所述潜在对象进行分类,得到每个所述潜在对象的预测类别;从所述潜在对象中确定所述预测类别为目标类别的目标对象;根据所述目标对象所处的第一位置和所述第一样本图像,对第一原始检测模型进行训练,得到用于检测所述目标类别的对象的第二检测模型。可以提高训练得到的检测模型的准确性。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及计算机视觉技术领域。
背景技术
检测模型能够确定出图像中存在的特定对象所处位置,如人、车辆等。为了使得检测模型能够准确地确定出图像中特定对象所处位置,需要使用标注有特定对象所处位置的样本图像对检测模型进行训练。
发明内容
本公开提供了一种用于提高训练得到的检测模型的准确性的方法、装置、设备以及存储介质。
根据本公开的第一方面,提供了一种检测模型训练方法,包括:利用第一检测模型检测第一样本图像中存在的对象,得到所述第一样本图像中各个潜在对象所处的第一位置;
根据各个所述潜在对象所处的第一位置,利用分类模型对每个所述潜在对象进行分类,得到每个所述潜在对象的预测类别;
从所述潜在对象中确定所述预测类别为目标类别的目标对象;
根据所述目标对象所处的第一位置和所述第一样本图像,对第一原始检测模型进行训练,得到用于检测所述目标类别的对象的第二检测模型。
根据本公开的第二方面,提供了一种图像识别方法,包括:
获取待检测图像;
将所述待检测图像输入至第二检测模型,得到所述第二检测模型输出的位置,作为目标类别的对象在所述待检测图像中的位置,其中,所述第二检测模型为按照上述第一方面任一所述的检测模型训练方法训练得到的。
根据本公开的第三方面,提供了一种检测模型训练装置,包括:
检测模块,用于利用第一检测模型检测第一样本图像中存在的对象,得到所述第一样本图像中各个潜在对象所处的第一位置;
分类模块,用于根据各个所述潜在对象所处的第一位置,利用分类模型对每个所述潜在对象进行分类,得到每个所述潜在对象的预测类别;
筛选模块,用于从所述潜在对象中确定所述预测类别为目标类别的目标对象;
第一训练模块,用于根据所述目标对象所处的第一位置和所述第一样本图像,对第一原始检测模型进行训练,得到用于检测所述目标类别的对象的第二检测模型。
根据本公开的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述第一方面中任一项所述的方法。
根据本公开的第四方面,提供了一种图像识别装置,包括:
图像获取模块,用于获取待检测图像;
目标识别模块,用于将所述待检测图像输入至第二检测模型,得到所述第二检测模型输出的位置,作为目标类别的对象在所述待检测图像中的位置,其中,所述第二检测模型为按照上述第一方面任一所述的检测模型训练方法训练得到的。
根据本公开的第五方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述第一方面或第二方面中任一项所述的方法。
根据本公开的第六方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述第一方面或第二方面中任一项所述的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开提供的检测模型训练方法的一种流程示意图;
图2是本公开提供的检测模型训练方法的另一种流程示意图;
图3是本公开提供的第一检测模型的训练方法的一种流程示意图;
图4是本公开提供的分类模型的训练方法的一种流程示意图;
图5是本公开提供的图像识别方法的一种流程示意图;
图6是本公开提供的检测模型训练装置的一种流程示意图;
图7是本公开提供的图像识别装置的一种流程示意图;
图8是用来实现本公开实施例的检测模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
为了更清楚的对本公开实施例提供的检测模型训练方法进行说明,下面将对本公开提供的检测模型训练方法的一种可能的应用场景进行示例性的说明。可以理解的是,以下示例仅是本公开提供的检测模型训练方法的一种可能的应用场景,在其他可能的实施例中,本公开提供的检测模型训练方法也可以应用于其他可能的应用场景,以下示例对此不做任何限制。
在计算机视觉的应用中,经常利用检测模型从图像中检测出特定对象。例如,为了更好地对道路上的车辆进行管理,需要确定道路上存在的车辆。则可以拍摄道路的图像,并利用用于检测车辆的检测模型从拍摄得到的图像中检测出车辆,这些车辆即为道路上存在的车辆。又例如,为了实现自动驾驶或辅助驾驶,需要获取道路上车辆、行人、路标的相关信息,以合理地对车辆进行控制,则可以拍摄车辆行驶前方的图像,并利用用于检测车辆、行人以及路标的检测模型从拍摄得到的图像中检测出车辆、行人、路标。
而在利用检测模型从图像中检测出特定对象之前,需要预先训练得到检测模型。相关技术中,为了降低人工标注样本图像产生的人工成本,可以利用一个预先经过训练的检测模型(下文称老师检测模型)对未经过标注的样本图像进行检测,得到检测结果,并利用检测结果监督另一个检测模型(下文称学生检测模型)的训练。但是由于老师检测模型的准确性往往有限,因此得到的检测结果存在一定的误差,导致利用检测结果监督训练得到的学生检测模型的准确性较低。
基于此,本公开提供了一种检测模型训练方法,本公开提供的检测模型训练方法可以应用于任一具备检测模型训练能力的电子设备,包括但不限于个人电脑、服务器等。本公开提供的检测模型训练方法可以如图1所示,包括:
S101,利用第一检测模型检测第一样本图像中存在的对象,得到第一样本图像中各个潜在对象所处的第一位置。
S102,根据各个潜在对象所处的第一位置,利用分类模型对每个潜在对象进行分类,得到每个潜在对象的预测类型。
S103,从潜在对象中确定预测类别为目标类别的目标对象。
S104,根据目标对象所处的第一位置和第一样本图像,对第一原始检测模型进行训练,得到用于检测目标类别的对象的第二检测模型。
选用该实施例,可以利用分类模型对第一检测模型检测出的潜在对象进行分类,从而筛选出潜在对象中的目标对象,避免第一检测模型因各种原因错误地检测出目标类别以外的其他对象。从而可以使得能够根据目标对象在样本图像中准确地位置监督第二检测模型的训练,以训练得到准确性较高的第二检测模型,即可以有效提高训练得到的第二检测模型的准确性。
为了更清楚的对本公开提供检测模型训练方法进行说明,下面将对前述S101-S104进行说明:
在S101中,第一检测模型为预先经过训练得到的,并且第一检测模型至少具备从图像中检测出目标类别的对象的能力。目标类别可以人、车辆、宠物、玩具、家居等类别中的任意一个或多个类别。下文中为描述方便仅以目标类别为车辆为例进行说明,对于目标类别为其他类别的情况原理是相同,在此不再赘述。
第一样本图像为未经过标注的样本图像,即第一样本图像中未标注出各个目标类别的对象所处的位置。第一样本图像可能存在一个潜在对象,也可能存在多个潜在对象,并且还可能不存在潜在对象。对于第一样本图像中不存在潜在对象的情况,则无法继续执行后续S102-104,在此不做讨论。下文中为描述方便,仅以第一样本图像中存在多个潜在对象的情况进行说明,对于第一样本图像中仅存在一个潜在对象的情况原理是相同的,因此在此不再赘述。
第一位置可以是以不同的形式表示的,示例性的,在一种可能的实施例中,一个潜在对象所处的第一位置可以是以该潜在对象对应的最小矩形的四个顶点的顶点坐标的形式表示的,潜在对象对应的最小矩形是指能够将该潜在对象包围在内的矩形中尺寸最小的矩形。在另一种可能的实施例中,一个潜在对象所处的第一位置也可以是以该潜在对象的几何中心的坐标的形式表示的。可以理解理解的是,无论第一位置是以何种形式表示的,第一位置用于表示潜在对象在第一样本图像中所占据的位置,由于每个潜在对象在第一样本图像中理论上占据一个区域,因此每个第一位置可以表示第一样本图像中的一个图像区域。
在S102中,分类模型为预先训练得到的用于对对象进行分类的模型。并且分类模型应当至少能区分目标类别与目标类别以外的其他类别。示例性的,假设目标类别为车辆,则分类模型可以将人和宠物划分同一类别,但是理论上不应当将车辆和宠物划分为同一类别。
如前述分析,由于每个第一位置可以表示第一样本图像中的一个图像区域,因此可以针对每个潜在对象,将该潜在对象所处的第一位置表示的图像区域输入至分类模型,得到分类模型输出的分类结果,该分类结果即为该潜在对象的预测类别。
示例性的,假设第一潜在对象所处的第一位置表示以点A、点B、点C以及点D为顶点围成的矩形,则可以是将第一样本图像中以点A、点B、点C以及点D为顶点围成的矩形图像区域输入至分类模型,得到分类模型输出的分类结果,作为第一潜在对象的预测类别。
在S103中,可以理解的是,出于各种原因第一检测模型可能从第一样本图像检测出其他类别的对象,例如,第一检测模型除了具备检测目标类别的对象的能力以外,还具备检测其他类别的对象的能力,则第一检测模型检测出的潜在对象中除了目标类别的对象以外,还包括其他类别的对象。又例如,虽然第一检测模型仅具备检测目标类别的对象的能力,但是受限制第一检测模型的准确性,第一检测模型错误地将其他类别的对象确定为目标类别的对象,导致检测出的潜在对象中包括其他类别的对象。
因此,可能仅有一部分潜在对象为目标对象,也可能所有潜在对象均为目标对象。示例性的,假设目标类别为车辆,共计存在三个潜在对象,分别记为第一潜在对象、第二潜在对象以及第三潜在对象,其中,第一潜在对象和第二潜在对象的预测类别为车辆,第三潜在对象的类别为非车辆,则将第一潜在对象和第二潜在对象确定为目标对象。
在S104中,第一原始检测模型可以是经过训练得到的检测模型,也可以是根据用户需求或者经验生成的检测模型。由于是根据目标对象所处的第一位置和第一样本图像对第一原始检测模型进行训练的,因此第一原始检测模型在训练过程中可以学习如何从第一样本图像中确定目标对象所处的第一位置,而目标对象的类别为目标类别,因此学习如何从第一样本图像中确定目标对象所处的第一位置,即学习如何从图像中检测出目标类别的对象,因此训练得到的第二检测模型为用于检测目标类别的对象的检测模型。
参见图2,图2所示为本公开提供的检测模型训练方法的另一种流程示意图,可以包括:
S201,利用第一检测模型检测第一样本图像中存在的对象,得到第一样本图像中各个潜在对象所处的第一位置。
该步骤与前述S101相同,可以参见前述关于S101的相关说明,在此不再赘述。
S202,根据各个潜在对象所处的第一位置,利用分类模型对每个潜在对象进行分类,得到每个潜在对象的预测类别。
该步骤与前述S102相同,可以参见前述关于S102的相关说明,在此不再赘述。
S203,从潜在对象中确定预测类别为目标类别的目标对象。
该步骤与前述S103相同,可以参见前述关于S103的相关说明,在此不再赘述。
S204,将第一样本图像输入至第一原始检测模型,得到第一原始检测模型输出的第二位置。
可以认为第一原始检测模型输出的第二位置为:第一原始检测模型从第一样本图像中检测出的目标类别的对象所处的预测位置。
S205,根据目标对象所处的第一位置和第二位置的差值,调整第一原始检测模型的模型参数,得到用于检测目标类别的对象的第二检测模型。
第一位置和第二位置的差值可以是指第一位置和第二位置之间的欧氏距离,也可以是指第一位置和第二位置之间的马氏距离。可以理解的是,目标对象所处的第一位置可以认为是第一样本图像中目标类别的对象所处的真实位置。因此,根据目标对象所处的第一位置和第二位置的差值调整模型参数,可以使得第一原始检测模型检测得到的预测位置与真实位置更加接近,从而使得训练得到的第二检测模型能够准确地从图像中检测出目标类别的对象所处的位置。
调整模型参数的方式根据应用场景的不同可以不同,示例性的,可以是根据目标对象所处的第一位置和第二位置的差值构建损失函数,并按照损失函数梯度下降的方向调整第一原始检测模型的模型参数。并且,在一种可能的实施例中,为使得第一原始检测模型得到充分训练,第一样本图像的数量为多个。
选用该实施例,可以根据目标对象所处的第一位置和第一样本图像,以相对简单地方式训练得到第二检测模型,进一步降低了训练检测模型所需的计算量,提高了检测模型的训练效率。
为了更清楚的对本公开提供的检测模型训练方法进行说明,下面分别对第一检测模型和分类模型进行说明。
第一检测模型可以是基于深度学习训练得到的神经网络模型,也可以是基于传统机器学习训练得到的算法模型。同理,第二检测模型可以是基于深度学习训练得到的神经网络模型,也可以是基于传统机器学习训练得到的算法模型,并且可以是第一检测模型和第二检测模型同为神经网络模型或算法模型,也可以是其中一者为神经网络模型,另一者为算法模型,本公开对此不做任何限制。
为描述方便,下文仅以第一检测模型和第二检测模型同为神经网络的情况为例进行说明,对于第一检测模型或第二检测模型不为神经网络的情况,原理是相同的,在此不再赘述。
第一检测模型和第二检测模型的网络结构可以相同也可以不同。示例性的,在一种可能的应用场景中,用户预先训练得到第一网络结构的第一检测模型,但是由于第一网络结构算法复杂度较高,难以适用于移动终端,用户为获取能适用于移动终端的检测模型,可以利用第一检测模型,按照本公开提供的检测模型训练方法训练得到第二网络结构的第二检测模型,其中,第二网络结构的算法复杂度低于第一网络结构的算法复杂度。
在另一种可能的应用场景中,用户预先训练得到第一网络结构的第一检测模型,但是由于实现第一检测模型所使用的第一程序语言难以维护或无法适用于特定平台,因此用户希望获取使用第二程序语言实现的检测模型,则用户可以利用第一检测模型,按照本公开提供的检测模型训练方法训练得到第一网络结构的第二检测模型,其中,第二检测模型是使用第二程序语言实现的。
参见图3,图3所示为本公开提供的第一检测模型训练方法,第一检测模型可以是按照图3所示的方法预先训练得到的,在其他可能的实施例中,第一检测模型也可以是通过其他方法预先训练得到的,本公开对此不做任何限制。图3所示的第一检测模型训练方法可以包括:
S301,将第二样本图像输入至第二原始检测模型,得到第二原始检测模型输出的第三位置。
其中,第二样本图像预先标注有目标类别的对象所处的第四位置。第二样本图像可以人工标注得到的,也可以是通过机器自动标注得到的,示例性的,可以是利用预先训练得到的第三检测模型对第二样本图像进行检测,以从第二样本图像中检测出目标类别的对象所处的第四位置,并在第二样本图像中标注第四位置。
S302,根据第三位置和第四位置的差值,调整第二原始检测模型的模型参数,得到第一检测模型。
第三位置和第四位置的差值可以是指第三位置和第四位置之间的欧氏距离,也可以是指第一位置和第二位置之间的马氏距离。可以理解的是,第三位置可以认为是第二原始检测模型从第二样本图像中检测出的目标类别的对象所处的预测位置,并且第四位置可以认为是第一样本图像中目标类别的对象所处的真实位置。
因此,根据第三位置和第四位置的差值调整模型参数,可以使得第二原始检测模型检测得到的预测位置与真实位置更加接近,从而使得训练得到的第一检测模型能够准确地从图像中检测出目标类别的对象所处的位置。
调整模型参数的方式根据应用场景的不同可以不同,示例性的,可以是根据第三位置和第四位置的差值构建损失函数,并按照损失函数梯度下降的方向调整第二原始检测模型的模型参数。并且,在一种可能的实施例中,为使得第二原始检测模型得到充分训练,第二样本图像的数量为多个。
选用该实施例,可以训练得到用于检测目标类别的对象的第一检测模型,以使得第一检测模型检能够相对准确地从第一样本图像中检测出目标类别的对象所处的位置,即提高第一位置的准确性,从而提高训练得到的第二检测模型的准确性。
分类模型可以是基于深度学习训练得到的神经网络模型,也可以是基于传统机器学习训练得到的算法模型。分类模型能够将对象分为多种不同的类别,该多种不同的类别中至少应当包含目标类别。
分类模型的训练和第一检测模型的训练可以是相对独立的,即在分类模型的训练过程中不使用第一检测模型,并且分类模型的训练过程中所使用的样本图像不为第二样本图像。分类模型的训练和第一检测模型的训练可以是相互的,即在分类模型的训练过程中使用第一检测模型,或者分类模型的训练过程中所使用的样本图像为第二样本图像。
示例性的,如图4所示,图4所示为本公开提供的分类模型的训练方法的一种流程示意图,可以包括:
S401,将第二样本图像输入至第一检测模型,得到第一检测模型输出的第五位置。
第一检测模型输出的第五位置可以认为是:第一检测模型从第二样本图像中检测出的目标类别的对象所处的预测位置,并且由于第一检测模型是利用第二样本图像训练得到的,因此第一检测模型理论上可以准确地从第二样本图像中检测出目标类别的对象所处的位置,因此第五位置可以认为是:第二样本图像中目标类别的对象所处的真实位置。
S402,利用待训练模型对第二样本图像中位于第五位置的对象进行分类,得到输出类别。
如前述分析,第五位置可以表示第二样本图像中的一个图像区域,因此利用待训练模型对第二样本图像中位于第五位置的对象进行分类,可以是指将第二样本图像中第五位置所表示的图像区域输入至待训练模型,得到待训练模型的输出。
S403,根据输出类别和目标类别的差值,调整待训练模型的模型参数,得到分类模型。
如前述分析,第五位置可以认为是:第二样本图像中目标类别的对象所处的真实位置。因此,第二样本图像中位于第五位置的对象的类别应当为目标类别。因此根据输出类别和目标类别的差值调整待训练模型的模型参数,可以使得待训练模型输出的输出类别与对象的实际类别更加接近,从而使得训练得到的分类模型能够准确地进行分类。
输出类别和目标类别的差值可以是指:输出类别和目标类别在特征空间中的欧式距离,也可以是指输出类别和目标类别在特征空间中的马式距离。
调整模型参数的方式根据应用场景的不同可以不同,示例性的,可以是根据目标类别和输出类别的差值构建损失函数,并按照损失函数梯度下降的方向调整待训练模型的模型参数。
选用该实施例,可以利用第二样本图像以及第一检测模型训练得到分类模型,由于第二样本图像为训练第一检测模型过程中所使用的样本图像,无需另外获取用于训练分类模型的样本图像和检测模型,有效降低了训练得到分类模型的成本。
下面将对第二检测模型的应用进行说明,可以参见图5,图5所示为本公开提供的图像识别方法的一种流程示意图,可以包括:
S501,获取待检测图像。
根据应用场景的不同,待检测图像可以是通过不同方式拍摄到的图像。例如,假设出于实际需求需要获取指定区域的人员出没状况,则待检测图像可以是由视野包括该指定区域的图像采集设备拍摄得到的。又例如,假设出于实际需求需要获取指定路段的车辆分布情况,则待检测图像可以是由视野包括该指定路段的图像采集设备拍摄得到的。
S502,将待检测图像输入至第二检测模型,得到第二检测模型输出的位置,作为目标类别的对象在待检测图像中的位置。
第二检测模型为通过前述任一检测模型训练方法训练得到的。如前述分析,由于第二检测模型为用于检测目标类别的对象的第二检测模型,因此第二检测模型输出的位置可以认为是目标类别的对象在待检测图像中的位置。
目标类别可以是车辆、人员、交通标志中的一个或多个类别。在其他可能的实施例中,目标类别也可以为车辆、人员、交通标志以外的其他类别,如宠物、货物、移动机器人等。
并且目标类别根据应用场景的不同可以是不同的类别。示例性的,以前述需要获取指定区域的人员出没状况的应用场景为例,目标类别为人员,又以前述需要获取指定路段的车辆分布情况的应用场景为例,目标类别为车辆。如果待检测图像中仅存在一个目标类别的对象,则第二检测模型输出的位置即为该一个目标类别的对象。如果待检测图像中存在多个目标类别的对象,则第二检测模型输出的位置,可以是该多个目标类别的对象各自的位置,也可以是该多个目标类别的对象中部分对象的位置。如果待检测图像中不存在目标类别的对象,则第二检测模型输出的位置为空,即第二检测模型未输出位置。
选用该实施例,由于如前述分析,通过前述检测模型训练方法训练得到的第二检测模型准确性更高,因此第二检测模型输出的位置与目标类别的对象在待检测图像中所处的位置之间的差距较小(甚至没有差距)。因此将第二检测模型输出的位置作为待检测图像中目标类别的对象所处的位置,可以实现更准确地确定出待检测图像中目标类别的对象所处的位置。
参见图6,图6所示为本公开提供的检测模型训练装置,包括:
检测模块601,用于利用第一检测模型检测第一样本图像中存在的对象,得到所述第一样本图像中各个潜在对象所处的第一位置;
分类模块602,用于根据各个所述潜在对象所处的第一位置,利用分类模型对每个所述潜在对象进行分类,得到每个所述潜在对象的预测类别;
筛选模块603,用于从所述潜在对象中确定所述预测类别为目标类别的目标对象;
第一训练模块604,用于根据所述目标对象所处的第一位置和所述第一样本图像,对第一原始检测模型进行训练,得到用于检测所述目标类别的对象的第二检测模型。
在一种可能的实施例中,所述第一训练模块604,具体用于将所述第一样本图像输入至第一原始检测模型,得到所述第一原始检测模型输出的第二位置;
根据所述目标对象所处的第一位置和所述第二位置的差值,调整所述第一原始检测模型的模型参数,得到用于检测所述目标类别的对象的第二检测模型。
在一种可能的实施例中,所述装置还包括第二训练模块,用于按照以下方式预先训练得到所述第一检测模型:
将第二样本图像输入至第二原始检测模型,得到所述第二原始检测模型输出的第三位置,所述第二样本图像预先标注有目标类别的对象所处的第四位置;
根据所述第三位置和所述第四位置的差值,调整所述第二原始检测模型的模型参数,得到第一检测模型。
在一种可能的实施例中,所述装置还包括第三训练模块,用于按照以下方式预先训练得到分类模型:
将所述第二样本图像输入至所述第一检测模型,得到所述第一检测模型输出的第五位置;
利用待训练模型对所述第二样本图像中位于所述第五位置的对象进行分类,得到输出类别;
根据所述输出类别和所述目标类别的差值,调整所述待训练模型的模型参数,得到分类模型。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
参见图7,图7所示为本公开提供的图像识别装置,包括:
图像获取模块701,用于获取待检测图像;
目标识别模块702,用于将所述待检测图像输入至第二检测模型,得到所述第二检测模型输出的位置,作为目标类别的对象在所述待检测图像中的位置,其中,所述第二检测模型为按照前述任一所述的检测模型训练方法训练得到的。
在一种可能的实施中,所述目标类别为车辆、人员、交通标志中的一个或多个类别。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如检测模型训练方法或图像识别方法。例如,在一些实施例中,检测模型训练方法或图像识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的检测模型训练方法或图像识别方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行检测模型训练方法或图像识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (14)
1.一种检测模型训练方法,包括:
利用第一检测模型检测第一样本图像中存在的对象,得到所述第一样本图像中各个潜在对象所处的第一位置;所述第一检测模型具备从图像中检测出目标类别的对象的能力;所述第一样本图像为未经过标注的样本图像;
根据各个所述潜在对象所处的第一位置,利用分类模型对每个所述潜在对象进行分类,得到每个所述潜在对象的预测类别;所述分类模型为预先训练得到的用于对对象进行分类的模型,所述分类模型能区分目标类别与目标类别以外的其他类别;
从所述潜在对象中确定所述预测类别为目标类别的目标对象;
根据所述目标对象所处的第一位置和所述第一样本图像,对第一原始检测模型进行训练,得到用于检测所述目标类别的对象的第二检测模型;其中,把所述目标对象所处的第一位置视为所述第一样本图像中目标类别的对象所处的真实位置;所述第一原始检测模型是经过训练得到的检测模型,或,根据用户需求或者经验生成的检测模型。
2.根据权利要求1所述的方法,其中,所述根据所述目标对象所处的第一位置和所述第一样本图像,对第一原始检测模型进行训练,得到用于检测所述目标类别的对象的第二检测模型,包括:
将所述第一样本图像输入至第一原始检测模型,得到所述第一原始检测模型输出的第二位置;
根据所述目标对象所处的第一位置和所述第二位置的差值,调整所述第一原始检测模型的模型参数,得到用于检测所述目标类别的对象的第二检测模型。
3.根据权利要求1所述的方法,所述第一检测模型通过以下方式预先训练得到:
将第二样本图像输入至第二原始检测模型,得到所述第二原始检测模型输出的第三位置,所述第二样本图像预先标注有目标类别的对象所处的第四位置;
根据所述第三位置和所述第四位置的差值,调整所述第二原始检测模型的模型参数,得到第一检测模型。
4.根据权利要求3所述的方法,所述分类模型通过以下方式预先训练得到:
将所述第二样本图像输入至所述第一检测模型,得到所述第一检测模型输出的第五位置;
利用待训练模型对所述第二样本图像中位于所述第五位置的对象进行分类,得到输出类别;
根据所述输出类别和所述目标类别的差值,调整所述待训练模型的模型参数,得到分类模型。
5.一种图像识别方法,包括:
获取待检测图像;
将所述待检测图像输入至第二检测模型,得到所述第二检测模型输出的位置,作为目标类别的对象在所述待检测图像中的位置,其中,所述第二检测模型为按照权利要求1-4任一所述的检测模型训练方法训练得到的。
6.根据权利要求5所述的方法,其中,所述目标类别为车辆、人员、交通标志中的一个或多个类别。
7.一种检测模型训练装置,包括:
检测模块,用于利用第一检测模型检测第一样本图像中存在的对象,得到所述第一样本图像中各个潜在对象所处的第一位置;所述第一检测模型具备从图像中检测出目标类别的对象的能力;所述第一样本图像为未经过标注的样本图像;
分类模块,用于根据各个所述潜在对象所处的第一位置,利用分类模型对每个所述潜在对象进行分类,得到每个所述潜在对象的预测类别;所述分类模型为预先训练得到的用于对对象进行分类的模型,所述分类模型能区分目标类别与目标类别以外的其他类别;
筛选模块,用于从所述潜在对象中确定所述预测类别为目标类别的目标对象;
第一训练模块,用于根据所述目标对象所处的第一位置和所述第一样本图像,对第一原始检测模型进行训练,得到用于检测所述目标类别的对象的第二检测模型;其中,把所述目标对象所处的第一位置视为所述第一样本图像中目标类别的对象所处的真实位置;所述第一原始检测模型是经过训练得到的检测模型,或,根据用户需求或者经验生成的检测模型。
8.根据权利要求7所述的装置,其中,所述第一训练模块,具体用于将所述第一样本图像输入至第一原始检测模型,得到所述第一原始检测模型输出的第二位置;
根据所述目标对象所处的第一位置和所述第二位置的差值,调整所述第一原始检测模型的模型参数,得到用于检测所述目标类别的对象的第二检测模型。
9.根据权利要求7所述的装置,所述装置还包括第二训练模块,用于按照以下方式预先训练得到所述第一检测模型:
将第二样本图像输入至第二原始检测模型,得到所述第二原始检测模型输出的第三位置,所述第二样本图像预先标注有目标类别的对象所处的第四位置;
根据所述第三位置和所述第四位置的差值,调整所述第二原始检测模型的模型参数,得到第一检测模型。
10.根据权利要求9所述的装置,所述装置还包括第三训练模块,用于按照以下方式预先训练得到分类模型:
将所述第二样本图像输入至所述第一检测模型,得到所述第一检测模型输出的第五位置;
利用待训练模型对所述第二样本图像中位于所述第五位置的对象进行分类,得到输出类别;
根据所述输出类别和所述目标类别的差值,调整所述待训练模型的模型参数,得到分类模型。
11.一种图像识别装置,包括:
图像获取模块,用于获取待检测图像;
目标识别模块,用于将所述待检测图像输入至第二检测模型,得到所述第二检测模型输出的位置,作为目标类别的对象在所述待检测图像中的位置,其中,所述第二检测模型为按照权利要求1-4任一所述的检测模型训练方法训练得到的。
12.根据权利要求11所述的装置,其中,所述目标类别为车辆、人员、交通标志中的一个或多个类别。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4或5-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-4或5-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111271438.XA CN113963322B (zh) | 2021-10-29 | 2021-10-29 | 一种检测模型训练方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111271438.XA CN113963322B (zh) | 2021-10-29 | 2021-10-29 | 一种检测模型训练方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113963322A CN113963322A (zh) | 2022-01-21 |
CN113963322B true CN113963322B (zh) | 2023-08-25 |
Family
ID=79468294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111271438.XA Active CN113963322B (zh) | 2021-10-29 | 2021-10-29 | 一种检测模型训练方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113963322B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605984A (zh) * | 2013-11-14 | 2014-02-26 | 厦门大学 | 基于超图学习的室内场景分类方法 |
CN103984746A (zh) * | 2014-05-26 | 2014-08-13 | 西安电子科技大学 | 基于半监督分类与区域距离测度的sar图像识别方法 |
CN109029363A (zh) * | 2018-06-04 | 2018-12-18 | 泉州装备制造研究所 | 一种基于深度学习的目标测距方法 |
CN112183414A (zh) * | 2020-09-29 | 2021-01-05 | 南京信息工程大学 | 一种基于混合空洞卷积的弱监督遥感目标检测方法 |
CN113298159A (zh) * | 2021-05-28 | 2021-08-24 | 平安科技(深圳)有限公司 | 目标检测方法、装置、电子设备及存储介质 |
CN113449811A (zh) * | 2021-07-16 | 2021-09-28 | 桂林电子科技大学 | 一种基于ms-wsda的低照度目标检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11120271B2 (en) * | 2014-02-28 | 2021-09-14 | Second Spectrum, Inc. | Data processing systems and methods for enhanced augmentation of interactive video content |
JP7026826B2 (ja) * | 2018-09-15 | 2022-02-28 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | 画像処理方法、電子機器および記憶媒体 |
US11373064B2 (en) * | 2019-07-22 | 2022-06-28 | Raytheon Company | Cross-modality automatic target recognition |
KR102287460B1 (ko) * | 2019-08-16 | 2021-08-10 | 엘지전자 주식회사 | 인공지능 무빙 에이전트 |
-
2021
- 2021-10-29 CN CN202111271438.XA patent/CN113963322B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605984A (zh) * | 2013-11-14 | 2014-02-26 | 厦门大学 | 基于超图学习的室内场景分类方法 |
CN103984746A (zh) * | 2014-05-26 | 2014-08-13 | 西安电子科技大学 | 基于半监督分类与区域距离测度的sar图像识别方法 |
CN109029363A (zh) * | 2018-06-04 | 2018-12-18 | 泉州装备制造研究所 | 一种基于深度学习的目标测距方法 |
CN112183414A (zh) * | 2020-09-29 | 2021-01-05 | 南京信息工程大学 | 一种基于混合空洞卷积的弱监督遥感目标检测方法 |
CN113298159A (zh) * | 2021-05-28 | 2021-08-24 | 平安科技(深圳)有限公司 | 目标检测方法、装置、电子设备及存储介质 |
CN113449811A (zh) * | 2021-07-16 | 2021-09-28 | 桂林电子科技大学 | 一种基于ms-wsda的低照度目标检测方法 |
Non-Patent Citations (1)
Title |
---|
基于深度学习的半监督高光谱图像分类;樊宏渊;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113963322A (zh) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111598164B (zh) | 识别目标对象的属性的方法、装置、电子设备和存储介质 | |
EP3637310A1 (en) | Method and apparatus for generating vehicle damage information | |
WO2020048265A1 (zh) | 多级目标分类及交通标志检测方法和装置、设备、介质 | |
CN112966742A (zh) | 模型训练方法、目标检测方法、装置和电子设备 | |
CN113012176B (zh) | 样本图像的处理方法、装置、电子设备及存储介质 | |
US11915500B2 (en) | Neural network based scene text recognition | |
CN115861400B (zh) | 目标对象检测方法、训练方法、装置以及电子设备 | |
CN115797736B (zh) | 目标检测模型的训练和目标检测方法、装置、设备和介质 | |
CN112712036A (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
CN112989987A (zh) | 用于识别人群行为的方法、装置、设备以及存储介质 | |
CN110795975A (zh) | 人脸误检优化方法及装置 | |
CN113705716B (zh) | 图像识别模型训练方法、设备、云控平台及自动驾驶车辆 | |
CN113378857A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
CN115298705A (zh) | 车牌识别方法、装置、电子设备及存储介质 | |
CN113963322B (zh) | 一种检测模型训练方法、装置及电子设备 | |
CN114724113B (zh) | 道路标牌识别方法、自动驾驶方法、装置和设备 | |
CN113344121B (zh) | 训练招牌分类模型和招牌分类的方法 | |
CN110852261A (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
Banerjee et al. | Automated parking system in smart campus using computer vision technique | |
CN113963186A (zh) | 目标检测模型的训练方法、目标检测方法及相关装置 | |
CN113989720A (zh) | 目标检测方法、训练方法、装置、电子设备及存储介质 | |
CN113378836A (zh) | 图像识别方法、装置、设备、介质及程序产品 | |
CN113591569A (zh) | 障碍物检测方法、装置、电子设备以及存储介质 | |
CN116663650B (zh) | 深度学习模型的训练方法、目标对象检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |