CN111931920A - 基于级联神经网络的目标检测方法、装置及存储介质 - Google Patents
基于级联神经网络的目标检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111931920A CN111931920A CN202011022685.1A CN202011022685A CN111931920A CN 111931920 A CN111931920 A CN 111931920A CN 202011022685 A CN202011022685 A CN 202011022685A CN 111931920 A CN111931920 A CN 111931920A
- Authority
- CN
- China
- Prior art keywords
- target
- model
- training
- neural network
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于级联神经网络的目标检测方法、装置及存储介质,属于目标检测技术领域。所述方法包括:获取待检测图像数据;利用所述级联神经网络中的第一目标检测模型对所述待检测图像数据中的目标图像进行检测,得到第一检测结果;对所述第一检测结果中的目标框经过预设倍数的放大,并将放大后的目标框内的图像数据作为第二检测结果;利用所述级联神经网络中的第二目标检测模型对所述第二检测结果中的目标图像进行检测,得到目标检测结果,其中所述第一目标检测模型与所述第二目标检测模型通过具有相同的神经网络结构训练得到。本发明实施例适用于目标检测过程。
Description
技术领域
本发明涉及目标检测技术领域,具体地涉及一种基于级联神经网络的目标检测方法、装置及存储介质。
背景技术
目前神经网络广泛运用于图像处理、语音识别以及自然语言处理等领域。其中,图像处理的目标检测技术在智能视频监控、自动驾驶、工业监测等领域都有广泛的应用。现有的利用深度神经网络进行目标检测的方法仍存在一些问题:在复杂场景下,目标检测的识别准确率较低;目标检测的网络模型复杂度过高带来的训练过程复杂、耗时较长,同时给检测速度带来影响,难以满足目标检测的实时性要求。
发明内容
本发明实施例的目的是提供一种基于级联神经网络的目标检测方法、装置及存储介质,本发明实施例中利用第一目标检测模型进行目标检测后,再通过第二目标检测模型进行二次检测,进一步提高了目标检测的准确度,同时由于本发明中的级联神经网络中的两个模型具有相同的神经网络结构,网络模型的复杂度降低,耗费的资源量减少,保证了检测速度,能够满足实时性检测的要求。
为了实现上述目的,本发明实施例提供一种基于级联神经网络的目标检测方法,所述方法包括:获取待检测图像数据;利用所述级联神经网络中的第一目标检测模型对所述待检测图像数据中的目标图像进行检测,得到第一检测结果;对所述第一检测结果中的目标框经过预设倍数的放大,并将放大后的目标框内的图像数据作为第二检测结果;利用所述级联神经网络中的第二目标检测模型对所述第二检测结果中的目标图像进行检测,得到目标检测结果,其中所述第一目标检测模型与所述第二目标检测模型通过具有相同的神经网络结构训练得到。
进一步地,在所述获取待检测图像数据之前,所述方法还包括:将采集的具有目标图像的图像数据作为第一模型数据集;利用目标框对所述第一模型数据集中的目标图像进行标注,得到与所述第一模型数据集对应的标注数据集;预设具有相同的神经网络结构的第一神经网络和第二神经网络。
进一步地,通过下述方式训练得到所述第一目标检测模型:通过所述第一模型数据集和标注数据集,得到训练集和对应的标注训练集,以及测试集和对应的标注测试集;利用所述训练集和对应的标注训练集对所述第一神经网络进行训练,得到待定模型;利用所述待定模型对所述测试集中的目标图像进行检测,得到初步检测结果;根据所述初步检测结果与所述标注测试集的比较结果以及设定阈值,确定所述初步检测结果中的伪正样本,并由所述伪正样本得到二次训练集和二次标注训练集;利用所述二次训练集和二次标注训练集对所述待定模型进行训练,得到所述第一目标检测模型。
进一步地,所述根据所述初步检测结果与所述标注测试集的比较结果以及设定阈值,确定所述初步检测结果中的伪正样本,并由所述伪正样本得到二次训练集和二次标注训练集包括:计算所述初步检测结果中的预测边界框与所述标注测试集中对应的目标框之间的交并比;将所述交并比小于所述设定阈值的测试样本作为所述初步检测结果中的伪正样本;将所述伪正样本对应的所述测试集中的测试样本作为二次训练集,并将所述伪正样本对应的所述标注测试集中的标注测试样本作为二次标注训练集。
进一步地,通过下述方式训练得到所述第二目标检测模型:将所述标注数据集中的目标框在设定倍数范围内随机放大,并提取放大后的目标框内的图像数据作为第二模型数据集;利用所述第二模型数据集对所述第二神经网络进行训练,得到所述第二目标检测模型。
相应地,本发明实施例还提供一种基于级联神经网络的目标检测装置,所述装置包括:获取单元,用于获取待检测图像数据;初步检测单元,用于利用所述级联神经网络中的第一目标检测模型对所述待检测图像数据中的目标图像进行检测,得到第一检测结果;结果调整单元,用于对所述第一检测结果中的目标框经过预设倍数的放大,并将放大后的目标框内的图像数据作为第二检测结果;目标检测单元,用于利用所述级联神经网络中的第二目标检测模型对所述第二检测结果中的目标图像进行检测,得到目标检测结果,其中所述第一目标检测模型与所述第二目标检测模型通过具有相同的神经网络结构训练得到。
进一步地,所述装置还包括:数据采集单元,用于将采集的具有目标图像的图像数据作为第一模型数据集;数据标注单元,用于利用目标框对所述第一模型数据集中的目标图像进行标注,得到与所述第一模型数据集对应的标注数据集;网络预设单元,用于预设具有相同的神经网络结构的第一神经网络和第二神经网络。
进一步地,所述装置还包括第一模型训练单元,用于通过下述方式训练得到所述第一目标检测模型:通过所述第一模型数据集和标注数据集,得到训练集和对应的标注训练集,以及测试集和对应的标注测试集;利用所述训练集和对应的标注训练集对所述第一神经网络进行训练,得到待定模型;利用所述待定模型对所述测试集中的目标图像进行检测,得到初步检测结果;根据所述初步检测结果与所述标注测试集的比较结果以及设定阈值,确定所述初步检测结果中的伪正样本,并由所述伪正样本得到二次训练集和二次标注训练集;利用所述二次训练集和二次标注训练集对所述待定模型进行训练,得到所述第一目标检测模型。
进一步地,所述根据所述初步检测结果与所述标注测试集的比较结果以及设定阈值,确定所述初步检测结果中的伪正样本,并由所述伪正样本得到二次训练集和二次标注训练集包括:计算所述初步检测结果中的预测边界框与所述标注测试集中对应的目标框之间的交并比;将所述交并比小于所述设定阈值的测试样本作为所述初步检测结果中的伪正样本;将所述伪正样本对应的所述测试集中的测试样本作为二次训练集,并将所述伪正样本对应的所述标注测试集中的标注测试样本作为二次标注训练集。
进一步地,所述装置还包括第二模型训练单元,用于通过下述方式训练得到所述第二目标检测模型:将所述标注数据集中的目标框在设定倍数范围内随机放大,并提取放大后的目标框内的图像数据作为第二模型数据集;利用所述第二模型数据集对所述第二神经网络进行训练,得到所述第二目标检测模型。
相应地,本发明实施例还提供一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令用于使得机器执行如上所述的基于级联神经网络的目标检测方法。
在本发明实施例中,通过具有相同的神经网络结构训练得到的第一目标检测模型与第二目标检测模型组成的级联神经网络对待检测图像数据进行目标检测,其中对第一目标检测模型进行检测得到第一检测结果中的目标框经过预设倍数的放大,并将放大后的目标框内的图像数据作为第二检测结果,并利用所述第二目标检测模型对所述第二检测结果中的目标图像进行检测,从而得到最终的目标检测结果。本发明实施例利用第一目标检测模型进行目标检测后,再通过第二目标检测模型进行二次检测,进一步提高了目标检测的准确度,同时由于本发明实施例中的级联神经网络中的两个模型具有相同的神经网络结构,网络模型的复杂度降低,耗费的资源量减少,保证了检测速度,能够满足实时性检测的要求。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施例,但并不构成对本发明实施例的限制。在附图中:
图1是本发明实施例提供的一种基于级联神经网络的目标检测方法的流程示意图;
图2是本发明实施例提供的一种基于级联神经网络的目标检测装置的结构示意图;
图3是本发明实施例提供的另一种基于级联神经网络的目标检测装置的结构示意图;
图4是本发明实施例提供的又一种基于级联神经网络的目标检测装置的结构示意图;
图5是本发明实施例提供的再一种基于级联神经网络的目标检测装置的结构示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明实施例,并不用于限制本发明实施例。
下面首先结合附图具体描述根据本发明实施例的基于级联神经网络的目标检测方法。
如图1所示,根据本发明实施例的基于级联神经网络的目标检测方法包括以下步骤:
步骤S101,获取待检测图像数据;
步骤S102,利用所述级联神经网络中的第一目标检测模型对所述待检测图像数据中的目标图像进行检测,得到第一检测结果;
步骤S103,对所述第一检测结果中的目标框经过预设倍数的放大,并将放大后的目标框内的图像数据作为第二检测结果;
步骤S104,利用所述级联神经网络中的第二目标检测模型对所述第二检测结果中的目标图像进行检测,得到目标检测结果,其中所述第一目标检测模型与所述第二目标检测模型通过具有相同的神经网络结构训练得到。
其中,所述待检测图像数据可以是待检测的图片,或者是从待检测的视频图像序列中截取的图像数据,在本发明实施例中不做限定。
将获取的待检测图像数据输入到所述级联神经网络中的第一目标检测模型进行目标检测,即对所述待检测图像数据中的目标图像进行检测,得到第一检测结果,所述第一检测结果中包括经由目标框进行标注的目标图像。为了更加精准定位目标图像,第一目标检测模型仅是对目标图像进行一个粗略定位,需要利用第二目标检测模型进行精确定位。
在利用第二目标检测模型进行目标检测之前,为了避免遗失目标图像周围的重要图像数据,对所述第一检测结果中的目标框经过预设倍数的放大,例如将所述目标框放大0.5倍,所述目标框经扩充后,框内新加入了目标图像周围的其它背景信息,并将放大后的目标框内的图像数据作为第二检测结果,利用所述级联神经网络中的第二目标检测模型对所述第二检测结果中的目标图像进行检测,得到目标检测结果,可以更准确地对目标图像进行检测。
需要说明的是,本发明实施例的所述级联神经网络中的第一目标检测模型与第二目标检测模型采用相同的神经网络结构,例如,所述神经网络结构可以采用Mobile Net和YOLOv3相结合的Mobile Net-YOLOv3结构,其中Mobile Net可以将标准卷积分解成一个深度卷积和一个点卷积(1×1卷积核),深度卷积将每个卷积核应用到每一个通道,而1×1的卷积核用来组合通道卷积的输出。YOLOv3结构由53个全卷积层组成。
在本发明实施例的一种实施方式中,在对待检测图像数据进行目标检测之前,还需要对所述级联神经网络中的两个模型进行训练,以建立所述级联神经网络。
首先,需要采集具有目标图像的图像数据,并将其作为第一模型数据集。然后,利用标注工具对所述第一模型数据集中的目标图像经由目标框进行标注,从而得到与所述第一模型数据集对应的标注数据集。另外,预设具有相同的神经网络结构的第一神经网络和第二神经网络,上述两个神经网络的结构处于初始状态,需要经过下面的训练分别得到第一目标检测模型与所述第二目标检测模型。
对于所述第一目标检测模型通过下述方式训练得到:
1)通过所述第一模型数据集和标注数据集,得到训练集和对应的标注训练集,以及测试集和对应的标注测试集。
也就是说,将所述第一模型数据集和标注数据集分别划分为训练集和测试集。
2)利用所述训练集和对应的标注训练集对所述第一神经网络进行训练,得到待定模型。
在对所述第一神经网络进行训练时,采用SGD(Stochastic Gradient Descent,随机梯度下降)优化方式,初始学习率设置为0.0005,epoch设置为90,batchsize设置为64。其中所述第一神经网络和第二神经网络的基础网络采用Mobile Net-YOLOv3。
3)利用所述待定模型对所述测试集中的目标图像进行检测,得到初步检测结果;
4)根据所述初步检测结果与所述标注测试集的比较结果以及设定阈值,确定所述初步检测结果中的伪正样本,并由所述伪正样本得到二次训练集和二次标注训练集。
其中,所述设定阈值采用IoU(Intersection over Union,交并比)进行表示,即在得到初步检测结果之后,计算初步检测结果中的预测边界框与标注测试集中对应的目标框的交集与并集之间的比率。在本发明实施例中,在对所述测试集中的目标图像进行检测时,将完全没有检测出目标图像的测试样本作为负样本,对于该类样本直接丢弃,后续不再使用;对于检测出目标图像的测试样本作为正样本。其中,根据设定阈值将正样本划分为真正样本和伪正样本,例如将所述设定阈值设定为0.5,也就是说,当预测边界框与目标框之间的交并比高于一半的时候,将该样本认定为真正样本,当交并比低于一半的时候,则将该样本认定为伪正样本(即检测结果较差的正样本)。在本发明实施例中将所有伪正样本收集起来,将所述伪正样本对应的测试样本作为二次训练集,并将所述伪正样本对应的标注测试集中的标注测试样本作为二次标注训练集。
5)利用所述二次训练集和二次标注训练集对所述待定模型进行训练,得到所述第一目标检测模型。
通过所述二次训练集和二次标注训练集,也就是检测结果较差的正样本以及其对应的标注测试集,可以有针对性地对所述待定模型进行训练。在对所述待定模型进行二次训练之后,可以得到一个效果相对较好的第一目标检测模型。其中,对二次训练后的模型计算其MAP(Mean Average Precision,平均精度均值)值,并与预设的MAP阈值进行比较,当计算得到的MAP值大于或等于MAP阈值时,则表明二次训练后的模型满足要求,将其作为第一目标检测模型。如果计算得到的MAP值小于MAP阈值时,则调整训练后的模型,并对其重新进行训练,直到训练后的MAP值满足要求。
对于所述第二目标检测模型通过下述方式训练得到:
1)将所述标注数据集中的目标框在设定倍数范围内随机放大,并提取放大后的目标框内的图像数据作为第二模型数据集。
其中,利用标注工具对所述标注数据集中的目标框进行设定倍数范围内的随机放大,例如设定倍数范围为0.1-1,在对目标框放大后,框内增加了目标图像的周围图像(包括背景信息),然后提取放大后的目标框内的图像数据作为第二模型数据集,保证第二模型数据集的多样性,避免损伤有用信息,所得到的第二模型数据集比第一模型数据集的数据量要大,但是像素值相对于第一模型数据集中的要小,对目标图像进行了增强,使得利用所述第二模型数据集训练得到的第二目标检测模型更加准确。
2)利用所述第二模型数据集对所述第二神经网络进行训练,得到所述第二目标检测模型。
在对所述第二个神经网络进行训练时,其基础网络仍采用Mobile Net-YOLOv3,并采用SGD优化方式,初始学习率设置为0.0001,epoch设置为60,batchsize设置为32。
通过本发明实施例利用两个相同神经网络结构的神经网络进行训练,在训练完第一个神经网络后,对训练好的神经网络进行测试,测试得到的所有负样本忽略,利用正样本中表现较差的正样本对第一神经网络进行二次训练,从而得到第一目标检测模型;利用训练第一神经网络的训练集对应的标注数据集,随机进行目标框设定倍数范围内的放大,再作为第二模型数据集训练第二个神经网络,从而得到第二目标检测模型,由此进一步提高检测准确率。另外,将第一目标检测模型与第二目标检测模型进行级联得到的级联神经网络进行目标检测,首先利用第一个目标检测模型进行目标检测,得到目标图像,之后再通过第二目标检测模型对其进行二次检测,进一步提高目标检测的准确度。
另外,本发明实施例中采用了相同结构的两个神经网络进行训练得到级联神经网络中的两个模型,训练成本低,不需要对网络结构进行修改,只需要在训练时调整参数即可。而且本发明实施例采用Mobile Net和YOLOv3相结合的Mobile Net-YOLOv3结构,结构通用且简单,端到端神经网络的实时目标检测模型,能够满足实时性检测的要求。
另外,本发明实施例所选取的神经网络结构是可以任意更换的,可以换成其他的目标检测网络结构以实现不同目标的检测。所采取的级联方式和训练方法具有非常高的通用性和普适性。
相应地,图2是本发明实施例提供的一种基于级联神经网络的目标检测装置的结构示意图。如图2所示,所述装置20包括:获取单元21,用于获取待检测图像数据;初步检测单元22,用于利用所述级联神经网络中的第一目标检测模型对所述待检测图像数据中的目标图像进行检测,得到第一检测结果;结果调整单元23,用于对所述第一检测结果中的目标框经过预设倍数的放大,并将放大后的目标框内的图像数据作为第二检测结果;目标检测单元24,用于利用所述级联神经网络中的第二目标检测模型对所述第二检测结果中的目标图像进行检测,得到目标检测结果,其中所述第一目标检测模型与所述第二目标检测模型通过具有相同的神经网络结构训练得到。
进一步地,如图3所示,所述装置还包括:数据采集单元25,用于将采集的具有目标图像的图像数据作为第一模型数据集;数据标注单元26,用于利用目标框对所述第一模型数据集中的目标图像进行标注,得到与所述第一模型数据集对应的标注数据集;网络预设单元27,用于预设具有相同的神经网络结构的第一神经网络和第二神经网络。
进一步地,如图4所示,所述装置还包括第一模型训练单元28,用于通过下述方式训练得到所述第一目标检测模型:通过所述第一模型数据集和标注数据集,得到训练集和对应的标注训练集,以及测试集和对应的标注测试集;利用所述训练集和对应的标注训练集对所述第一神经网络进行训练,得到待定模型;利用所述待定模型对所述测试集中的目标图像进行检测,得到初步检测结果;根据所述初步检测结果与所述标注测试集的比较结果以及设定阈值,确定所述初步检测结果中的伪正样本,并由所述伪正样本得到二次训练集和二次标注训练集;利用所述二次训练集和二次标注训练集对所述待定模型进行训练,得到所述第一目标检测模型。
进一步地,所述根据所述初步检测结果与所述标注测试集的比较结果以及设定阈值,确定所述初步检测结果中的伪正样本,并由所述伪正样本得到二次训练集和二次标注训练集包括:计算所述初步检测结果中的预测边界框与所述标注测试集中对应的目标框之间的交并比;将所述交并比小于所述设定阈值的测试样本作为所述初步检测结果中的伪正样本;将所述伪正样本对应的所述测试集中的测试样本作为二次训练集,并将所述伪正样本对应的所述标注测试集中的标注测试样本作为二次标注训练集。
进一步地,如图5所示,所述装置还包括第二模型训练单元29,用于通过下述方式训练得到所述第二目标检测模型:将所述标注数据集中的目标框在设定倍数范围内随机放大,并提取放大后的目标框内的图像数据作为第二模型数据集;利用所述第二模型数据集对所述第二神经网络进行训练,得到所述第二目标检测模型。
本发明实施例的基于级联神经网络的目标检测装置与上述基于级联神经网络的目标检测方法的实施例的具体实施细节及效果相同,在此则不再赘述。
相应地,本发明实施例还提供一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令用于使得机器执行如上述实施例所述的基于级联神经网络的目标检测方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、装置、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种基于级联神经网络的目标检测方法,其特征在于,所述方法包括:
获取待检测图像数据;
利用所述级联神经网络中的第一目标检测模型对所述待检测图像数据中的目标图像进行检测,得到第一检测结果;
对所述第一检测结果中的目标框经过预设倍数的放大,并将放大后的目标框内的图像数据作为第二检测结果;
利用所述级联神经网络中的第二目标检测模型对所述第二检测结果中的目标图像进行检测,得到目标检测结果,
其中所述第一目标检测模型与所述第二目标检测模型通过具有相同的神经网络结构训练得到。
2.根据权利要求1所述的目标检测方法,其特征在于,在所述获取待检测图像数据之前,所述方法还包括:
将采集的具有目标图像的图像数据作为第一模型数据集;
利用目标框对所述第一模型数据集中的目标图像进行标注,得到与所述第一模型数据集对应的标注数据集;
预设具有相同的神经网络结构的第一神经网络和第二神经网络。
3.根据权利要求2所述的目标检测方法,其特征在于,通过下述方式训练得到所述第一目标检测模型:
通过所述第一模型数据集和标注数据集,得到训练集和对应的标注训练集,以及测试集和对应的标注测试集;
利用所述训练集和对应的标注训练集对所述第一神经网络进行训练,得到待定模型;
利用所述待定模型对所述测试集中的目标图像进行检测,得到初步检测结果;
根据所述初步检测结果与所述标注测试集的比较结果以及设定阈值,确定所述初步检测结果中的伪正样本,并由所述伪正样本得到二次训练集和二次标注训练集;
利用所述二次训练集和二次标注训练集对所述待定模型进行训练,得到所述第一目标检测模型。
4.根据权利要求3所述的目标检测方法,其特征在于,所述根据所述初步检测结果与所述标注测试集的比较结果以及设定阈值,确定所述初步检测结果中的伪正样本,并由所述伪正样本得到二次训练集和二次标注训练集包括:
计算所述初步检测结果中的预测边界框与所述标注测试集中对应的目标框之间的交并比;
将所述交并比小于所述设定阈值的测试样本作为所述初步检测结果中的伪正样本;
将所述伪正样本对应的所述测试集中的测试样本作为二次训练集,并将所述伪正样本对应的所述标注测试集中的标注测试样本作为二次标注训练集。
5.根据权利要求2所述的目标检测方法,其特征在于,通过下述方式训练得到所述第二目标检测模型:
将所述标注数据集中的目标框在设定倍数范围内随机放大,并提取放大后的目标框内的图像数据作为第二模型数据集;
利用所述第二模型数据集对所述第二神经网络进行训练,得到所述第二目标检测模型。
6.一种基于级联神经网络的目标检测装置,其特征在于,所述装置包括:
获取单元,用于获取待检测图像数据;
初步检测单元,用于利用所述级联神经网络中的第一目标检测模型对所述待检测图像数据中的目标图像进行检测,得到第一检测结果;
结果调整单元,用于对所述第一检测结果中的目标框经过预设倍数的放大,并将放大后的目标框内的图像数据作为第二检测结果;
目标检测单元,用于利用所述级联神经网络中的第二目标检测模型对所述第二检测结果中的目标图像进行检测,得到目标检测结果,其中所述第一目标检测模型与所述第二目标检测模型通过具有相同的神经网络结构训练得到。
7.根据权利要求6所述的目标检测装置,其特征在于,所述装置还包括:
数据采集单元,用于将采集的具有目标图像的图像数据作为第一模型数据集;
数据标注单元,用于利用目标框对所述第一模型数据集中的目标图像进行标注,得到与所述第一模型数据集对应的标注数据集;
网络预设单元,用于预设具有相同的神经网络结构的第一神经网络和第二神经网络。
8.根据权利要求7所述的目标检测装置,其特征在于,所述装置还包括第一模型训练单元,用于通过下述方式训练得到所述第一目标检测模型:
通过所述第一模型数据集和标注数据集,得到训练集和对应的标注训练集,以及测试集和对应的标注测试集;
利用所述训练集和对应的标注训练集对所述第一神经网络进行训练,得到待定模型;
利用所述待定模型对所述测试集中的目标图像进行检测,得到初步检测结果;
根据所述初步检测结果与所述标注测试集的比较结果以及设定阈值,确定所述初步检测结果中的伪正样本,并由所述伪正样本得到二次训练集和二次标注训练集;
利用所述二次训练集和二次标注训练集对所述待定模型进行训练,得到所述第一目标检测模型。
9.根据权利要求8所述的目标检测装置,其特征在于,所述根据所述初步检测结果与所述标注测试集的比较结果以及设定阈值,确定所述初步检测结果中的伪正样本,并由所述伪正样本得到二次训练集和二次标注训练集包括:
计算所述初步检测结果中的预测边界框与所述标注测试集中对应的目标框之间的交并比;
将所述交并比小于所述设定阈值的测试样本作为所述初步检测结果中的伪正样本;
将所述伪正样本对应的所述测试集中的测试样本作为二次训练集,并将所述伪正样本对应的所述标注测试集中的标注测试样本作为二次标注训练集。
10.根据权利要求7所述的目标检测装置,其特征在于,所述装置还包括第二模型训练单元,用于通过下述方式训练得到所述第二目标检测模型:
将所述标注数据集中的目标框在设定倍数范围内随机放大,并提取放大后的目标框内的图像数据作为第二模型数据集;
利用所述第二模型数据集对所述第二神经网络进行训练,得到所述第二目标检测模型。
11.一种机器可读存储介质,其特征在于,该机器可读存储介质上存储有指令,该指令用于使得机器执行所述权利要求1-5任一项所述的基于级联神经网络的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011022685.1A CN111931920A (zh) | 2020-09-25 | 2020-09-25 | 基于级联神经网络的目标检测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011022685.1A CN111931920A (zh) | 2020-09-25 | 2020-09-25 | 基于级联神经网络的目标检测方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111931920A true CN111931920A (zh) | 2020-11-13 |
Family
ID=73334702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011022685.1A Pending CN111931920A (zh) | 2020-09-25 | 2020-09-25 | 基于级联神经网络的目标检测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931920A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112634201A (zh) * | 2020-12-02 | 2021-04-09 | 歌尔股份有限公司 | 目标检测方法、装置和电子设备 |
CN113538411A (zh) * | 2021-08-06 | 2021-10-22 | 广东电网有限责任公司 | 一种绝缘子缺陷检测方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170124409A1 (en) * | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Cascaded neural network with scale dependent pooling for object detection |
CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
CN109359603A (zh) * | 2018-10-22 | 2019-02-19 | 东南大学 | 一种基于级联卷积神经网络的车辆驾驶员人脸检测方法 |
CN109635666A (zh) * | 2018-11-16 | 2019-04-16 | 南京航空航天大学 | 一种基于深度学习的图像目标快速检测方法 |
CN111079638A (zh) * | 2019-12-13 | 2020-04-28 | 河北爱尔工业互联网科技有限公司 | 基于卷积神经网络的目标检测模型训练方法、设备和介质 |
-
2020
- 2020-09-25 CN CN202011022685.1A patent/CN111931920A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170124409A1 (en) * | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Cascaded neural network with scale dependent pooling for object detection |
CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
CN109359603A (zh) * | 2018-10-22 | 2019-02-19 | 东南大学 | 一种基于级联卷积神经网络的车辆驾驶员人脸检测方法 |
CN109635666A (zh) * | 2018-11-16 | 2019-04-16 | 南京航空航天大学 | 一种基于深度学习的图像目标快速检测方法 |
CN111079638A (zh) * | 2019-12-13 | 2020-04-28 | 河北爱尔工业互联网科技有限公司 | 基于卷积神经网络的目标检测模型训练方法、设备和介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112634201A (zh) * | 2020-12-02 | 2021-04-09 | 歌尔股份有限公司 | 目标检测方法、装置和电子设备 |
WO2022116720A1 (zh) * | 2020-12-02 | 2022-06-09 | 歌尔股份有限公司 | 目标检测方法、装置和电子设备 |
CN112634201B (zh) * | 2020-12-02 | 2023-12-05 | 歌尔股份有限公司 | 目标检测方法、装置和电子设备 |
CN113538411A (zh) * | 2021-08-06 | 2021-10-22 | 广东电网有限责任公司 | 一种绝缘子缺陷检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109740670B (zh) | 视频分类的方法及装置 | |
CN110516514B (zh) | 一种目标检测模型的建模方法和装置 | |
CN110348393B (zh) | 车辆特征提取模型训练方法、车辆识别方法及设备 | |
CN110188495B (zh) | 一种基于深度学习的二维户型图生成三维户型图的方法 | |
CN109145981B (zh) | 深度学习自动化模型训练方法及设备 | |
CN110827292B (zh) | 一种基于卷积神经网络的视频实例分割方法及设备 | |
CN112634201B (zh) | 目标检测方法、装置和电子设备 | |
CN114708437B (zh) | 目标检测模型的训练方法、目标检测方法、装置和介质 | |
CN111931920A (zh) | 基于级联神经网络的目标检测方法、装置及存储介质 | |
CN109102026A (zh) | 一种车辆图像检测方法、装置及系统 | |
CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
CN116342538A (zh) | 一种跑冒滴漏检测方法、装置、智能设备和存储介质 | |
CN116823793A (zh) | 设备缺陷检测方法、装置、电子设备和可读存储介质 | |
CN114022804A (zh) | 一种泄漏的检测方法、装置、系统及存储介质 | |
CN113466839B (zh) | 侧扫声呐海底线检测方法和装置 | |
CN116805387B (zh) | 基于知识蒸馏的模型训练方法、质检方法和相关设备 | |
CN110223320B (zh) | 物体检测跟踪方法和检测跟踪装置 | |
CN114638996A (zh) | 基于对抗学习的模型训练方法、装置、设备和存储介质 | |
CN117315229A (zh) | 一种基于特征嫁接的目标检测方法 | |
CN115810020B (zh) | 一种基于语义引导的由粗到细的遥感图像分割方法及系统 | |
CN116204648A (zh) | 样本确定方法、装置、计算机设备及计算机可读存储介质 | |
CN114550129A (zh) | 一种基于数据集的机器学习模型处理方法和系统 | |
CN114841980A (zh) | 基于巡线航拍图像的绝缘子缺陷检测方法及系统 | |
CN114463300A (zh) | 钢材表面缺陷检测方法、电子设备、存储介质 | |
CN109377479B (zh) | 基于遥感影像的蝶形卫星天线目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201113 |
|
RJ01 | Rejection of invention patent application after publication |