CN114333040A - 一种多层级目标检测方法及系统 - Google Patents
一种多层级目标检测方法及系统 Download PDFInfo
- Publication number
- CN114333040A CN114333040A CN202210218277.6A CN202210218277A CN114333040A CN 114333040 A CN114333040 A CN 114333040A CN 202210218277 A CN202210218277 A CN 202210218277A CN 114333040 A CN114333040 A CN 114333040A
- Authority
- CN
- China
- Prior art keywords
- target detection
- stage
- network
- level
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 299
- 238000012549 training Methods 0.000 claims abstract description 113
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 35
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种多层级目标检测方法及系统，包括：获取待检测目标图片集合；将所述待检测目标图片集合输入预先训练好的多层级目标检测模型中，得到初始目标检测结果和多个子目标检测结果；其中，所述多层级目标检测模型是获取目标检测数据集，基于单阶段初始目标检测网络训练参数确定多阶段子任务训练参数，对所述多阶段子任务训练参数进行更新，并对所述目标检测数据集的正负样本进行回归训练所获得的。本发明基于充分训练的目标检测神经网络，仅增加少量的参数量进行微调，即可完成已检测目标的二次分析，在保持该方法优势的同时，节约了计算量和部署工作量，同时在二次分析时可以引入上下文信息，获得更高的精度。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种多层级目标检测方法及系统。
背景技术
在计算机视觉领域，通常要进行目标检测，其中还涉及到多次检测的场景。对目标检测任务结果输出进行二次分析主要是指，在获取初始的检测结果后，对该结果进行进一步分类，涉及提取其中的关键点、进行实例分割和识别特征抽取等更细粒度的任务。
在人工智能的实践中，智慧监控、智慧零售、无人驾驶和工业质检等诸多业务场景需要对目标进行检测，并在基础的检测结果上进行二次分析，二次分析任务多种多样，例如对检测目标结果进行细粒度的再分类，对检测目标的关键点进行再预测等，这其中涉及的目标检测网络在训练时的样本标注成本和筛选灵活性，在生产环境中部署成本和维护成本，以及在部署环境中的运算成本都是需要考虑的问题，尤其是在研发资源和研发周期受限，算力受限的情况下。
针对目标检测任务的输出进行二次分析的方法主要有以下两种，一种是重新训练一个实现具体任务的小网络，其输入基于检测边框结果在原图中进行截取，实现较为简单，但不能利用检测网络的特征，尤其是当原图中检测结果比较多时，会导致计算量比较大；第二种方法是在原检测网络基础上添加新输出，然后对整个网络进行重新训练，此时需要将原有训练数据重新添加和新任务相关的标注信息，这无疑对于一些相对简单的任务是没有必要的，严重增大了标注成本，对原有模型也无法充分利用。
因此，针对目标检测中存在二次、甚至多次检测子任务的情形，需要提出一种新的目标检测方法。
发明内容
本发明提供一种多层级目标检测方法及系统，用以解决现有技术中对目标检测结果进行二次检测时需要重新训练网络，无法对原有网络模型进行再利用的缺陷。
第一方面，本发明提供一种多层级目标检测方法，包括：
获取待检测目标图片集合；
将所述待检测目标图片集合输入预先训练好的多层级目标检测模型中，得到初始目标检测结果和多个子目标检测结果；其中，所述多层级目标检测模型是获取目标检测数据集，基于单阶段初始目标检测网络训练参数确定多阶段子任务训练参数，对所述多阶段子任务训练参数进行更新，并对所述目标检测数据集的正负样本进行回归训练所获得的。
根据本发明提出的一种多层级目标检测方法，所述多层级目标检测模型，通过以下步骤获得：
基于所述目标检测数据集获取单阶段初始目标检测网络；
初始化所述单阶段初始目标检测网络，获取所述单阶段初始目标检测网络训练参数；
基于多阶段子任务，在所述单阶段初始目标检测网络上添加所述多阶段子任务训练参数，得到多层级目标检测网络；
训练所述多层级目标检测网络，确定所述单阶段初始目标检测网络训练参数保持不变，更新所述多阶段子任务训练参数；
确定所述单阶段初始目标检测网络的样本匹配策略，基于所述样本匹配策略和预设数据增强方式训练所述目标检测数据集，得到所述多层级目标检测模型。
根据本发明提出的一种多层级目标检测方法，所述基于所述目标检测数据集获取单阶段初始目标检测网络，包括：
将所述目标检测数据集输入至主干网络Backbone结构，提取多个特征；
将所述多个特征输入至Neck结构进行不同层级特征融合，得到多个尺度特征图；
将所述多个尺度特征图输入至Head结构，获得所述单阶段初始目标检测网络。
根据本发明提出的一种多层级目标检测方法，所述初始化所述单阶段初始目标检测网络，获取所述单阶段初始目标检测网络训练参数，包括：
获取所述Backbone结构、所述Neck结构和所述Head结构中的所有参数，所述所有参数包括卷积权重参数、偏置参数和批标准化BN参数。
根据本发明提出的一种多层级目标检测方法，基于多阶段子任务，在所述单阶段初始目标检测网络上添加所述多阶段子任务训练参数，得到多层级目标检测网络，包括：
在所述单阶段初始目标检测网络上增加若干个新的Neck子结构和若干个新的Head子结构，其中所述若干个新的Neck子结构和所述Neck结构相似，所述若干个新的Head子结构和所述Head结构相似；
修改所述Head结构中的每个预测分支中最后一个卷积层通道数目为多层级目标检测任务数目。
根据本发明提出的一种多层级目标检测方法，所述训练所述多层级目标检测网络，确定所述单阶段初始目标检测网络训练参数保持不变，更新所述多阶段子任务训练参数，包括：
确定所述卷积权重参数、所述偏置参数和所述批标准化BN参数保持不变；
确定与多阶段子任务相匹配的损失函数，基于所述损失函数使所述多阶段子任务训练参数进行梯度下降和更新。
根据本发明提出的一种多层级目标检测方法，所述确定所述单阶段初始目标检测网络的样本匹配策略，基于所述样本匹配策略和预设数据增强方式训练所述目标检测数据集，得到所述多层级目标检测模型，包括：
基于所述样本匹配策略，将所述多层级目标检测网络的分支与对应所述单阶段初始目标检测网络中的预测分支、空间位置和通道的特征图元素关联至相同目标，获得目标检测框位置；
对检测样本进行正样本回归，并采用所述预设数据增强方式扩增回归的正样本，得到所述多层级目标检测模型。
第二方面，本发明还提供一种多层级目标检测系统，包括：
获取模块，用于获取待检测目标图片集合；
检测模块，用于将所述待检测目标图片集合输入预先训练好的多层级目标检测模型中，得到初始目标检测结果和多个子目标检测结果；其中，所述多层级目标检测模型是获取目标检测数据集，基于单阶段初始目标检测网络训练参数确定多阶段子任务训练参数，对所述多阶段子任务训练参数进行更新，并对所述目标检测数据集的正负样本进行回归训练所获得的。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多层级目标检测方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多层级目标检测方法的步骤。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多层级目标检测方法的步骤。
本发明提供的多层级目标检测方法及系统，通过在充分训练的目标检测神经网络上，仅增加少量的参数量进行微调，即可完成已检测目标的二次分析，在保持该方法优势的同时，节约了计算量和部署工作量，同时在二次分析时可以引入上下文信息，获得更高的精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的多层级目标检测方法的流程示意图；
图2是本发明提供的单阶段网络的结构示意图；
图3是本发明提供的目标检测及二次分析端对端网络的结构示意图；
图4是本发明提供的贴图数据扩增方式示意图；
图5是本发明提供的多层级目标检测系统的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术中目标检测多次检测时存在的缺陷，本发明提出一种新的多层级目标检测方法，图1是本发明提供的多层级目标检测方法的流程示意图，如图1所示，包括：
步骤S1，获取待检测目标图片集合；
步骤S2，将所述待检测目标图片集合输入预先训练好的多层级目标检测模型中，得到初始目标检测结果和多个子目标检测结果；其中，所述多层级目标检测模型是获取目标检测数据集，基于单阶段初始目标检测网络训练参数确定多阶段子任务训练参数，对所述多阶段子任务训练参数进行更新，并对所述目标检测数据集的正负样本进行回归训练所获得的。
具体地，针对常见的目标检测算法已检测到的目标，还需要进行二次分析的场景，本发明在现有成熟的目标检测网络基础上，该目标检测网络是已经充分训练的目标检测神经网络，根据需要二次分析检测的目标特性，仅需要对少量的参数量进行微调，构建新的多层级目标检测模型，即可实现对输入的待检测目标图片集合检测得到基本的目标检测结果和二次或多次子目标检测结果。
例如在人脸检测中，通常需要对目标图片中检测出来的人脸作进一步的检测分类，如对检测到的人脸进一步识别其性别、年龄或者是否佩戴口罩等特征，又或者是对检测到的人体识别其穿着的服装，是否存在异常行为等。现有的处理方法通常是在人脸检测网络基础上通过额外的图像分类网络进行二次分析，虽然满足了样本采集的灵活性，能方便对每个特征属性进行单独优化和维护，但无疑大大增加了检测神经网络的数量，不仅增加了整个业务流程的计算量，当模型需要在云端部署时，也会增加模型端边云部署的工作量。
本发明在已充分训练好的单阶段初始目标检测网络基础上，增加多阶段子任务训练参数，无需对现有的单阶段初始目标检测网络重新训练，仅需要根据训练的目标检测数据集对新增的多阶段子任务训练参数进行训练更新，进行单阶段初始目标检测网络和多阶段子任务网络的连接，即可实现以较低的计算量和较高的工作效率构建得到多层级目标检测模型，不仅保留了初始目标检测的检测结果和训练效果，还可完成二次分析目标的检测；本发明仅需要输入原有检测网络的网络权重参数和二次检测分析所需要的样本数据，即可构建能检测多级目标检测任务的多层级目标检测模型。
本发明针对需要进行二次检测的分析任务，通过基于训练好的目标网络网络模型参数进行灵活扩展，且适用于多个单阶段目标检测方法，具有实施简单，执行效率高等特点。
基于上述实施例，本发明所提出的所述多层级目标检测模型，通过以下步骤获得：
基于所述目标检测数据集获取单阶段初始目标检测网络；
初始化所述单阶段初始目标检测网络，获取所述单阶段初始目标检测网络训练参数；
基于多阶段子任务，在所述单阶段初始目标检测网络上添加所述多阶段子任务训练参数，得到多层级目标检测网络；
训练所述多层级目标检测网络，确定所述单阶段初始目标检测网络训练参数保持不变，更新所述多阶段子任务训练参数；
确定所述单阶段初始目标检测网络的样本匹配策略，基于所述样本匹配策略和预设数据增强方式训练所述目标检测数据集，得到所述多层级目标检测模型。
具体地，本发明提出的能进行多阶段目标检测的多层级目标检测模型，是在如图2所示单阶段网络基础上，即经过目标检测数据集充分训练过的单阶段初始目标检测网络，保留其训练参数，再根据多阶段子任务确定需要添加的多阶段子任务训练参数，连接得到多层级目标检测网络，对该多层级目标检测网络进行训练，这里仅需要更新训练多阶段子任务训练参数；根据单阶段初始目标检测网络的样本匹配策略和必要的数据增强方式进一步训练多层级目标检测网络，得到多层级目标检测模型。
本发明在保持现有的单任务目标检测网络的训练优势基础上，保持原有参数不变，仅训练新增的子任务目标参数，节约了模型计算量和训练工作量，并在二次分析时能引入上下文信息，便于获得更高的精度。
基于上述任一实施例，所述基于所述目标检测数据集获取单阶段初始目标检测网络，包括：
将所述目标检测数据集输入至主干网络Backbone结构，提取多个特征；
将所述多个特征输入至Neck结构进行不同层级特征融合，得到多个尺度特征图；
将所述多个尺度特征图输入至Head结构，获得所述单阶段初始目标检测网络。
具体地，如图2所示，将训练图片输入进入网络后，首先经过Backbone主干网络进行特征提取，常见的结构如VGG、ResNet、MobileNet、Darknet等；然后经过Neck结构进行不同层级特征的融合，通常使用FPN、PAN、SFAM等结构，Neck结构可输出多个尺度大小的特征图；不同尺度的特征图在Head结构经过多层卷积产生位置、类别等信息输出。
本发明采用通用主流的检测网络结构作为基础训练网络，便于二次分析检测时移植其成熟的参数特性，具有极强的操作性。
基于上述任一实施例，所述初始化所述单阶段初始目标检测网络，获取所述单阶段初始目标检测网络训练参数，包括：
获取所述Backbone结构、所述Neck结构和所述Head结构中的所有参数，所述所有参数包括卷积权重参数、偏置参数和批标准化BN参数。
具体地，由于训练时需要冻结住Backbone的参数、以及检测任务的Neck和Head中的所有参数，包括卷积权重、偏置，BN（Batch Normalization，批标准化）参数等。上述参数不进行梯度下降反传和更新，即在训练时仅需要更新新增加的Neck和Head的参数。
本发明通过冻结检测网络的基础参数，确保网络训练以较低的训练工作量和计算量完成训练更新。
基于上述任一实施例，基于多阶段子任务，在所述单阶段初始目标检测网络上添加所述多阶段子任务训练参数，得到多层级目标检测网络，包括：
在所述单阶段初始目标检测网络上增加若干个新的Neck子结构和若干个新的Head子结构，其中所述若干个新的Neck子结构和所述Neck结构相似，所述若干个新的Head子结构和所述Head结构相似；
修改所述Head结构中的每个预测分支中最后一个卷积层通道数目为多层级目标检测任务数目。
具体地，如图3所示，在图2所示的检测网络基础上，增加二次分析检测网络的分支结构，具体为增加新的Neck子结构和Head子结构，Neck子结构可参考原始目标检测网络的Neck子结构，Head子结构也与目标检测的Head子结构基本一致，仅修改Head中的每个预测分支最后一个卷积层的通道数目为相应二次分析任务所需数目。
在图3中，以人脸检测网络为例，网络下部分为原有的人脸检测任务，其中人脸检测类别数为1，将其定义为检测任务，上半部分连接网络为人脸检测结果再分析任务网络，例如对人脸是否佩戴口罩进行检测，更细粒度类别数为2（这里0表示未戴口罩，1表示戴了口罩），将其定义为新任务网络。
需要说明的是，如果有多个二次分析任务，则可以重复上述步骤，添加多组Neck和Head，以完成每个二次分析任务。
本发明通过复制新的Neck子结构和Head子结构，最大限度移植和保留了原有检测网络的参数特性，具有灵活扩展，且能适用于多种单阶段目标检测的场景。
基于上述任一实施例，所述训练所述多层级目标检测网络，确定所述单阶段初始目标检测网络训练参数保持不变，更新所述多阶段子任务训练参数，包括：
确定所述卷积权重参数、所述偏置参数和所述批标准化BN参数保持不变；
确定与多阶段子任务相匹配的损失函数，基于所述损失函数使所述多阶段子任务训练参数进行梯度下降和更新。
如前所述，将检测网络中的基础参数保持不变，即卷积权重参数、偏置参数和批标准化BN参数保持不变，仅对新增的子任务阶段网络中的参数进行更新训练。
可选地，本发明在二次分析任务中引入损失函数，例如，如果二次分析是一个物体二分类任务，则可以用交叉熵损失函数进行处理：
其中，p为相应类别的概率。
本发明通过在二次分析任务网络的训练中根据实际检测需求设计相应的损失函数，使训练数据能快速进行收敛，得到满足要求的二次分析任务网络。
基于上述任一实施例，所述确定所述单阶段初始目标检测网络的样本匹配策略，基于所述样本匹配策略和预设数据增强方式训练所述目标检测数据集，得到所述多层级目标检测模型，包括：
基于所述样本匹配策略，将所述多层级目标检测网络的分支与对应所述单阶段初始目标检测网络中的预测分支、空间位置和通道的特征图元素关联至相同目标，获得目标检测框位置；
对检测样本进行正样本回归，并采用所述预设数据增强方式扩增回归的正样本，得到所述多层级目标检测模型。
可选地，本发明提出了样本一致采样策略，其核心思路在于，在二次分析网络分支中，直接采用原始网络中的检测分支的样本匹配策略，使二次分析网络分支与检测分支对应预测分支、空间位置、通道的特征图元素被关联到同一个目标，在网络推理时，根据产生目标检测框的位置，即可定位到二次分析网络分支对应位置，进一步获得该目标二次分析的预测结果。
此处，本发明的训练样本，需要标注目标包围框坐标，及每个目标的二次分析任务标签。在训练中，将每个二次分析任务单独训练，若有多个二次分析任务，则需要将其他任务和检测任务都进行参数冻结。通过该方式，可以将不同任务之间的标签解耦，即训练过程中不再依赖于全部任务都标注的标签，仅需要检测任务和当前训练任务的标注即可。
同时，本发明采用不同数据集训练不同的二次分析任务，且训练时，可以进行选择特定的数据增强方式，如图4所示，本发明可以使用仅包含目标对象的图片，采用贴图数据扩增的方式生成满足标注规范的数据，进行模型训练。将包含目标对象的图片即目标检测图片，依据边框标签裁剪的图片或用于图像分类的图片，将该类图片随机粘贴到不包含目标背景图中，将图像加入背景图中，可以让增强新任务的泛化性，同时仅计算正样本损失不会影响检测效果。
最终通过N次训练后，即可得到N个新任务和1个检测任务的多层级目标检测模型。
本发明可实现在不改变原有模型检测精度的前提下，完成新的子任务的训练，并达到和在检测网络后追加分类网络，重新训练一个新的多任务检测网络相似的准确率，且仅需要更少的已标注样本和计算量，对稀缺类别可灵活处理，具有很大的优势。
下面以一个具体的实施例来说明本发明的方案，以WIDER FACE数据集（WIDERFACE数据集是人脸检测的一个benchmark数据集，包含32203图像，以及393703个标注人脸，其中，158,989个标注人脸位于训练集，39496个位于验证集，每一个子集都包含3个级别的检测难度：Easy，Medium，Hard；这些人脸在尺度，姿态，光照、表情、遮挡方面都有很大的变化范围）为例，包括以下步骤：
（1）在WIDER FACE数据集上训练一个如图2所示人脸检测器作为主任务网络；
（2）设定新任务为人脸表情分类，按照图3所示方式来搭建多任务网络，检测任务用步骤（1）中训练得到的模型对多任务网络进行初始化，保留全部的权重参数；
（3）进行网络训练，在训练的过程中，检测任务网络的参数不进行更新，只更新新任务网络的参数，仅对新任务进行损失计算和反向传播，通过检测任务的样本分配方式来分配正负样本，仅回归正样本，这里可以使用特定的数据进行数据扩增；
（4）最后进行网络推理，在推理阶段，用全部的输出进行推理前向，测试多任务的性能。
下面对本发明提供的多层级目标检测系统进行描述，下文描述的多层级目标检测系统与上文描述的多层级目标检测方法可相互对应参照。
图5是本发明提供的多层级目标检测系统的结构示意图，如图5所示，包括：获取模块51和检测模块52，其中：
获取模块51用于获取待检测目标图片集合；检测模块52用于将所述待检测目标图片集合输入预先训练好的多层级目标检测模型中，得到初始目标检测结果和多个子目标检测结果；其中，所述多层级目标检测模型是获取目标检测数据集，基于单阶段初始目标检测网络训练参数确定多阶段子任务训练参数，对所述多阶段子任务训练参数进行更新，并对所述目标检测数据集的正负样本进行回归训练所获得的。
本发明针对需要进行二次检测的分析任务，通过基于训练好的目标网络网络模型参数进行灵活扩展，且适用于多个单阶段目标检测方法，具有实施简单，执行效率高等特点。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行多层级目标检测方法，该方法包括：获取待检测目标图片集合；将所述待检测目标图片集合输入预先训练好的多层级目标检测模型中，得到初始目标检测结果和多个子目标检测结果；其中，所述多层级目标检测模型是获取目标检测数据集，基于单阶段初始目标检测网络训练参数确定多阶段子任务训练参数，对所述多阶段子任务训练参数进行更新，并对所述目标检测数据集的正负样本进行回归训练所获得的。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的多层级目标检测方法，该方法包括：获取待检测目标图片集合；将所述待检测目标图片集合输入预先训练好的多层级目标检测模型中，得到初始目标检测结果和多个子目标检测结果；其中，所述多层级目标检测模型是获取目标检测数据集，基于单阶段初始目标检测网络训练参数确定多阶段子任务训练参数，对所述多阶段子任务训练参数进行更新，并对所述目标检测数据集的正负样本进行回归训练所获得的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多层级目标检测方法，该方法包括：获取待检测目标图片集合；将所述待检测目标图片集合输入预先训练好的多层级目标检测模型中，得到初始目标检测结果和多个子目标检测结果；其中，所述多层级目标检测模型是获取目标检测数据集，基于单阶段初始目标检测网络训练参数确定多阶段子任务训练参数，对所述多阶段子任务训练参数进行更新，并对所述目标检测数据集的正负样本进行回归训练所获得的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种多层级目标检测方法，其特征在于，包括：
获取待检测目标图片集合；
将所述待检测目标图片集合输入预先训练好的多层级目标检测模型中，得到初始目标检测结果和多个子目标检测结果；其中，所述多层级目标检测模型是获取目标检测数据集，基于单阶段初始目标检测网络训练参数确定多阶段子任务训练参数，对所述多阶段子任务训练参数进行更新，并对所述目标检测数据集的正负样本进行回归训练所获得的。
2.根据权利要求1所述的多层级目标检测方法，其特征在于，所述多层级目标检测模型，通过以下步骤获得：
基于所述目标检测数据集获取单阶段初始目标检测网络；
初始化所述单阶段初始目标检测网络，获取所述单阶段初始目标检测网络训练参数；
基于多阶段子任务，在所述单阶段初始目标检测网络上添加所述多阶段子任务训练参数，得到多层级目标检测网络；
训练所述多层级目标检测网络，确定所述单阶段初始目标检测网络训练参数保持不变，更新所述多阶段子任务训练参数；
确定所述单阶段初始目标检测网络的样本匹配策略，基于所述样本匹配策略和预设数据增强方式训练所述目标检测数据集，得到所述多层级目标检测模型。
3.根据权利要求2所述的多层级目标检测方法，其特征在于，所述基于所述目标检测数据集获取单阶段初始目标检测网络，包括：
将所述目标检测数据集输入至主干网络Backbone结构，提取多个特征；
将所述多个特征输入至Neck结构进行不同层级特征融合，得到多个尺度特征图；
将所述多个尺度特征图输入至Head结构，获得所述单阶段初始目标检测网络。
4.根据权利要求3所述的多层级目标检测方法，其特征在于，所述初始化所述单阶段初始目标检测网络，获取所述单阶段初始目标检测网络训练参数，包括：
获取所述Backbone结构、所述Neck结构和所述Head结构中的所有参数，所述所有参数包括卷积权重参数、偏置参数和批标准化BN参数。
5.根据权利要求3所述的多层级目标检测方法，其特征在于，基于多阶段子任务，在所述单阶段初始目标检测网络上添加所述多阶段子任务训练参数，得到多层级目标检测网络，包括：
在所述单阶段初始目标检测网络上增加若干个新的Neck子结构和若干个新的Head子结构，其中所述若干个新的Neck子结构和所述Neck结构相似，所述若干个新的Head子结构和所述Head结构相似；
修改所述Head结构中的每个预测分支中最后一个卷积层通道数目为多层级目标检测任务数目。
6.根据权利要求4所述的多层级目标检测方法，其特征在于，所述训练所述多层级目标检测网络，确定所述单阶段初始目标检测网络训练参数保持不变，更新所述多阶段子任务训练参数，包括：
确定所述卷积权重参数、所述偏置参数和所述批标准化BN参数保持不变；
确定与多阶段子任务相匹配的损失函数，基于所述损失函数使所述多阶段子任务训练参数进行梯度下降和更新。
7.根据权利要求2所述的多层级目标检测方法，其特征在于，所述确定所述单阶段初始目标检测网络的样本匹配策略，基于所述样本匹配策略和预设数据增强方式训练所述目标检测数据集，得到所述多层级目标检测模型，包括：
基于所述样本匹配策略，将所述多层级目标检测网络的分支与对应所述单阶段初始目标检测网络中的预测分支、空间位置和通道的特征图元素关联至相同目标，获得目标检测框位置；
对检测样本进行正样本回归，并采用所述预设数据增强方式扩增回归的正样本，得到所述多层级目标检测模型。
8.一种多层级目标检测系统，其特征在于，包括：
获取模块，用于获取待检测目标图片集合；
检测模块，用于将所述待检测目标图片集合输入预先训练好的多层级目标检测模型中，得到初始目标检测结果和多个子目标检测结果；其中，所述多层级目标检测模型是获取目标检测数据集，基于单阶段初始目标检测网络训练参数确定多阶段子任务训练参数，对所述多阶段子任务训练参数进行更新，并对所述目标检测数据集的正负样本进行回归训练所获得的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述多层级目标检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多层级目标检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210218277.6A CN114333040B (zh) | 2022-03-08 | 2022-03-08 | 一种多层级目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210218277.6A CN114333040B (zh) | 2022-03-08 | 2022-03-08 | 一种多层级目标检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114333040A true CN114333040A (zh) | 2022-04-12 |
| CN114333040B CN114333040B (zh) | 2022-07-12 |
Family
ID=81033738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210218277.6A Active CN114333040B (zh) | 2022-03-08 | 2022-03-08 | 一种多层级目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114333040B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115265881A (zh) * | 2022-09-28 | 2022-11-01 | 宁波普瑞均胜汽车电子有限公司 | 压力检测方法和装置 |
| CN116385829A (zh) * | 2023-04-07 | 2023-07-04 | 北京百度网讯科技有限公司 | 姿态描述信息生成方法、模型的训练方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310574A (zh) * | 2020-01-17 | 2020-06-19 | 清华大学 | 一种车载视觉实时多目标多任务联合感知方法和装置 |
| CN111523489A (zh) * | 2020-04-26 | 2020-08-11 | 上海眼控科技股份有限公司 | 年龄分类网络的生成方法、车载人员检测方法、装置 |
| CN111598000A (zh) * | 2020-05-18 | 2020-08-28 | 中移（杭州）信息技术有限公司 | 基于多任务的人脸识别方法、装置、服务器和可读存储介质 |
| CN113569981A (zh) * | 2021-08-13 | 2021-10-29 | 桂林电子科技大学 | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 |
-
2022
- 2022-03-08 CN CN202210218277.6A patent/CN114333040B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310574A (zh) * | 2020-01-17 | 2020-06-19 | 清华大学 | 一种车载视觉实时多目标多任务联合感知方法和装置 |
| CN111523489A (zh) * | 2020-04-26 | 2020-08-11 | 上海眼控科技股份有限公司 | 年龄分类网络的生成方法、车载人员检测方法、装置 |
| CN111598000A (zh) * | 2020-05-18 | 2020-08-28 | 中移（杭州）信息技术有限公司 | 基于多任务的人脸识别方法、装置、服务器和可读存储介质 |
| CN113569981A (zh) * | 2021-08-13 | 2021-10-29 | 桂林电子科技大学 | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| JING LIU 等: "OPT: Omni-Perception Pre-Trainer for Cross-Modal Understanding and Generation", 《ARXIV:2107.00249V2 [CS.CV]》 * |
| 郭达: "基于深度学习的人脸检测与分析", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115265881A (zh) * | 2022-09-28 | 2022-11-01 | 宁波普瑞均胜汽车电子有限公司 | 压力检测方法和装置 |
| CN115265881B (zh) * | 2022-09-28 | 2022-12-20 | 宁波普瑞均胜汽车电子有限公司 | 压力检测方法和装置 |
| CN116385829A (zh) * | 2023-04-07 | 2023-07-04 | 北京百度网讯科技有限公司 | 姿态描述信息生成方法、模型的训练方法和装置 |
| CN116385829B (zh) * | 2023-04-07 | 2024-02-06 | 北京百度网讯科技有限公司 | 姿态描述信息生成方法、模型的训练方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114333040B (zh) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741332B (zh) | 一种人机协同的图像分割与标注方法 | |
| US10846566B2 (en) | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks | |
| CN114333040B (zh) | 一种多层级目标检测方法及系统 | |
| Su et al. | Interactive cell segmentation based on active and semi-supervised learning | |
| CN110349147B (zh) | 模型的训练方法、眼底黄斑区病变识别方法、装置及设备 | |
| US20190228268A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| JP7074460B2 (ja) | 画像検査装置および方法 | |
| WO2020186887A1 (zh) | 一种连续小样本图像的目标检测方法、装置及设备 | |
| CN108537168B (zh) | 基于迁移学习技术的面部表情识别方法 | |
| CN110992365B (zh) | 一种基于图像语义分割的损失函数及其设计方法 | |
| CN113128478B (zh) | 模型训练方法、行人分析方法、装置、设备及存储介质 | |
| US20220415019A1 (en) | Method and apparatus for image classification | |
| CN113283368B (zh) | 一种模型训练方法、人脸属性分析方法、装置及介质 | |
| CN112949693A (zh) | 图像分类模型的训练方法、图像分类方法、装置和设备 | |
| CN113222149A (zh) | 模型训练方法、装置、设备和存储介质 | |
| CN110163206B (zh) | 车牌识别方法、系统、存储介质和装置 | |
| CN112132841B (zh) | 医疗图像切割方法及装置 | |
| CN113221667A (zh) | 一种基于深度学习的人脸口罩属性分类方法及系统 | |
| CN112200862A (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
| CN116091828A (zh) | 一种染色体图像可解释分析方法、装置、设备及存储介质 | |
| CN114463574A (zh) | 一种遥感图像的场景分类方法及装置 | |
| KR20180082680A (ko) | 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치 | |
| Lockhart et al. | Multi-label classification for automatic human blastocyst grading with severely imbalanced data | |
| Kromp et al. | Machine learning framework incorporating expert knowledge in tissue image annotation | |
| WO2019221206A1 (ja) | 作成装置、作成方法、および作成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |