CN117636078B - 一种目标检测方法、系统、计算机设备及存储介质 - Google Patents
一种目标检测方法、系统、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117636078B CN117636078B CN202410105400.2A CN202410105400A CN117636078B CN 117636078 B CN117636078 B CN 117636078B CN 202410105400 A CN202410105400 A CN 202410105400A CN 117636078 B CN117636078 B CN 117636078B
- Authority
- CN
- China
- Prior art keywords
- feature
- regression
- boundary
- features
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种目标检测方法、系统、计算机设备及存储介质,通过骨干网络对原始图像进行特征提取,得到初始特征,将初始特征经过四个卷积层,得到四个原始特征图;对四个原始特征图进行拼接,得到拼接特征图;对拼接特征图分别进行两次特征解耦,得到分类特征和回归特征;将分类特征通过一个卷积层进行卷积操作,得到分类得分;将回归特征通过自注意力模块进行解耦,分别得到x回归特征和y回归特征;将x回归特征和y回归特征进行拼接并通过卷积操作,得到预测框边界预测值;根据分类得分,对预测框边界预测值进行检测,得到目标预测框。本发明通过对目标点进行优化组合,使得所选的预测框更加精准,特别是小目标物体,大大提升了检测精度。
Description
技术领域
本发明涉及目标检测领域,特别是涉及一种基于特征解耦和组合策略的目标检测方法、系统、计算机设备及存储介质。
背景技术
现有目标检测方案有很多种,包括FOCS目标检测算法(Proceedings of theIEEE/CVF international conference on computer vision. 2019.)、yolov7(Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition. 2023.)等。传统的目标检测算法如focs,都是将输入图片视为一个个像素点,经过模型处理之后,每一个点都会输出一个分类得分和预测框的四个边界。至于如何选出最终的最优预测值,传统目标检测算法是通过每个点设置一个得分,接着计算各个点预测的坐标值之间的重叠程度(这里用IOU来衡量),重叠程度高的点里面,会通过NMS(非极大值抑制算法)选出最高分的点所预测的预测框和分类得分,其余点的预测值就会忽略掉。
然而,现有的目标检测算法存在以下技术问题:
(1)通过一个像素点直接预测得到预测框的四个边界值,而预测框的x边界值和y边界值所敏感的特征并不相同;
(2)在nms阶段依赖通过一个得分来得到预测最准确的点,而具有最优x边界预测值和最优y边界预测值的点往往不是同一个点,想要有一个点得到最优的x边界预测值和y边界预测值是很困难的。
基于以上存在的问题,使得现有目标检测算法的检测精度相对较低,特别是针对小目标物体的检测。
因此,现有技术还有待进一步改进和提升。
发明内容
本发明的目的是提供一种基于特征解耦和组合策略的目标检测方法,提升目标检测的检测精度,特别是针对小目标物体的目标检测。
为了实现上述目的,有必要针对上述技术问题,提供一种目标检测方法、系统、计算机设备及存储介质。
第一方面,本发明提供了一种目标检测方法,所述方法包括以下步骤:
通过骨干网络对原始图像进行特征提取,得到初始特征,将所述初始特征经过四个卷积层,得到四个原始特征图;
对四个所述原始特征图进行拼接,得到拼接特征图;
对所述拼接特征图分别进行两次特征解耦,得到分类特征和回归特征;
将所述分类特征通过一个卷积层进行卷积操作,得到分类得分;
将所述回归特征通过自注意力模块进行解耦,分别得到针对x方向的x回归特征和针对y方向的y回归特征;
将所述x回归特征和y回归特征进行拼接并通过卷积操作,得到预测框边界预测值;所述预测框边界预测值包括X边界预测值和Y边界预测值;
根据所述分类得分,对所述预测框边界预测值进行检测,得到目标预测框。
进一步地,所述得到针对x方向的x回归特征和针对y方向的y回归特征之后,还包括:
对所述x回归特征和y回归特征分别进行卷积操作,得到多个目标点的针对x方向的X边界预测质量和左右距离向量、以及针对y方向的Y边界预测质量和上下距离向量;
所述根据所述分类得分,对所述预测框边界预测值进行检测,得到目标预测框,还包括:
根据所述左右距离向量和上下距离向量,判断所检测的目标是否为同一目标,若是则分别比较各个目标点的X边界预测质量和Y边界预测质量;
分别将最大X边界预测质量对应的X边界预测值和最大Y边界预测质量对应的Y边界预测值组合为新预测框边界预测值。
进一步地,所述判断所检测的目标是否为同一目标,还包括:
将各个目标点进行两两比较,将各个目标点进行两两比较,计算其中一目标点的左右距离向量和另一目标点的上下距离向量的第一差值绝对值以及所述其中一目标点的上下距离向量和所述另一目标点的左右距离向量的第二差值绝对值,并计算所述第一差值绝对值和第二差值绝对值之和,判断所述第一差值绝对值和第二差值绝对值之和是否小于预定阈值,如小于则判定两个目标点所检测的目标为同一目标,否则为两个不同的目标。
进一步地,所述对所述拼接特征图分别进行两次特征解耦,得到分类特征和回归特征,还包括:
根据所述拼接特征图,分别得到X预测框偏差矩阵、Y预测框偏差矩阵和预测框偏差矩阵;
所述对所述x回归特征和y回归特征分别进行卷积操作,得到多个目标点的针对x方向的X边界预测质量和左右距离向量、以及针对y方向的Y边界预测质量和上下距离向量,还包括:
根据X预测框偏差矩阵,对所述x回归特征进行修正,得到针对x方向的X边界预测质量;
根据Y预测框偏差矩阵,对所述y回归特征进行修正,得到针对y方向的Y边界预测质量。
进一步地,所述对所述拼接特征图分别进行两次特征解耦,得到分类特征和回归特征,包括:
对所述拼接特征图进行平均池化层处理,得到原始权重特征;
根据所述原始权重特征进行全连接层处理,得到权重系数矩阵;
将所述原始权重特征和权重系数矩阵进行加权处理,得到所述分类特征和回归特征。
进一步地,所述将所述回归特征通过自注意力模块进行解耦,分别得到针对x方向的x回归特征和针对y方向的y回归特征,还包括:
将所述回归特征通过卷积处理,得到分辨率为H×W×64的第一特征图;其中,H为特征图的高,W为特征图的宽;
对所述第一特征图进行下采样和一个卷积处理,得到分辨率为H/2×W/2×128的第二特征图;
对所述第二特征图进行下采样和一个卷积处理,得到分辨率为H/4×W/4×128的第三特征图;
对所述第三特征图进行上采样,并与所述第二特征图依次进行拼接和卷积操作,得到分辨率为H/2×W/2×64的第四特征图;
对所述第四特征图进行上采样,并与所述第二特征图依次进行拼接和卷积操作,得到分辨率为H×W×128的第五特征图;
对所述第五特征图进行卷积操作,得到初始注意力矩阵,并将所述初始注意力矩阵与所述回归特征进行点乘操作,得到所述x回归特征和y回归特征。
第二方面,本发明提供一种基于特征解耦和组合策略的目标检测系统,所述系统包括:
初始特征提取模块,用于通过骨干网络对原始图像进行特征提取,得到初始特征,将所述初始特征经过四个卷积层,得到四个原始特征图;
第一特征拼接模块,用于对四个所述原始特征图进行拼接,得到拼接特征图;
解耦合模块,用于对所述拼接特征图分别进行两次特征解耦,得到分类特征和回归特征;
分类特征处理模块,用于将所述分类特征通过一个卷积层进行卷积操作,得到分类得分;
回归特征处理模块,用于将所述回归特征通过自注意力模块进行解耦,分别得到针对x方向的x回归特征和针对y方向的y回归特征;
第二特征拼接模块,用于将所述x回归特征和y回归特征进行拼接并通过卷积操作,得到预测框边界预测值;所述预测框边界预测值包括X边界预测值和Y边界预测值;
预测模块,用于根据所述分类得分,对所述预测框边界预测值进行检测,得到目标预测框。
第三方面,本发明还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
上述本发明申请提供了目标检测方法、系统、计算机设备及存储介质,通过骨干网络对原始图像进行特征提取,得到初始特征,将所述初始特征经过四个卷积层,得到四个原始特征图;对四个所述原始特征图进行拼接,得到拼接特征图;对所述拼接特征图分别进行两次特征解耦,得到分类特征和回归特征;将所述分类特征通过一个卷积层进行卷积操作,得到分类得分;将所述回归特征通过自注意力模块进行解耦,分别得到针对x方向的x回归特征和针对y方向的y回归特征;将所述x回归特征和y回归特征进行拼接并通过卷积操作,得到预测框边界预测值;所述预测框边界预测值包括X边界预测值和Y边界预测值;根据所述分类得分,对所述预测框边界预测值进行检测,得到目标预测框。与现有技相比,本发明申请可以有效增加用于预测的目标点,并对目标点进行优化组合,使得所选的预测框更加精准,特别是针对小目标物体,大大提升了检测精度。
附图说明
图1是本发明实施例中目标检测方法的应用场景示意图;
图2是本发明实施例中目标检测方法的流程示意图;
图3是本发明实施例中目标检测方法对应的网络结构示意图;
图4是图2中步骤S13的流程示意图;
图5是图2中步骤S15的流程示意图;
图6是本发明实施例中目标检测系统的结构示意图;
图7是本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案和有益效果更加清楚明白,下面结合附图及实施例,对本发明作进一步详细说明,显然,以下所描述的实施例是本发明实施例的一部分,仅用于说明本发明,但不用来限制本发明的范围。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的目标检测方法可理解为基于特征解耦和组合策略的目标检测方法,可以应用于如图1所示的终端或服务器上。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器可根据实际应用需求,采用本发明提供的目标检测方法进行目标检测,并将得到的检测结果用于服务器后续的算法的优化研究,或传送给终端以供终端使用者进行查看分析;而且,本发明的目标检测方法尤其针对小目标物体。下述实施例将对本发明的目标检测方法进行详细说明。
在一个实施例中,如图2和图3所示,提供了一种目标检测方法,包括以下步骤S11至S17:
S11、通过骨干网络对原始图像进行特征提取,得到初始特征,将所述初始特征经过四个卷积层,得到四个原始特征图;
在本实施例中,本发明以Swin Transformer作为骨干网络,对需要检测的原始图像进行初始特征提取。Swin Transformer借鉴了很多卷积神经网络的设计理念以及其先验知识,第一,为减小序列长度在小窗口内计算自注意力,只有窗口大小固定自注意力的计算复杂度就是固定的,整张图的计算复杂度就会随图片大小呈线性增长关系,即图片尺寸增大X倍,窗口数量就增加X倍,计算复杂度就增加X倍,运用卷积神经网络局部性的先验知识。第二对于获取多尺寸特征,借鉴了卷积神经网络中的polling(池化),其可增大每个卷积核可以看到的receptive field,使得每次池化后的特征抓住物体的不同尺寸,类似的Swintransformer也提出了类似polling的操作,叫做patch merging,将相邻的小patch合成一个大patch,合并出来的大patch就可以观测到之前四个小patch看到的内容,receptivefield就增大了,同时可以抓住多尺寸的特征。从图中就可以看出开始下采样率为4倍,后面变为8倍,在后面16倍,这样就可以把多尺寸特征图输入给FPN,从而就可以做检查,丢给UNet就可以做分割了。因此Swin transformer是可以作为一个通用的骨干网络,特别是针对小目标物体,作为骨干网络,优势更加明显。
在通过SwinTransformer骨干网络进行特征提取后,通过四个3X3的卷积层得到四个原始特征图。
S12、对四个所述原始特征图进行拼接,得到拼接特征图;
S13、对所述拼接特征图分别进行两次特征解耦,得到分类特征和回归特征;
在本实施例中,本申请引入特征解耦合模块,将步骤S11中得到的四个原始特征图进行拼接,可以得到拼接特征图。通过特征解耦合模块,可以得到用于预测分类得分的分类特征和用于预测预测框坐标值的回归特征。
本实施例的解耦合模块包括平均池化层、全连接层和卷积层,如图3所示,本实施例将拼接特征图分别经过两个图3所示的解耦合模块,即可得到分类特征和回归特征,分类特征用于后续的分类预测,回归特征用于后续的目标框边界预测,如图4所示,具体包括以下步骤:
S131、对所述拼接特征图进行平均池化层处理,得到原始权重特征;
S132、根据所述原始权重特征进行全连接层处理,得到权重系数矩阵;
S133、将所述原始权重特征和权重系数矩阵进行加权处理,得到所述分类特征和回归特征。
在进行原始权重特征提取和卷积处理时,采用如下公式:
从原始权重特征进行加权处理和解耦处理时,采用如下公式:
其中,relu指relu层,conv指卷积层,decoupling指解耦合模块,表示分类特征,/>表示回归特征,fpn_feat表示骨干网络的输出。
S14、将所述分类特征通过一个卷积层进行卷积操作,得到分类得分。
S15、将所述回归特征通过自注意力模块进行解耦,分别得到针对x方向的x回归特征和针对y方向的y回归特征;
在本实施例中,本发明引入自注意力模块,通过自注意模块对回归特征进行解耦,分别得到针对x方向的x回归特征和针对y方向的y回归特征。通过自注意力机制,可以对图像中不同区域进行加权,以提高检测性能。如图5所示,具体包括步骤:
S151、将所述回归特征通过卷积处理,得到分辨率为H×W×64的第一特征图;其中,H为特征图的高,W为特征图的宽;
S152、对所述第一特征图进行下采样和一个卷积处理,得到分辨率为H/2×W/2×128的第二特征图;
S153、对所述第二特征图进行下采样和一个卷积处理,得到分辨率为H/4×W/4×128的第三特征图;
S154、对所述第三特征图进行上采样,并与所述第二特征图依次进行拼接和卷积操作,得到分辨率为H/2×W/2×64的第四特征图;
S155、对所述第四特征图进行上采样,并与所述第二特征图依次进行拼接和卷积操作,得到分辨率为H×W×128的第五特征图;
S156、对所述第五特征图进行卷积操作,得到初始注意力矩阵,并将所述初始注意力矩阵与所述回归特征进行点乘操作,得到所述x回归特征和y回归特征。
在步骤S156中,通过对第五特征图进行卷积操作,得到分辨率为H×W×1的初始注意力矩阵,然后将得到的初始注意力矩阵通过sigmoid缩放到0-1的范围,得到最终的注意力矩阵att_x/y(H×W×1),即x注意力矩阵和y注意力矩阵,然后将x注意力矩阵和y注意力矩阵分别与初始的回归特征进行点乘操作,也即每个维度上对应位置的元素进行相乘,得到最终的x回归特征和y回归特征。具体公式如下:
其中,CD指拼接和下采样,CAC指拼接和卷积,UP_Sample指上采用函数,Sig指sigmoid函数。
S16、将所述x回归特征和y回归特征进行拼接并通过卷积操作,得到预测框边界预测值;所述预测框边界预测值包括X边界预测值和Y边界预测值。
S17、根据所述分类得分,对所述预测框边界预测值进行检测,得到目标预测框。
每个点在经过模型处理之后,会得到一个分类得分和目标框的四个边界预测值,而为了提升检测精度,本发明实施例在增加了几个分支,通过所述x回归特征和y回归特征分别进行卷积操作,每个目标点还会得到针对x方向的X边界预测质量quality_x和左右距离向量tb_emb、以及针对y方向的Y边界预测质量quality_y和上下距离向量lr_emv四个值,用于帮助在NMS阶段寻找到属于同一物体的像素点。
进一步地,本发明实施例在根据所述分类得分,对所述预测框边界预测值进行检测,得到目标预测框,还包括:
根据所述左右距离向量和上下距离向量,判断所检测的目标是否为同一目标,若是则分别比较各个目标点的X边界预测质量和Y边界预测质量;
分别将最大X边界预测质量对应的X边界预测值和最大Y边界预测质量对应的Y边界预测值组合为新预测框边界预测值。
比如,有两个目标点A点和B点,A点得到的预测框边界是(A_X1,A_X2,A_Y1,A_Y2),B得到的是(B_X1,B_X2,B_Y1,B_Y2),此时,通过比较得到A点的quality_x > B点的quality_x,那么就说明A点的x边界预测值(A_X1,A_X2)的准确率更高一点,然后比较又得到B点的quality_y更高一点,那么就说明B点的y边界预测值(B_Y1,B_Y2)的准确率更高一点,所以本申请就组合组合出一个新的预测框(A_X1,A_X2,B_Y1,B_Y2)。
而由于组合之前,需要判断A、B是不是预测的同一物体,此时需要判断所检测的目标是否为同一目标,具体地,本发明实施将各个目标点进行两两比较,将各个目标点进行两两比较,计算其中一目标点的左右距离向量和另一目标点的上下距离向量的第一差值绝对值以及所述其中一目标点的上下距离向量和所述另一目标点的左右距离向量的第二差值绝对值,并计算所述第一差值绝对值和第二差值绝对值之和,判断所述第一差值绝对值和第二差值绝对值之和是否小于预定阈值,如小于则判定两个目标点所检测的目标为同一目标,否则为两个不同的目标。
比如,本发明实施例将预定阈值设为0.5,通过计算|A_tb_emb-B_lr_emb|+|A_lr_emb-B_tb_emb|的值是否小于0.5来判断其是否属于同一个物体。如果小于,那么A、B预测的是同一物体,否则为不同的物体。其中,A_tb_emb和A_lr_emb分别为目标点A的左右距离向量和上下距离向量,B_tb_emb和B_lr_emb分别表示为目标点B的左右距离向量和上下距离向量。
本发明实施例,通过此种方式的组合策略,能够不仅能够提升对同一物体的识别检测,而且还能够将得到的预测框边界值更加精准,进而提升目标检测精度。特别是对于小目标物体,由于对目标框进行了组合优化,更能体现本目标检测方法的检测性能。
在本发明实施例中,为了进一步提升图像特征的处理精度,本发明在拼接特征图分别进行两次特征解耦,得到分类特征和回归特征时,还根据所述拼接特征图,分别得到X预测框偏差矩阵O_x、Y预测框偏差矩阵O_y和预测框偏差矩阵O_bbox;然后根据X预测框偏差矩阵O_x,对所述x回归特征进行修正,得到针对x方向的X边界预测质量;根据Y预测框偏差矩阵O_y,对所述y回归特征进行修正,得到针对y方向的Y边界预测质量,以及根据预测框偏差矩阵O_bbox对预测框边界预测值进行修正,可以得到更加精准的预测框边界预测值。
本发明提供的目标检测方法,结合了特征解耦和自设计的组合策略,能够使得大大提升目标检测算法的检测精度,特别是组合策略的运用,使其能够更加适配小目标物体的检测。
需要说明的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。
基于上述基于特征解耦和组合策略的目标检测方法,本发明实施例还提供一种基于特征解耦和组合策略的目标检测系统,如图6所示,所述系统包括:
初始特征提取模块1,用于通过骨干网络对原始图像进行特征提取,得到初始特征,将所述初始特征经过四个卷积层,得到四个原始特征图;
第一特征拼接模块2,用于对四个所述原始特征图进行拼接,得到拼接特征图;
解耦合模块3,用于对所述拼接特征图分别进行两次特征解耦,得到分类特征和回归特征;
分类特征处理模块4,用于将所述分类特征通过一个卷积层进行卷积操作,得到分类得分;
回归特征处理模块5,用于将所述回归特征通过自注意力模块进行解耦,分别得到针对x方向的x回归特征和针对y方向的y回归特征;
第二特征拼接模块6,用于将所述x回归特征和y回归特征进行拼接并通过卷积操作,得到预测框边界预测值;所述预测框边界预测值包括X边界预测值和Y边界预测值;
预测模块7,用于根据所述分类得分,对所述预测框边界预测值进行检测,得到目标预测框。
关于目标检测系统的具体限定可以参见上文中对于目标检测方法的限定,对应的技术效果也可等同得到,在此不再赘述。上述目标检测系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图7示出一个实施例中计算机设备的内部结构图,该计算机设备具体可以是终端或服务器。如图7所示,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器、摄像头和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现配电变压器状态估计方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,各个实施例直接相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。需要说明的是,上述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本申请的保护范围。因此,本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (6)
1.一种基于特征解耦和组合策略的目标检测方法,其特征在于,所述方法包括:
通过骨干网络对原始图像进行特征提取,得到初始特征,将所述初始特征经过四个卷积层,得到四个原始特征图;
对四个所述原始特征图进行拼接,得到拼接特征图;
对所述拼接特征图分别进行两次特征解耦,得到分类特征和回归特征;
将所述分类特征通过一个卷积层进行卷积操作,得到分类得分;
将所述回归特征通过自注意力模块进行解耦,分别得到针对x方向的x回归特征和针对y方向的y回归特征;
将所述x回归特征和y回归特征进行拼接并通过卷积操作,得到预测框边界预测值;所述预测框边界预测值包括X边界预测值和Y边界预测值;
根据所述分类得分,对所述预测框边界预测值进行检测,得到目标预测框;
所述得到针对x方向的x回归特征和针对y方向的y回归特征之后,还包括:
对所述x回归特征和y回归特征分别进行卷积操作,得到多个目标点的针对x方向的X边界预测质量和左右距离向量、以及针对y方向的Y边界预测质量和上下距离向量;
所述根据所述分类得分,对所述预测框边界预测值进行检测,得到目标预测框,还包括:
根据所述左右距离向量和上下距离向量,判断所检测的目标是否为同一目标,若是则分别比较各个目标点的X边界预测质量和Y边界预测质量;
分别将最大X边界预测质量对应的X边界预测值和最大Y边界预测质量对应的Y边界预测值组合为新预测框边界预测值;
所述判断所检测的目标是否为同一目标,还包括:
将各个目标点进行两两比较,计算其中一目标点的左右距离向量和另一目标点的上下距离向量的第一差值绝对值以及所述其中一目标点的上下距离向量和所述另一目标点的左右距离向量的第二差值绝对值,并计算所述第一差值绝对值和第二差值绝对值之和,判断所述第一差值绝对值和第二差值绝对值之和是否小于预定阈值,如小于则判定两个目标点所检测的目标为同一目标,否则为两个不同的目标;
对所述拼接特征图分别进行两次特征解耦,得到分类特征和回归特征,还包括:
根据所述拼接特征图,分别得到X预测框偏差矩阵、Y预测框偏差矩阵和预测框偏差矩阵;
所述对所述x回归特征和y回归特征分别进行卷积操作,得到多个目标点的针对x方向的X边界预测质量和左右距离向量、以及针对y方向的Y边界预测质量和上下距离向量,还包括:
根据X预测框偏差矩阵,对所述x回归特征进行修正,得到针对x方向的X边界预测质量;
根据Y预测框偏差矩阵,对所述y回归特征进行修正,得到针对y方向的Y边界预测质量。
2.根据权利要求1所述的基于特征解耦和组合策略的目标检测方法,其特征在于,所述对所述拼接特征图分别进行两次特征解耦,得到分类特征和回归特征,包括:
对所述拼接特征图进行平均池化层处理,得到原始权重特征;
根据所述原始权重特征进行全连接层处理,得到权重系数矩阵;
将所述原始权重特征和权重系数矩阵进行加权处理,得到所述分类特征和回归特征。
3.根据权利要求1所述的基于特征解耦和组合策略的目标检测方法,其特征在于,所述将所述回归特征通过自注意力模块进行解耦,分别得到针对x方向的x回归特征和针对y方向的y回归特征,还包括:
将所述回归特征通过卷积处理,得到分辨率为H×W×64的第一特征图;其中,H为特征图的高,W为特征图的宽;
对所述第一特征图进行下采样和一个卷积处理,得到分辨率为H/2×W/2×128的第二特征图;
对所述第二特征图进行下采样和一个卷积处理,得到分辨率为H/4×W/4×128的第三特征图;
对所述第三特征图进行上采样,并与所述第二特征图依次进行拼接和卷积操作,得到分辨率为H/2×W/2×64的第四特征图;
对所述第四特征图进行上采样,并与所述第二特征图依次进行拼接和卷积操作,得到分辨率为H×W×128的第五特征图;
对所述第五特征图进行卷积操作,得到初始注意力矩阵,并将所述初始注意力矩阵与所述回归特征进行点乘操作,得到所述x回归特征和y回归特征。
4.一种基于特征解耦和组合策略的目标检测系统,该系统用于执行权利要求1所述的方法,其特征在于,所述系统包括:
初始特征提取模块,用于通过骨干网络对原始图像进行特征提取,得到初始特征,将所述初始特征经过四个卷积层,得到四个原始特征图;
第一特征拼接模块,用于对四个所述原始特征图进行拼接,得到拼接特征图;
解耦合模块,用于对所述拼接特征图分别进行两次特征解耦,得到分类特征和回归特征;
分类特征处理模块,用于将所述分类特征通过一个卷积层进行卷积操作,得到分类得分;
回归特征处理模块,用于将所述回归特征通过自注意力模块进行解耦,分别得到针对x方向的x回归特征和针对y方向的y回归特征;
第二特征拼接模块,用于将所述x回归特征和y回归特征进行拼接并通过卷积操作,得到预测框边界预测值;所述预测框边界预测值包括X边界预测值和Y边界预测值;
预测模块,用于根据所述分类得分,对所述预测框边界预测值进行检测,得到目标预测框。
5.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至3中任一所述方法的步骤。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至3中任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410105400.2A CN117636078B (zh) | 2024-01-25 | 2024-01-25 | 一种目标检测方法、系统、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410105400.2A CN117636078B (zh) | 2024-01-25 | 2024-01-25 | 一种目标检测方法、系统、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117636078A CN117636078A (zh) | 2024-03-01 |
CN117636078B true CN117636078B (zh) | 2024-04-19 |
Family
ID=90032448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410105400.2A Active CN117636078B (zh) | 2024-01-25 | 2024-01-25 | 一种目标检测方法、系统、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117636078B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831403A (zh) * | 2012-08-10 | 2012-12-19 | 深圳市奔凯安全技术有限公司 | 一种基于指纹特征点的识别方法 |
CN109376576A (zh) * | 2018-08-21 | 2019-02-22 | 中国海洋大学 | 基于交替更新密集连通从零训练网络的目标检测方法 |
CN111898560A (zh) * | 2020-08-03 | 2020-11-06 | 华南理工大学 | 一种目标检测中的分类回归特征解耦方法 |
CN115147731A (zh) * | 2022-07-28 | 2022-10-04 | 北京航空航天大学 | 一种基于全空间编码注意力模块的sar图像目标检测方法 |
CN115359265A (zh) * | 2022-08-18 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 关键点提取方法、装置、设备及存储介质 |
CN116612382A (zh) * | 2023-04-17 | 2023-08-18 | 北京科技大学 | 一种城市遥感图像目标检测方法和装置 |
CN116704505A (zh) * | 2023-05-22 | 2023-09-05 | 武汉轻工大学 | 目标检测方法、装置、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10783379B2 (en) * | 2017-08-23 | 2020-09-22 | Bossa Nova Robotics Ip, Inc. | Method for new package detection |
-
2024
- 2024-01-25 CN CN202410105400.2A patent/CN117636078B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831403A (zh) * | 2012-08-10 | 2012-12-19 | 深圳市奔凯安全技术有限公司 | 一种基于指纹特征点的识别方法 |
CN109376576A (zh) * | 2018-08-21 | 2019-02-22 | 中国海洋大学 | 基于交替更新密集连通从零训练网络的目标检测方法 |
CN111898560A (zh) * | 2020-08-03 | 2020-11-06 | 华南理工大学 | 一种目标检测中的分类回归特征解耦方法 |
CN115147731A (zh) * | 2022-07-28 | 2022-10-04 | 北京航空航天大学 | 一种基于全空间编码注意力模块的sar图像目标检测方法 |
CN115359265A (zh) * | 2022-08-18 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 关键点提取方法、装置、设备及存储介质 |
CN116612382A (zh) * | 2023-04-17 | 2023-08-18 | 北京科技大学 | 一种城市遥感图像目标检测方法和装置 |
CN116704505A (zh) * | 2023-05-22 | 2023-09-05 | 武汉轻工大学 | 目标检测方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
非结构化果园环境下小目标果实检测研究;孙美丽;《中国优秀硕士学位论文全文数据库 (农业科技辑)》;20240115(第1期);第D048-108页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117636078A (zh) | 2024-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110765860B (zh) | 摔倒判定方法、装置、计算机设备及存储介质 | |
WO2020192483A1 (zh) | 图像显示方法和设备 | |
JP6126121B2 (ja) | 非局所的超解像再構成の方法及び装置 | |
US9344690B2 (en) | Image demosaicing | |
US9129414B2 (en) | Image compositing apparatus, image compositing method, image compositing program, and recording medium | |
CN110766724B (zh) | 目标跟踪网络训练、跟踪方法及装置、电子设备及介质 | |
US20150205997A1 (en) | Method, apparatus and computer program product for human-face features extraction | |
US20130279762A1 (en) | Adaptive search window control for visual search | |
US20130070105A1 (en) | Tracking device, tracking method, and computer program product | |
US9881227B2 (en) | Image processing apparatus and method | |
CN112991180B (zh) | 图像拼接方法、装置、设备以及存储介质 | |
CN112966654A (zh) | 唇动检测方法、装置、终端设备及计算机可读存储介质 | |
CN111145151B (zh) | 一种运动区域确定方法及电子设备 | |
CN112001949B (zh) | 确定目标点移动速度的方法、装置、可读存储介质及设备 | |
JP2018113660A (ja) | 情報処理装置、情報処理方法、システム | |
CN117636078B (zh) | 一种目标检测方法、系统、计算机设备及存储介质 | |
US20080212098A1 (en) | Method and apparatus for detecting feature | |
US11238309B2 (en) | Selecting keypoints in images using descriptor scores | |
JP5928465B2 (ja) | 劣化復元システム、劣化復元方法およびプログラム | |
JP5441737B2 (ja) | 画像処理装置、画像処理方法及び画像処理用プログラム | |
WO2021179905A1 (en) | Motion blur robust image feature descriptor | |
CN113409373B (zh) | 图像处理方法及相关终端、设备和存储介质 | |
CN113033334B (zh) | 图像处理方法、装置、电子设备、介质 | |
KR20240092242A (ko) | 디모자이킹 방법 및 디모자이킹 장치 | |
CN117876798A (zh) | 一种发动机打刻面缺陷检测方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |