CN118262208A - 一种目标检测方法、装置、终端设备及存储介质 - Google Patents
一种目标检测方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN118262208A CN118262208A CN202211687341.1A CN202211687341A CN118262208A CN 118262208 A CN118262208 A CN 118262208A CN 202211687341 A CN202211687341 A CN 202211687341A CN 118262208 A CN118262208 A CN 118262208A
- Authority
- CN
- China
- Prior art keywords
- feature map
- initial
- detection
- target
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 295
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 107
- 238000012549 training Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本申请适用于深度学习技术领域,提供了一种目标检测方法、装置、终端设备及计算机可读存储介质,所述方法包括:获取包含小目标对象的目标图像;将目标图像输入至已训练的目标检测模型进行处理,得到目标图像的目标检测结果;其中,目标检测模型包括查询头,查询头位于目标检测模型的检测头之前,查询头用于检测小目标对象的初始位置信息。与现有技术相比,本申请提供的方法无需放大图像尺寸,也无需减少目标检测模型的下采样率,是在使用目标检测模型中的检测头对小目标对象进行检测之前,可以使用查询头确定目标图像中小目标对象所处的位置信息,检测头可以直接对该位置信息上的图像进行检测,提高了对小目标对象的检测成功率和检测效率。
Description
技术领域
本申请属于深度学习技术领域,尤其涉及一种目标检测方法、装置、终端设备及计算机可读存储介质。
背景技术
目前,在使用目标检测模型对图像中的目标对象进行检测时,由于目标对象有大有小,小目标对象在图像中的占比低下,使得目标检测模型对小目标对象的检测成功率低下。
现有技术中,小目标检测方法通常为通过放大输入的包含小目标的图像尺寸或者减少目标检测模型中下采样率来维持该图像中较大分辨率的特征,然而放大图像尺寸会增加冗余计算,降低了检测效率,而减少目标检测模型的下采样率会降低对小目标的检测成功率。
发明内容
本申请实施例提供了一种目标检测方法、装置、终端设备及计算机可读存储介质,可以提高对小目标对象的检测成功率和检测效率。
第一方面,本申请实施例提供了一种目标检测方法,包括:
获取包含小目标对象的目标图像;
将所述目标图像输入至已训练的目标检测模型进行处理,得到所述目标图像的目标检测结果;其中,所述目标检测模型包括查询头,所述查询头位于所述目标检测模型的检测头之前,所述查询头为用于检测所述小目标对象的初始位置信息的神经网络结构。
可选的,所述目标检测模型包括特征提取网络、特征金字塔网络、所述查询头以及所述检测头;所述特征金字塔网络包括第一尺度检测层、第二尺度检测层以及第三尺度检测层;所述第一尺度检测层的尺度为第一尺度,所述第二尺度检测层的尺度为第二尺度,所述第三尺度检测层的尺度为第三尺度,所述第一尺度大于所述第二尺度,所述第二尺度大于所述第三尺度;所述将所述目标图像输入至已训练的目标检测模型进行处理,得到所述目标图像的目标检测结果,包括:
将所述目标图像输入至所述特征提取网络进行特征提取,得到第一特征图,第二特征图以及第三特征图;
将所述第一特征图输入至所述第一尺度检测层,得到第四特征图;
将所述第二特征图输入至所述第二尺度检测层,得到第五特征图;
将所述第三特征图输入至所述第三尺度检测层,得到第六特征图;
将所述第四特征图、所述第五特征图及所述第六特征图进行特征融合,得到第七特征图,所述第七特征图和所述第三特征图的尺寸相同;
将所述第一特征图和所述第二特征图输入至所述查询头进行位置检测,得到所述小目标对象在所述第二特征图上的第一位置信息;
根据所述第一位置信息确定所述小目标对象在所述第七特征图上的所述初始位置信息;
控制所述检测头对所述第七特征图中与所述初始位置信息对应的区域进行目标检测,得到所述目标检测结果。
可选的,所述查询头包括第一查询头和第二查询头;所述将所述第一特征图和所述第二特征图输入至所述查询头进行位置检测,得到所述小目标对象在所述第二特征图上的第一位置信息,包括:
控制所述第一查询头对所述第一特征图进行位置检测,得到所述小目标对象在所述第一特征图中的第二位置信息;
根据所述第二位置信息确定所述小目标对象在所述第二特征图上的位置区域;
控制所述第二查询头对所述位置区域进行位置检测,得到所述小目标对象在所述第二特征图上的所述第一位置信息。
可选的,所述控制所述第一查询头对所述第一特征图进行位置检测,得到所述小目标对象在所述第一特征图中的第二位置信息,包括:
控制所述第一查询头对所述第一特征图进行位置检测,得到所述小目标对象在所述第一特征图上的第一位置概率矩阵;所述第一位置概率矩阵中的每个第一元素的值用于表征所述第一特征图中与所述每个第一元素对应的位置为所述小目标对象所处位置的第一概率值;
若所述第一位置概率矩阵中存在大于第一阈值的第二元素,则将所述第二元素对应的位置确定为所述第二位置信息。
可选的,所述根据所述第二位置信息确定所述小目标对象在所述第二特征图上的位置区域,包括:
根据所述第二位置信息,在所述第二特征图中确定与所述第二位置信息相邻的设定数目个坐标点,并将所述设定数目个坐标点所处的区域确定为所述位置区域。
可选的,所述控制所述第二查询头对所述位置区域进行位置检测,得到所述小目标对象在所述第二特征图上的所述第一位置信息,包括:
控制所述第二查询头对所述位置区域进行位置检测,得到所述小目标对象在所述位置区域上的第二位置概率矩阵;所述第二位置概率矩阵中的每个第三元素的值用于表征所述位置区域中与所述每个第三元素对应的位置为所述小目标对象所处位置的第二概率值;
若所述第二位置概率矩阵中存在大于第二阈值的第四元素,则将所述第四元素对应的位置确定所述第一位置信息。
可选的,在所述将所述目标图像输入至已训练的目标检测模型进行处理,得到所述目标图像的目标检测结果之前,还包括:
获取样本图像集合;所述样本图像集合中包括包含小目标对象的样本图像;
根据所述样本图像集合,对预构建的初始检测模型进行优化训练,得到所述目标检测模型。
可选的,所述初始检测模型包括初始特征提取网络和初始查询头;所述根据所述样本图像集合,对预构建的初始检测模型进行优化训练,得到所述目标检测模型,包括:
将所述样本图像集合中的每张样本图像依次输入至所述初始特征提取网络进行特征提取,得到第一初始特征图和第二初始特征图;
根据所述每张样本图像对应的所述第一初始特征图和所述第二初始特征图对所述初始查询头进行训练,得到所述查询头;
确定所述查询头的损失函数;
根据所述损失函数和所述查询头对所述初始检测模型进行优化训练,得到所述目标检测模型。
可选的,所述根据所述每张样本图像对应的所述第一初始特征图和所述第二初始特征图对所述初始查询头进行训练,得到所述查询头,包括:
确定所述小目标对象在所述样本图像中的标准位置信息;
根据所述标准位置信息确定所述小目标对象在所述第一初始特征图中的第一初始位置概率矩阵,以及在所述第二初始特征图中的第二初始位置概率矩阵;
根据所述第一初始位置概率矩阵和所述第二初始位置概率矩阵,对所述初始查询头进行训练,得到所述查询头。
可选的,所述根据所述标准位置信息确定所述小目标对象在所述第一初始特征图中的第一初始位置概率矩阵,以及在所述第二初始特征图中的第二初始位置概率矩阵,包括:
计算所述标准位置信息与所述第一初始特征图中各个第一位置之间的第一距离;
计算所述标准位置信息与所述第二初始特征图中各个第二位置之间的第二距离;
根据各个所述第一距离与第三阈值之间的比较结果,得到所述第一初始位置概率矩阵;
根据各个所述第二距离与第四阈值之间的比较结果,得到所述第二初始位置概率矩阵。
可选的,所述根据各个所述第一距离与第三阈值之间的比较结果,得到所述第一初始位置概率矩阵,包括:
若任意一个所述第一距离大于或等于所述第三阈值,则确定任意一个所述第一距离在所述第一初始位置概率矩阵中对应位置的元素的值为1;
若任意一个所述第一距离小于所述第三阈值,则确定任意一个所述第一距离在所述第一初始位置概率矩阵中对应位置的元素的值为0;
根据所有所述第一距离在所述第一初始位置概率矩阵中各自对应位置的元素的值确定所述第一初始位置概率矩阵。
第二方面,本申请实施例提供了一种目标检测装置,包括:
第一获取单元,用于获取包含小目标对象的目标图像;
第一处理单元,用于将所述目标图像输入至已训练的目标检测模型进行处理,得到所述目标图像的目标检测结果;其中,所述目标检测模型包括查询头,所述查询头位于所述目标检测模型的检测头之前,所述查询头为用于检测所述小目标对象的初始位置信息的神经网络结构。
第三方面,本申请实施例提供了一种终端设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,上述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的目标检测方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的目标检测方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备可执行上述第一方面中任一项所述的目标检测方法。
本申请实施例与现有技术相比存在的有益效果是:
本申请实施例提供的一种目标检测方法,通过获取包含小目标对象的目标图像;将目标图像输入至已训练的目标检测模型进行处理,得到目标图像的目标检测结果;其中,目标检测模型包括查询头,查询头位于目标检测模型的检测头之前,查询头为用于检测小目标对象的初始位置信息的神经网络结构。与现有技术中通过放大输入的包含小目标的图像尺寸或者减少目标检测模型中下采样率来维持该图像中较大分辨率的特征相比,本申请提供的方法无需放大图像尺寸,也无需减少目标检测模型的下采样率,是在目标检测模型的检测头之前,设置了用于检测小目标对象的初始位置信息的查询头,使得目标检测模型在使用检测头对小目标对象进行检测之前,可以使用查询头确定目标图像中小目标对象所处的位置信息,以使检测头可以直接对该位置信息上的图像进行检测,不仅提高了对小目标对象的检测成功率,还减少了冗余计算,提高了检测效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的目标检测方法的实现流程图;
图2是本申请另一实施例提供的目标检测方法的实现流程图;
图3是本申请再一实施例提供的目标检测方法的实现流程图;
图4是本申请又一实施例提供的目标检测方法的实现流程图;
图5是本申请又一实施例提供的目标检测方法的实现流程图;
图6是本申请又一实施例提供的目标检测方法的实现流程图;
图7是本申请又一实施例提供的目标检测方法的实现流程图;
图8是本申请一实施例提供的目标检测装置的结构示意图;
图9是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
请参阅图1,图1是本申请一实施例提供的一种目标检测方法的实现流程图。本申请实施例中,该目标检测方法的执行主体为终端设备。
如图1所示,本申请一实施例提供的目标检测方法可以包括S101~S102,详述如下:
在S101中,获取包含小目标对象的目标图像。
在本申请实施例的一种实现方式中,终端设备可以通过与其无线通信连接的服务器实时获取到包含小目标对象的目标图像。
需要说明的是,小目标对象具体指某个目标对象在一张图像中的占比小于设定阈值。其中,设定阈值可以根据实际需要设置,此处不作限制。
在S102中,将所述目标图像输入至已训练的目标检测模型进行处理,得到所述目标图像的目标检测结果;其中,所述目标检测模型包括查询头,所述查询头位于所述目标检测模型的检测头之前,所述查询头为用于检测所述小目标对象的初始位置信息的神经网络结构。
本申请实施例中,终端设备在得到目标图像后,可以将该目标图像输入至已训练的目标检测模型进行处理,从而得到上述目标图像的目标检测结果。其中,该目标检测结果可以是包含用于标注小目标对象的检测框的图像数据。
需要说明的是,由于小目标对象在目标图像中的占比较少,直接使用检测头对该小目标对象进行检测时,无法准确的确定小目标对象在目标图像中的位置,从而导致检测效果不佳,因此,本申请实施例中的目标检测模型包括查询头,且该查询头位于目标检测模型的检测头之前。其中,查询头为用于检测小目标对象的初始位置信息的神经网络结构。
由于查询头可以检测到小目标对象在目标图像中的初始位置信息,使得终端设备可以控制目标检测模型中的检测头直接对目标图像中的初始位置信息的图像进行检测,使得检测头无需对目标图像中的其他位置进行检测,从而提高了对小目标对象的检测成功率和检测效率。
以上可以看出,本申请实施例提供的一种目标检测方法,通过获取包含小目标对象的目标图像;将目标图像输入至已训练的目标检测模型进行处理,得到目标图像的目标检测结果;其中,目标检测模型包括查询头,查询头位于目标检测模型的检测头之前,查询头为用于检测小目标对象的初始位置信息的神经网络结构。与现有技术中通过放大输入的包含小目标的图像尺寸或者减少目标检测模型中下采样率来维持该图像中较大分辨率的特征相比,本申请提供的方法无需放大图像尺寸,也无需减少目标检测模型的下采样率,是在目标检测模型的检测头之前,设置了用于检测小目标对象的初始位置信息的查询头,使得目标检测模型在使用检测头对小目标对象进行检测之前,可以使用查询头确定目标图像中小目标对象所处的位置信息,以使检测头可以直接对该位置信息上的图像进行检测,不仅提高了对小目标对象的检测成功率,还减少了冗余计算,提高了检测效率。
在本申请的一个实施例中,目标检测模型包括特征提取网络、特征金字塔网络、查询头以及检测头;特征金字塔网络包括第一尺度检测层、第二尺度检测层以及第三尺度检测层;第一尺度检测层的尺度为第一尺度,第二尺度检测层的尺度为第二尺度,第三尺度检测层的尺度为第三尺度,第一尺度大于所述第二尺度,第二尺度大于第三尺度。
需要说明的是,上述尺度与分辨率存在对应关系。具体地,第一尺度对应的分辨率小于第二尺度对应的分辨率,第二尺度对应的分辨率小于第三尺度对应的分辨率。
基于此,请参阅图2,图2是本申请另一实施例提供的目标检测方法。相对于图1对应的实施例,本实施例中,步S102具体可以包括S201~S208,详述如下:
在S201中,将所述目标图像输入至所述特征提取网络进行特征提取,得到第一特征图,第二特征图以及第三特征图。
在S202中,将所述第一特征图输入至所述第一尺度检测层,得到第四特征图。
在S203中,将所述第二特征图输入至所述第二尺度检测层,得到第五特征图。
在S204中,将所述第三特征图输入至所述第三尺度检测层,得到第六特征图。
在S205中,将所述第四特征图、所述第五特征图及所述第六特征图进行特征融合,得到第七特征图,所述第七特征图和所述第三特征图的尺寸相同。
本实施例中,终端设备控制目标检测模型将第四特征图、第五特征图及第六特征图进行融合,从而得到富有更多图像特征的第七特征图。其中,第七特征图和第三特征图的尺寸相同。
在S206中,将所述第一特征图和所述第二特征图输入至所述查询头进行位置检测,得到所述小目标对象在所述第二特征图上的第一位置信息。
在实际应用中,第一尺度检测层、第二尺度检测层及第三尺度检测层是层层递进的关系,因此,本实施例中,终端设备在将第一特征图和第二特征图输入至查询头之后,可以控制查询头检测小目标对象在第一特征图中的位置,之后查询头再根据小目标对象在第一特征图中的位置,确定小目标对象在第二特征图中的位置,即第一位置信息。
在本申请的一个实施例中,查询头包括第一查询头和第二查询头,且第一查询头和第一尺度检测层关联,第二查询头与第二尺度检测层关联,因此,终端设备具体可以通过如图3所示的步骤S301~S303确定小目标对象在第二特征图上的第一位置信息,详述如下:
在S301中,控制所述第一查询头对所述第一特征图进行位置检测,得到所述小目标对象在所述第一特征图中的第二位置信息。
本实施例中,为了提高对小目标对象在目标图像中的初始位置信息的准确率,终端设备可以控制与第一尺度检测层关联的第一查询头对第一特征图进行位置检测,以得到小目标对象在第一特征图中的第二位置信息。其中,第二位置信息可以是坐标信息。
在本申请的一个实施例中,终端设备具体可以通过以下步骤得到小目标对象在第一特征图中的第二位置信息。详述如下:
控制所述第一查询头对所述第一特征图进行位置检测,得到所述小目标对象在所述第一特征图上的第一位置概率矩阵;所述第一位置概率矩阵中的每个第一元素的值用于表征所述第一特征图中与所述每个第一元素对应的位置为所述小目标对象所处位置的第一概率值;
若所述第一位置概率矩阵中存在大于第一阈值的第二元素,则将所述第二元素对应的位置确定为所述第二位置信息。
本实施例中,终端设备可以控制第一查询头对第一特征图中每个位置进行检测,从而得到小目标对象在第一特征图上的第一位置概率矩阵。其中,第一位置概率矩阵中的每个第一元素的值用于表征第一特征图中与每个第一元素对应的位置为小目标对象所处位置的第一概率值。
终端设备在得到第一位置概率矩阵后,可以依次将该第一位置概率矩阵中每个第二元素的值与第一阈值进行比较。其中,第一阈值可以根据实际需要设置,此处不作限制。
在本申请的一个实施例中,终端设备在检测到第一位置概率矩阵中存在大于第一阈值的第二元素时,说明该第二元素对应的位置存在小目标对象,因此,终端设备可以将该第二元素对应的位置确定为第二位置信息。
在S302中,根据所述第二位置信息确定所述小目标对象在所述第二特征图上的位置区域。
本实施例中,由于第一特征图和第二特征图尺度不同,因此,为了提高对小目标对象的位置检测准确率,终端设备可以根据小目标对象在第一特征图中的第二位置信息,确定小目标对象在所述第二特征图上的位置区域。
具体地,在本申请的一个实施例中,终端设备可以根据第二位置信息,在第二特征图中确定与第二位置信息相邻的设定数目个坐标点,并将设定数目个坐标点所处的区域确定为位置区域。其中,设定数目可以根据实际需要设置,此处不作限制。示例性的,设定数目可以设置为4。
在S303中,控制所述第二查询头对所述位置区域进行位置检测,得到所述小目标对象在所述第二特征图上的所述第一位置信息。
本实施例中,为了提高对小目标对象在目标图像中的初始位置信息的准确率,终端设备可以控制与第二尺度检测层关联的第二查询头对位置区域进行位置检测,以得到小目标对象在第二特征图中的第一位置信息。其中,第一位置信息可以是坐标信息。
在本申请的一个实施例中,终端设备具体可以通过以下步骤得到小目标对象在第二特征图中的第一位置信息。详述如下:
控制所述第二查询头对所述位置区域进行位置检测,得到所述小目标对象在所述位置区域上的第二位置概率矩阵;所述第二位置概率矩阵中的每个第三元素的值用于表征所述位置区域中与所述每个第三元素对应的位置为所述小目标对象所处位置的第二概率值;
若所述第二位置概率矩阵中存在大于第二阈值的第四元素,则将所述第四元素对应的位置确定所述第一位置信息。
本实施例中,终端设备可以控制第二查询头对位置区域中每个位置进行检测,从而得到小目标对象在第二特征图上的第二位置概率矩阵。其中,第二位置概率矩阵中的每个第三元素的值用于表征第二特征图中与每个第三元素对应的位置为小目标对象所处位置的第二概率值。
终端设备在得到第二位置概率矩阵后,可以依次将该第二位置概率矩阵中每个第三元素的值与第二阈值进行比较。其中,第二阈值可以根据实际需要设置,此处不作限制。
在本申请的一个实施例中,终端设备在检测到第二位置概率矩阵中存在大于第二阈值的第四元素时,说明该第四元素对应的位置存在小目标对象,因此,终端设备可以将该第四元素对应的位置确定为第一位置信息。
在S207中,根据所述第一位置信息确定所述小目标对象在所述第七特征图上的所述初始位置信息。
本实施例中,终端设备在得到第一位置信息后,可以根据该第一位置信息确定小目标对象在第七特征图上的初始位置信息。
在S208中,控制所述检测头对所述第七特征图中与所述初始位置信息对应的区域进行目标检测,得到所述目标检测结果。
本实施例中,为了提高检测效率,避免冗余计算,终端设备可以控制检测头直接对第七特征图中与初始位置信息对应的区域进行目标检测,以得到目标检测结果。
以上可以看出,本实施例提供的目标检测方法,将目标图像输入至特征提取网络进行特征提取,得到第一特征图,第二特征图以及第三特征图;将第一特征图输入至第一尺度检测层,得到第四特征图;将第二特征图输入至第二尺度检测层,得到第五特征图;将第三特征图输入至第三尺度检测层,得到第六特征图;将第四特征图、第五特征图和第六特征图进行特征融合,得到第七特征图,第七特征图和第三特征图的尺寸相同;将第一特征图和第二特征图输入至查询头进行位置检测,得到小目标对象在第二特征图上的第一位置信息;根据第一位置信息确定小目标对象在第七特征图上的初始位置信息;控制检测头对第七特征图中与初始位置信息对应的区域进行目标检测,得到目标检测结果。本实施例提供的方法,由于目标检测模型包括特征金字塔网络,可以对目标图像进行多尺度特征融合,从而提高了对小目标对象的初始位置信息的检测准确率,进而进一步提高了对小目标对象的检测成功率。
请参阅图4,图4是本申请另一实施例提供的目标检测方法。相对于图1对应的实施例,本实施例在步骤S102之前,还可以包括S401~S402,详述如下:
在S401中,获取样本图像集合;所述样本图像集合中包括包含小目标对象的样本图像。
在本实施例的一种实现方式中,终端设备可以通过与其无线通信连接的服务器实时获取到样本图像集合。其中,样本图像集合中包括包含小目标对象的样本图像。
在S402中,根据所述样本图像集合,对预构建的初始检测模型进行优化训练,得到所述目标检测模型。
本实施例中,初始检测模型包括初始特征提取网络和初始查询头,因此,在本申请的一个实施例中,终端设备可以通过如图5所示的501~S504得到目标检测模型,详述如下:
在S501中,将所述样本图像集合中的每张样本图像依次输入至所述初始特征提取网络进行特征提取,得到第一初始特征图和第二初始特征图。
本实施例中,第一初始特征图的尺度为第一尺度,第二初始特征图的尺度为第二尺度。
在S502中,根据所述每张样本图像对应的所述第一初始特征图和所述第二初始特征图对所述初始查询头进行训练,得到所述查询头。
在本申请的一个实施例中,初始查询头包括第一初始查询头和第二初始查询头,因此,终端设备根据每张样本图像对应的第一初始特征图对第一初始查询头进行训练,得到第一查询头;根据每张样本图像对应的第二初始特征图对第二初始查询头进行训练,得到第二查询头。
在本申请的另一个实施例中,终端设备具体可以通过如图6所示的S601~S603得到查询头,详述如下:
在S601中,确定所述小目标对象在所述样本图像中的标准位置信息。
本实施例中,标准位置信息具体指小目标对象在样本图像中的实际位置范围。
在S602中,根据所述标准位置信息确定所述小目标对象在所述第一初始特征图中的第一初始位置概率矩阵,以及在所述第二初始特征图中的第二初始位置概率矩阵。
在本申请的一个实施例中,终端设备具体可以通过如图7所示的S701~S704得到第一初始位置概率矩阵和第二初始位置概率矩阵,详述如下:
在S701中,计算所述标准位置信息与所述第一初始特征图中各个第一位置之间的第一距离。
本实施例中,终端设备具体可以根据以下公式计算得到第一距离:
其中,D1表示第一距离,(xo,yo)表示小目标对象的标准位置信息,(x1i,y1i)表示第一初始特征图中第i个第一位置。
在S702中,计算所述标准位置信息与所述第二初始特征图中各个第二位置之间的第二距离。
本实施例中,终端设备具体可以根据以下公式计算得到第一距离:
其中,D2表示第一距离,(xo,yo)表示小目标对象的标准位置信息,(x2i,y2i)表示第二初始特征图中第i个第二位置。
在S703中,根据各个所述第一距离与第三阈值之间的比较结果,得到所述第一初始位置概率矩阵。
在本申请的一个实施例中,终端设备具体可以根据以下步骤得到第一初始位置概率矩阵,详述如下:
若任意一个所述第一距离大于或等于所述第三阈值,则确定任意一个所述第一距离在所述第一初始位置概率矩阵中对应位置的元素的值为1;
若任意一个所述第一距离小于所述第三阈值,则确定任意一个所述第一距离在所述第一初始位置概率矩阵中对应位置的元素的值为0;
根据所有所述第一距离在所述第一初始位置概率矩阵中各自对应位置的元素的值确定所述第一初始位置概率矩阵。
需要说明的是,终端设备可以根据第一初始特征图中的各个位置构建第一初始位置概率矩阵,即第一初始特征图中包含多少个位置,第一初始位置概率矩阵中就包含多少个元素,且每个元素所处的位置可以根据第一初始特征图中的每个位置的坐标信息确定。
本实施例中,针对任意一个第一距离,终端设备在检测到该第一距离大于或等于第三阈值时,可以确定该第一距离在第一初始位置概率矩阵中对应位置的元素的值为1;终端设备在检测到该第一距离小于于第三阈值时,可以确定该第一距离在第一初始位置概率矩阵中对应位置的元素的值为0。其中,第三阈值可以根据实际需要设置,此处不作限制。
基于此,终端设备在确定所以元素的值后,可以得到第一初始位置概率矩阵。
在S704中,根据各个所述第二距离与第四阈值之间的比较结果,得到所述第二初始位置概率矩阵。
在本申请的一个实施例中,终端设备具体可以根据以下步骤得到第一初始位置概率矩阵,详述如下:
若任意一个所述第二距离大于或等于所述第四阈值,则确定任意一个所述第二距离在所述第二初始位置概率矩阵中对应位置的元素的值为1;
若任意一个所述第二距离小于所述第四阈值,则确定任意一个所述第二距离在所述第二初始位置概率矩阵中对应位置的元素的值为0;
根据所有所述第二距离在所述第二初始位置概率矩阵中各自对应位置的元素的值确定所述第二初始位置概率矩阵。
需要说明的是,终端设备可以根据第二初始特征图中的各个位置构建第二初始位置概率矩阵,即第二初始特征图中包含多少个位置,第二初始位置概率矩阵中就包含多少个元素,且每个元素所处的位置可以根据第二初始特征图中的每个位置的坐标信息确定。
本实施例中,针对任意一个第二距离,终端设备在检测到该第二距离大于或等于第四阈值时,可以确定该第二距离在第二初始位置概率矩阵中对应位置的元素的值为1;终端设备在检测到该第二距离小于于第四阈值时,可以确定该第二距离在第二初始位置概率矩阵中对应位置的元素的值为0。其中,第四阈值可以根据实际需要设置,此处不作限制。
基于此,终端设备在确定所以元素的值后,可以得到第二初始位置概率矩阵。
在S603中,根据所述第一初始位置概率矩阵和所述第二初始位置概率矩阵,对所述初始查询头进行训练,得到所述查询头。
本实施例中,初始查询头包括第一初始查询头和第二初始查询头,因此,终端设备可以根据从每张样本图像中得到的第一初始位置概率矩阵对第一初始查询头进行训练,得到第一查询头;根据从每张样本图像中得到的第二初始位置概率矩阵对应第二初始查询头进行训练,得到第二查询头。
在S503中,确定所述查询头的损失函数。
本实施例中,终端设备可以确定查询头的损失函数为focal loss。
在S504中,根据所述损失函数和所述查询头对所述初始检测模型进行优化训练,得到所述目标检测模型。
本实施例中,目标检测模型还包括初始特征金字塔网络和初始检测头,因此,终端设备可以根据查询头的损失函数、初始特征提取网络对应的损失函数、初始特征金字塔网络对应的损失函数以及初始检测头对应的损失函数以及训练后的查询头,对初始检测模型进行优化训练,即对该初始检测模型的参数进行更新,从而得到目标检测模型。
也是可以看出,本实施例提供的目标检测方法,获取样本图像集合;样本图像集合中包括包含小目标对象的样本图像;根据样本图像集合,对预构建的初始检测模型进行优化训练,得到目标检测模型。本实施例提供的方法对预构建的初始检测模型进行优化训练,从而提高了目标检测模型的检测精度。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的一种目标检测方法,图8示出了本申请实施例提供的一种目标检测装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。参照图8,该目标检测装置800包括:第一获取单元81和第一处理单元82。其中:
第一获取单元81用于获取包含小目标对象的目标图像。
第一处理单元82用于将所述目标图像输入至已训练的目标检测模型进行处理,得到所述目标图像的目标检测结果;其中,所述目标检测模型包括查询头,所述查询头位于所述目标检测模型的检测头之前,所述查询头为用于检测所述小目标对象的初始位置信息的神经网络结构。
在本申请的一个实施例中,第一计算单元82具体包括:第二计算单元和目标概率确定单元。其中:
在本申请的一个实施例中,所述目标检测模型包括特征提取网络、特征金字塔网络、所述查询头以及所述检测头;所述特征金字塔网络包括第一尺度检测层、第二尺度检测层以及第三尺度检测层;所述第一尺度检测层的尺度为第一尺度,所述第二尺度检测层的尺度为第二尺度,所述第三尺度检测层的尺度为第三尺度,所述第一尺度大于所述第二尺度,所述第二尺度大于所述第三尺度;第一处理单元82具体包括:第一提取单元、第一输入单元、第二输入单元、第三输入单元、融合单元、第一检测单元、第一确定单元及第一控制单元。其中:
第一提取单元用于将所述目标图像输入至所述特征提取网络进行特征提取,得到第一特征图,第二特征图以及第三特征图。
第一输入单元用于将所述第一特征图输入至所述第一尺度检测层,得到第四特征图。
第二输入单元用于将所述第二特征图输入至所述第二尺度检测层,得到第五特征图。
第三输入单元用于将所述第三特征图输入至所述第三尺度检测层,得到第六特征图。
融合单元用于将所述第四特征图、所述第五特征图及所述第六特征图进行特征融合,得到第七特征图,所述第七特征图和所述第三特征图的尺寸相同。
第一检测单元用于将所述第一特征图和所述第二特征图输入至所述查询头进行位置检测,得到所述小目标对象在所述第二特征图上的第一位置信息。
第一确定单元用于根据所述第一位置信息确定所述小目标对象在所述第七特征图上的所述初始位置信息。
第一控制单元用于控制所述检测头对所述第七特征图中与所述初始位置信息对应的区域进行目标检测,得到所述目标检测结果。
在本申请的一个实施例中,所述查询头包括第一查询头和第二查询头;第所述第一检测单元具体包括:第二检测单元、第二确定单元及第三检测单元。
其中:
第二检测单元用于控制所述第一查询头对所述第一特征图进行位置检测,得到所述小目标对象在所述第一特征图中的第二位置信息。
第二确定单元用于根据所述第二位置信息确定所述小目标对象在所述第二特征图上的位置区域。
第三检测单元用于控制所述第二查询头对所述位置区域进行位置检测,得到所述小目标对象在所述第二特征图上的所述第一位置信息。
在本申请的一个实施例中,所述第二检测单元具体包括:第四检测单元和第三确定单元。其中:
第四检测单元用于控制所述第一查询头对所述第一特征图进行位置检测,得到所述小目标对象在所述第一特征图上的第一位置概率矩阵;所述第一位置概率矩阵中的每个第一元素的值用于表征所述第一特征图中与所述每个第一元素对应的位置为所述小目标对象所处位置的第一概率值。
第三确定单元用于若所述第一位置概率矩阵中存在大于第一阈值的第二元素,则将所述第二元素对应的位置确定为所述第二位置信息。
在本申请的一个实施例中,所述第二确定单元具体用于:根据所述第二位置信息,在所述第二特征图中确定与所述第二位置信息相邻的设定数目个坐标点,并将所述设定数目个坐标点所处的区域确定为所述位置区域。
在本申请的一个实施例中,所述第三检测单元具体包括:第五检测单元和第四确定单元。其中:
第五检测单元用于控制所述第二查询头对所述位置区域进行位置检测,得到所述小目标对象在所述位置区域上的第二位置概率矩阵;所述第二位置概率矩阵中的每个第三元素的值用于表征所述位置区域中与所述每个第三元素对应的位置为所述小目标对象所处位置的第二概率值。
第四确定单元用于若所述第二位置概率矩阵中存在大于第二阈值的第四元素,则将所述第四元素对应的位置确定所述第一位置信息。
在本申请的一个实施例中,目标检测装置800还包括:第二获取单元和第一训练单元。其中:
第二获取单元用于获取样本图像集合;所述样本图像集合中包括包含小目标对象的样本图像。
第一训练单元用于根据所述样本图像集合,对预构建的初始检测模型进行优化训练,得到所述目标检测模型。
在本申请的一个实施例中,所述初始检测模型包括初始特征提取网络和初始查询头;所述第一训练单元具体包括:第二提取单元、第二训练单元、第五确定单元及第三训练单元。其中:
第二提取单元用于将所述样本图像集合中的每张样本图像依次输入至所述初始特征提取网络进行特征提取,得到第一初始特征图和第二初始特征图。
第二训练单元用于根据所述每张样本图像对应的所述第一初始特征图和所述第二初始特征图对所述初始查询头进行训练,得到所述查询头。
第五确定单元用于确定所述查询头的损失函数。
第三训练单元用于根据所述损失函数和所述查询头对所述初始检测模型进行优化训练,得到所述目标检测模型。
在本申请的一个实施例中,所述第二训练单元具体包括:第六确定单元、第七确定单元及第四训练单元。其中:
第六确定单元用于确定所述小目标对象在所述样本图像中的标准位置信息。
第七确定单元用于根据所述标准位置信息确定所述小目标对象在所述第一初始特征图中的第一初始位置概率矩阵,以及在所述第二初始特征图中的第二初始位置概率矩阵。
第四训练单元用于根据所述第一初始位置概率矩阵和所述第二初始位置概率矩阵,对所述初始查询头进行训练,得到所述查询头。
在本申请的一个实施例中,所述第七确定单元具体包括:第一计算单元、第二计算单元、第一矩阵确定单元及第二矩阵确定单元。其中:
第一计算单元用于计算所述标准位置信息与所述第一初始特征图中各个第一位置之间的第一距离。
第二计算单元用于计算所述标准位置信息与所述第二初始特征图中各个第二位置之间的第二距离。
第一矩阵确定单元用于根据各个所述第一距离与第三阈值之间的比较结果,得到所述第一初始位置概率矩阵。
第二矩阵确定单元用于根据各个所述第二距离与第四阈值之间的比较结果,得到所述第二初始位置概率矩阵。
在本申请的一个实施例中,所述第一矩阵确定单元具体包括:第一概率确定单元、第二概率确定单元及第三矩阵确定单元。其中:
第一概率确定单元用于若任意一个所述第一距离大于或等于所述第三阈值,则确定任意一个所述第一距离在所述第一初始位置概率矩阵中对应位置的元素的值为1。
第二概率确定单元用于若任意一个所述第一距离小于所述第三阈值,则确定任意一个所述第一距离在所述第一初始位置概率矩阵中对应位置的元素的值为0。
第三矩阵确定单元用于根据所有所述第一距离在所述第一初始位置概率矩阵中各自对应位置的元素的值确定所述第一初始位置概率矩阵。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图9为本申请一实施例提供的终端设备的结构示意图。如图9所示,该实施例的终端设备9包括:至少一个处理器90(图9中仅示出一个)处理器、存储器91以及存储在所述存储器91中并可在所述至少一个处理器90上运行的计算机程序92,所述处理器90执行所述计算机程序92时实现上述任意各个目标检测方法实施例中的步骤。
该终端设备可包括,但不仅限于,处理器90、存储器91。本领域技术人员可以理解,图9仅仅是终端设备9的举例,并不构成对终端设备9的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器90可以是中央处理单元(Central Processing Unit,CPU),该处理器90还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91在一些实施例中可以是所述终端设备9的内部存储单元,例如终端设备9的内存。所述存储器91在另一些实施例中也可以是所述终端设备9的外部存储设备,例如所述终端设备1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器91还可以既包括所述终端设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (14)
1.一种目标检测方法,其特征在于,包括:
获取包含小目标对象的目标图像;
将所述目标图像输入至已训练的目标检测模型进行处理,得到所述目标图像的目标检测结果;其中,所述目标检测模型包括查询头,所述查询头位于所述目标检测模型的检测头之前,所述查询头为用于检测所述小目标对象的初始位置信息的神经网络结构。
2.如权利要求1所述的目标检测方法,其特征在于,所述目标检测模型包括特征提取网络、特征金字塔网络、所述查询头以及所述检测头;所述特征金字塔网络包括第一尺度检测层、第二尺度检测层以及第三尺度检测层;所述第一尺度检测层的尺度为第一尺度,所述第二尺度检测层的尺度为第二尺度,所述第三尺度检测层的尺度为第三尺度,所述第一尺度大于所述第二尺度,所述第二尺度大于所述第三尺度;所述将所述目标图像输入至已训练的目标检测模型进行处理,得到所述目标图像的目标检测结果,包括:
将所述目标图像输入至所述特征提取网络进行特征提取,得到第一特征图,第二特征图以及第三特征图;
将所述第一特征图输入至所述第一尺度检测层,得到第四特征图;
将所述第二特征图输入至所述第二尺度检测层,得到第五特征图;
将所述第三特征图输入至所述第三尺度检测层,得到第六特征图;
将所述第四特征图、所述第五特征图及所述第六特征图进行特征融合,得到第七特征图,所述第七特征图和所述第三特征图的尺寸相同;
将所述第一特征图和所述第二特征图输入至所述查询头进行位置检测,得到所述小目标对象在所述第二特征图上的第一位置信息;
根据所述第一位置信息确定所述小目标对象在所述第七特征图上的所述初始位置信息;
控制所述检测头对所述第七特征图中与所述初始位置信息对应的区域进行目标检测,得到所述目标检测结果。
3.如权利要求2所述的目标检测方法,其特征在于,所述查询头包括第一查询头和第二查询头;所述将所述第一特征图和所述第二特征图输入至所述查询头进行位置检测,得到所述小目标对象在所述第二特征图上的第一位置信息,包括:
控制所述第一查询头对所述第一特征图进行位置检测,得到所述小目标对象在所述第一特征图中的第二位置信息;
根据所述第二位置信息确定所述小目标对象在所述第二特征图上的位置区域;
控制所述第二查询头对所述位置区域进行位置检测,得到所述小目标对象在所述第二特征图上的所述第一位置信息。
4.如权利要求3所述的目标检测方法,其特征在于,所述控制所述第一查询头对所述第一特征图进行位置检测,得到所述小目标对象在所述第一特征图中的第二位置信息,包括:
控制所述第一查询头对所述第一特征图进行位置检测,得到所述小目标对象在所述第一特征图上的第一位置概率矩阵;所述第一位置概率矩阵中的每个第一元素的值用于表征所述第一特征图中与所述每个第一元素对应的位置为所述小目标对象所处位置的第一概率值;
若所述第一位置概率矩阵中存在大于第一阈值的第二元素,则将所述第二元素对应的位置确定为所述第二位置信息。
5.如权利要求3所述的目标检测方法,其特征在于,所述根据所述第二位置信息确定所述小目标对象在所述第二特征图上的位置区域,包括:
根据所述第二位置信息,在所述第二特征图中确定与所述第二位置信息相邻的设定数目个坐标点,并将所述设定数目个坐标点所处的区域确定为所述位置区域。
6.如权利要求3所述的目标检测方法,其特征在于,所述控制所述第二查询头对所述位置区域进行位置检测,得到所述小目标对象在所述第二特征图上的所述第一位置信息,包括:
控制所述第二查询头对所述位置区域进行位置检测,得到所述小目标对象在所述位置区域上的第二位置概率矩阵;所述第二位置概率矩阵中的每个第三元素的值用于表征所述位置区域中与所述每个第三元素对应的位置为所述小目标对象所处位置的第二概率值;
若所述第二位置概率矩阵中存在大于第二阈值的第四元素,则将所述第四元素对应的位置确定所述第一位置信息。
7.如权利要求1-6所述的目标检测方法,其特征在于,在所述将所述目标图像输入至已训练的目标检测模型进行处理,得到所述目标图像的目标检测结果之前,还包括:
获取样本图像集合;所述样本图像集合中包括包含小目标对象的样本图像;
根据所述样本图像集合,对预构建的初始检测模型进行优化训练,得到所述目标检测模型。
8.如权利要求7所述的目标检测方法,其特征在于,所述初始检测模型包括初始特征提取网络和初始查询头;所述根据所述样本图像集合,对预构建的初始检测模型进行优化训练,得到所述目标检测模型,包括:
将所述样本图像集合中的每张样本图像依次输入至所述初始特征提取网络进行特征提取,得到第一初始特征图和第二初始特征图;
根据所述每张样本图像对应的所述第一初始特征图和所述第二初始特征图对所述初始查询头进行训练,得到所述查询头;
确定所述查询头的损失函数;
根据所述损失函数和所述查询头对所述初始检测模型进行优化训练,得到所述目标检测模型。
9.如权利要求8所述的目标检测方法,其特征在于,所述根据所述每张样本图像对应的所述第一初始特征图和所述第二初始特征图对所述初始查询头进行训练,得到所述查询头,包括:
确定所述小目标对象在所述样本图像中的标准位置信息;
根据所述标准位置信息确定所述小目标对象在所述第一初始特征图中的第一初始位置概率矩阵,以及在所述第二初始特征图中的第二初始位置概率矩阵;
根据所述第一初始位置概率矩阵和所述第二初始位置概率矩阵,对所述初始查询头进行训练,得到所述查询头。
10.如权利要求9所述的目标检测方法,其特征在于,所述根据所述标准位置信息确定所述小目标对象在所述第一初始特征图中的第一初始位置概率矩阵,以及在所述第二初始特征图中的第二初始位置概率矩阵,包括:
计算所述标准位置信息与所述第一初始特征图中各个第一位置之间的第一距离;
计算所述标准位置信息与所述第二初始特征图中各个第二位置之间的第二距离;
根据各个所述第一距离与第三阈值之间的比较结果,得到所述第一初始位置概率矩阵;
根据各个所述第二距离与第四阈值之间的比较结果,得到所述第二初始位置概率矩阵。
11.如权利要求10所述的目标检测方法,其特征在于,所述根据各个所述第一距离与第三阈值之间的比较结果,得到所述第一初始位置概率矩阵,包括:
若任意一个所述第一距离大于或等于所述第三阈值,则确定任意一个所述第一距离在所述第一初始位置概率矩阵中对应位置的元素的值为1;
若任意一个所述第一距离小于所述第三阈值,则确定任意一个所述第一距离在所述第一初始位置概率矩阵中对应位置的元素的值为0;
根据所有所述第一距离在所述第一初始位置概率矩阵中各自对应位置的元素的值确定所述第一初始位置概率矩阵。
12.一种目标检测装置,其特征在于,包括:
第一获取单元,用于获取包含小目标对象的目标图像;
第一处理单元,用于将所述目标图像输入至已训练的目标检测模型进行处理,得到所述目标图像的目标检测结果;其中,所述目标检测模型包括查询头,所述查询头位于所述目标检测模型的检测头之前,所述查询头为用于检测所述小目标对象的初始位置信息的神经网络结构。
13.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述的目标检测方法。
14.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的目标检测方法。
Publications (1)
Publication Number | Publication Date |
---|---|
CN118262208A true CN118262208A (zh) | 2024-06-28 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886997B (zh) | 基于目标检测的识别框确定方法、装置及终端设备 | |
CN112488064B (zh) | 一种人脸追踪方法、系统、终端及存储介质 | |
CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
CN111104925B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN111860489A (zh) | 一种证件图像校正方法、装置、设备及存储介质 | |
CN111460098B (zh) | 文本匹配方法、装置及终端设备 | |
CN111860276B (zh) | 人体关键点检测方法、装置、网络设备及存储介质 | |
CN112214402B (zh) | 一种代码验证算法的选择方法、装置及存储介质 | |
CN112001883B (zh) | 一种车辆目标图像的优选方法、装置和计算机设备 | |
CN112634628B (zh) | 一种车辆速度确定方法、终端及存储介质 | |
CN112560856A (zh) | 车牌检测识别方法、装置、设备及存储介质 | |
CN112990009A (zh) | 基于端到端的车道线检测方法、装置、设备及存储介质 | |
CN116137061A (zh) | 数量统计模型的训练方法、装置、电子设备及存储介质 | |
CN118262208A (zh) | 一种目标检测方法、装置、终端设备及存储介质 | |
CN112800351B (zh) | 轨迹相似度判断方法、系统及计算机介质 | |
CN113721240A (zh) | 一种目标关联方法、装置、电子设备及存储介质 | |
CN116295466A (zh) | 地图生成方法、装置、电子设备、存储介质、及车辆 | |
CN114495132A (zh) | 文字识别方法、装置、设备及存储介质 | |
CN111429399B (zh) | 一种直线检测方法及装置 | |
KR20210087494A (ko) | 인체 방향 검출 방법, 장치, 전자 기기 및 컴퓨터 저장 매체 | |
CN109816709B (zh) | 基于单目摄像头的深度估计方法、装置及设备 | |
CN116912634B (zh) | 目标追踪模型的训练方法及装置 | |
CN115937007B (zh) | 风切变的识别方法、装置、电子设备及介质 | |
CN117876432A (zh) | 目标跟踪方法、终端设备及计算机可读存储介质 | |
CN115796145B (zh) | 一种网页文本的采集方法、系统、服务器及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |