CN112348121A - 一种目标检测方法、设备及计算机存储介质 - Google Patents

一种目标检测方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN112348121A
CN112348121A CN202011387920.5A CN202011387920A CN112348121A CN 112348121 A CN112348121 A CN 112348121A CN 202011387920 A CN202011387920 A CN 202011387920A CN 112348121 A CN112348121 A CN 112348121A
Authority
CN
China
Prior art keywords
network
feature extraction
detection method
object detection
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011387920.5A
Other languages
English (en)
Other versions
CN112348121B (zh
Inventor
刘富
王新博
康冰
刘云
侯涛
王媛媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202011387920.5A priority Critical patent/CN112348121B/zh
Publication of CN112348121A publication Critical patent/CN112348121A/zh
Application granted granted Critical
Publication of CN112348121B publication Critical patent/CN112348121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种目标检测方法、设备及计算机存储介质,涉及计算机技术领域,以解决针对待检测图像中的目标对象的特征提取能力弱及泛化能力弱的问题。所述目标检测方法包括:获取待检测图像;利用递归网络结构模型对所述待检测图像进行检测,获得目标特征信息;所述递归网络结构模型包括架构相同的M级特征提取网络,M为大于或等于2的整数;每级所述特征提取网络具有至少两个输出特征,第i级所述特征提取网络具有的至少两个输出特征为第i+1级所述特征提取网络的至少两个输入特征,i为大于或等于1,且小于M的整数。本发明提供的目标检测方法用于在保证对目标对象的检测精度的基础上,增强对目标对象的特征提取能力及泛化能力。

Description

一种目标检测方法、设备及计算机存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种目标检测方法、设备及计算机存储介质。
背景技术
相关技术中,由于深度学习框架的不断改进,应用深度学习框架的目标检测算法得到了快速发展。
在应用深度学习框架的目标检测算法中,采用深层网络结构的算法能够有效提取目标特征信息,但小目标对象能够提供给深层网络的特征信息过于匮乏,导致小目标对象的识别率下降;采用浅层网络结构的算法,提取特征信息能力较弱,对于voc数据集、coco数据集之外的图片泛化性差,识别准确率低。
发明内容
本发明的目的在于提供一种目标检测方法、设备及计算机存储介质,用于在保证待检测图像中的目标对象的检测精度的基础上,解决针对目标对象的特征提取能力弱及泛化能力弱的问题。
第一方面,本发明提供一种目标检测方法,包括:获取待检测图像;利用递归网络结构模型对所述待检测图像进行检测,获得目标特征信息;所述递归网络结构模型包括架构相同的M级特征提取网络,M为大于或等于2的整数;每级所述特征提取网络具有至少两个输出特征,第i级所述特征提取网络具有的至少两个输出特征为第i+1级所述特征提取网络的至少两个输入特征,i为大于或等于1,且小于M的整数。
与现有技术相比,本发明提供的目标检测方法中,获取待检测图像;利用递归网络结构模型对所述待检测图像进行检测,获得目标特征信息;上述递归网络结构模型包括架构相同的M级特征提取网络,M为大于或等于2的整数;每级特征提取网络具有至少两个输出特征,第i级特征提取网络具有的至少两个输出特征为第i+1级特征提取网络的至少两个输入特征,i为大于或等于1,且小于M的整数;如此,在保证目标对象的检测精度的基础上,增强待检测图像中目标对象的特征提取能力及泛化能力。
第二方面,本发明还提供一种目标检测设备,包括处理器以及与处理器耦合的通信接口;所述处理器用于运行计算机程序或指令,以实现上述任一项所述目标检测方法。
第三方面,本发明还提供一种计算机存储介质,所述计算机存储介质中存储有指令,当所述指令被运行时,以实现上述任一项所述目标检测方法。
与现有技术相比,本发明提供的目标检测装置、计算机存储介质的有益效果与上述技术方案所述目标检测方法的有益效果相同,此处不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例提供的目标检测方法的流程示意图一;
图2为本发明实施例提供的目标检测方法的流程示意图二;
图3为本发明实施例提供的融合网络的结构示意图;
图4为本发明实施例提供的目标检测装置的结构框图;
图5为本发明实施例提供的目标检测设备的硬件结构示意图;
图6为本发明实施例提供的芯片的结构示意图。
具体实施方式
为了便于清楚描述本发明实施例的技术方案,在本发明的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一阈值和第二阈值仅仅是为了区分不同的阈值,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本发明中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,a和b的结合,a和c的结合,b和c的结合,或a、b和c的结合,其中a,b,c可以是单个,也可以是多个。
相关技术中,由于深度学习框架的不断改进,应用深度学习框架的目标检测算法得到了快速发展。在目前流行的目标检测算法中,对于常规大小的目标对象,各个算法都能表现出很好的检测性能;但是对于小目标对象的检测,各个目标检测算法表现得都不够理想。
这些目标检测算法在voc数据集、coco数据集上的检测结果表明,鸟、棒球等小目标对象的识别率要低于其他目标对象的识别率。相较于常规的目标检测,小目标检测具有目标对象所占图片像素比例小,特征不明显等特点。
在应用深度学习框架的目标检测算法中,采用深层网络结构的算法能够有效提取目标特征信息,但小目标对象能够提供给深层网络的特征信息过于匮乏,导致小目标对象的识别率下降;在采用浅层网络结构的算法中,提取特征信息能力较弱,对于voc数据集、coco数据集之外的图片泛化性差,识别准确率低。
针对上述技术问题,本发明实施例提出一种目标检测方法,所述目标检测方法能够解决针对待检测图像中的目标对象的特征提取能力弱及泛化能力弱的问题,在保证目标对象的检测精度的基础上,增强目标对象的特征提取能力及泛化能力。
本发明实施例提出的目标检测方法,应用于目标检测设备,如图1所示,包括:
步骤101:获取待检测图像。这里,目标检测设备获取待检测图像;其中,待检测图像中包括目标对象,其中目标对象可以包括:鸟、棒球等小目标对象,也可以包括:人、动物等大目标对象。这里,待检测图像可以是目标检测设备从另一设备中获取的,也可以是目标检测设备从自身的数据库中获取的。
步骤102:利用归网络结构模型对所述待检测图像进行检测,获得目标特征信息。
这里,目标检测设备将待检测图像输入递归网络结构,获得目标特征信息。目标特征信息可以包括:目标特征张量。其中,递归网络结构模型包括架构相同的M级特征提取网络,M为大于或等于2的整数;在M为2的情况下,M级特征提取网络包括两个架构相同的特征提取网络,比如:特征提取网络1、特征提取网络2;在M为4的情况下,M级特征提取网络包括四个架构相同的特征提取网络,比如:特征提取网络1、特征提取网络2、特征提取网络3、特征提取网络4。其中,每级特征提取网络具有至少两个输出特征;比如:在M为2的情况下,特征提取网络1具有的至少两个输出特征为
Figure BDA0002810287740000041
特征提取网络2具有的至少两个输出特征为
Figure BDA0002810287740000042
又比如:在M为3的情况下,特征提取网络1具有的至少两个输出特征为
Figure BDA0002810287740000043
特征提取网络2具有的至少两个输出特征为
Figure BDA0002810287740000044
特征提取网络3具有的至少两个输出特征为
Figure BDA0002810287740000045
其中,第i级特征提取网络具有的至少两个输出特征为第i+1级特征提取网络的至少两个输入特征,i为大于或等于1,且小于M的整数。
这里,在M为2且i为1的情况下,第1级特征提取网络具有的至少两个输出特征为第2级特征提取网络的至少两个输入特征;比如:特征提取网络1具有的至少两个输出特征为
Figure BDA0002810287740000046
为第2级特征提取网络的至少两个输入特征;在M为4且i为3的情况下,第3级特征提取网络具有的至少两个输出特征为第4级特征提取网络的至少两个输入特征;比如:特征提取网络3具有的至少两个输出特征为
Figure BDA0002810287740000047
为第4级特征提取网络的至少两个输入特征。
在一实施例中,递归网络结构模型包括:递归YOLOv4-Tiny网络结构模型或递归YOLOv4网络结构模型。
在一实施例中,每级特征提取网络包括:骨干网络和处理网络。骨干网络的输入特征至少包括待检测图像,骨干网络的输出特征包括至少两层输出特征。处理网络,用于对骨干网络的输出特征进行卷积处理或拼接处理,得到特征提取网络的至少两层输出特征。
这里,每级特征提取网络包括:骨干网络和处理网络。骨干网路的输入特征至少包括待检测图像,将待检测图像输入骨干网络后,骨干网络对待检测图像进行处理,得到骨干网络的输出特征,骨干网络的输出特征包括至少两层输出特征,比如:第二层的输出特征
Figure BDA0002810287740000057
第三层的输出特征
Figure BDA0002810287740000058
需要说明的是,骨干网络的至少两层输出特征可以是任意两层或多层的输出特征,上述任意两层或多层的输出特征可以是相邻的两层或多层,也可以是不相邻的两层或多层,本发明实施例对此不作限定。
在获得骨干网络的输出特征后,将骨干网络的输出特征输入处理网络,处理网络对骨干网络的至少两层输出特征进行卷积处理或拼接处理,得到特征提取网络的至少两层输出特征,比如:
Figure BDA0002810287740000051
对应的
Figure BDA0002810287740000052
对应的
Figure BDA0002810287740000053
以M为2且i为1的情况对本实施例进行说明,如图2所示,将待检测图像201输入至骨干网络202,骨干网络202对待检测图像201进行处理,得到骨干网络202的第二层输出特征
Figure BDA0002810287740000059
和第三层输出特征
Figure BDA00028102877400000510
将第二层输出特征
Figure BDA00028102877400000517
和第三层输出特征
Figure BDA00028102877400000516
输入处理网络203,处理网络203对
Figure BDA00028102877400000511
进行卷积处理,得到
Figure BDA00028102877400000512
并对
Figure BDA00028102877400000514
Figure BDA00028102877400000515
进行拼接处理,得到
Figure BDA00028102877400000513
上述过程可以用公式(1)表示:
Figure BDA0002810287740000054
其中,x、
Figure BDA0002810287740000055
分别为骨干网络202的第一层的输出特征、第二层的输出特征、第三层的输出特征;
Figure BDA0002810287740000056
分别为对应骨干网络202中的跨阶段部分连接(CrossStage Partial connections,CSP)残差网络;
Figure BDA0002810287740000061
分别为处理网络203中对应的拼接Concat处理和卷积Conv处理;
Figure BDA0002810287740000062
分别为特征提取网络的两层输出特征。
在一实施例中,当特征提取网络的级别j为大于或等于2,且小于或等于M的整数时,骨干网络的输入特征还包括:第j-1级特征提取网络的至少两层输出特征。#
这里,在特征提取网络的级别j为大于或等于2,且小于或等于M的整数时,骨干网络的输入特征还包括:第j-1级特征提取网络的至少两层输出特征。将待检测图像和第j-1级特征提取网络的至少两层输出特征,输入第j级特征提取网络,获得第j级特征提取网络的至少两层输出特征。
这里,首先将待检测图像和第j-1级特征提取网络的至少两层输出特征,输入第j级特征提取网络中的骨干网络,获得上述骨干网络的两层或多层输出特征;将上述骨干网络的两层或多层输出特征,比如:
Figure BDA0002810287740000063
输入第j级特征提取网络中的处理网络,对上述骨干网络的两层或多层输出特征进行卷积处理或拼接处理,得到第j级特征提取网络的至少两层输出特征,比如:
Figure BDA0002810287740000064
以M为2且j为2的情况对本实施例进行说明,将待检测图像201和第1级特征提取网络的两层输出特征
Figure BDA0002810287740000065
输入至骨干网络204,骨干网络204对待检测图像201和输出特征
Figure BDA0002810287740000066
进行处理,得到骨干网络204的第二层输出特征
Figure BDA0002810287740000067
和第三层输出特征
Figure BDA0002810287740000068
将第二层输出特征
Figure BDA0002810287740000069
和第三层输出特征
Figure BDA00028102877400000610
输入处理网络205,处理网络205对
Figure BDA00028102877400000611
进行卷积处理,得到
Figure BDA00028102877400000612
并对
Figure BDA00028102877400000613
Figure BDA00028102877400000614
进行拼接处理,得到
Figure BDA00028102877400000615
在一实施例中,骨干网络为CSPDarknet网络,处理网络为特征金字塔网络(feature pyramid networks,FPN)网络。
在一实施例中,递归网络结构模型还包括:卷积网络,用于在第i级特征提取网络的至少两层输出特征输入第i+1级特征提取网络前,提取第i级特征提取网络的每层输出特征的特征信息。
这里,递归网络结构模型还包括:卷积网络,用于在将第i级特征提取网络的两层或多层输出特征输入第i+1级特征提取网络前,提取第i级特征提取网络的两层或多层输出特征的特征信息。比如:当i为1时,在将第1级特征提取网络的两层输出特征输入第2级特征提取网络之前,提取第2级特征提取网络的两层输出特征的特征信息。
以M为2,i为1且j为2的情况对本实施例进行说明,如图2所示,将第1级特征提取网络的两层输出特征
Figure BDA00028102877400000716
分别输入卷积网络206、卷积网络207,获得对应的特征信息R1(f1 1),
Figure BDA00028102877400000717
将待检测图像201和特征信息R1(f1 1),
Figure BDA00028102877400000718
输入至骨干网络204,骨干网络204对待检测图像201和特征信息R1(f1 1),
Figure BDA00028102877400000719
进行处理,得到骨干网络204的第二层输出特征
Figure BDA0002810287740000078
和第三层输出特征
Figure BDA00028102877400000714
将第二层输出特征
Figure BDA00028102877400000710
和第三层输出特征
Figure BDA0002810287740000079
输入处理网络205,处理网络205对
Figure BDA00028102877400000715
进行卷积处理,得到
Figure BDA00028102877400000711
并对
Figure BDA00028102877400000712
Figure BDA00028102877400000713
进行拼接处理,得到
Figure BDA00028102877400000720
上述过程可以用公式(2)表示:
Figure BDA0002810287740000071
其中,x、
Figure BDA0002810287740000072
分别为骨干网络204的第一层的输出特征、第二层的输出特征、第三层的输出特征;
Figure BDA0002810287740000073
分别为对应骨干网络204中的CSP残差网络;
Figure BDA0002810287740000074
分别为处理网络205中对应的Concat处理和Conv处理;
Figure BDA0002810287740000075
Figure BDA0002810287740000076
分别为特征提取网络的两层输出特征,R1(*),R2(*)分别为对应的提取特征信息操作。
在一实施例中,卷积网络为空洞空间卷积池化金字塔(atrous spatial pyramidpooling,ASPP)网络、空间卷积池化金字塔(spatial pyramid pooling,SPP)网络中的至少一种。
这里,卷积网络可以为ASPP网络、SPP网络中的至少一种,比如:将第i级特征提取网络的两层输出特征
Figure BDA0002810287740000077
分别输入ASPP网络1、ASPP网络2,获得对应的特征信息R1(f1 1),R2(f2 1)。
在一实施例中,递归网络结构模型还包括:融合网络,用于对M级特征提取网络的至少两层输出特征进行融合处理,得到目标特征信息。
这里,递归网络结构模型还包括:融合网络;融合网络,用于对M级特征提取网络的两层或多层输出特征进行融合处理;在进行融合处理时,是将每级特征提取网络的每层输出特征进行融合,得到对应的目标特征信息。比如:将第j-1级特征提取网络的第二层输出特征和第j级特征提取网络的第二层输出特征进行融合;又比如:将第j-1级特征提取网络的第三层输出特征和第j级特征提取网络的第三层输出特征进行融合。
以M为2的情况对本实施例进行说明,如图2所示,将第1级特征提取网络的输出特征f1 1和第2级特征提取网络的输出特征f1 2,输入融合网络208中进行融合,得到第二层的目标特征信息;将第1级特征提取网络的输出特征
Figure BDA0002810287740000082
和第2级特征提取网络的输出特征
Figure BDA0002810287740000081
输入融合网络209中进行融合,得到第三层的目标特征信息。
如图3所示,fi 2进过卷积处理模块301及激活函数模块302后,得到fi 2对应的权重值x,根据fi 2对应的权重值x,确定fi 1对应的权重值1-x;将fi 2与x相乘得到第一乘积值,将fi 2与1-x相乘得到第二乘积值,将第一乘积值与第二乘积值相加,得到对应的目标特征信息。其中,i的取值为1或2;卷积处理模块301为1*1的卷积层,激活函数模块302为sigmoid激活函数。上述过程可以用公式(3)表示:
fi 2*X+fi 1*(1-X) 公式(3);
其中,i为1或2;x为fi 2经过1*1的卷积层及sigmoid激活函数后的输出结果。
本发明实施例能够达到如下技术效果:
1)、递归YoloV4-Tiny网络结构等增加了网络结构深度,较比YoloV4-Tiny网络结构有更好的鲁棒性。
2)、结合递归思想,将提取的特征输入回特征提取网络中,提取更高维度的特征,提高目标分类回归的准确性。
3)、将提取的特征输入回特征提取网络中,能够将训练的损失直接回传回网络,使损失能够更好地收敛,更易训练。
4)、在特征进行递归融合时增加了ASPP网络,增大了全局特征及感受野,有利于小目标特征的分类与回归。
5)、在对所提取特征进行回归时分别融合了两个阶段的特征,在丰富深层语义信息的同时增大了感受野,更有利于小目标的特征分类及回归。
在采用对应各个功能划分各个功能模块的情况下,图4示出本发明实施例提供的目标检测装置的结构框图。如图4所示,该目标检测装置40包括:通信模块401和处理模块402。
通信模块401,用于支持目标检测装置执行上述实施例中的步骤101。
处理模块402,用于支持目标检测装置执行上述实施例中的步骤102。
上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
在一些可能的实现方式中,上述目标检测装置还可以包括存储模块403,用于存储基站的程序代码和数据。
其中,处理模块可以是处理器或控制器,例如可以是中央处理器(CentralProcessing Unit,CPU),通用处理器,数字信号处理器(Digital Signal Processor,DSP),专用集成电路(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通信模块可以是收发器、收发电路或通信接口等。存储模块可以是存储器。
当处理模块为处理器,通信模块为通信接口,存储模块为存储器时,本发明实施例所涉及的目标检测装置可以为图5所示的目标检测设备。
图5示出了本发明实施例提供的一种目标检测设备的硬件结构示意图。如图5所示,该目标检测设备50包括处理器501和通信接口502。
如图5所示,上述处理器可以是一个通用中央处理器(central processing unit,CPU),微处理器,专用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本发明方案程序执行的集成电路。上述通信接口可以为一个或多个。通信接口可使用任何收发器一类的装置,用于与其他设备或通信网络通信。
如图5所示,上述终端设备还可以包括通信线路503。通信线路可包括一通路,在上述组件之间传送信息。
可选的,如图5所示,该终端设备还可以包括存储器504。存储器用于存储执行本发明方案的计算机执行指令,并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令,从而实现本发明实施例提供的方法。
如图5所示,上述存储器可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。
可选的,本发明实施例中的计算机执行指令也可以称之为应用程序代码,本发明实施例对此不作具体限定。
在具体实现中,作为一种实施例,如图5所示,处理器501可以包括一个或多个CPU,如图5中的CPU0和CPU1。
在具体实现中,作为一种实施例,如图5所示,终端设备可以包括多个处理器,如图5中的处理器501-1和处理器501-2。这些处理器中的每一个可以是一个单核处理器,也可以是一个多核处理器。
图6是本发明实施例提供的芯片的结构示意图。如图6所示,该芯片60包括一个或两个以上(包括两个)处理器501和通信接口502。
可选的,如图6所示,该芯片还包括存储器504,存储器可以包括只读存储器和随机存取存储器,并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory,NVRAM)。
在一些实施方式中,如图6所示,存储器存储了如下的元素,执行模块或者数据结构,或者他们的子集,或者他们的扩展集。
在本发明实施例中,如图6所示,通过调用存储器存储的操作指令(该操作指令可存储在操作系统中),执行相应的操作。
如图6所示,处理器控制终端设备中任一个的处理操作,处理器还可以称为中央处理单元(central processing unit,CPU)。
如图6所示,存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据。存储器的一部分还可以包括NVRAM。例如应用中存储器、通信接口以及存储器通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图6中将各种总线都标为总线系统505。
如图6所示,上述本发明实施例揭示的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing,DSP)、ASIC、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
一种可能的实现方式中,如图6所示,通信接口用于执行图1所示的实施例中的目标检测方法的步骤101。处理器用于执行图1所示的实施例中的目标检测方法的步骤102。
一方面,提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令被运行时,实现上述实施例中由目标检测设备执行的功能。
一方面,提供一种芯片,该芯片应用于终端设备中,芯片包括至少一个处理器和通信接口,通信接口和至少一个处理器耦合,处理器用于运行指令,以实现上述实施例中由目标检测设备执行的功能。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时,全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘、磁带;也可以是光介质,例如,数字视频光盘(digital video disc,DVD);还可以是半导体介质,例如,固态硬盘(solid state drive,SSD)。
尽管在此结合各实施例对本发明进行了描述,然而,在实施所要求保护的本发明过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本发明进行了描述,显而易见的,在不脱离本发明的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明,且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种目标检测方法,其特征在于,包括:
获取待检测图像;
利用递归网络结构模型对所述待检测图像进行检测,获得目标特征信息;所述递归网络结构模型包括架构相同的M级特征提取网络,M为大于或等于2的整数;每级所述特征提取网络具有至少两个输出特征,第i级所述特征提取网络具有的至少两个输出特征为第i+1级所述特征提取网络的至少两个输入特征,i为大于或等于1,且小于M的整数。
2.根据权利要求1所述的目标检测方法,其特征在于,所述递归网络结构模型包括:递归YOLOv4-Tiny网络结构模型或递归YOLOv4网络结构模型。
3.根据权利要求1所述的目标检测方法,其特征在于,每级所述特征提取网络包括骨干网络和处理网络;
所述骨干网络的输入特征至少包括所述待检测图像,所述骨干网络的输出特征包括至少两层输出特征;
所述处理网络用于对所述骨干网络的输出特征进行卷积处理或拼接处理,得到所述特征提取网络的至少两层输出特征。
4.根据权利要求3所述的目标检测方法,其特征在于,当所述特征提取网络的级别j为大于或等于2,且小于或等于M的整数时,所述骨干网络的输入特征还包括:第j-1级特征提取网络的至少两层输出特征。
5.根据权利要求3所述的目标检测方法,其特征在于,所述骨干网络为CSPDarknet网络,所述处理网络为FPN网络。
6.根据权利要求1~5任一项所述的目标检测方法,其特征在于,所述递归网络结构模型还包括:卷积网络,用于在第i级特征提取网络的至少两层输出特征输入第i+1级特征提取网络前,提取所述第i级特征提取网络的每层所述输出特征的特征信息。
7.根据权利要求6所述的目标检测方法,其特征在于,所述卷积网络为ASPP网络、SPP网络中的至少一种。
8.根据权利要求1~5任一项所述的目标检测方法,其特征在于,所述递归网络结构模型还包括:融合网络,用于对M级所述特征提取网络的至少两层输出特征进行融合处理,得到目标特征信息。
9.一种目标检测设备,其特征在于,包括处理器以及与处理器耦合的通信接口;所述处理器用于运行计算机程序或指令,以实现如权利要求1至8任一项所述目标检测方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有指令,当所述指令被运行时,实现如权利要求1至8任一项所述目标检测方法。
CN202011387920.5A 2020-12-01 2020-12-01 一种目标检测方法、设备及计算机存储介质 Active CN112348121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011387920.5A CN112348121B (zh) 2020-12-01 2020-12-01 一种目标检测方法、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011387920.5A CN112348121B (zh) 2020-12-01 2020-12-01 一种目标检测方法、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112348121A true CN112348121A (zh) 2021-02-09
CN112348121B CN112348121B (zh) 2022-06-28

Family

ID=74427620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011387920.5A Active CN112348121B (zh) 2020-12-01 2020-12-01 一种目标检测方法、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112348121B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082372A (zh) * 2021-03-11 2022-09-20 天津理工大学 面向视网膜眼底图像中的多尺度小目标检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160260009A1 (en) * 2012-05-15 2016-09-08 Vicarious Fpc, Inc. System and method for a recursive cortical network
CN108694401A (zh) * 2018-05-09 2018-10-23 北京旷视科技有限公司 目标检测方法、装置及系统
CN108734211A (zh) * 2018-05-17 2018-11-02 腾讯科技(深圳)有限公司 图像处理的方法和装置
US20180373985A1 (en) * 2017-06-23 2018-12-27 Nvidia Corporation Transforming convolutional neural networks for visual sequence learning
CN109146843A (zh) * 2018-07-11 2019-01-04 北京飞搜科技有限公司 基于深度神经网络的目标检测方法及装置
US20190273509A1 (en) * 2018-03-01 2019-09-05 Crowdstrike, Inc. Classification of source data by neural network processing
CN110751021A (zh) * 2019-09-03 2020-02-04 北京迈格威科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN111144407A (zh) * 2019-12-22 2020-05-12 浪潮(北京)电子信息产业有限公司 一种目标检测方法、系统、装置及可读存储介质
CN111767858A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 图像识别方法、装置、设备和计算机存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160260009A1 (en) * 2012-05-15 2016-09-08 Vicarious Fpc, Inc. System and method for a recursive cortical network
US20180373985A1 (en) * 2017-06-23 2018-12-27 Nvidia Corporation Transforming convolutional neural networks for visual sequence learning
US20190273509A1 (en) * 2018-03-01 2019-09-05 Crowdstrike, Inc. Classification of source data by neural network processing
CN108694401A (zh) * 2018-05-09 2018-10-23 北京旷视科技有限公司 目标检测方法、装置及系统
CN108734211A (zh) * 2018-05-17 2018-11-02 腾讯科技(深圳)有限公司 图像处理的方法和装置
CN109146843A (zh) * 2018-07-11 2019-01-04 北京飞搜科技有限公司 基于深度神经网络的目标检测方法及装置
CN110751021A (zh) * 2019-09-03 2020-02-04 北京迈格威科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN111144407A (zh) * 2019-12-22 2020-05-12 浪潮(北京)电子信息产业有限公司 一种目标检测方法、系统、装置及可读存储介质
CN111767858A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 图像识别方法、装置、设备和计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
栾浩等: "基于改进SSD的目标检测方法", 《软件》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082372A (zh) * 2021-03-11 2022-09-20 天津理工大学 面向视网膜眼底图像中的多尺度小目标检测方法

Also Published As

Publication number Publication date
CN112348121B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
US10860837B2 (en) Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
US20180165551A1 (en) Technologies for improved object detection accuracy with multi-scale representation and training
US20190147337A1 (en) Neural network system for single processing common operation group of neural network models, application processor including the same, and operation method of neural network system
US9171264B2 (en) Parallel processing machine learning decision tree training
US11755889B2 (en) Method, system and apparatus for pattern recognition
CN107045503A (zh) 一种特征集确定的方法及装置
CN112633159A (zh) 人-物交互关系识别方法、模型训练方法及对应装置
CN112348121B (zh) 一种目标检测方法、设备及计算机存储介质
JP2015036939A (ja) 特徴抽出プログラム及び情報処理装置
CN115344805A (zh) 素材审核方法、计算设备及存储介质
TW201928882A (zh) 表面擷取方法、裝置及非暫態電腦可讀取記錄媒體
US11276249B2 (en) Method and system for video action classification by mixing 2D and 3D features
US10915794B2 (en) Neural network classification through decomposition
CN113012689B (zh) 一种电子设备和深度学习硬件加速方法
CN110390344B (zh) 备选框更新方法及装置
CN115630663A (zh) 一种二维码识别方法、装置及电子设备
Fan et al. EGFNet: Efficient guided feature fusion network for skin cancer lesion segmentation
CN114638278A (zh) 一种数据清洗方法、装置及系统
CN115004245A (zh) 目标检测方法、装置、电子设备和计算机存储介质
CN113505648B (zh) 行人检测方法、装置、终端设备及存储介质
CN111027682A (zh) 神经网络处理器、电子设备及数据处理方法
CN115034374A (zh) 一种图小样本学习的存内计算方法、装置和电子设备
CN110851634B (zh) 图片检索的方法、装置及电子设备
WO2022254597A1 (en) Model training apparatus, model training method, and computer readable medium
CN110334681B (zh) 基于区块链的指静脉身份识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant