CN111178202B - 目标检测方法、装置、计算机设备和存储介质 - Google Patents
目标检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111178202B CN111178202B CN201911323451.8A CN201911323451A CN111178202B CN 111178202 B CN111178202 B CN 111178202B CN 201911323451 A CN201911323451 A CN 201911323451A CN 111178202 B CN111178202 B CN 111178202B
- Authority
- CN
- China
- Prior art keywords
- target
- feature
- model
- detection
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 156
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 119
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 11
- 238000005549 size reduction Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种目标检测方法、装置、计算机设备和存储介质。所述方法包括：通过预设的检测模型对待检图片进行检测，得到检测目标；其中，检测模型为深度卷积神经网络模型，检测模型包括至少两个识别子模型、和融合子模型，每个识别子模型用于识别得到一种类别的目标特征图；分别采用每个识别子模型，提取待检图片中对应类别的图像特征，得到目标特征图；采用融合子模型，将至少两种目标特征图进行特征融合，得到融合特征图通过融合特征图表征检测目标；其中，融合特征图中包括在待检图片中提取的所有图像特征。采用本方法能够对网络模型进行压缩，简化了网络模型，减少了冗余检测运算过程，降低了实时检测目标的内存占用，提高了目标检测效率。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种目标检测方法、装置、计算机设备和存储介质。
背景技术
近年来深度学习技术掀起了人工智能的浪潮，在机器人控制、自动驾驶等方面，基于深度卷积神经网络的图像分类和目标检测已有广泛应用。
传统技术中的应用于目标检测的深度卷积神经网络模型涉及到的网络层数众多，且功能重复冗余，繁杂的检测运算过程，导致实时检测目标的内存占用高，大大降低了目标检测的效率，在机器控制、自动驾驶等人工智能领域的目标检测过程中出现了检测延迟、目标检测的实时性降低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种目标检测方法、装置、计算机设备和存储介质。
一方面，提供一种目标检测方法，所述方法包括：
通过预设的检测模型对待检图片进行检测，得到检测目标；其中，所述检测模型为深度卷积神经网络模型，所述检测模型包括至少两个识别子模型、和融合子模型，每个所述识别子模型用于识别得到一种类别的目标特征图；
所述通过预设的检测模型对待检图片进行检测，得到检测目标，包括：
分别采用每个所述识别子模型，提取待检图片中对应类别的图像特征，得到所述目标特征图；
采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标；其中，所述融合特征图中包括在所述待检图片中提取的所有所述图像特征。
在其中一个实施例中，所述识别子模型包括形状识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述形状识别子模型，提取所述待检图片中的形状特征，得到形状特征图。
在其中一个实施例中，所述识别子模型包括颜色识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述颜色识别子模型，提取所述待检图片中的颜色特征，得到颜色特征图。
在其中一个实施例中，所述识别子模型包括纹理识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述纹理识别子模型，提取所述待检图片中的纹理特征，得到纹理特征图。
在其中一个实施例中，所述特征融合包括特征叠加；所述采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标，包括：
将至少两种所述目标特征图进行特征叠加，得到叠加特征图，通过所述叠加特征图表征所述检测目标；其中，所述特征叠加包括对不同种类的所述目标特征图进行叠加组合。
在其中一个实施例中，所述将至少两种所述目标特征图进行特征叠加，得到叠加特征图，通过所述叠加特征图表征所述检测目标，包括：
获取每种所述目标特征图的目标权重；
将至少两种所述目标特征图，按照对应的所述目标权重进行特征加权，得到所述叠加特征图，通过所述叠加特征图表征所述检测目标。
在其中一个实施例中，所述采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标之前，包括：
对至少两种类别的所述目标特征图进行尺寸归一化处理，得到相同尺寸的至少两种所述目标特征图。
另一方面，提供一种目标检测装置，所述装置包括：深度卷积神经网络模型；其中，所述深度卷积神经网络模型包括至少两个识别子模型和融合子模型，每个所述识别子模型用于识别一种类别的目标特征图；
每个所述识别子模型用于提取待检图片中对应类别的图像特征，得到所述目标特征图；
所述融合子模型用于将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标；其中，所述融合特征图中包括在所述待检图片中提取的所有所述图像特征。
另一方面，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
通过预设的检测模型对待检图片进行检测，得到检测目标；其中，所述检测模型为深度卷积神经网络模型，所述检测模型包括至少两个识别子模型、和融合子模型，每个所述识别子模型用于识别得到一种类别的目标特征图；
所述通过预设的检测模型对待检图片进行检测，得到检测目标，包括：
分别采用每个所述识别子模型，提取待检图片中对应类别的图像特征，得到所述目标特征图；
采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标；其中，所述融合特征图中包括在所述待检图片中提取的所有所述图像特征。
另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
通过预设的检测模型对待检图片进行检测，得到检测目标；其中，所述检测模型为深度卷积神经网络模型，所述检测模型包括至少两个识别子模型、和融合子模型，每个所述识别子模型用于识别得到一种类别的目标特征图；
所述通过预设的检测模型对待检图片进行检测，得到检测目标，包括：
分别采用每个所述识别子模型，提取待检图片中对应类别的图像特征，得到所述目标特征图；
采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标；其中，所述融合特征图中包括在所述待检图片中提取的所有所述图像特征。
上述目标检测方法、装置、计算机设备和存储介质，所述检测方法包括通过预设的检测模型对待检图片进行检测，得到检测目标。所述检测模型为深度卷积神经网络模型，所述检测模型包括至少两个识别子模型、和融合子模型，每个所述识别子模型用于识别得到一种类别的目标特征图，计算机设备通过采用至少两个所述识别子模块对所述检测图片进行至少两种类型的图像特征的提取，对应得到至少两种类别的所述目标特征图，由于不同所述识别子模块用于识别的所述特征目标不同，得到的所述目标特征图也就不同，不会对同一所述图像特征重复提取，对网络模型进行了压缩，简化了网络模型，加少了冗余检测运算过程，降低了实时检测目标的内存占用，从而提高了目标检测效率。计算机设备还采用所述融合子模块对至少两所述目标特征图进行所述特征融合，得到所述融合特征图，并以所述融合特征图表征所述检测目标，所述特征融合的过程兼顾了多种类型的图像特征，可更为准确的表征所述检测目标，提高了目标检测的准确定，避免了单一类型的图像特征对目标检测造成的检测失误。
附图说明
图1为一个实施例中目标检测方法的应用环境图；
图2为一个实施例中目标检测方法的流程示意图；
图3为一个实施例中得到叠加特征图的流程示意图；
图4为另一个实施例中目标检测方法的流程示意图；
图5为一个实施例中目标检测装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的目标检测方法，用于对所获取的视频中的每一帧图像进行检测，得到每一帧图像中的检测目标，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。所述终端获取视频图像，将所述视频图像传输至所述服务器104，所述服务器104将所述视频图像中的每一帧图像作为待检图片，根据预设的检测模型对所述待检图片进行检测，具体包括采用每个识别子模型提取所述待检图片中对应类别的目标特征图，采用融合子模型将至少两种所述目标特征图进行特征融合，得到融合特征图，以所述融合特征表征所述检测目标。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等用于获取图像的设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种目标检测方法，包括以下步骤：
通过预设的检测模型对待检图片进行检测，得到检测目标。
其中，所述检测模型为深度卷积神经网络模型，所述检测模型包括至少两个识别子模型和融合子模型，每个所述识别子模型用于识别得到一种类别的目标特征图。
进一步地，所述检测模型是以包括所要检测得到的目标对象的图片作为正样本，和以包括非目标对象的图片作为负样本，训练得到的用于识别所述目标对象的网络模型。
所述通过预设的检测模型对待检图片进行检测，得到检测目标，具体包括如下步骤：
S210、分别采用每个所述识别子模型，提取待检图片中对应类别的图像特征，得到所述目标特征图。
其中，每一所述待检图片中包括多种类别的图像特征，针对每一种类别的所述图像特征进行提取，对应得到该类别图像特征的图像特征图。
具体地，计算机设备分别采用不同的至少两个所述识别子模型，对所述待检图片中不同的至少两图像特征进行特征提取，得到对应图像特征类别的所述目标特征图。
S220、采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标。
其中，所述融合特征图中包括在所述待检图片中提取的所有所述图像特征。所述特征融合的过程即为将不同所述目标特征图汇集至一起，得到汇集了多种图像特征的所述融合特征图的过程。
具体地，计算机设备采用所述融合子模型，将不同的至少两种所述目标特征图融合在一起，得到所述融合特征图，以所述融合特征图表征所述检测目标。其中，所述融合特征图中包括上述至少两种所述目标特征图对应的所述图像特征。
本实施例中，计算机设备采用至少两个所述识别子模块对所述检测图片进行至少两种类型的图像特征的提取，对应得到至少两种类别的所述目标特征图，由于不同所述识别子模块用于识别的所述特征目标不同，得到的所述目标特征图也就不同，不会对同一所述图像特征重复提取，对网络模型进行了压缩，简化了网络模型，加少了冗余检测运算过程，降低了实时检测目标的内存占用，从而提高了目标检测效率。计算机设备还采用所述融合子模块对至少两所述目标特征图进行所述特征融合，得到所述融合特征，并以所述融合特征图表征所述检测目标，所述特征融合的过程兼顾了多种类型所述图像特征，可更为准确的表征所述检测目标，提高了目标检测的准确定，避免了单一类型的所述图像特征对目标检测造成的检测失误。
另一实施例中，所述识别子模型包括形状识别子模型，则所述S210、分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述形状识别子模型，提取所述待检图片中的形状特征，得到形状特征图。
其中，所述形状特征用于表征所述待检图片中物体的轮廓边界信息和呈现区域信息。例如，所述待检图片中的人，人的轮廓即为所述轮廓边界信息，人体区域即为所述呈现区域信息。所述轮廓边界信息具体可利用图像全局特性而将边缘像素连接起来组成区域封闭边界得到，所述呈现区域信息具体可根据傅里叶变换，利用区域边界的封闭性和周期性得到。
具体地，计算机设备采用所述形状识别子模型提取所述待检图片中的物体的形状特征，以得到包括所述待检图片中物体的所述轮廓边界信息和所述呈现区域信息的所述形状特征图。
另一实施例中，所述识别子模型包括颜色识别子模型，则所述S210、分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述形状识别子模型，提取所述待检图片中的颜色特征，得到颜色特征图。
其中，所述颜色特征用于表征所述待检图片中像素点分布信息。例如，所述待检图片中的不同颜色的像素点在数量和位置上的分布，即为所述像素点分布信息。所述颜色特征具体可利用颜色直方图、颜色集、颜色矩等方式表现。
具体地，计算机设备采用所述形状识别子模型提取所述待检图片中的颜色特征，以得到包括所述待检图片中所述像素点分布信息的所述形状特征图。
另一实施例中，所述识别子模型包括纹理识别子模型，则所述S210、分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述形状识别子模型，提取所述待检图片中的纹理特征，得到纹理特征图。
其中，所述纹理特征用于表征所述待检图片中物体的纹路信息。例如，所述待检图片中的河水，水面的波纹即为所述纹路信息。所述纹理特征具体根据图像的自相关函数得到，或通过构建模型的方式，以图像的构造模型为基础，采用模型的参数作为纹理特征得到。
具体地，计算机设备采用所述形状识别子模型提取所述待检图片中的纹理特征，以得到包括所述待检图片中物体的纹路信息的所述形状特征图。
另一实施例中，所述至少两个所述识别子模型为所述形状识别子模型、所述颜色识别子模型以及所述纹理识别子模型中的至少两种。
具体地，可以是所述形状子模型和所述颜色识别子模型，也可以是所述形状子模型和所述纹理识别子模型，也可以是所述颜色识别子模型和所述纹理识别子模型，还可以是所述形状子模型、所述颜色识别子模型以及所述纹理识别子模型。
本实施例中，计算机设备采用所述形状识别子模型、所述颜色识别子模型以及所述纹理识别子模型中的至少两种识别子模型对所述待检图片中对应的所述形状特征、所述颜色特征以及所述纹理特征中至少两种图像特征进行提取，以得到所述形状特征图、所述颜色特征图以及所述纹理特征图中的至少两种特征图。其中，形状、颜色以及纹理三方面的图像特征可全方位涵盖图片所能呈现的所有特征信息，对任意至少两种图像特征的提取，均可准确确认出所述待检图片中的所述检测目标，从而提高了所述目标检测方法的准确性。
在另一实施例中，所述特征融合包括特征叠加，则所述S220、采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标，包括：
将至少两种所述目标特征图进行特征叠加，得到叠加特征图，通过所述叠加特征图表征所述检测目标。
其中，所述特征叠加包括对不同种类的所述目标特征图进行叠加组合。所述叠加特征图中包括至少两种图像特征。
具体地，计算机设备将至少两所述目标特征图进行叠加，以使得特征叠加，得到包括上述至少两中所述目标特征图所对应的至少两种图像特征的所述叠加特征图，以通过所述叠加特征图表征所述检测目标。例如，计算机设备可以将所述形状特征图与所述颜色特征图叠加，以使对应的形状图像特征与颜色图像特征叠加，得到包括所述形状图像特征和所述颜色图像特征的叠加特征图，以表征所述检测目标；计算机设备还可以将所述形状特征图与所述纹理特征图叠加，以使对应的形状图像特征与纹理图像特征叠加，得到包括所述形状图像特征和所述纹理图像特征的叠加特征图，以表征所述检测目标；计算机设备还可以将所述颜色特征图与所述纹理特征图叠加，以使对应的颜色图像特征与纹理图像特征叠加，得到包括所述颜色图像特征和所述纹理图像特征的叠加特征图，以表征所述检测目标；计算机设备还可以将所述形状特征图与所述颜色特征图以及所述纹理特征图叠加，以使对应的形状图像特征、颜色图像特征以及纹理图像特征叠加，得到包括所述形状图像特征、颜色图像特征和所述纹理图像特征的叠加特征图，以表征所述检测目标。
本实施例中，计算机设备将至少两所述目标特征图进行叠加，以使对应类型的图像特征叠加，得到所述叠加特征图，以表征所述检测目标。通过简便的图像叠加实现多种所述图像特征的汇聚，使得目标检测的过程不会占用太大内存，进而提高了检测效率，而得到的具有多种所述图像特征的所述叠加特征图，使得所述检测目标的特征得以突显，表征的所述检测目标更为准确。
另一实施例中，如图3所示，所述将至少两种所述目标特征图进行特征叠加，得到叠加特征图，通过所述叠加特征图表征所述检测目标，包括：
S310、获取每种所述目标特征图的目标权重。
其中，所述目权重用于表征每种所述目标特征图在进行所述特征叠加时所占的比例。所述目标权重可以直接设定的，也可以是根据对应图像特征的预设重要程度确定的，所述目标特征图对应的图像特征的所述预设重要程度越高，对应的所述目标特征图的所述目标权重越高。
具体地，计算机设备可获取直接设定的所述目标特征图的所述目标权重，也可根据所述根据对应图像特征的预设重要程度获取所述目标特征图的所述目标权重。
S320、将至少两种所述目标特征图，按照对应的所述目标权重进行特征加权，得到所述叠加特征图，通过所述叠加特征图表征所述检测目标。
其中，由于不同所述目标特征图的所述目标权重不同，对应得到的所述叠加特征图中所呈现的图像特征的侧重点也不同，侧重于呈现所述目标权重占比大的所述目标特征图对应的所述图像特征。多种所述目标特征图中，可准确表征所述检测目标的所述目标特征图的所述目标权重占比较大。
具体地，计算机设备将至少两种所述目标特征图乘以对应的所述目标权重后求和，进行特征加权，得到侧重于呈现所述目标权重占比大的所述目标特征图对应的所述图像特征的所述叠加特征图，以所述叠加特征图表征所述检测目标。
本实施例中，计算机设备将至少两种所述目标特征图按照对应的所述目标权重进行加权求和，实现特征加权，得到所述叠加特征图。对于可准确表征所述检测目标的所述目标特征图赋予占比较大的所述目标权重，以提高可准确表征所述检测目标的所述目标特征图的影响作用，降低相对不能准确表征所述检测目标的所述的影响作用，从而提高最终以所述叠加特征图表征所述检测目标的准确性。
另一实施例中，所述S220、采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标之前，包括：
对至少两种类别的所述目标特征图进行尺寸归一化处理，得到相同尺寸的至少两种所述目标特征图。
其中，所述尺寸归一化处理包括尺寸放大处理或尺寸缩小处理，或者尺寸裁剪。
具体地，计算机设备对至少两种类别的所述目标特征图进行尺寸归一化处理，如将较大尺寸的所述目标特征图进行所述尺寸缩小处理/裁剪，或将较小尺寸的所述目标特征图进行所述尺寸放大处理，以将尺寸不同至少两种类类别的所述目标特征图尺寸统一，得到相同尺寸的至少两种所述目标特征图。
本实施例中，计算机设备对至少两种类别的所述目标特征图进行尺寸归一化处理，使得得到的至少两种所述目标特征图尺寸统一，这样不同种类的所述目标特征图中所表征的区域均可一一对应，有利于特征融合的准确性，进一步提高了融合后得到的所述融合特征图与需要检测出的所述检测目标的契合度，以更准确的表征所述检测目标，整体上提高了目标检测的准确性。
应该理解的是，虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
另一实施例中，如图4所示，为本申请所述检测模型的检测过程，计算机设备将采集的视频中的某一图片(大小416*416*3)输入所述检测模型后，通过所述检测模型中的卷积层和池化层进行不同种类特征的提取，得到对应特征类型的特征图，通过上采样和下采样的过程将得到的至少两种特征图进行尺寸归一后进行融合，得到融合特征图，根据所述融合特征图，利用YOLO(you only look once)算法检测输出检测结果，具体输出所述融合特征图所表征的检测目标。
进一步地，本申请所述检测模型可在darknet深度学习框架中找到yolov3-tiny.cfg配置文件删除其第11层卷积层和第12层池化层得到，以实现对检测模型的压缩优化，简化检测过程，提高检测效率。
在一个实施例中，如图5所示，提供了一种目标检测装置，所述目标检测装置500包括：深度卷积神经网络模型。
其中，所述深度卷积神经网络模型包括至少两个识别子模型510和融合子模型520，每个所述识别子模型510用于识别一种类别的目标特征图。
每个所述识别子模型510用于提取待检图片中对应类别的图像特征，得到所述目标特征图。
所述融合子模型520用于将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标；其中，所述融合特征图中包括在所述待检图片中提取的所有所述图像特征。
在一个实施例中，所述识别子模型510包括形状识别子模型，用于提取所述待检图片中的形状特征，得到形状特征图。
在一个实施例中，所述识别子模型510包括颜色识别子模型，用于提取所述待检图片中的颜色特征，得到颜色特征图。
在一个实施例中，所述识别子模型510包括纹理识别子模型，用于提取所述待检图片中的纹理特征，得到纹理特征图。
在一个实施例中，所述融合子模型520还用于将至少两种所述目标特征图进行特征叠加，得到叠加特征图，通过所述叠加特征图表征所述检测目标；其中，所述特征叠加包括对不同种类的所述目标特征图进行叠加组合。
在一个实施例中，所述融合子模型520还用于获取每种所述目标特征图的目标权重；
将至少两种所述目标特征图，按照对应的所述目标权重进行特征加权，得到所述叠加特征图，通过所述叠加特征图表征所述检测目标。
在一个实施例中，还包括预处理子模块，用于对至少两种类别的所述目标特征图进行尺寸归一化处理，得到相同尺寸的至少两种所述目标特征图。
关于目标检测装置的具体限定可以参见上文中对于目标检测方法的限定，在此不再赘述。上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
通过预设的检测模型对待检图片进行检测，得到检测目标；其中，所述检测模型为深度卷积神经网络模型，所述检测模型包括至少两个识别子模型、和融合子模型，每个所述识别子模型用于识别得到一种类别的目标特征图；
所述通过预设的检测模型对待检图片进行检测，得到检测目标，包括：
分别采用每个所述识别子模型，提取待检图片中对应类别的图像特征，得到所述目标特征图；
采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标；其中，所述融合特征图中包括在所述待检图片中提取的所有所述图像特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述识别子模型包括形状识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述形状识别子模型，提取所述待检图片中的形状特征，得到形状特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述识别子模型包括颜色识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述颜色识别子模型，提取所述待检图片中的颜色特征，得到颜色特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述识别子模型包括纹理识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述纹理识别子模型，提取所述待检图片中的纹理特征，得到纹理特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述特征融合包括特征叠加；所述采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标，包括：
将至少两种所述目标特征图进行特征叠加，得到叠加特征图，通过所述融合特征图表征所述检测目标；其中，所述特征叠加包括对不同种类的所述目标特征图进行叠加组合。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述将至少两种所述目标特征图进行特征叠加，得到叠加特征图，通过所述叠加特征图表征所述检测目标，包括：
获取每种所述目标特征图的目标权重；
将至少两种所述目标特征图，按照对应的所述目标权重进行特征加权，得到所述叠加特征图，通过所述叠加特征图表征所述检测目标。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标之前，包括：
对至少两种类别的所述目标特征图进行尺寸归一化处理，得到相同尺寸的至少两种所述目标特征图。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
通过预设的检测模型对待检图片进行检测，得到检测目标；其中，所述检测模型为深度卷积神经网络模型，所述检测模型包括至少两个识别子模型、和融合子模型，每个所述识别子模型用于识别得到一种类别的目标特征图；
所述通过预设的检测模型对待检图片进行检测，得到检测目标，包括：
分别采用每个所述识别子模型，提取待检图片中对应类别的图像特征，得到所述目标特征图；
采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标；其中，所述融合特征图中包括在所述待检图片中提取的所有所述图像特征，通过所述融合特征图表征所述检测目标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述识别子模型包括形状识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述形状识别子模型，提取所述待检图片中的形状特征，得到形状特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述识别子模型包括颜色识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述颜色识别子模型，提取所述待检图片中的颜色特征，得到颜色特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述识别子模型包括纹理识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述纹理识别子模型，提取所述待检图片中的纹理特征，得到纹理特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述特征融合包括特征叠加；所述采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标，包括：
将至少两种所述目标特征图进行特征叠加，得到叠加特征图，通过所述叠加特征图表征所述检测目标；其中，所述特征叠加包括对不同种类的所述目标特征图进行叠加组合。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述将至少两种所述目标特征图进行特征叠加，得到叠加特征图，通过所述叠加特征图表征所述检测目标，包括：
获取每种所述目标特征图的目标权重；
将至少两种所述目标特征图，按照对应的所述目标权重进行特征加权，得到所述叠加特征图，通过所述叠加特征图表征所述检测目标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述采用所述融合子模型，将至少两种所述目标特征图进行特征融合，得到融合特征图，通过所述融合特征图表征所述检测目标之前，包括：
对至少两种类别的所述目标特征图进行尺寸归一化处理，得到相同尺寸的至少两种所述目标特征图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种目标检测方法，其特征在于，所述方法包括：
通过预设的检测模型对待检图片进行检测，得到检测目标；其中，所述检测模型为深度卷积神经网络模型，所述检测模型包括至少两个识别子模型、和融合子模型，每个所述识别子模型用于识别得到一种类别的目标特征图；
所述通过预设的检测模型对待检图片进行检测，得到检测目标，包括：
分别采用每个所述识别子模型，提取待检图片中对应类别的图像特征，得到所述目标特征图；
采用所述融合子模型获取每种所述目标特征图的目标权重；
将至少两种不同种类的所述目标特征图，按照对应的所述目标权重进行特征加权，得到叠加特征图，通过所述叠加特征图表征所述检测目标；其中，所述叠加特征图中包括在所述待检图片中提取的所有所述图像特征。
2.根据权利要求1所述的方法，其特征在于，所述识别子模型包括形状识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述形状识别子模型，提取所述待检图片中的形状特征，得到形状特征图。
3.根据权利要求1所述的方法，其特征在于，所述识别子模型包括颜色识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述颜色识别子模型，提取所述待检图片中的颜色特征，得到颜色特征图。
4.根据权利要求2或3所述的方法，其特征在于，所述识别子模型包括纹理识别子模型；所述分别采用每个所述识别子模型，提取待检图片中对应类别的所述目标特征图，包括：
采用所述纹理识别子模型，提取所述待检图片中的纹理特征，得到纹理特征图。
5.根据权利要求1所述的方法，其特征在于，所述目标特征图对应的图像特征的预设重要程度越高，所述目标特征图的目标权重越高。
6.根据权利要求1所述的方法，其特征在于，所述采用所述融合子模型获取每种所述目标特征图的目标权重，将至少两种不同种类的所述目标特征图，按照对应的所述目标权重进行特征加权，得到叠加特征图，通过所述叠加特征图表征所述检测目标之前，所述方法还包括：
对至少两种类别的所述目标特征图进行尺寸归一化处理，得到相同尺寸的至少两种所述目标特征图。
7.根据权利要求6所述的方法，其特征在于，所述尺寸归一化处理包括尺寸放大处理、尺寸缩小处理或者尺寸裁剪。
8.一种目标检测装置，其特征在于，所述装置包括：深度卷积神经网络模型；其中，所述深度卷积神经网络模型包括至少两个识别子模型和融合子模型，每个所述识别子模型用于识别一种类别的目标特征图；
每个所述识别子模型用于提取待检图片中对应类别的图像特征，得到所述目标特征图；
所述融合子模型用于获取每种所述目标特征图的目标权重，将至少两种不同种类的所述目标特征图，按照对应的所述目标权重进行特征加权，得到叠加特征图，通过所述叠加特征图表征检测目标；其中，所述叠加特征图中包括在所述待检图片中提取的所有所述图像特征。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911323451.8A CN111178202B (zh) | 2019-12-20 | 2019-12-20 | 目标检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911323451.8A CN111178202B (zh) | 2019-12-20 | 2019-12-20 | 目标检测方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111178202A CN111178202A (zh) | 2020-05-19 |
| CN111178202B true CN111178202B (zh) | 2024-03-22 |
Family
ID=70650250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911323451.8A Active CN111178202B (zh) | 2019-12-20 | 2019-12-20 | 目标检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111178202B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536553B (zh) * | 2021-06-30 | 2024-05-17 | 广东利元亨智能装备股份有限公司 | 一种模型简化处理方法、装置、设备及计算机存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034183A (zh) * | 2018-06-07 | 2018-12-18 | 北京飞搜科技有限公司 | 一种目标检测方法、装置及设备 |
| CN109325538A (zh) * | 2018-09-29 | 2019-02-12 | 北京京东尚科信息技术有限公司 | 目标检测方法、装置和计算机可读存储介质 |
| WO2019233341A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN110599451A (zh) * | 2019-08-05 | 2019-12-20 | 平安科技（深圳）有限公司 | 医学图像病灶检测定位方法、装置、设备及存储介质 |
-
2019
- 2019-12-20 CN CN201911323451.8A patent/CN111178202B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034183A (zh) * | 2018-06-07 | 2018-12-18 | 北京飞搜科技有限公司 | 一种目标检测方法、装置及设备 |
| WO2019233341A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN109325538A (zh) * | 2018-09-29 | 2019-02-12 | 北京京东尚科信息技术有限公司 | 目标检测方法、装置和计算机可读存储介质 |
| CN110599451A (zh) * | 2019-08-05 | 2019-12-20 | 平安科技（深圳）有限公司 | 医学图像病灶检测定位方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王立鹏 ; 张智 ; 苏丽 ; 聂文昌 ; .基于多特征融合的自适应权重目标分类方法.华中科技大学学报(自然科学版).(09),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111178202A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569721B (zh) | 识别模型训练方法、图像识别方法、装置、设备及介质 | |
| CN110163193B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN111079632A (zh) | 文本检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN109711416B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
| CN111814794B (zh) | 文本检测方法、装置、电子设备及存储介质 | |
| CN113239874B (zh) | 基于视频图像的行为姿态检测方法、装置、设备及介质 | |
| CN111160269A (zh) | 一种人脸关键点检测方法及装置 | |
| CN114092833B (zh) | 遥感图像分类方法、装置、计算机设备和存储介质 | |
| CN114037637B (zh) | 一种图像数据增强方法、装置、计算机设备和存储介质 | |
| CN111461170A (zh) | 车辆图像检测方法、装置、计算机设备及存储介质 | |
| CN114155365B (zh) | 模型训练方法、图像处理方法及相关装置 | |
| CN111968134B (zh) | 目标分割方法、装置、计算机可读存储介质及计算机设备 | |
| CN112884782B (zh) | 生物对象分割方法、装置、计算机设备和存储介质 | |
| CN110807362A (zh) | 一种图像检测方法、装置和计算机可读存储介质 | |
| CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
| CN110516559B (zh) | 适用于精准监控的目标跟踪方法及装置、计算机设备 | |
| CN112348116A (zh) | 利用空间上下文的目标检测方法、装置和计算机设备 | |
| CN111723814A (zh) | 基于跨图像关联的弱监督图像语义分割方法、系统、装置 | |
| CN111241924A (zh) | 基于尺度估计的人脸检测及对齐方法、装置、存储介质 | |
| CN113469092A (zh) | 字符识别模型生成方法、装置、计算机设备和存储介质 | |
| CN112418033A (zh) | 基于mask rcnn神经网络的滑坡坡面分割识别方法 | |
| CN111860582A (zh) | 图像分类模型构建方法、装置、计算机设备和存储介质 | |
| CN112115860A (zh) | 人脸关键点定位方法、装置、计算机设备和存储介质 | |
| CN111178202B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN112464860A (zh) | 手势识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |