CN111639523B - 目标检测方法、装置、计算机设备和存储介质 - Google Patents
目标检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111639523B CN111639523B CN202010306881.5A CN202010306881A CN111639523B CN 111639523 B CN111639523 B CN 111639523B CN 202010306881 A CN202010306881 A CN 202010306881A CN 111639523 B CN111639523 B CN 111639523B
- Authority
- CN
- China
- Prior art keywords
- weight
- feature
- layer
- input
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 238000000605 extraction Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000011176 pooling Methods 0.000 claims description 55
- 238000004590 computer program Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种目标检测方法、装置、计算机设备和存储介质。该方法包括：将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量；将初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数；将权重特征和卷积层的预设权重进行组合，得到卷积层的权重参数；将初步特征张量、感受野的尺度参数和权重参数输入卷积层，得到待检测图像的图像特征；对待检测图像的图像特征进行目标检测，得到检测结果。该方法校准了每次卷积运算所用到的权重参数，保证每一感受野尺度参数对应一相关的权重特征，增强了卷积运算中感受野与权重之间的关联性，可解决通用物体检测过程中的尺度问题，提高通用物体的检测准确性。
Description
技术领域
本申请涉及图像数据处理技术领域，特别是涉及一种目标检测方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展，目标检测作为计算机视觉中最基本和首要的任务之一，广泛应用于工业界和日常生活的各个方面，例如自动驾驶、安防监控以及游戏娱乐等领域。在对通用物体进行检测时，各物体的尺度差别大，例如：铅笔与桌子在大小及长宽比例上存在明显差异；另一方面，不同数据集中的物体尺度也存在很大的分布差异，例如：COCO数据集上的物体尺度相对ImageNet数据集的物体尺度存在更大的分布差异。
相关技术中，传统的目标检测方法采用的通用物体检测模型所使用的骨干(backbone)网络多是直接使用已在ImageNet数据集上训练好的模型。然而，直接使用不同数据集上训练好的骨干网络，存在兼容性问题，导致无法解决通用物体检测任务上的尺度缺陷，从而造成目标检测的准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高目标检测准确性的目标检测方法、装置、计算机设备和存储介质。
一种目标检测方法，所述方法包括：
将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量；
将所述初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数；
将所述权重特征和所述卷积层的预设权重进行组合，得到所述卷积层的权重参数；
将所述初步特征张量、所述感受野的尺度参数和所述权重参数输入所述卷积层，得到所述待检测图像的图像特征；
针对所述待检测图像的图像特征进行目标检测，得到检测结果。
在其中一个实施例中，所述卷积参数提取网络包括全局平均池化层、第一全连接层和第二全连接层，所述第一全连接层与所述第二全连接层中网络参数不同；
将所述初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数，包括：
将所述初步特征张量输入所述全局平均池化层，得到全局平均池化特征；
将所述全局平均池化特征输入所述第一全连接层，得到所述卷积层的权重特征；
将所述全局平均池化特征输入所述第二全连接层，得到所述卷积层的感受野尺度参数。
在其中一个实施例中，所述网络参数包括权重和/或偏置。
在其中一个实施例中，将所述权重特征和所述卷积层的预设权重进行组合，得到所述卷积层的权重参数，包括：
将所述权重特征输入预设的激活函数，得到组合权重；
对所述组合权重和所述预设权重进行线性叠加，得到所述卷积层的权重参数。
在其中一个实施例中，将所述权重特征输入预设的激活函数，得到组合权重，包括：
将所述权重特征输入预设的sigmoid函数或softmax函数，得到组合权重。
在其中一个实施例中，所述感受野尺度参数包括感受野长度和感受野宽度。
一种目标检测装置，所述装置包括：
特征提取模块，用于将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量；
卷积参数提取模块，用于将所述初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数；
权重组合模块，用于将所述权重特征和所述卷积层的预设权重进行组合，得到所述卷积层的权重参数；
图像特征获取模块，用于将所述初步特征张量、所述感受野的尺度参数和所述权重参数输入所述卷积层，得到所述待检测图像的图像特征；
检测模块，用于针对所述待检测图像的图像特征进行目标检测，得到检测结果。
在其中一个实施例中，所述卷积参数提取网络包括全局平均池化层、第一全连接层和第二全连接层，所述第一全连接层与所述第二全连接层中网络参数不同；
所述卷积参数提取模块具体用于将所述初步特征张量输入所述全局平均池化层，得到全局平均池化特征；将所述全局平均池化特征输入所述第一全连接层，得到所述卷积层的权重特征；将所述全局平均池化特征输入所述第二全连接层，得到所述卷积层的感受野尺度参数。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量；
将所述初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数；
将所述权重特征和所述卷积层的预设权重进行组合，得到所述卷积层的权重参数；
将所述初步特征张量、所述感受野的尺度参数和所述权重参数输入所述卷积层，得到所述待检测图像的图像特征；
针对所述待检测图像的图像特征进行目标检测，得到检测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量；
将所述初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数；
将所述权重特征和所述卷积层的预设权重进行组合，得到所述卷积层的权重参数；
将所述初步特征张量、所述感受野的尺度参数和所述权重参数输入所述卷积层，得到所述待检测图像的图像特征；
针对所述待检测图像的图像特征进行目标检测，得到检测结果。
上述目标检测方法、装置、计算机设备和存储介质，在对待检测图像进行特征提取时，首先利用卷积参数提取网络针对初步特征张量提取得到卷积层的权重特征和感受野尺度参数，然后组合权重特征和卷积层的预设权重得到卷积层的权重参数，由此根据卷积层的权重参数和感受野尺度参数完成对待检测图像的特征提取。该方式校准了每次卷积运算所用到的权重参数，保证每一感受野尺度参数对应一相关的权重特征，增强了卷积运算中感受野与权重之间的关联性，可解决通用物体检测过程中的尺度问题，提高了通用物体的检测准确性。
附图说明
图1为一个实施例中目标检测方法的流程示意图；
图2为一个实施例中将初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数的补充方案的流程示意图；
图3为一个实施例中将权重特征和卷积层的预设权重进行组合，得到卷积层的权重参数的补充方案的流程示意图；
图4为一个实施例中目标检测网络的结构框图；
图5为一个实施例中卷积运算的示意图；
图6为一个实施例中目标检测装置的结构框图；
图7为一个实施例中计算机设备的内部结构图；
图8为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一示例性实施例中，提供了一种目标检测方法，本实施例以该方法应用于目标检测设备进行举例说明，可以理解的是，该目标检测设备可以是终端，也可以是服务器，还可以是包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，如图1所示，该方法具体可以通过以下步骤实现：
步骤S202，将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量。
可选地，初步特征提取网络包括卷积层，进一步可包括激活层和池化层，其可以是卷积神经网络中的组成部分。
具体地，目标检测设备首先获取待检测图像，并将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量。
步骤S204，将初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数。
其中，卷积参数包括卷积神经网络中卷积层的权重特征和感受野尺度参数。该卷积参数提取网络为预先训练好的网络。感受野(Receptive Field)是神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。
具体地，目标检测设备将初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数。可选地，卷积参数提取网络可包括平均池化层和全连接层，通过将初步特征张量先输入平均池化层后再输入全连接层，即可得到卷积神经网络中卷积层的权重特征和感受野尺度参数。可选地，感受野尺度参数包括感受野的长度和感受野的宽度。
步骤S206，将权重特征和卷积层的预设权重进行组合，得到卷积层的权重参数。
具体地，目标检测设备在获得权重特征之后，将权重特征与卷积层的预存权重进行组合，得到卷积层的权重参数。可选地，卷积层的预设权重可以是随机生成的，也可以是卷积神经网络预先配置的。可选地，预设权重的数量为多个，多个预设权重与权重特征经过线性叠加得到卷积层的权重参数。
步骤S208，将初步特征张量、感受野的尺度参数和权重参数输入卷积层，得到待检测图像的图像特征；
具体地，目标检测设备在分别获得感受野的尺度参数和权重参数之后，使用卷积层依据前述参数信息对初步特征张量进行特征提取，得到待检测图像的图像特征。
通常，卷积神经网络中包含多层卷积层，对于每层卷积层而言，都可以将输入特征(即前一层卷积层的输出特征)输入卷积参数提取网络以进行卷积参数提取，确定每层卷积层对应的感受野的尺度参数和权重参数，使得卷积层可以依据这些参数信息对输入特征进行进一步的特征提取，得到输出特征(也称之为图像特征)。可选地，每一层卷积层的网络参数可以相同，也可以不同，或部分相同，部分不同。
步骤S210，针对待检测图像的图像特征进行目标检测，得到检测结果。
具体地，目标检测设备根据提取的图像特征进行目标检测，检测出待检测图像中与图像特征匹配的所有目标的类别信息和位置信息。可选地，目标检测设备将图像特征输入Faster R-CNN网络或者Cascade RCNN的级联网络，得到待检测图像中所有目标的类别信息和位置信息。
上述目标检测方法中，在对待检测图像进行特征提取时，首先利用卷积参数提取网络针对初步特征张量提取得到卷积层的权重特征和感受野尺度参数，然后组合权重特征和卷积层的预设权重得到卷积层的权重参数，由此根据卷积层的权重参数和感受野尺度参数完成对待检测图像的特征提取。该方式校准了每次卷积运算所用到的权重参数，保证每一感受野尺度参数对应一相关的权重特征，增强了卷积运算中感受野与权重之间的关联性，可解决通用物体检测过程中的尺度问题，提高了通用物体的检测准确性。
在一示例性实施例中，卷积参数提取网络包括全局平均池化层、第一全连接层和第二全连接层，其中，第一全连接层与第二全连接层中网络参数不同。基于此，请参照图2，步骤S204具体可以通过以下步骤实现：
步骤S2042，将初步特征张量输入全局平均池化层，得到全局平均池化特征；
步骤S2044，将全局平均池化特征输入第一全连接层，得到卷积层的权重特征；
步骤S2046，将全局平均池化特征输入第二全连接层，得到卷积层的感受野尺度参数。
具体地，目标检测设备将初步特征张量输入全局平均池化层，经由全局平均池化层输出得到全局平均池化特征。接下来，目标检测设备将全局平均池化特征输入第一全连接层，经由第一全连接层输出得到卷积层的权重特征；目标检测设备将全局平均池化特征输入第二全连接层，经由第二全连接层输出得到卷积层的感受野尺度参数。由于第一全连接层与第二全连接层中网络参数例如可以是权重和/或偏置不同，而这些网络参数是预先经过训练配置好的，因此，所得到的结果是不同的。
进一步地，对于卷积神经网络中每一层卷积层而言，每层卷积层在获得前一层卷积层的输出特征之后，将该输出特征输入全局平均池化层得到该卷积层的全局平均池化特征。接下来，将该全局平均池化特征输入第一全连接层，得到该卷积层的权重特征，将该全局平均池化特征输入第二全连接层，得到该卷积层的感受野尺度参数，由此，每层卷积层可根据这些卷积参数完成卷积运算得到输出特征。
本申请实施例中，在特征提取过程中，针对每层卷积层的输入特征分别进行全局平均池化操作并输入两个独立的全连接层，分别得到每层卷积层对应的权重参数和感受野尺度参数，再根据输入特征、每层卷积层对应的权重参数和感受野尺度参数完成该卷积层的卷积运算以提取待检测图像的图像特征，进而基于该图像特征完成目标检测任务。由于每次卷积运算中的感受野的尺度参数和权重参数是一一对应的，增强了感受野与权重的关联性，从而可解决通用物体检测中的尺度问题，提高通用物体的检测准确性。
在一示例性实施例中，涉及将权重特征和卷积层的预设权重进行组合，得到卷积层的权重参数的一种可能的实现过程。在上述实施例的基础上，请参照图3，步骤S206具体可以通过以下步骤实现：
步骤S2062，将权重特征输入预设的激活函数，得到组合权重；
步骤S2064，对组合权重和预设权重进行线性叠加，得到卷积层的权重参数。
具体地，目标检测设备将权重特征输入预设的sigmoid函数或softmax函数，得到组合权重，进而对组合权重和预设权重进行线性叠加，得到卷积层的权重参数。
为了进一步详细地描述清楚本申请实施例的实现过程。请参照图4，在图4中，假设每层特征提取网络的输入特征的大小(N，C，H，W)，其中，N表示待检测图像的个数(图4中N为1)，C表示输入通道数，H表示输入特征的高度，W表示输入特征的宽度。输出特征的大小(N，C1，H1，W1)，其中，N表示样本数，C1表示输出通道数，H1表示输出特征的高度，W1表示输出特征的宽度。卷积权重的大小为(C1，C，k，k)，其中，k表示卷积核大小。对于每层卷积层的输入特征，首先对其进行全局平均池化操作，得到全局平均池化特征。接下来，将该全局平均池化特征分别输入两个独立的第一全连接层和第二全连接层中，分别得到感受野的尺度参数包括感受野的长度h和感受野的宽度w，大小为(N，C1，2)，以及权重特征，大小为(N，C1，M)，接下来，权重特征输入预设的sigmoid函数或softmax函数，得到组合权重。
接下来，在权重库(weight bank)中，存储有M个预设权重(1，C，k，k)，即大小为(M，C，k，k)。对于一张待检测图像而言，组合权重大小为(1，C1，M)。那么，可由(1*C1，M)与(M，C*k*k)矩阵乘得到(1*C1，C*k*k)，再经过变形可得到卷积核对应的权重参数，大小为(C1，C，k，k)。前述过程即为组合权重与预设权重线性叠加的具体实现过程，其中，组合权重和初始权重的数量相同。假设每个初始权重的大小为(1，C，k，k)，那么，M个预设权重的大小为(M，C，k，k)，则组合权重的数量也为M个。最后，将感受野的尺度参数{w，h}和权重参数作用于输入特征的卷积运算，得到卷积层的输出特征。
在一示例性实施例中，以上述例子来讲，全局平均池化层的输出特征大小为(N，C)，第一全连接层的输出特征大小为(N，C1，M)，第二全连接层的输出特征大小为(N，C1，2)，此处的2对应感受野的长度h和感受野的宽度w这两个数。
图5中展示了本申请实施例中卷积运算的过程。请参见图5，假设卷积核的大小为k＝3。标准卷积层的感受野大小为(3，3)，即w＝3，h＝3。对应图5(左)，9个红点表示卷积核作用于输入特征(input feature)的位置。当第二全连接层输出的感受野大小为(5，5)，即w＝5，h＝5。那么，卷积核作用于输入特征的位置对应图5(右)。其中，{w，h}可以是连续值。
应该理解的是，虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一示例性实施例中，如图6所示，提供了一种目标检测装置30，包括：图像转化模块302、卷积参数提取模块304、权重组合模块306、图像特征获取模块308和检测模块310，其中：
该图像转化模块302用于将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量；
该卷积参数提取模块304用于将初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数；
该权重组合模块306用于将权重特征和卷积层的预设权重进行组合，得到卷积层的权重参数；
该图像特征获取模块308用于将初步特征张量、感受野的尺度参数和权重参数输入卷积层，得到待检测图像的图像特征；
该检测模块310用于针对待检测图像的图像特征进行目标检测，得到检测结果。
上述目标检测装置，在对待检测图像进行特征提取时，首先利用卷积参数提取网络针对初步特征张量提取得到卷积层的权重特征和感受野尺度参数，然后组合权重特征和卷积层的预设权重得到卷积层的权重参数，由此根据卷积层的权重参数和感受野尺度参数完成对待检测图像的特征提取。该方式校准了每次卷积运算所用到的权重参数，保证每一感受野尺度参数对应一相关的权重特征，增强了卷积运算中感受野与权重之间的关联性，可解决通用物体检测过程中的尺度问题，提高了通用物体的检测准确性。
在一示例性实施例中，卷积参数提取网络包括全局平均池化层、第一全连接层和第二全连接层，第一全连接层与第二全连接层中网络参数不同；卷积参数提取模块304具体用于将初步特征张量输入全局平均池化层，得到全局平均池化特征；将全局平均池化特征输入第一全连接层，得到卷积层的权重特征；将全局平均池化特征输入第二全连接层，得到卷积层的感受野尺度参数。
在一示例性实施例中，该权重组合模块306具体用于将权重特征输入预设的激活函数，得到组合权重；对组合权重和预设权重进行线性叠加，得到卷积层的权重参数。
在一示例性实施例中，该权重组合模块306具体用于将权重特征输入预设的sigmoid函数或softmax函数，得到组合权重。
关于目标检测装置的具体限定可以参见上文中对于目标检测方法的限定，在此不再赘述。上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一示例性实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标检测方法。
在一示例性实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7或图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一示例性实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量；
将初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数；
将权重特征和卷积层的预设权重进行组合，得到卷积层的权重参数；
将初步特征张量、感受野的尺度参数和权重参数输入卷积层，得到待检测图像的图像特征；
针对待检测图像的图像特征进行目标检测，得到检测结果。
上述计算机设备中，在对待检测图像进行特征提取时，首先利用卷积参数提取网络针对初步特征张量提取得到卷积层的权重特征和感受野尺度参数，然后组合权重特征和卷积层的预设权重得到卷积层的权重参数，由此根据卷积层的权重参数和感受野尺度参数完成对待检测图像的特征提取。该方式校准了每次卷积运算所用到的权重参数，保证每一感受野尺度参数对应一相关的权重特征，增强了卷积运算中感受野与权重之间的关联性，可解决通用物体检测过程中的尺度问题，提高了通用物体的检测准确性。
在一示例性实施例中，处理器执行计算机程序时还实现以下步骤：将初步特征张量输入全局平均池化层，得到全局平均池化特征；将全局平均池化特征输入第一全连接层，得到卷积层的权重特征；将全局平均池化特征输入第二全连接层，得到卷积层的感受野尺度参数。
在一示例性实施例中，处理器执行计算机程序时还实现以下步骤：将权重特征输入预设的激活函数，得到组合权重；对组合权重和预设权重进行线性叠加，得到卷积层的权重参数。
在一示例性实施例中，处理器执行计算机程序时还实现以下步骤：将权重特征输入预设的sigmoid函数或softmax函数，得到组合权重。
在一示例性实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量；
将初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数；
将权重特征和卷积层的预设权重进行组合，得到卷积层的权重参数；
将初步特征张量、感受野的尺度参数和权重参数输入卷积层，得到待检测图像的图像特征；
针对待检测图像的图像特征进行目标检测，得到检测结果。
上述计算机可读存储介质中，在对待检测图像进行特征提取时，首先利用卷积参数提取网络针对初步特征张量提取得到卷积层的权重特征和感受野尺度参数，然后组合权重特征和卷积层的预设权重得到卷积层的权重参数，由此根据卷积层的权重参数和感受野尺度参数完成对待检测图像的特征提取。该方式校准了每次卷积运算所用到的权重参数，保证每一感受野尺度参数对应一相关的权重特征，增强了卷积运算中感受野与权重之间的关联性，可解决通用物体检测过程中的尺度问题，提高了通用物体的检测准确性。
在一示例性实施例中，计算机程序被处理器执行时还实现以下步骤：将初步特征张量输入全局平均池化层，得到全局平均池化特征；将全局平均池化特征输入第一全连接层，得到卷积层的权重特征；将全局平均池化特征输入第二全连接层，得到卷积层的感受野尺度参数。
在一示例性实施例中，计算机程序被处理器执行时还实现以下步骤：将权重特征输入预设的激活函数，得到组合权重；对组合权重和预设权重进行线性叠加，得到卷积层的权重参数。
在一示例性实施例中，计算机程序被处理器执行时还实现以下步骤：将权重特征输入预设的sigmoid函数或softmax函数，得到组合权重。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random AccessMemory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种目标检测方法，其特征在于，所述方法包括：
将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量；
将所述初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数；
将所述权重特征和所述卷积层的预设权重进行组合，得到所述卷积层的权重参数；
将所述初步特征张量、所述感受野的尺度参数和所述权重参数输入所述卷积层，得到所述待检测图像的图像特征；
针对所述待检测图像的图像特征进行目标检测，得到检测结果；
所述卷积参数提取网络包括全局平均池化层、第一全连接层和第二全连接层，所述第一全连接层与所述第二全连接层中网络参数不同；
将所述初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数，包括：
将所述初步特征张量输入所述全局平均池化层，得到全局平均池化特征；
将所述全局平均池化特征输入所述第一全连接层，得到所述卷积层的权重特征；
将所述全局平均池化特征输入所述第二全连接层，得到所述卷积层的感受野尺度参数。
2.根据权利要求1所述的方法，其特征在于，所述网络参数包括权重和/或偏置。
3.根据权利要求1或2所述的方法，其特征在于，将所述权重特征和所述卷积层的预设权重进行组合，得到所述卷积层的权重参数，包括：
将所述权重特征输入预设的激活函数，得到组合权重；
对所述组合权重和所述预设权重进行线性叠加，得到所述卷积层的权重参数。
4.根据权利要求3所述的方法，其特征在于，将所述权重特征输入预设的激活函数，得到组合权重，包括：
将所述权重特征输入预设的sigmoid函数或softmax函数，得到组合权重。
5.根据权利要求1或2所述的方法，其特征在于，所述感受野尺度参数包括感受野长度和感受野宽度。
6.一种目标检测装置，其特征在于，所述装置包括：
特征提取模块，用于将待检测图像输入初步特征提取网络进行特征提取，得到初步特征张量；
卷积参数提取模块，用于将所述初步特征张量输入卷积参数提取网络，得到卷积神经网络中卷积层的权重特征和感受野尺度参数；
权重组合模块，用于将所述权重特征和所述卷积层的预设权重进行组合，得到所述卷积层的权重参数；
图像特征获取模块，用于将所述初步特征张量、所述感受野的尺度参数和所述权重参数输入所述卷积层，得到所述待检测图像的图像特征；
检测模块，用于针对所述待检测图像的图像特征进行目标检测，得到检测结果；
所述卷积参数提取网络包括全局平均池化层、第一全连接层和第二全连接层，所述第一全连接层与所述第二全连接层中网络参数不同；
所述卷积参数提取模块具体用于将所述初步特征张量输入所述全局平均池化层，得到全局平均池化特征；将所述全局平均池化特征输入所述第一全连接层，得到所述卷积层的权重特征；将所述全局平均池化特征输入所述第二全连接层，得到所述卷积层的感受野尺度参数。
7.根据权利要求6所述的装置，其特征在于，所述权重组合模块，具体用于将权重特征输入预设的激活函数，得到组合权重；对组合权重和预设权重进行线性叠加，得到卷积层的权重参数。
8.根据权利要求7所述的装置，其特征在于，所述权重组合模块，具体用于将权重特征输入预设的sigmoid函数或softmax函数，得到组合权重。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010306881.5A CN111639523B (zh) | 2020-04-17 | 2020-04-17 | 目标检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010306881.5A CN111639523B (zh) | 2020-04-17 | 2020-04-17 | 目标检测方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111639523A CN111639523A (zh) | 2020-09-08 |
| CN111639523B true CN111639523B (zh) | 2023-07-07 |
Family
ID=72331673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010306881.5A Active CN111639523B (zh) | 2020-04-17 | 2020-04-17 | 目标检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111639523B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177133B (zh) * | 2021-04-23 | 2024-03-29 | 深圳依时货拉拉科技有限公司 | 一种图像检索方法、装置、设备及存储介质 |
| CN113743459B (zh) * | 2021-07-29 | 2024-04-02 | 深圳云天励飞技术股份有限公司 | 目标检测方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610146A (zh) * | 2017-09-29 | 2018-01-19 | 北京奇虎科技有限公司 | 图像场景分割方法、装置、计算设备及计算机存储介质 |
| CN109671070A (zh) * | 2018-12-16 | 2019-04-23 | 华中科技大学 | 一种基于特征加权和特征相关性融合的目标检测方法 |
| CN110110692A (zh) * | 2019-05-17 | 2019-08-09 | 南京大学 | 一种基于轻量级全卷积神经网络的实时图像语义分割方法 |
| CN110956122A (zh) * | 2019-11-27 | 2020-04-03 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备、存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9998130B2 (en) * | 2016-07-06 | 2018-06-12 | Hrl Laboratories, Llc | Method to perform convolutions between arbitrary vectors using clusters of weakly coupled oscillators |
-
2020
- 2020-04-17 CN CN202010306881.5A patent/CN111639523B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610146A (zh) * | 2017-09-29 | 2018-01-19 | 北京奇虎科技有限公司 | 图像场景分割方法、装置、计算设备及计算机存储介质 |
| CN109671070A (zh) * | 2018-12-16 | 2019-04-23 | 华中科技大学 | 一种基于特征加权和特征相关性融合的目标检测方法 |
| CN110110692A (zh) * | 2019-05-17 | 2019-08-09 | 南京大学 | 一种基于轻量级全卷积神经网络的实时图像语义分割方法 |
| CN110956122A (zh) * | 2019-11-27 | 2020-04-03 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的水下目标特征提取方法;王念滨;何鸣;王红滨;郎泽宇;;系统工程与电子技术(第06期) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111639523A (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109684901B (zh) | 图像处理装置和图像处理方法 | |
| CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| CN113538281B (zh) | 图像去噪方法、装置、计算机设备和存储介质 | |
| CN111639523B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| WO2021218037A1 (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN114821096A (zh) | 一种图像处理方法、神经网络的训练方法以及相关设备 | |
| CN110163864A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| TWI769603B (zh) | 影像處理方法及存儲介質 | |
| US20230025626A1 (en) | Method and apparatus for generating process simulation models | |
| CN108520532B (zh) | 识别视频中物体运动方向的方法及装置 | |
| CN116228753B (zh) | 肿瘤预后评估方法、装置、计算机设备和存储介质 | |
| CN116894802A (zh) | 图像增强方法、装置、计算机设备和存储介质 | |
| CN115758271A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN115965799A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN115905864A (zh) | 异常数据检测模型训练方法、装置、计算机设备 | |
| CN114707070A (zh) | 一种用户行为预测方法及其相关设备 | |
| CN114495257B (zh) | 险态工况下融合行为机制的姿态预测方法和装置 | |
| CN113159057B (zh) | 一种图像语义分割方法和计算机设备 | |
| CN117058668B (zh) | 一种三维模型减面评估方法及装置 | |
| CN111898761B (zh) | 服务模型生成方法、图像处理方法、装置和电子设备 | |
| CN116452702B (zh) | 信息图表快速设计方法、装置、计算机设备和存储介质 | |
| CN116012665A (zh) | 图像处理模型训练方法、装置、计算机设备和存储介质 | |
| WO2023164858A1 (en) | Decimal-bit network quantization of convolutional neural network models | |
| CN116205281A (zh) | 网络模型量化方法、装置、计算机设备及其存储介质 | |
| CN117612192A (zh) | 电子图纸信息识别方法、系统、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20241121 Address after: No. 257, 2nd Floor, Building 9, No. 2 Huizhu Road, Liangjiang New District, Yubei District, Chongqing 401100 Patentee after: Yuanli Jinzhi (Chongqing) Technology Co.,Ltd. Country or region after: China Address before: 316-318, block a, Rongke Information Center, No.2, South Road, Academy of Sciences, Haidian District, Beijing, 100190 Patentee before: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd. Country or region before: China |