CN113920479A - 一种目标检测网络构建和目标检测方法、装置及电子设备 - Google Patents
一种目标检测网络构建和目标检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113920479A CN113920479A CN202111193337.5A CN202111193337A CN113920479A CN 113920479 A CN113920479 A CN 113920479A CN 202111193337 A CN202111193337 A CN 202111193337A CN 113920479 A CN113920479 A CN 113920479A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- image
- target detection
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000010276 construction Methods 0.000 title claims abstract description 29
- 238000003062 neural network model Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 12
- 230000015654 memory Effects 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 14
- 238000004364 calculation method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 8
- 230000004913 activation Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 208000020442 loss of weight Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标检测网络构建和目标检测方法、装置及电子设备，包括：将获取到的图像样本集输入到神经网络模型，对神经网络模型进行训练，直至所述神经网络模型的参数值满足目标条件，得到目标检测网络，其中所述神经网络模型包括卷积层和线性层，所述卷积层用于对输入的图像样本进行一次卷积操作，所述线性层用于对一次卷积操作结果进行线性操作，通过使用线性层代替其他的卷积层，减少了神经网络模型的计算量，减少了神经网络模型的推理时间，提高了处理过程的时效性。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种目标检测网络构建和目标检测方法、装置及电子设备。
背景技术
随着城市智慧化、数字化的推进，智能交通已成为智慧城市中必不可少的一个环节，道路交通的行人、车辆和非机动车检测，可以帮助提高交通监管的效率，减轻交通拥堵的现象，减少交通事故发生的概率，减少刑事侦查所需的人力。目前，应用深度学习的图像和视频处理技术中存在时效性方面的不足和计算量方面的浪费，因此急需提出一种更加实时、轻量的目标检测网络以提高图像和视频处理技术的时效性。
发明内容
因此，本发明要解决的技术问题在于克服现有深度学习网络时效性差和计算量方面浪费的缺陷，从而提供一种目标检测网络构建和目标检测方法、装置及电子设备。
根据第一方面，本发明实施例公开了一种目标检测网络构建方法，包括：获取图像样本集；将所述图像样本集输入到神经网络模型，对所述神经网络模型进行训练，直至所述神经网络模型的损失值满足目标条件，得到目标检测网络，其中所述神经网络模型包括卷积层和线性层，所述卷积层用于对输入的图像样本进行一次卷积操作，所述线性层用于对一次卷积操作结果进行线性操作。
可选地，所述图像样本集在输入神经网络之前，所述方法还包括：对输入的图像样本集进行数据增强处理。
可选地，所述方法还包括：利用双线性插值法对所述神经网络模型线性层的线性操作结果进行图像采样处理。
可选地，将所述图像样本集输入到神经网络模型，对所述神经网络模型进行训练，直至所述神经网络模型的损失值满足目标条件，包括：根据所述损失值更新所述神经网络模型的参数权重；当所述损失值满足目标条件时，得到用于进行目标检测的检测网络。
根据第二方面，本发明实施例还公开了一种目标检测方法，包括：获取待检测图像；将所述待检测图像输入到利用如第一方面及第一方面任一可选实施方式所述的目标检测网络构建方法构建得到的目标检测网络，得到所述待检测图像的目标图像信息。
根据第三方面，本发明实施例还公开了一种目标检测模型构建装置，包括：第一获取模块,用于获取图像样本集；构建模块,用于将所述图像样本集输入到神经网络模型，对所述神经网络模型进行训练，直至所述神经网络模型的损失值满足目标条件，得到目标检测网络，其中所述神经网络模型包括卷积层和线性层，所述卷积层用于对输入的图像样本进行一次卷积操作，所述线性层用于对一次卷积操作结果进行线性操作。
可选地，在所述第一获取模块之后构建模块之前还包括：增强模块，用于对输入的图像样本集进行数据增强处理。
根据第四方面，一种目标检测装置，其特征在于，包括：第二获取模块，用于获取待检测图像；检测模块，用于将所述待检测图像输入到利用如第一方面及第一方面任一可选实施方式的目标检测网络构建方法构建得到的目标检测网络，得到所述待检测图像的目标图像信息。
根据第五方面，本发明实施例还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述目标检测模型构建方法，或者如第二方面及第二方面任一可选实施方式所述的目标检测方法的步骤。
根据第六方面，本发明实施方式还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如如第一方面或第一方面任一可选实施方式所述目标检测模型构建方法，或者如第二方面及第二方面任一可选实施方式所述的目标检测方法的步骤。
本发明技术方案，具有如下优点：
本发明提供的目标检测网络构建方法，将获取到的图像样本集输入到神经网络模型，对神经网络模型进行训练，直至所述神经网络模型的参数值满足目标条件，得到目标检测网络，其中所述神经网络模型包括卷积层和线性层，所述卷积层用于对输入的图像样本进行一次卷积操作，所述线性层用于对一次卷积操作结果进行线性操作，通过使用线性层代替其他的卷积层，减少了神经网络模型的计算量，减少了神经网络模型的推理时间，提高了处理过程的时效性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中目标检测网络构建方法的一个具体示例的流程图；
图2为本发明实施例中目标检测网络构建方法的一个具体示例的原理图
图3A、图3B为本发明实施例中目标检测网络构建方法的一个具体示例的原理图；
图4为本发明实施例中特征融合的一个具体示例的原理图；
图5为本发明实施例中目标检测方法的一个具体示例的流程图；
图6为本发明实施例中目标检测模型构建装置的一个具体示例的原理框图；
图7为本发明实施例中目标检测模型构建装置的一个具体示例的原理框图；
图8为本发明实施例中电子设备的一个具体示例图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例公开了一种目标检测网络构建方法，如图1所示，该方法包括如下步骤：
步骤101，获取图像样本集。示例性地，图像样本集可以是马路路口监控设备采集到的图像数据，其中图像数据中可以包括例如行人、车辆以及非机动车等内容，本发明实施例对图像样本集的类型和图像样本中包含的目标内容不作限定，本领域技术人员可以根据实际需要确定。
步骤102，将所述图像样本集输入到神经网络模型，对所述神经网络模型进行训练，直至所述神经网络模型的损失值满足目标条件，得到目标检测网络，其中所述神经网络模型包括卷积层和线性层，所述卷积层用于对输入的图像样本进行一次卷积操作，所述线性层用于对一次卷积操作结果进行线性操作。
示例性地，神经网络模型为对图像样本集进行图像中目标识别的网络模型；神经网络的损失值为神经网络模型对输入样本的特征是否准确的评判指标。目标条件可以是损失值最小，当损失值最小的时候神经网络模型的输出样本的特征最准确，当损失值达到目标条件时，得到训练好的目标检测网络。用于训练得到目标检测网络的神经网络模型由卷积层和线性层构成，其中卷积层可以由一层卷积构成，线性层对图像样本经过一次卷积后输出的特征进行线性运算，保留了图像特征图的恒等映射，在保证了必要的图像特征对齐的前提下，去掉了多余的卷积，减少了神经网络模型的计算量，提高了处理过程的时效性。
具体地，将获取到的马路路口监控设备采集到的图像数据作为输入样本输入到神经网络进行识别。在实际应用中根据实际需求对相应的目标进行标注，标注各个目标的坐标框和类别，例如坐标框位置为目标的左上角坐标(x1，y1)和右下角坐标(x2，y2)，每个坐标框类别只能是行人、机动车和非机动车中的一类，神经网络可以是Yolov5网络，本发明实施例对选用的神经网络类型不作限定，本领域技术人员可以根据实际需要确定，对Yolov5的主干网络CSPDarknet进行轻量化，将CSPBottleneck组件中的普通卷积替换为轻量卷积操作，从而构造轻量化的CSPBottleneck组件，如图2所示为CSPBottleneck组件具体结构，其中，Conv 1×1代表1×1的卷积操作；将bottleneck中的普通卷积模块替换为图中虚线框中所示的轻量卷积模块；nn.Conv2d为普通卷积操作；concat为特征图的拼接操作；再利用BN(Batch Normalization)进行数据归一化操作，经过LeakyReLU激活层进行激活操作。
MobileNet和ShuffleNet引入深度卷积或混洗操作来构建轻量化网络，使用较小的卷积核构建有效的卷积神经网络，但其余1×1卷积层仍将占用大量内存。对于普通的卷积操作，给定输入数据
其中c是输入通道数，h和w分别是是输入图像的高度和宽度，分别用于生成n个特征图的任意卷积层的运算可表示为Y＝X*f+b，其中*是卷积运算，b是偏差项，
是具有n个通道的输出特征图，h′和w′分别是输出数据的高度和宽度，
是这一层中的卷积核，c是输入通道数，k×k分别是卷积核f的内核大小,m为每个通道的卷积核个数。在此卷积过程中，由于卷积核数量m和通道数c通常非常大(例如256或512)，所需的浮点数量达m*h′*w′*c*k*k之多。鉴于主流神经网络计算出的中间特征图中存在大量的冗余(例如一些相似的“特征图对”)，其往往需要付出昂贵的卷积操作得到。本发明实施例提出减少用于生成这些中间特征图的卷积核，一些“特征图对”可以利用比卷积操作更轻量的线性操作得到，来达到优化参数量的目的。
具体来说，m个原始特征图
是使用一次卷积生成的，m≤n
Y′＝X*f′+b′
其余超参数(例如卷积核大小，步长，填充)与普通卷积中的超参数相同，以保持输出特征图的空间大小(即h′和w′)保持一致，对Y′中的每个特征应用一系轻量的线性运算，以生成s个幻影特征图：
其中y′i是Y′中第i个特征图，Φij是第i个线性运算，用于生成第j个幻影特征图yij，也就是说，y′i可以具有一个或多个幻影特征图
最后的Φi,s是用于保留原始特征图的恒等映射。通过使用轻量卷积操作，可以获得n＝m*s个特征图Y＝[y11,y12,…,yms]，作为轻量卷积模块的输出数据。线性运算在每个Φ通道上运行，其计算量比普通卷积少得多，轻量化卷积操作过程如图3A、图3B所示，其中图3A为普通卷积操作，图3B为轻量卷积操作。实际上，轻量卷积模块中可能有几种不同的线性运算，例如3×3和5×5线性内核，本发明实施例对线性运算的类型不作限定，本领域技术人员可以根据实际需要确定。
具体地，损失值的计算可以根据以下公式计算标签的损失值：
L＝lloc+lconf+lcls
其中，lloc为位置损失函数，lconf为置信度损失函数，lcls为类别损失函数。
分别通过以下公式计算位置损失、置信度损失和类别损失损失：
其中位置损失采用CIoU损失函数，用来衡量预测框和真实框之间的位置损失，引导预测框位置的权重优化，其计算过程如下：
其中IoU为真实框和预测框之间的交并比；
增加了真实框与预测框之间中心点距离度量，优化了两个框的中心距离，D2为真实框和预测框中心点距离，DC为最小外接矩形C的对角线距离；α是平衡参数；CIoU损失函数引入了参数v度量预测框和真实框之间宽高比的相似性。
置信度损失采用交叉熵损失函数：
lconf＝ce(i)+λnoobjce(j)
置信度损失包括两部分：有物体和无物体的损失，其中i为有物体的预测框，j为无物体的预测框，ce表示原始的交叉熵计算公式，K为框数量，yk为第k个框的真实标签，pk为网络的预测概率，λnoobj为无物体的损失权重系数，目的是为了减少没有物体计算部分的权重贡献。
本实施例中由于交通场景可能存在样本类别不均衡的现象，例如卡口数据多为车辆，而行人和非机动车数量较少，因此类别损失计算公式如下：
lcls＝-αt(1-pt)γlog(pk)
其中αt和(1-pk)γ为调质因子，用来平衡易分类样本和难分类样本的损失。
本发明提供的目标检测网络构建方法，将获取到的图像样本集输入到神经网络模型，对神经网络模型进行训练，直至所述神经网络模型的参数值满足目标条件，得到目标检测网络，其中所述神经网络模型包括卷积层和线性层，所述卷积层用于对输入的图像样本进行一次卷积操作，所述线性层用于对一次卷积操作结果进行线性操作，通过使用线性层代替其他的卷积层，减少了神经网络模型的计算量，减少了神经网络模型的推理时间，提高例了处理过程的时效性。
作为本发明一个可选实施方式，所述图像样本集在输入神经网络之前，所述方法还包括：对输入的图像样本集进行数据增强处理。
示例性地，利用mosaic数据增强方式同时对四张图片以随机缩放、随机裁剪、随机排布的方式进行拼接，利用mosaic数据增强可以极大地丰富检测物体的背景，提升检测的鲁棒性和泛化能力，且由于在计算的时候会同时计算四张图片的数据，明显减少了网络训练大批量处理的需求。仅以此举例，不以此为限，在实际应用中根据实际需求进行相应的数据增强；对待检测的交通场景图片进行数据增强，在一定程度上能够提升算法精度和鲁棒性，本发明实施例对数据增强的方法不作限定，本领域技术人员可以根据实际需要确定。
作为本发明一个可选实施方式，所述方法还包括：利用双线性插值法对所述神经网络模型线性层的线性操作结果进行图像采样处理。
示例性地，在本发明实施例中，需要构建轻量化的特征融合模块，融合上述步骤所提取的特征，最终输出相应的特征图，具体方法为：Yolov5的基础的特征融合模块包含top-down路径和横向连接的套件，来融合少位置信息而多语义信息的top层特征图和多位置信息而少语义信息的down层特征图，横向连接采用conv1×1降维来保证通道对齐。但是由于顶层特征图语义信息多但位置信息少，不利于大物体的检测。因此在上述基础上再加了一个bottom-up路径和横向连接的特征融合，使得顶层特征图也可以融合到到底层带来的丰富的位置信息，从而提升了大物体的检测效果。
具体的特征融合模块的构造过程如图4所示，构造方法可以是如下步骤：
a、去掉所有的卷积，仅仅保留FPN(Feature Pyramid Networks特征金字塔网络)中必要的1×1卷积进行通道对齐。
b、top-down路径采用双线性插值法代替2倍上采样来保证横向连接的特征图尺寸相同。Bottom-up路径采用双线性插值法代替0.5倍下采样来保证横向连接的特征图尺寸相同。深度学习中上采样操作大部分采用反卷积来实现，这大大增加了模型的复杂度，也使得模型难以收敛，因此轻量特征融合模块的三种输出特征图的计算可表示为：
yF5＝xC5*h
yF4＝xC4*h+interpF5
yF3＝xC3*h+interpF4
yP3＝yF3*h
yP4＝yF4*h+interpP3
yP5＝yF5*h+interpP4
其中h为1×1的横向卷积操作，interpolation(后文均简称为interp)为双线性插值操作，所有x代表输入变量，所有y代表输出变量，C1、C2、C3、C4、C5为未融合前的特征，特征依次由浅变深，特征随着网络层数变深而变深，融合后输出的深层、中层和浅层特征分别对应P5、P4和P3，xC5、xC4和xC3分别代表第5、4和3阶段输入特征图，yF5、yF4和yF3分别代表top-down路径下的第5、4、3阶段的输出特征图，interpF5和interpF4分别代表top-down路径下第5、4阶段的特征图F5、F4经过双线性插值法输出的特征图。
作为本发明一个可选实施方式，将所述图像样本集输入到神经网络模型，对所述神经网络模型进行训练，直至所述神经网络模型的参数值满足目标条件，包括：根据所述损失值更新所述神经网络模型的参数权重；当所述损失值满足目标条件时，得到用于进行目标检测的检测网络。
示例性地，损失值的详细计算方法见上述步骤101的相关描述，此处不再赘述。神经网络中的包括前向传播和反向传播，其中前向传播(Forward Propagation)就是从输入(input)，经过一层层的卷积层计算(layer)，不断计算每一层的z和a，最后得到输出预测值的过程，计算出预测值，就可以根据它和真实值y的差别来计算损失值，所以当损失越小的时候代表预测值越接近真实值；反向传播(Backward Propagation)就是根据损失函数利用导数链式法则来反方向地计算每一层的z、a、w、b的偏导数(梯度)，从而更新参数。其中，a为每层的输入值，z为每层输入值经激活函数后的值，w为权重，b为偏差项。损失对权重的更新原理如下：
其中W+为更新后的权重，W为未更新权重，η为偏差系数，
为损失(Loss)对当前权重的偏导计算。损失值越小，预测值和真实值的差距就越小，损失对当前权重的偏导数越小，当损失对权重的偏导为0时，权重最优。
本发明实施例公开了一种目标检测方法，如图5所示，该方法包括如下步骤：
步骤501，获取待检测图像。示例性地，获取需要进行目标检测的图像，本发明实施例对图像的类型不作限定，本领域技术人员可以根据实际需要确定。
步骤502，将所述待检测图像输入到利用如上述实施例所述的目标检测网络构建方法构建得到的目标检测网络，得到所述待检测图像的目标图像信息。示例性地，详细内容见上述实施例的相关内容，此处不再赘述。
本发明提供的目标检测方法，包括：获取待检测图像将所述待检测图像输入到利用如上述实施例所述的目标检测网络构建方法构建得到的目标检测网络，得到所述待检测图像的目标图像信息。减少了神经网络模型的计算量，减少了神经网络模型的推理时间，提高了处理过程的时效性。
本发明实施例还公开了一种目标检测模型构建装置，如图6所示，该装置包括：
第一获取模块601,用于获取图像样本集；示例性地，详细内容见上述步骤101的相关内容，此处不再赘述。
构建模块602,用于将所述图像样本集输入到神经网络模型，对所述神经网络模型进行训练，直至所述神经网络模型的参数值满足目标条件，得到目标检测网络，其中所述神经网络模型包括卷积层和线性层，所述卷积层用于对输入的图像样本进行一次卷积操作，所述线性层用于对一次卷积操作结果进行线性操作。示例性地，详细内容见上述步骤102的相关内容，此处不再赘述。
本发明提供的目标检测模型构建装置，第一获取模块,用于获取图像样本集；构建模块用于将所述图像样本集输入到神经网络模型，对所述神经网络模型进行训练，直至所述神经网络模型的参数值满足目标条件，得到目标检测网络，其中所述神经网络模型包括卷积层和线性层，所述卷积层用于对输入的图像样本进行一次卷积操作，所述线性层用于对一次卷积操作结果进行线性操作，通过使用线性层代替其他的卷积层，减少了神经网络模型的计算量，减少了神经网络模型的推理时间，提高例了处理过程的时效性。
作为本发明一个可选实施方式，在所述第一获取模块之后构建模块之前还包括：增强模块，用于对输入的图像样本集进行数据增强处理。示例性地，详细内容见上述方法的相关内容，此处不再赘述。
本发明实施例还公开了一种目标检测装置，如图7所示，该装置包括：
第二获取模块701，用于获取待检测图像；示例性地，详细内容见上述步骤501的相关内容，此处不再赘述。
检测模块702，用于将所述待检测图像输入到利用上述实施例所述的目标检测网络构建方法构建得到的目标检测网络，得到所述待检测图像的目标图像信息。示例性地，详细内容见上述步骤502的相关内容，此处不再赘述。
本发明提供的目标检测装置，第二获取模块，用于获取待检测图像；检测模块，用于将所述待检测图像输入到利用上述实施例中目标检测网络构建方法构建得到的目标检测网络，得到所述待检测图像的目标图像信息。减少了神经网络模型的计算量，减少了神经网络模型的推理时间，提高例了处理过程的时效性。
本发明实施例还提供了一种电子设备，如图8所示，该电子设备可以包括处理器801和存储器802，其中处理器801和存储器802可以通过总线或者其他方式连接，图8中以通过总线连接为例。
处理器801可以为中央处理器(Central Processing Unit，CPU)。处理器801还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器802作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的目标检测网络构建方法和目标检测方法对应的程序指令/模块。处理器801通过运行存储在存储器802中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的目标检测网络构建方法和目标检测方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器801所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至处理器801。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器802中，当被所述处理器801执行时，执行如图1和图5所示实施例中的目标检测网络构建方法和目标检测方法。
上述电子设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种目标检测网络构建方法，其特征在于，包括：
获取图像样本集；
将所述图像样本集输入到神经网络模型，对所述神经网络模型进行训练，直至所述神经网络模型的损失值满足目标条件，得到目标检测网络，其中所述神经网络模型包括卷积层和线性层，所述卷积层用于对输入的图像样本进行一次卷积操作，所述线性层用于对一次卷积操作结果进行线性操作。
2.根据权利要求1所述的方法，其特征在于，所述图像样本集在输入神经网络之前，所述方法还包括：对输入的图像样本集进行数据增强处理。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用双线性插值法对所述神经网络模型线性层的线性操作结果进行图像采样处理。
4.根据权利要求1-3任一项所述的方法，其特征在于，将所述图像样本集输入到神经网络模型，对所述神经网络模型进行训练，直至所述神经网络模型的损失值满足目标条件，包括：
根据所述损失值更新所述神经网络模型的参数权重；
当所述损失值满足目标条件时，得到用于进行目标检测的检测网络。
5.一种目标检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入到利用如权利要求1-4任一项所述的目标检测网络构建方法构建得到的目标检测网络，得到所述待检测图像的目标图像信息。
6.一种目标检测模型构建装置，其特征在于，包括：
第一获取模块,用于获取图像样本集；
构建模块,用于将所述图像样本集输入到神经网络模型，对所述神经网络模型进行训练，直至所述神经网络模型的损失值满足目标条件，得到目标检测网络，其中所述神经网络模型包括卷积层和线性层，所述卷积层用于对输入的图像样本进行一次卷积操作，所述线性层用于对一次卷积操作结果进行线性操作。
7.根据权利要求6所述的装置，其特征在于，在所述第一获取模块之后构建模块之前还包括：
增强模块，用于对输入的图像样本集进行数据增强处理。
8.一种目标检测装置，其特征在于，包括：
第二获取模块，用于获取待检测图像；
检测模块，用于将所述待检测图像输入到利用如权利要求1-4任一项所述的目标检测网络构建方法构建得到的目标检测网络，得到所述待检测图像的目标图像信息。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-4中任一所述目标检测模型构建方法，或者如权利要求5所述的目标检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一所述目标检测模型构建方法，或者如权利要求5所述的目标检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111193337.5A CN113920479A (zh) | 2021-10-13 | 2021-10-13 | 一种目标检测网络构建和目标检测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111193337.5A CN113920479A (zh) | 2021-10-13 | 2021-10-13 | 一种目标检测网络构建和目标检测方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113920479A true CN113920479A (zh) | 2022-01-11 |
Family
ID=79240123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111193337.5A Pending CN113920479A (zh) | 2021-10-13 | 2021-10-13 | 一种目标检测网络构建和目标检测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920479A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063679A (zh) * | 2022-06-15 | 2022-09-16 | 电子科技大学 | 一种基于深度学习的路面质量评估方法 |
| CN115965856A (zh) * | 2023-02-23 | 2023-04-14 | 深圳思谋信息科技有限公司 | 图像检测模型构建方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036236A (zh) * | 2020-07-22 | 2020-12-04 | 济南浪潮高新科技投资发展有限公司 | 一种基于GhostNet的检测模型的训练方法、设备及介质 |
| CN112633156A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
| CN113239824A (zh) * | 2021-05-19 | 2021-08-10 | 北京工业大学 | 一种基于3D-Ghost模块的多模态训练单模态测试的动态手势识别方法 |
| CN113361493A (zh) * | 2021-07-21 | 2021-09-07 | 天津大学 | 一种对不同图像分辨率鲁棒的人脸表情识别方法 |
-
2021
- 2021-10-13 CN CN202111193337.5A patent/CN113920479A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036236A (zh) * | 2020-07-22 | 2020-12-04 | 济南浪潮高新科技投资发展有限公司 | 一种基于GhostNet的检测模型的训练方法、设备及介质 |
| CN112633156A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
| CN113239824A (zh) * | 2021-05-19 | 2021-08-10 | 北京工业大学 | 一种基于3D-Ghost模块的多模态训练单模态测试的动态手势识别方法 |
| CN113361493A (zh) * | 2021-07-21 | 2021-09-07 | 天津大学 | 一种对不同图像分辨率鲁棒的人脸表情识别方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063679A (zh) * | 2022-06-15 | 2022-09-16 | 电子科技大学 | 一种基于深度学习的路面质量评估方法 |
| CN115063679B (zh) * | 2022-06-15 | 2024-04-26 | 电子科技大学 | 一种基于深度学习的路面质量评估方法 |
| CN115965856A (zh) * | 2023-02-23 | 2023-04-14 | 深圳思谋信息科技有限公司 | 图像检测模型构建方法、装置、计算机设备及存储介质 |
| CN115965856B (zh) * | 2023-02-23 | 2023-05-30 | 深圳思谋信息科技有限公司 | 图像检测模型构建方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Soft-weighted-average ensemble vehicle detection method based on single-stage and two-stage deep learning models | |
| CN111738110A (zh) | 基于多尺度注意力机制的遥感图像车辆目标检测方法 | |
| US11308714B1 (en) | Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery | |
| CN116468730B (zh) | 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法 | |
| CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN113177560A (zh) | 一种普适性轻量级深度学习车辆检测方法 | |
| CN113255589B (zh) | 一种基于多卷积融合网络的目标检测方法及系统 | |
| CN113591872A (zh) | 一种数据处理系统、物体检测方法及其装置 | |
| CN113920479A (zh) | 一种目标检测网络构建和目标检测方法、装置及电子设备 | |
| CN115731533A (zh) | 一种基于改进YOLOv5的车载目标检测方法 | |
| CN116539004A (zh) | 一种采用无人机测绘的通信线路工程勘察设计方法与系统 | |
| CN113591617B (zh) | 基于深度学习的水面小目标检测与分类方法 | |
| CN114821665A (zh) | 一种基于卷积神经网络的城市人流小目标检测方法 | |
| CN117079163A (zh) | 一种基于改进yolox-s的航拍图像小目标检测方法 | |
| CN111667461B (zh) | 一种输电线路异常目标检测方法 | |
| CN113052108A (zh) | 基于深度神经网络的多尺度级联航拍目标检测方法和系统 | |
| WO2023125628A1 (zh) | 神经网络模型优化方法、装置及计算设备 | |
| CN114758255A (zh) | 一种基于yolov5算法的无人机检测方法 | |
| CN116597411A (zh) | 极端天气下无人驾驶车辆识别交通标志的方法及系统 | |
| CN114549970A (zh) | 融合全局细粒度信息的夜间小目标果实检测方法及系统 | |
| CN118037692A (zh) | 基于计算机视觉的钢材表面缺陷检测方法及系统 | |
| CN117974497A (zh) | 一种雾霾场景驾驶视觉增强及目标检测方法 | |
| CN117649526A (zh) | 一种面向自动驾驶道路场景的高精度语义分割方法 | |
| CN117765404A (zh) | 一种基于特征相关性神经网络的复杂场景变化检测方法 | |
| CN116052149A (zh) | 一种基于CS-ABCNet的电力塔牌检测识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |