CN113537378A - 图像检测方法及装置、存储介质、电子装置 - Google Patents
图像检测方法及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN113537378A CN113537378A CN202110860254.0A CN202110860254A CN113537378A CN 113537378 A CN113537378 A CN 113537378A CN 202110860254 A CN202110860254 A CN 202110860254A CN 113537378 A CN113537378 A CN 113537378A
- Authority
- CN
- China
- Prior art keywords
- network model
- layer
- target
- normalization
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 238000010606 normalization Methods 0.000 claims abstract description 131
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 46
- 230000006870 function Effects 0.000 claims description 56
- 239000013598 vector Substances 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 14
- 238000007689 inspection Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像检测方法及装置、存储介质、电子装置,其中,上述方法包括:获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象,即通过裁剪后的网络模型对对所述目标图像进行检测,采用上述技术方案,解决了相关技术中,由于网络模型的通道数量多,导致图像检测的效率较低等问题。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种图像检测方法及装置、存储介质、电子装置。
背景技术
当前有许多优秀的基于深度学习的人机非检测算法开发出来,但是人机非检测算法最终都需要部署在实际场景中,并且运行在嵌入式等终端设备上,而嵌入式等终端设备上的CPU处理能力弱,内存资源少,这就要求人机非检测算法具有实时处理的能力。当前有许多优秀的应用于摄像机的大型人机非检测算法,但由于网络模型的检测算法计算量大,体积大等原因造成网络模型无法成功落地,而且由于网络模型的通道过多,图像检测的效率较低。
在相关技术中,为了减小网络模型的检测算法的计算量大和体积等,通常会对网络模型进行压缩,例如,获取待压缩的网络模型,所述网络模型中包括至少两个滤波器,通过计算任意两个滤波器之前的向量距离来确定中心滤波器和非中心滤波器,对所述非中心滤波器进行裁剪,由于是任意选取滤波器,所以这种方法可能会裁剪掉一切重要的滤波器参数;或者,根据网络模型的卷积核参数量的大小来确定网络的裁剪顺序,这种裁剪策略并不适用于通用的目标检测算法,裁剪效果差,而且一般只有网络足够深时,才能体现裁剪的效果。
针对相关技术中,由于网络模型的通道数量多,导致图像检测的效率较低等问题,尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像检测方法及装置、存储介质、电子装置,以至少解决相关技术中,由于网络模型的通道数量多,导致图像检测的效率较低等问题。
根据本发明的一个实施例,提供了一种图像检测方法,包括:获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象。
在一个示例性实施例中,获取目标图像,并将所述目标图像输入第一网络模型之前,所述方法还包括:根据第二网络模型的原始训练损失函数和惩罚项,确定所述第二网络模型的损失函数,其中,所述原始训练损失函数用于指示所述第二网络模型的判别器确定的函数,所述惩罚项包括所述第二批归一化层的缩放系数;根据所述损失函数对所述第二批归一化层的缩放系数进行调整;在确定调整后的缩放系数的绝对值小于预设阈值的情况下,对所述第二网络模型中所述调整后的缩放系数对应的通道进行裁剪,以得到所述第一网络模型。
在一个示例性的实施例中,根据第二网络模型的原始训练损失函数和惩罚项,确定所述第二网络模型的损失函数之前,所述方法还包括:获取所述惩罚项的平衡因子和所述第二批归一化层的缩放系数的集合;分别计算所述第二批归一化层的缩放系数的集合中的任一缩放系数的范数,以获取多个范数;根据惩罚项的平衡因子和所述多个范数确定所述惩罚项。
在一个示例性的实施例中,根据第二网络模型的原始训练损失函数和惩罚项,确定所述第二网络模型的损失函数,包括:通过以下公式确定所述第二网络模型的损失函数:L=Lloss+λp∑γ∈Γ||γ||1,其中,Lloss为所述第二网络模型的原始训练损失函数,λp∑γ∈Γ||γ||1为所述第二网络模型的惩罚项,λp为所述惩罚项的平衡因子,Γ为所述第二批归一化层的缩放系数的集合,||γ||1为对所述第二批归一化层的缩放系数的范数。
在一个示例性的实施例中,在确定调整后的缩放系数的绝对值小于预设阈值的情况下,对所述第二网络模型中所述调整后的缩放系数对应的通道进行裁剪,以得到所述第一网络模型之后,所述方法还包括:将所述第一网络模型的第一批归一化层和第一卷积层的运算进行结合;通过结合后的第一批归一化层和第一卷积层对输入所述第一网络模型的目标图像进行计算,以得到所述目标图像对应的特征图像。
在一个示例性的实施例中,将所述第一网络模型的第一批归一化层和第一卷积层的运算进行结合之前,所述方法还包括:通过以下公式将所述第一批归一化层转化为目标卷积层:其中,F为所述目标图像的特征向量,为特征向量F归一化后的结果,b用于指示所述第一归一化层,c用于指示通道数,WBN为目标卷积层的卷积核,bBN为目标卷积层的偏置项,i为特征向量对应的像素点的横坐标,j为特征向量对应的像素点的纵坐标。
在一个示例性的实施例中,在将所述批归一化层转化为目标卷积层之后,所述方法还包括:获取所述目标卷积层的卷积核、所述目标卷积层的偏置项,所述第一卷积层的卷积核、所述第一卷积层的偏置项和所述目标图像的像素点的特征向量;基于所述目标卷积层的卷积核、所述目标卷积层的偏置项,所述第一卷积层的卷积核、所述第一卷积层的偏置项和所述目标图像的像素点的特征向量结合所述第一网络模型的第一批归一化层和第一卷积层的运算。
在一个示例性的实施例中,获取所述目标卷积层的卷积核、所述目标卷积层的偏置项,所述第一卷积层的卷积核、所述第一卷积层的偏置项和所述目标图像的像素点的特征向量,包括:通过以下公式进行第一批归一化层和第一卷积层的运算的结合: 其中,WBNWconv和WBNbconv+bBN为结合后的第一批归一化层和所述第一卷积层的参数和偏置项,WBN为所述目标卷积层的卷积核,bBN为所述目标卷积层的偏置项,Wconv为所述第一卷积层的卷积核和bconv为所述第一卷积层的偏置项,fij所述目标图像的像素点的特征向量,所述目标图像的像素点的特征向量归一化和卷积后的结果。
根据本发明的另一个实施例,还提供了一种图像检测装置,包括:获取模块,用于获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;检测模块,用于通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象。
根据本发明的又一个实施例,还提供了一种计算机可读的存储介质,所述计算机可读的存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象,即通过裁剪后的网络模型对对所述目标图像进行检测,采用上述技术方案,解决了相关技术中,由于网络模型的通道数量多,导致图像检测的效率较低等问题,在对网络模型进行训练时,就能由网络模型自动选择需要被裁剪的通道,进而实现压缩网络模型。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种图像检测方法的移动终端的硬件结构框图;
图2是根据本发明实施例的图像检测方法的流程图;
图3为根据本发明可选实施例的图像检测方法的流程图;
图4为根据本发明可选实施例的图像检测方法的示意图;
图5是根据本发明实施例的一种图像检测装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在移动终端,或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种图像检测方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,在一个示例性实施例中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的移动终端的图像检测方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像检测方法,应用于上述移动终端,图2是根据本发明实施例的图像检测方法的流程图,该流程包括如下步骤:
步骤S202,获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;
步骤S204,通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象。
通过上述步骤,获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象,即通过裁剪后的网络模型对对所述目标图像进行检测,解决了相关技术中,由于网络模型的通道数量多,导致图像检测的效率较低等问题,在对网络模型进行训练时,就能由网络模型自动选择需要被裁剪的通道,进而实现压缩网络模型。
通过上述步骤可知,获取第二网络模型的第二批归一化层的缩放系数,根据所述缩放系数对第二网络模型中的通道进行裁剪,将通道裁剪后的网络模型为第一网络模型,可以理解为第一网络模型是第二网络模型的通道裁剪后的网络模型,通过第一网络模型对目标图像进行检测,以更快的速度获取到目标图像中的目标对象。
在一个示例性实施例中,通过以下方式获取第一网络模型:根据第二网络模型的原始训练损失函数和惩罚项,确定所述第二网络模型的损失函数,其中,所述原始训练损失函数用于指示所述网络模型的判别器确定的函数,所述惩罚项包括所述第二批归一化层的缩放系数;根据所述损失函数对所述第二批归一化层的缩放系数进行调整;在确定调整后的缩放系数的绝对值小于预设阈值的情况下,对所述网络模型中所述调整后的缩放系数对应的通道进行裁剪,以获取所述第一网络模型。
也就是说,确定第二网络模型的原始训练损失函数和惩罚项,根据确定的原始训练损失函数和惩罚项确定第二网络模型的损失函数,以及第二批归一化层的缩放系数,通过确定小于预设阈值的缩放系数,对第二网络模型中所述调整后的缩放系数对应的通道进行裁剪,采用上述技术方案,解决了相关技术中,由于网络模型的检测算法计算量大,体积大使得网络模型落地率较低等问题,在对网络模型进行训练时,就能由第二网络模型自动选择需要被裁剪的通道。
在一个示例性的实施例中,根据第二网络模型的原始训练损失函数和惩罚项,确定所述第二网络模型的损失函数之前,获取所述惩罚项的平衡因子和所述第二批归一化层的缩放系数的集合;分别计算所述第二批归一化层的缩放系数的集合中的任一缩放系数的范数,以获取多个范数;根据惩罚项的平衡因子和所述多个范数确定所述惩罚项。
也就是说,对第二网络模型的主干网络进行结构性优化,具体的,首先将第二批归一化层的放缩系数γ放在第二网络模型的网络各层的所有通道后面,系数与通道的输出直接相乘,获取由人为设定的平衡因子和所述第二批归一化层的缩放系数的集合;计算缩放系数的集合中每一个缩放系数的范数,将多个范数进行相加,并与平衡因子相乘,确定惩罚项,其中,所述范数优选为L1范数,本发明实施例对此不做限定。
在一个示例性的实施例中,根据第二网络模型的原始训练损失函数和惩罚项,确定所述第二网络模型的损失函数,包括:通过以下公式确定所述第二网络模型的损失函数:L=Lloss+λpΣγ∈Γ||γ||1,其中,Lloss为所述第二网络模型的原始训练损失函数,λp∑γ∈Г||γ||1为所述第二网络模型的惩罚项,λp为所述惩罚项的平衡因子,Γ为所述第二批归一化层的缩放系数的集合,||γ||1为对所述第二批归一化层的缩放系数的范数。
具体的,训练一个算法,计算第二网络模型的损失函数,具体如下:根据λp、Γ、||γ||1、Lloss计算第二网络模型的损失函数:L=Lloss+λp∑γ∈Г||γ||1,其中,Lloss为所述第二网络模型的原始训练损失函数,λp为惩罚项的平衡因子,由人为设定的固定值;Γ伽马为参与通道裁剪的第二批归一化层的缩放系数的集合,||γ||1为对第二批归一化层的缩放系统进行L1范数的计算,其中,λp为根据具体场景设计的固定值。
进一步的,需要将第二网络模型裁剪后的第一网络模型再进行微调训练,即循环执行上述步骤S202-步骤S204,在得到的多个第一网络模型中确定性能最优的第一网络模型。
在一个示例性的实施例中,确定所述缩放系数的绝对值小于预设阈值的目标缩放系数,将所述网络模型中所述目标缩放系数对应的通道进行裁剪之后,将所述第一网络模型的第一批归一化层和第一卷积层的运算进行结合;通过结合后的第一批归一化层和第一卷积层对输入所述第一网络模型的目标图像进行计算,以得到所述目标图像对应的特征图像。
即对第一网络模型的主干网络中的第一批归一化层和第一卷积层进行融合,通过融合后的第一批归一化层和第一卷积层对输入所述第一网络模型的目标图像进行归一化和卷积计算,以得到归一化和卷积后的目标图像对应的特征图像。
需要说明的是,在将所述目标图像输入到第一网络模型之前,阶梯型的减小目标图像的分辨率,然后统计各个分辨率的目标图像的目标检测算法的准确率和召回率,选择满足准确率要求下的最优的图像分辨率作为输入第一网络模型的目标图像的目标分辨率。
在一个示例性的实施例中,将所述第一网络模型的第一批归一化层和所述第一卷积层的运算进行结合之前,通过以下公式将所述第一批归一化层转化为目标卷积层:其中,F为所述目标图像的特征向量,为特征向量F归一化后的结果,b用于指示所述归一化层,c用于指示通道数,WBN为目标卷积层的卷积核,bBN为目标卷积层的偏置项,i为特征向量对应的像素点的横坐标,j为特征向量对应的像素点的纵坐标。
具体的,对一个第一归一化层的样本进行归一化;对于第一网络模型的某层特征x1,x2,x3…,xn,其计算方式如下:
其中,μ表示当前第一批归一化层上的样本均值,σ2表示当前归一化层上的样本方差,并且不同通道的均值和方法是单独计算的,ε是用于解决除数为零所新增的一个极小值,β和γ是可训练的参数,分别表示放缩系统和偏移系数。在训练阶段,μ和σ2可以通过当前第一批归一化层来计算得到;在测试阶段,μ和σ2采用训练过程中计算得到的指数滑动平均值。在测试阶段,不对第一网络模型中的参数,例如,β和γ,进行迭代更新,并将第一批归一化层的运算和其前面第一卷积层的运算进行合并;这里把第一批归一化层参数表示为μc、γc、βc,其中c表示第c个通道。
将第一批归一化层转为目标卷积层,对于特征向量对应的像素点的坐标(i,j),第一批归一化层转为目标卷积层的运算可以用如下公式表示:
在一个示例性的实施例中,在将所述第一批归一化层转化为目标卷积层之后,所述方法还包括:获取所述目标卷积层的卷积核、所述目标卷积层的偏置项,所述第一卷积层的卷积核、所述第一卷积层的偏置项和所述目标图像的像素点的特征向量;基于所述目标卷积层的卷积核、所述目标卷积层的偏置项,所述第一卷积层的卷积核、所述第一卷积层的偏置项和所述目标图像的像素点的特征向量结合所述第一批归一化层和第一卷积层的运算。
也就是说,基于所述目标卷积层的卷积核、所述目标卷积层的偏置项,所述第一卷积层的卷积核、所述第一卷积层的偏置项和所述目标图像的像素点的特征向量,将所述第一批归一化层和第一卷积层的运算进行结合。
具体的,通过以下公式进行第一批归一化层和第一卷积层的运算的结合: 其中,WBNWconv和WBNbconv+bBN为结合后的第一批归一化层和所述第一卷积层的参数和偏置项,WBN为所述目标卷积层的卷积核,bBN为所述目标卷积层的偏置项,Wconv为所述第一卷积层的卷积核和bconv为所述第一卷积层的偏置项,fij所述目标图像的像素点的特征向量,所述目标图像的像素点的特征向量归一化和卷积后的结果。
为了更好的理解上述图像检测方法的过程,以下结合可选实施例对上述图像检测方法流程进行说明,但不用于限定本发明实施例的技术方案。
图3为根据本发明可选实施例的图像检测方法的流程图,如图3所示,图像检测方法的过程可以通过以下步骤实现:
步骤S301:从图像采集装置获取全图人机非图像(相当于上述实施例中的目标图像)(可以理解为包括行人、机动车、非机动车的图像),阶梯型的减小目标图像的图像分辨率,然后统计各个分辨率的目标图像输入到神经网络模型(相当于上述实施例中的第二网络模型)中下的人机非目标检测算法的准确率和召回率,选择满足准确率要求下的最优输入图像分辨率;
步骤S302:对神经网络模型的主干网络进行结构性优化,具体的,首先将批归一化层的缩放系数γ放在网络各层的所有通道后面,系数与通道的输出直接相乘;
步骤S303:计算神经网络模型的损失函数如下:
L=Lloss+λp∑γ∈Γ||γ||1;其中,第一项Lloss为网络的原始训练损失函数,第二项为新增的惩罚项,其中,λp为惩罚项的平衡因子,由人为设定的固定值;Γ伽马为参与通道裁剪的批归一化层的缩放系数的集合,||γ||1为对批归一化层的缩放系统进行L1范数的计算;
步骤S304:对网络的权重和所有的缩放系数进行联合训练;
步骤S305:裁剪缩放系数绝对值小于设定阈值的对应通道,如图4所示,图4为图4为根据本发明可选实施例的图像检测方法的示意图;
步骤S306:将裁剪后的网络再进行微调训练。重复步骤S302-S305,得到一个性能最优的裁剪后的网络模型;
步骤S307:对主干网络中的批归一化层和卷积层进行融合。
具体地,对一个批归一化层的样本进行归一化;
步骤S3071:对于某层特征x1,x2,x3…,xn,其计算方式如下:
其中,μ表示当前批归一化层上的样本均值,σ2表示当前归一化层上的样本方差,并且不同通道的均值和方法是单独计算的,ε是用于解决除数为零所新增的一个极小值,β和γ是可训练的参数,分别表示放缩系统和偏移系数。
其中,在训练阶段,μ和σ2可以通过当前批归一化层来计算得到;在测试阶段,μ和σ2采用训练过程中计算得到的指数滑动平均值。在测试阶段,不对网络中的参数进行迭代更新,并将批归一化层的运算和其前面卷积层的运算进行合并;这里把批归一化层参数表示为μc、γc、βc,其中c表示第c个通道。
步骤S3072:将批归一化层转为卷积层,对于坐标(i,j),批归一化层的运算可以用如下公式表示:
步骤S3073:将批归一化层运算和卷积层运算结合,这里记Wconv和bconv为卷积层的参数,点(i,j)向量fij对应的融合后的输入为:
其中,WBNWconv和WBNbconv+bBN为融合后卷积层的参数和偏置项。
本发明通过阶梯性的减小目标图像的图像分辨率来寻找最优图像分辨率;主干网络的结构性优化,通过对网络进行精细化的网络通道裁剪。批归一化层与卷积层在前向推理阶段的运算融合,通过上述三个方法解决了相关技术中,由于网络模型的检测算法计算量大,体积大使得网络模型落地率较低等问题,在对网络模型进行训练时,就能由网络模型自动选择需要被裁剪的通道,且减小了网络模型的检测算法计算量。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种图像检测装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的一种图像检测装置的结构框图;如图5所示,包括:
获取模块52,用于获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;
检测模块54,用于通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象。
通过上述模块,获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象,即通过裁剪后的网络模型对对所述目标图像进行检测,采用上述技术方案,解决了相关技术中,由于网络模型的通道数量多,导致图像检测的效率较低等问题,在对网络模型进行训练时,就能由网络模型自动选择需要被裁剪的通道,进而实现压缩网络模型。
通过上述实施例可知,获取第二网络模型的第二批归一化层的缩放系数,根据所述缩放系数对第二网络模型中的通道进行裁剪,将通道裁剪后的网络模型为第一网络模型,可以理解为第一网络模型是第二网络模型的通道裁剪后的网络模型。
在一个示例性实施例中,获取模块,用于通过以下方式获取第一网络模型:根据第二网络模型的原始训练损失函数和惩罚项,确定所述第二网络模型的损失函数,其中,所述原始训练损失函数用于指示所述网络模型的判别器确定的函数,所述惩罚项包括所述第二批归一化层的缩放系数;根据所述损失函数对所述第二批归一化层的缩放系数进行调整;在确定调整后的缩放系数的绝对值小于预设阈值的情况下,对所述网络模型中所述调整后的缩放系数对应的通道进行裁剪,以获取所述第一网络模型。
也就是说,确定第二网络模型的原始训练损失函数和惩罚项,根据确定的原始训练损失函数和惩罚项确定第二网络模型的损失函数,以及第二批归一化层的缩放系数,通过确定小于预设阈值的缩放系数,对第二网络模型中所述调整后的缩放系数对应的通道进行裁剪,采用上述技术方案,解决了相关技术中,由于网络模型的检测算法计算量大,体积大使得网络模型落地率较低等问题,在对网络模型进行训练时,就能由第二网络模型自动选择需要被裁剪的通道。
在一个示例性的实施例中,确定模块,还用于获取所述惩罚项的平衡因子和所述第二批归一化层的缩放系数的集合;分别计算所述第二批归一化层的缩放系数的集合中的任一缩放系数的范数,以获取多个范数;根据惩罚项的平衡因子和所述多个范数确定所述惩罚项。
也就是说,对第二网络模型的主干网络进行结构性优化,具体的,首先将第二批归一化层的放缩系数γ放在第二网络模型的网络各层的所有通道后面,系数与通道的输出直接相乘,获取由人为设定的平衡因子和所述第二批归一化层的缩放系数的集合;计算缩放系数的集合中每一个缩放系数的范数,将多个范数进行相加,并与平衡因子相乘,确定惩罚项,其中,所述范数优选为L1范数,本发明实施例对此不做限定。
在一个示例性的实施例中,确定模块,还用于通过以下公式确定所述第二网络模型的损失函数:L=Lloss+λp∑γ∈Γ||γ||1,其中,Lloss为所述第二网络模型的原始训练损失函数,λp∑γ∈Γ||γ||1为所述第二网络模型的惩罚项,λp为所述惩罚项的平衡因子,Γ为所述第二批归一化层的缩放系数的集合,||γ||1为对所述第二批归一化层的缩放系数的范数。
具体的,训练一个算法,计算第二网络模型的损失函数,具体如下:根据λp、Γ、||γ||1、Lloss计算第二网络模型的损失函数:L=Lloss+λp∑γ∈Γ||γ||1,其中,Lloss为所述第二网络模型的原始训练损失函数,λp为惩罚项的平衡因子,由人为设定的固定值;Γ伽马为参与通道裁剪的第二批归一化层的缩放系数的集合,||γ||1为对第二批归一化层的缩放系统进行L1范数的计算,其中,λp为根据具体场景设计的固定值。
在一个示例性的实施例中,上述装置还包括:结合模块,用于将所述第一网络模型的第一批归一化层和第一卷积层的运算进行结合;通过结合后的第一批归一化层和第一卷积层对输入所述第一网络模型的目标图像进行计算,以得到所述目标图像对应的特征图像。
即对第一网络模型的主干网络中的第一批归一化层和第一卷积层进行融合,通过融合后的第一批归一化层和第一卷积层对输入所述第一网络模型的目标图像进行归一化和卷积计算,以得到归一化和卷积后的目标图像对应的特征图像。
需要说明的是,在将所述目标图像输入到第一网络模型之前,阶梯型的减小目标图像的分辨率,然后统计各个分辨率的目标图像的目标检测算法的准确率和召回率,选择满足准确率要求下的最优的图像分辨率作为输入第一网络模型的目标图像的目标分辨率。
在一个示例性的实施例中,结合模块,还用于通过以下公式将所述第一批归一化层转化为目标卷积层:其中,F为所述目标图像的特征向量,为特征向量F归一化后的结果,b用于指示所述归一化层,c用于指示通道数,WBN为目标卷积层的卷积核,bBN为目标卷积层的偏置项,i为特征向量对应的像素点的横坐标,j为特征向量对应的像素点的纵坐标。
具体的,对一个归一化层的样本进行归一化;对于第一网络模型的某层特征x1,x2,x3…,xn,其计算方式如下:
其中,μ表示当前第一批归一化层上的样本均值,σ2表示当前归一化层上的样本方差,并且不同通道的均值和方法是单独计算的,ε是用于解决除数为零所新增的一个极小值,β和γ是可训练的参数,分别表示放缩系统和偏移系数。在训练阶段,μ和σ2可以通过当前第一批归一化层来计算得到;在测试阶段,μ和σ2采用训练过程中计算得到的指数滑动平均值。在测试阶段,不对第一网络模型中的参数,例如,β和γ,进行迭代更新,并将第一批归一化层的运算和其前面第一卷积层的运算进行合并;这里把第一批归一化层参数表示为μc、γc、βc,其中c表示第c个通道。
将第一批归一化层转为目标卷积层,对于特征向量对应的像素点的坐标(i,j),第一批归一化层转为目标卷积层的运算可以用如下公式表示:
在一个示例性的实施例中,结合模块,还用于获取所述目标卷积层的卷积核、所述目标卷积层的偏置项,所述第一卷积层的卷积核、所述第一卷积层的偏置项和所述目标图像的像素点的特征向量;基于所述目标卷积层的卷积核、所述目标卷积层的偏置项,所述第一卷积层的卷积核、所述第一卷积层的偏置项和所述目标图像的像素点的特征向量结合所述第一网络模型的第一批归一化层和第一卷积层的运算。
也就是说,基于所述目标卷积层的卷积核、所述目标卷积层的偏置项,所述第一卷积层的卷积核、所述第一卷积层的偏置项和所述目标图像的像素点的特征向量,将所述第一批归一化层和第一卷积层的运算进行结合。
具体的,通过以下公式进行第一批归一化层和第一卷积层的运算的结合: 其中,WBNWconv和WBNbconv+bBN为结合后的第一批归一化层和所述第一卷积层的参数和偏置项,WBN为所述目标卷积层的卷积核,bBN为所述目标卷积层的偏置项,Wconv为所述第一卷积层的卷积核和bconv为所述第一卷积层的偏置项,fij所述目标图像的像素点的特征向量,所述目标图像的像素点的特征向量归一化和卷积后的结果。
本发明的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行上述任一项的方法。
在一个示例性实施例中,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;
S2,通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象。
在一个示例性实施例中,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
在一个示例性实施例中,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;
S2,通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象。
在一个示例性实施例中,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,在一个示例性实施例中,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种图像检测方法,其特征在于,包括:
获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;
通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象。
2.根据权利要求1所述的图像检测方法,其特征在于,获取目标图像,并将所述目标图像输入第一网络模型之前,所述方法还包括:
根据所述第二网络模型的原始训练损失函数和惩罚项,确定所述第二网络模型的损失函数,其中,所述原始训练损失函数用于指示所述第二网络模型的判别器确定的函数,所述惩罚项包括所述第二网络模型的第二批归一化层的缩放系数;
根据所述损失函数对所述第二批归一化层的缩放系数进行调整;
在确定调整后的缩放系数的绝对值小于预设阈值的情况下,对所述第二网络模型中所述调整后的缩放系数对应的通道进行裁剪,以得到所述第一网络模型。
3.根据权利要求2所述的图像检测方法,其特征在于,根据第二网络模型的原始训练损失函数和惩罚项,确定所述第二网络模型的损失函数之前,所述方法还包括:
获取所述惩罚项的平衡因子和所述第二批归一化层的缩放系数的集合;
分别计算所述第二批归一化层的缩放系数的集合中的任一缩放系数的范数,以获取多个范数;
根据惩罚项的平衡因子和所述多个范数确定所述惩罚项。
4.根据权利要求2所述的图像检测方法,其特征在于,根据第二网络模型的原始训练损失函数和惩罚项,确定所述第二网络模型的损失函数,包括:
通过以下公式确定所述第二网络模型的损失函数:
L=Lloss+λp∑γ∈Γ||γ||1,其中,Lloss为所述第二网络模型的原始训练损失函数,λp∑γ∈Γ||γ||1为所述第二网络模型的惩罚项,λp为所述惩罚项的平衡因子,Γ为所述第二批归一化层的缩放系数的集合,||γ||1为对所述第二批归一化层的缩放系数的范数。
5.根据权利要求2所述的图像检测方法,其特征在于,在确定调整后的缩放系数的绝对值小于预设阈值的情况下,对所述第二网络模型中所述调整后的缩放系数对应的通道进行裁剪,以得到所述第一网络模型之后,所述方法还包括:
将所述第一网络模型的第一批归一化层和第一卷积层的运算进行结合;
通过结合后的第一批归一化层和第一卷积层对输入所述第一网络模型的目标图像进行计算,以得到所述目标图像对应的特征图像。
7.根据权利要求6所述的图像检测方法,其特征在于,在将所述第一批归一化层转化为目标卷积层之后,所述方法还包括:
获取所述目标卷积层的卷积核、所述目标卷积层的偏置项,所述第一卷积层的卷积核、所述第一卷积层的偏置项和所述目标图像的像素点的特征向量;
基于所述目标卷积层的卷积核、所述目标卷积层的偏置项,所述第一卷积层的卷积核、所述第一卷积层的偏置项和所述目标图像的像素点的特征向量结合所述第一网络模型的第一批归一化层和第一卷积层的运算。
9.一种图像检测装置,其特征在于,包括:
获取模块,用于获取目标图像,并将所述目标图像输入第一网络模型,其中,所述第一网络模型是在第二网络模型训练过程中,根据所述第二网络模型的第二批归一化层的缩放系数裁剪第二网络模型的通道后得到的网络模型;
检测模块,用于通过所述第一网络模型对所述目标图像进行检测,以确定所述目标图像中的目标对象。
10.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至8任一项中所述的方法。
11.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110860254.0A CN113537378A (zh) | 2021-07-28 | 2021-07-28 | 图像检测方法及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110860254.0A CN113537378A (zh) | 2021-07-28 | 2021-07-28 | 图像检测方法及装置、存储介质、电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113537378A true CN113537378A (zh) | 2021-10-22 |
Family
ID=78089593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110860254.0A Pending CN113537378A (zh) | 2021-07-28 | 2021-07-28 | 图像检测方法及装置、存储介质、电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113537378A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109242092A (zh) * | 2018-09-29 | 2019-01-18 | 深圳市商汤科技有限公司 | 网络获取及图像处理方法和装置、电子设备、存储介质 |
WO2020073951A1 (zh) * | 2018-10-10 | 2020-04-16 | 腾讯科技(深圳)有限公司 | 用于图像识别的模型的训练方法、装置、网络设备和存储介质 |
CN111783718A (zh) * | 2020-07-10 | 2020-10-16 | 浙江大华技术股份有限公司 | 目标对象状态识别方法、装置、存储介质及电子装置 |
CN112287912A (zh) * | 2020-12-25 | 2021-01-29 | 浙江大华技术股份有限公司 | 基于深度学习的车道线检测方法以及装置 |
CN112465140A (zh) * | 2020-12-07 | 2021-03-09 | 电子科技大学 | 一种基于分组通道融合的卷积神经网络模型压缩方法 |
CN112580512A (zh) * | 2020-12-21 | 2021-03-30 | 南京邮电大学 | 一种基于通道裁剪的轻量级无人机目标检测方法 |
WO2021087985A1 (zh) * | 2019-11-08 | 2021-05-14 | 深圳市欢太科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
CN112861780A (zh) * | 2021-03-05 | 2021-05-28 | 上海有个机器人有限公司 | 一种行人重识别方法、装置、介质和移动机器人 |
-
2021
- 2021-07-28 CN CN202110860254.0A patent/CN113537378A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109242092A (zh) * | 2018-09-29 | 2019-01-18 | 深圳市商汤科技有限公司 | 网络获取及图像处理方法和装置、电子设备、存储介质 |
WO2020073951A1 (zh) * | 2018-10-10 | 2020-04-16 | 腾讯科技(深圳)有限公司 | 用于图像识别的模型的训练方法、装置、网络设备和存储介质 |
WO2021087985A1 (zh) * | 2019-11-08 | 2021-05-14 | 深圳市欢太科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
CN111783718A (zh) * | 2020-07-10 | 2020-10-16 | 浙江大华技术股份有限公司 | 目标对象状态识别方法、装置、存储介质及电子装置 |
CN112465140A (zh) * | 2020-12-07 | 2021-03-09 | 电子科技大学 | 一种基于分组通道融合的卷积神经网络模型压缩方法 |
CN112580512A (zh) * | 2020-12-21 | 2021-03-30 | 南京邮电大学 | 一种基于通道裁剪的轻量级无人机目标检测方法 |
CN112287912A (zh) * | 2020-12-25 | 2021-01-29 | 浙江大华技术股份有限公司 | 基于深度学习的车道线检测方法以及装置 |
CN112861780A (zh) * | 2021-03-05 | 2021-05-28 | 上海有个机器人有限公司 | 一种行人重识别方法、装置、介质和移动机器人 |
Non-Patent Citations (2)
Title |
---|
毛雪宇;彭艳兵;: "基于通道裁剪的YOLOv3模型", 电子设计工程, no. 16, 18 August 2020 (2020-08-18) * |
马治楠;韩云杰;彭琳钰;周进凡;林付春;刘宇红;: "基于深层卷积神经网络的剪枝优化", 电子技术应用, no. 12, 6 December 2018 (2018-12-06) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886997B (zh) | 基于目标检测的识别框确定方法、装置及终端设备 | |
CN108615071B (zh) | 模型测试的方法及装置 | |
CN111401516A (zh) | 一种神经网络通道参数的搜索方法及相关设备 | |
CN111950723A (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
CN110084113B (zh) | 活体检测方法、装置、系统、服务器及可读存储介质 | |
CN110059823A (zh) | 深度神经网络模型压缩方法及装置 | |
CN113706472B (zh) | 公路路面病害检测方法、装置、设备及存储介质 | |
CN112306829B (zh) | 性能信息的确定方法及装置、存储介质、终端 | |
CN111062400A (zh) | 目标匹配方法及装置 | |
CN113420871A (zh) | 图像质量的评估方法、装置、存储介质及电子装置 | |
CN111091106A (zh) | 图像聚类方法及装置、存储介质、电子装置 | |
CN110782472B (zh) | 点云地面点的识别方法及装置 | |
CN111598176A (zh) | 一种图像匹配处理方法及装置 | |
CN108010052A (zh) | 复杂场景中的目标跟踪方法及系统、存储介质及电子终端 | |
US9286664B2 (en) | System and method for blind image deconvolution | |
CN113393494A (zh) | 模型训练及目标跟踪方法、装置、电子设备和存储介质 | |
KR102440457B1 (ko) | 지구 관측 영상 전송 우선순위 결정 방법 및 장치 | |
CN113537378A (zh) | 图像检测方法及装置、存储介质、电子装置 | |
CN116912483A (zh) | 目标检测方法、电子设备以及存储介质 | |
CN113838076A (zh) | 目标图像中的对象轮廓的标注方法及装置、存储介质 | |
CN111353063A (zh) | 图片显示方法、装置及存储介质 | |
CN111191065A (zh) | 一种同源图像确定方法及装置 | |
CN115830342A (zh) | 检测框的确定方法、装置、存储介质及电子装置 | |
CN111340092B (zh) | 一种目标关联处理方法及装置 | |
CN114972950A (zh) | 多目标检测方法、装置、设备、介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |