CN112465037B - 目标检测方法、装置、计算机设备及存储介质 - Google Patents
目标检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112465037B CN112465037B CN202011375354.6A CN202011375354A CN112465037B CN 112465037 B CN112465037 B CN 112465037B CN 202011375354 A CN202011375354 A CN 202011375354A CN 112465037 B CN112465037 B CN 112465037B
- Authority
- CN
- China
- Prior art keywords
- network
- sub
- training
- sample
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000012549 training Methods 0.000 claims abstract description 297
- 230000008447 perception Effects 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 24
- 239000000427 antigen Substances 0.000 claims description 22
- 102000036639 antigens Human genes 0.000 claims description 21
- 108091007433 antigens Proteins 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003014 reinforcing effect Effects 0.000 abstract description 13
- 239000003623 enhancer Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 238000007689 inspection Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种目标检测方法、装置、计算机设备及存储介质。所述方法包括:通过得到带有样本图像中目标物的真实类别和真实位置的训练样本,然后建立图像识别模型,图像识别模型中包括了增强子网络、卷积子网络和对抗子网络,利用训练样本对图像识别模型进行训练,得到训练后的增强子网络和训练后的卷积子网络,并将训练后的增强子网络、训练后的卷积子网络及未经训练的感知子网络组成目标检测模型进行训练,将训练完成的目标检测模型作为目标检测网络对待测图像中目标区域的目标物的类别以及位置进行检测。本申请提供的技术方案能够通过专注于图像中目标区域的目标物识别可以提升目标物类别的检测精度。
Description
技术领域
本申请涉及目标检测领域,特别是涉及一种目标检测方法、装置、计算机设备及存储介质。
背景技术
随着智能监控等领域的发展,针对于监控图像的目标检测具有迫切的应用需求。目标检测具体指的是将监控到的图像采用事先确定好的类别来描述图像和位置,比如安检机对图像中危险物品进行目标检测,以区分出危险物品与正常物品。
现有技术中,对于在安检图像中的目标物的检测通常是采用人工根据经验去判别该物品是否是刀具或者其他危险物品,然而当客流量较大,安检物品增多时,利用人工根据经验去对图像中的各个物品进行检测判别时可能会产生漏判或者误判。
发明内容
基于此,本申请实施例提供了一种目标检测方法、装置、计算机设备及存储介质,可以提高对图像中目标区域的目标物类别的检测精度。
第一方面,提供了一种目标检测方法,该方法包括:
获取多个训练样本,各个训练样本包括样本图像以及样本图像中目标物的真实类别和真实位置;固定图像识别模型中的增强子网络中的网络参数,利用多个训练样本对图像识别模型中的卷积子网络和对抗子网络进行训练,得到训练后的卷积子网络和对抗子网络;固定卷积子网络和对抗子网络中的网络参数,并利用多个训练样本对增强子网络进行训练,得到训练后的增强子网络;基于训练后的增强子网络、训练后的卷积子网络与未经训练的感知子网络组成目标检测模型;固定训练后的增强子网络和训练后的卷积子网络的网络参数,并利用多个训练样本对感知子网络进行训练;将训练后的增强子网络、训练后的卷积子网络和训练后的感知子网络作为目标检测网络,目标检测网络用于对图像中目标区域中目标物的类别以及目标物的位置进行检测。
在其中一个实施例中,卷积子网络包括多个卷积层,对抗子网络包括多个全连接层,利用多个训练样本对图像识别模型中的卷积子网络和对抗子网络进行训练,得到训练后的卷积子网络和对抗子网络,包括:
将各训练样本中的样本图像输入至网络参数固定的增强子网络中,得到增强子网络输出的增强图像,增强图像与训练样本中的样本图像的图像尺寸大小相同;将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别;根据样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距调整卷积子网络和对抗子网络的网络参数。
在其中一个实施例中,增强子网络包括编码器和解码器,利用多个训练样本对图像识别模型中的增强子网络进行训练,包括:
将各训练样本依次输入至增强子网络中的编码器和解码器中,得到解码器输出的增强图像;固定所述卷积子网络和所述对抗子网络网络的参数,并将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别;根据样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距调整增强子网络的网络参数。
在其中一个实施例中,该方法还包括:基于第一损失函数计算样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距,其中,第一损失函数包括:
Lg=E[log(D(Y(X)))]+λ||X-Y(X)||2;
其中,E[]表示期望,D[]表示对抗网络,Y[]表示增强网络,X表示输入图像,λ表示平衡参数。
在其中一个实施例中,将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别,包括:
将增强图像输入至卷积子网络,得到多个样本特征图;将多个样本特征图所表示的矩阵转换为样本特征向量;将样本特征向量输入到对抗子网络中,得到样本图像中目标物的训练类别。
在其中一个实施例中,未经训练的感知网络包括第一全连接层、第二全连接层以及与第二全连接层分别级联的类别全连接层和回归参数全连接层,固定训练后的增强子网络和训练后的卷积子网络的网络参数,并利用多个训练样本对感知子网络进行训练,包括:将各训练样本依次输入至训练后的增强子网络和训练后的卷积子网络中,得到解码器输出的增强图像;将增强图像输入至未经训练的感知网络中,得到样本图像中目标物的训练类别和训练位置;根据样本图像中目标物的训练类别和训练位置与样本图像中目标物的真实类别和真实位置之间的差距调整感知子网络的网络参数。
在其中一个实施例中,该方法还包括:基于第二损失函数计算样本图像中目标物的训练类别和训练位置与样本图像中目标物的真实类别和真实位置之间的差距,其中,第二损失函数包括:
Lp=E(-logpg)+1[g≥1]Lloc(rg,r*);
其中,Lloc(rg,r*)=∑smoothL1(rg-r*), rg表示真实位置,r*表示训练位置,pg为样本图像为真实类别的估计概率,g表示真实类别。
第二方面,提供了一种目标检测装置,该目标检测装置包括:
获取模块,用于获取多个训练样本,各个训练样本包括样本图像以及样本图像中目标物的真实类别和真实位置;
第一训练模块,用于固定图像识别模型中的增强子网络中的网络参数,利用多个训练样本对图像识别模型中的卷积子网络和对抗子网络进行训练,得到训练后的卷积子网络和对抗子网络;
第二训练模块,用于固定卷积子网络和对抗子网络中的网络参数,并利用多个训练样本对增强子网络进行训练,得到训练后的增强子网络;
第一模型获取模块,用于基于训练后的增强子网络、训练后的卷积子网络与未经训练的感知子网络组成目标检测模型;
第三训练模块,用于固定训练后的增强子网络和训练后的卷积子网络的网络参数,并利用多个训练样本对感知子网络进行训练;
第二模型获取模块,用于将训练后的增强子网络、训练后的卷积子网络和训练后的感知子网络作为目标检测网络,目标检测网络用于对图像中目标区域中目标物的类别以及目标物的位置进行检测。
在其中一个实施例中,第一训练模块具体用于:
将各所述训练样本中的样本图像输入至网络参数固定的增强子网络中,得到所述增强子网络输出的增强图像,所述增强图像与所述训练样本中的样本图像的图像尺寸大小相同;将所述增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别;根据所述样本图像中目标物的训练类别和所述样本图像中目标物的真实类别之间的差距调整所述卷积子网络和所述对抗子网络的网络参数。
在其中一个实施例中,第二训练模块具体用于:
将各所述训练样本依次输入至所述增强子网络中的编码器和解码器中,得到所述解码器输出的增强图像;将所述增强图像依次输入至所述卷积子网络和所述对抗子网络中,得到样本图像中目标物的训练类别;根据所述样本图像中目标物的训练类别和所述样本图像中目标物的真实类别之间的差距调整所述增强子网络的网络参数。
在其中一个实施例中,该装置还包括计算模块:
计算模块,用于基于第一损失函数计算所述样本图像中目标物的训练类别和所述样本图像中目标物的真实类别之间的差距,其中,第一损失函数包括:
Lg=E[log(D(Y(X)))]+λ||X-Y(X)||2;
其中,E[]表示期望,D[]表示对抗网络,Y[]表示增强网络,X表示输入图像,λ表示平衡参数。
在其中一个实施例中,第一训练模块具体用于:
将所述增强图像输入至所述卷积子网络,得到多个样本特征图;将所述多个样本特征图所表示的矩阵转换为样本特征向量;将所述样本特征向量输入到所述对抗子网络中,得到所述样本图像中目标物的训练类别。
在其中一个实施例中,第二训练模块具体用于:
将增强图像输入至所述卷积子网络,得到多个样本特征图;将所述多个样本特征图所表示的矩阵转换为样本特征向量;将所述样本特征向量输入到所述对抗子网络中,得到所述样本图像中目标物的训练类别。
在其中一个实施例中,第三训练模块具体用于:
将各所述训练样本依次输入至所述训练后的增强子网络和所述训练后的卷积子网络中,得到解码器输出的增强图像;将所述增强图像输入至所述未经训练的感知网络中,得到样本图像中目标物的训练类别和训练位置;根据所述样本图像中目标物的训练类别和训练位置与所述样本图像中目标物的真实类别和真实位置之间的差距调整所述感知子网络的网络参数。
在其中一个实施例中,第三训练模块还用于:
基于第二损失函数计算所述样本图像中目标物的训练类别和训练位置与所述样本图像中目标物的真实类别和真实位置之间的差距,其中,第二损失函数包括:
Lp=E(-logpg)+1[g≥1]Lloc(rg,r*);
其中,Lloc(rg,r*)=∑smoothL1(rg-r*), rg表示真实位置,r*表示训练位置,pg为样本图像为真实类别的估计概率,g表示真实类别。
第三方面,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面任一所述的目标检测方法。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面任一所述的目标检测方法
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例提供的技术方案中,首先通过得到带有样本图像中目标物的真实类别和真实位置的训练样本,然后建立图像识别模型,图像识别模型中包括了增强子网络、卷积子网络和对抗子网络,固定增强子网络的网络参数,并利用训练样本对卷积子网络和对抗子网络进行训练,固定卷积子网络和对抗子网络的参数,并利用训练样本对增强子网络进行训练,得到训练后的增强子网络和训练后的卷积子网络,并将训练后的增强子网络和训练后的卷积子网络和未经训练的感知子网络组成目标检测模型,利用训练样本对目标检测模型中感知子网络进行训练,将训练完成的增强子网络、卷积子网络和感知子网络作为目标检测网络。在本申请实施例中通过设置增强子网络能够使目标检测网络更加专注于训练样本中目标区域中目标物的识别,并通过卷积子网络提取了目标区域中目标物的特征,最终通过感知子网络将目标区域中目标物的特征输出为具体类别和位置。相比于现有采用人工经验的方式取进行目标物类别检测,本申请实施例提供的技术方案通过专注于图像中目标区域的目标物识别可以提升目标物类别的检测精度。
附图说明
图1为本申请实施例提供的一种实施环境的示意图;
图2为本申请实施例提供的一种目标检测方法的流程图;
图3为本申请实施例提供的一种图像识别模型的示意图;
图4为本申请实施例提供的一种增强子网络的示意图;
图5为本申请实施例提供的一种卷积子网络的示意图;
图6为本申请实施例提供的一种对抗子网络的示意图;
图7为本申请实施例提供的一种感知子网络的示意图;
图8为本申请实施例提供的一种目标检测模型的示意图;
图9为本申请实施例提供的一种目标检测方法的流程图;
图10为本申请实施例提供的一种目标检测方法的流程图;
图11为本申请实施例提供的一种目标检测方法的流程图;
图12为本申请实施例提供的一种目标检测方法的流程图;
图13为本申请实施例提供的一种目标检测装置的框图;
图14为本申请实施例提供的一种目标检测装置的框图;
图15为本申请实施例提供的一种计算机设备的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
当前,智能监控高速发展,针对于监控图像的目标检测具有迫切的应用需求。目标检测具体指的是将监控到的图像采用事先确定好的类别来描述图像和位置,比如安检机对图像中危险物品进行目标检测,以区分出危险物品与正常物品。
现有技术中,对于在安检图像中的目标物的检测通常是采用人工根据经验去判别该物品是否是刀具或者其他危险物品,然而当客流量较大,安检物品增多时,利用人工根据经验去对图像中的各个物品进行检测判别时可能会产生漏判或者误判。
有鉴于此,本申请实施例提供了一种目标检测方法、装置、计算机设备及存储介质,可以提高对图像中目标区域的目标物类别的检测精度。
需要说明的是,本申请实施例提供的目标检测方法,其执行主体可以是进行目标检测的装置,该目标检测的装置可以通过软件、硬件或者软硬件结合的方式实现成为服务器的部分或者全部。下述方法实施例中,均以执行主体是服务器100为例来进行说明,其中,本申请实施例中的服务器可以为一台服务器,也可以为由多台服务器组成的服务器集群。
请参考图2,其示出了本申请实施例提供的一种目标检测方法的流程图,该目标检测方法可以应用于上文所述实施环境中的服务器中。如图2所示,该目标检测方法可以包括以下步骤:
步骤201、服务器获取多个训练样本,各个训练样本包括样本图像以及样本图像中目标物的真实类别和真实位置。
在本申请实施例中,各个训练样本包括的样本图像尺寸相同,每个训练样本中包括了一个样本图像,每个样本图像中包含了多个目标物。比如在一个实际场景中各个训练样本可以为多个通过安检机器的截图,每个样本图像为一个通过安检机器的截图,截图中包含了多个正在进行安检的目标物。
通过人工对样本图像中目标物的真实类别和真实位置进行标注,比如样本图像中在某位置有一个刀具,即对该位置进行标注为该目标物的真实位置,并将该目标物的类别确定为刀具或危险物品,将该类别确定为真实类别。
经过人工标注的多个训练样本,服务器从而获取到包括样本图像以及样本图像中目标物的真实类别和真实位置。
步骤202、服务器固定图像识别模型中的增强子网络中的网络参数,利用多个训练样本对图像识别模型中的卷积子网络和对抗子网络进行训练,得到训练后的卷积子网络和对抗子网络。
本申请实施例中,如图3,图像识别模型包括了增强子网络、卷积子网络以及对抗子网络。
其中,如图4,增强子网络为一个自编码器,分为编码和解码两个部分,其中编码部分可以包括6个卷积层,每个卷积层中的卷积核大小均为3×3,填充数为1,通过ReLU函数进行激活,当样本图像输入到该增强子网络中,经过编码过程后能够得到256幅与输入的样本图像尺寸大小相同的特征图。解码部分可以包括5个卷积层,每个卷积层中的卷积核大小均为3×3,填充数为1,通过ReLU函数进行激活,自编码器中的解码部分对编码得到的256幅特征图进行解码,从而得到1幅与输入的样本图像尺寸大小相同的增强图像。
增强子网络的可以基于第三损失函数进行训练,其中,第三损失函数包括:
LY=E[log(D(Y(X)))];
其中,E[]表示期望,D[]表示对抗网络,Y[]表示增强网络,X表示输入图像。
卷积子网络如图5,包括多个卷积层,其中卷积子网络可以包括5个卷积层,卷积层1中的卷积核大小为7×7,填充数为3,卷积层2中的卷积核大小为5×5,填充数为2,卷积层3中的卷积核大小为3×3,填充数为1,卷积层4和卷积层5与卷积层3相同,所有卷积层通过ReLU函数进行激活。
对抗子网络用于对识别的目标物类别进行输出,如图6,对抗子网络可以包括3个全连接层,其中前两个全连接层的节点数为2048,通过ReLU函数进行激活,最后一个全连接层的节点数为1,通过Sigmoid函数进行激活。
对抗子网络的可以基于第四损失函数进行训练,其中,第四损失函数包括:
Lad=E[log(1-D(Y(X)))]+E[log(D(X))];
其中,E[]表示期望,D[]表示对抗网络,Y[]表示增强网络,X表示输入图像。
在本申请实施例中,首先,服务器将样本图像输入至增强子网络,经过编码部分和解码部分生成增强图像,由于训练的编码解码都针对该样本图像,在经过增强子网络后这类样本图像不会受到影响,而不属于这类样本图像则质量会下降,由此增强了这类样本图像。然后,服务器将增强子网络输出的增强后的样本图像输入到卷积子网络中,能够提取增强后的样本图像的特征图。最后,通过将特征图输入到对抗子网络中输出训练类别。
在本申请实施例的训练步骤中,服务器固定增强子网络中的网络参数,输入多个训练样本对卷积子网络和对抗子网络进行训练,得到训练后的卷积子网络和对抗子网络。
步骤203、服务器固定卷积子网络和对抗子网络中的网络参数,并利用多个训练样本对增强子网络进行训练,得到训练后的增强子网络。
在本申请实施例的训练步骤中,服务器固定卷积子网络和对抗子网络中的网络参数,并利用多个训练样本对增强子网络进行训练,得到训练后的增强子网络。
本申请实施例中的训练步骤还可以为,步骤202与步骤203进行交替训练,可以为服务器固定增强子网络中的网络参数,输入训练样本对卷积子网络和对抗子网络进行训练,输出更优的卷积子网络和对抗子网络;服务器固定更优的卷积子网络和对抗子网络的网络参数,输入训练样本对增强子网络进行训练,得到更优的增强子网络。
以上两步交替训练,直至损失函数收敛,得到训练后的增强子网络、训练后的卷积子网络。
步骤204、服务器基于训练后的增强子网络、训练后的卷积子网络与未经训练的感知子网络组成目标检测模型。
在本申请实施例中,如图7,感知子网络可以包括第一全连接层、第二全连接层以及与第二全连接层分别级联的类别全连接层和回归参数全连接层。其中第一全连接层和第二全连接层的节点数可以为2048,通过ReLU函数激活,类别全连接层的节点数可以为:训练样本中类别数目+1,回归参数全连接层的节点数可以为:(训练样本中类别数目+1)×4。
全连接层中的节点数会与训练样本类别数有关,当训练样本的类别数变多就需要在全连接层中设置更多的节点数。其中,类别数目中+1中多出的一类表示没有目标类,就是不属于所有类。回归参数用来计算目标物的训练位置。
如图8,服务器基于训练后的增强子网络、训练后的卷积子网络与未经训练的感知子网络组成目标检测模型。
步骤205、服务器固定训练后的增强子网络和训练后的卷积子网络的网络参数,并利用多个训练样本对感知子网络进行训练。
服务器对步骤204得到的目标检测模型进行训练,训练的过程可以包括输入训练样本,训练样本经过增强子网络增强以及卷积子网络提取特征后,将提取到的特征输入到感知子网络,通过感知子网络输出训练样本中目标物的训练类别以及训练位置。
步骤206、服务器将训练后的增强子网络、训练后的卷积子网络和训练后的感知子网络作为目标检测网络。
经过步骤205训练,得到训练后的感知子网络,并将训练后的感知子网络与训练后的增强子网络、训练后的卷积子网络组成目标检测网络。目标检测网络用于对图像中目标区域中目标物的类别以及目标物的位置进行检测。
本申请实施例提供的技术方案中,首先服务器通过得到带有样本图像中目标物的真实类别和真实位置的训练样本,然后建立图像识别模型,图像识别模型中包括了增强子网络、卷积子网络和对抗子网络,固定增强子网络的网络参数,并利用训练样本对卷积子网络和对抗子网络进行训练,固定卷积子网络和对抗子网络的参数,并利用训练样本对增强子网络进行训练,得到训练后的增强子网络和训练后的卷积子网络,并将训练后的增强子网络和训练后的卷积子网络和未经训练的感知子网络组成目标检测模型,利用训练样本对目标检测模型中感知子网络进行训练,将训练完成的增强子网络、卷积子网络和感知子网络作为目标检测网络。在本申请实施例中通过设置增强子网络能够使目标检测网络更加专注于训练样本中目标区域中目标物的识别,并通过卷积子网络提取了目标区域中目标物的特征,最终通过感知子网络将目标区域中目标物的特征输出为具体类别和位置。相比于现有采用人工经验的方式取进行目标物类别检测,本申请实施例提供的技术方案通过专注于图像中目标区域的目标物识别可以提升目标物类别的检测精度。
在本申请的可选实施例中,如图9所示,服务器利用多个训练样本对卷积子网络和对抗子网络进行训练,该技术过程包括以下步骤:
步骤301、服务器将各训练样本中的样本图像输入至网络参数固定的增强子网络中,得到增强子网络输出的增强图像。
步骤302、服务器将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别。
步骤303、服务器根据样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距调整卷积子网络和对抗子网络的网络参数。
在本申请实施例中,样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距可以是指样本图像经过训练后得到的训练类别所指代的训练值与经过人工标记的真实类别的真实值之间的损失值。
服务器基于第一损失函数计算样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距,其中,第一损失函数包括:
Lg=E[log(D(Y(X)))]+λ||X-Y(X)||2;
其中,E[]表示期望,D[]表示对抗网络,Y[]表示增强网络,X表示输入图像,λ表示平衡参数,λ可以为1。
服务器并根据第一损失函数所计算出的差距调整卷积子网络和对抗子网络的网络参数。
在本实施例中,通过固定增强子网络的网络参数,对卷积子网络和对抗子网络进行训练,能够训练图像识别模型中在样本图像中得到的增强图像固定的情况下,提升卷积子网络和对抗子网络检测增强图像中目标物类别的精度。
在本申请的可选实施例中,如图10所示,服务器将通过多个训练样本对增强子网络进行训练,该技术过程包括以下步骤:
步骤401、服务器将各训练样本依次输入至增强子网络中的编码器和解码器中,得到解码器输出的增强图像。
步骤402、服务器将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别。
步骤403、服务器根据样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距调整增强子网络的网络参数。
在本申请实施例中,服务器基于第一损失函数计算样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距,其中,第一损失函数包括:
Lg=E[log(D(Y(X)))]+λ||X-Y(X)||2;
其中,E[]表示期望,D[]表示对抗网络,Y[]表示增强网络,X表示输入图像,λ表示平衡参数,λ可以为1。
服务器根据第一损失函数所计算出的差距调整增强子网络的网络参数。
在本实施例中,通过固定卷积子网络和对抗子网络的网络参数,对增强子网络进行训练,提升增强子网络增强样本图像中目标物的能力。
在本申请的可选实施例中,如图11所示,服务器将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别,该技术过程包括以下步骤:
步骤501、服务器将增强图像输入至卷积子网络,得到多个样本特征图。
在本申请实施例中,样本特征图包括了图像中颜色特征、纹理特征、形状特征等。
步骤502、服务器将多个样本特征图所表示的矩阵转换为样本特征向量。
在本申请实施例中,可以将样本特征图所表示的矩阵中的每行或每列进行首位相接得到每个样本特征图所表示的向量,之后将多个样本特征图所表示的向量进行拼接得到一个样本特征向量。
步骤503、服务器将样本特征向量输入到对抗子网络中,得到样本图像中目标物的训练类别。
将步骤502中所得到的样本特征向量输入到对抗子网络中,输出当前样本图像的类别。
在本申请的可选实施例中,如图12所示,服务器利用多个训练样本对感知子网络进行训练,该技术过程包括以下步骤:
步骤601、服务器将各训练样本依次输入至训练后的增强子网络和训练后的卷积子网络中,得到解码器输出的增强图像。
步骤602、服务器将增强图像输入至未经训练的感知网络中,得到样本图像中目标物的训练类别和训练位置。
在本申请实施例中,感知子网络中包括全连接层、类别全连接层和回归参数全连接层
步骤603、服务器根据样本图像中目标物的训练类别和训练位置与样本图像中目标物的真实类别和真实位置之间的差距调整感知子网络的网络参数。
在本申请实施例中,样本图像中目标物的训练类别和训练位置与样本图像中目标物的真实类别和真实位置之间的差距可以是指样本图像经过训练后得到的训练类别和训练位置所指代的训练值与经过人工标记的真实类别和真实位置的真实值之间的损失值。
服务器基于第二损失函数计算所述样本图像中目标物的训练类别和训练位置与所述样本图像中目标物的真实类别和真实位置之间的差距,其中,第二损失函数包括:
Lp=E(-logpg)+1[g≥1]Lloc(rg,r*);
其中,Lloc(rg,r*)=∑smoothL1(rg-r*), rg表示真实位置,r*表示训练位置,pg为样本图像为真实类别的估计概率,g表示真实类别。
服务器根据该第二损失损失函数调整感知子网络中的网络参数。
在本实施例中,通过设置感知子网络中的全连接层、类别全连接层和回归参数全连接层,服务器通过固定训练后的增强子网络和训练后的卷积子网络的网络参数,并利用多个训练样本对感知子网络进行训练,使得能够在增强子网络对训练样本中目标区域中目标物的识别,并通过卷积子网络提取了目标区域中目标物的特征,将特征通过感知子网络输出为训练类别和训练位置,能够在识别目标物类别的基础上,能够识别出目标物在样本图像中的具体位置。
请参考图13,其示出了本申请实施例提供的一种目标检测装置700的框图,该目标检测装置700可以配置于服务器中。如图14所示,该目标检测装置700可以包括:获取模块701、第一训练模块702、第二训练模块703、第三训练模块704以及目标检测模块705。
获取模块701,用于获取多个训练样本,各个训练样本包括样本图像以及样本图像中目标物的真实类别和真实位置。
第一训练模块702,用于固定图像识别模型中的增强子网络中的网络参数,利用多个训练样本对图像识别模型中的卷积子网络和对抗子网络进行训练,得到训练后的卷积子网络和对抗子网络。
第二训练模块703,用于固定卷积子网络和对抗子网络中的网络参数,并利用多个训练样本对增强子网络进行训练,得到训练后的增强子网络。
第一模型获取模块704,用于基于训练后的增强子网络、训练后的卷积子网络与未经训练的感知子网络组成目标检测模型;
第三训练模块705,固定训练后的增强子网络和训练后的卷积子网络的网络参数,并利用多个训练样本对感知子网络进行训练。
第二模型获取模块706,用于将训练后的增强子网络、训练后的卷积子网络和训练后的感知子网络作为目标检测网络,目标检测网络用于对图像中目标区域中目标物的类别以及目标物的位置进行检测。
在本申请的可选实施例中,该第一训练模块702,具体用于:将各训练样本中的样本图像输入至网络参数固定的增强子网络中,得到增强子网络输出的增强图像,增强图像与训练样本中的样本图像的图像尺寸大小相同;将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别;根据样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距调整卷积子网络和对抗子网络的网络参数。
在本申请的可选实施例中,该第二训练模块703,具体用于:将各训练样本依次输入至增强子网络中的编码器和解码器中,得到解码器输出的增强图像;将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别;根据样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距调整增强子网络的网络参数。
在本申请的可选实施例中,该装置还包括计算模块707:该计算模块707,用于基于第一损失函数计算所述样本图像中目标物的训练类别和所述样本图像中目标物的真实类别之间的差距,其中,第一损失函数包括:
Lg=E[log(D(Y(X)))]+λ||X-Y(X)||2;
其中,E[]表示期望,D[]表示对抗网络,Y[]表示增强网络,X表示输入图像,λ表示平衡参数。
在本申请的可选实施例中,该第一训练模块702,还用于:
将增强图像输入至卷积子网络,得到多个样本特征图;将多个样本特征图所表示的矩阵转换为样本特征向量;将样本特征向量输入到对抗子网络中,得到样本图像中目标物的训练类别。
在本申请的可选实施例中,该第二训练模块703,还用于:
将增强图像输入至卷积子网络,得到多个样本特征图;将多个样本特征图所表示的矩阵转换为样本特征向量;将样本特征向量输入到对抗子网络中,得到样本图像中目标物的训练类别。
在本申请的可选实施例中,该第三训练模块704,具体用于:
将各训练样本依次输入至训练后的增强子网络和训练后的卷积子网络中,得到解码器输出的增强图像;将增强图像输入至未经训练的感知网络中,得到样本图像中目标物的训练类别和训练位置;根据样本图像中目标物的训练类别和训练位置与样本图像中目标物的真实类别和真实位置之间的差距调整感知子网络的网络参数。
在本申请的可选实施例中,该第三训练模块704,还用于:
基于第二损失函数计算所述样本图像中目标物的训练类别和训练位置与所述样本图像中目标物的真实类别和真实位置之间的差距,其中,第二损失函数包括:
Lp=E(-logpg)+1[g≥1]Lloc(rg,r*);
其中,Lloc(rg,r*)=∑smoothL1(rg-r*),
rg表示真实位置,r*表示训练位置,pg为样本图像为真实类别的估计概率,g表示真实类别。
关于目标检测装置的具体限定可以参见上文中对于目标检测方法的限定,在此不再赘述。上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标检测方法。
本领域技术人员可以理解,如图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取多个训练样本,各个训练样本包括样本图像以及样本图像中目标物的真实类别和真实位置;固定图像识别模型中的增强子网络中的网络参数,利用多个训练样本对图像识别模型中的卷积子网络和对抗子网络进行训练,得到训练后的卷积子网络和对抗子网络;固定卷积子网络和对抗子网络中的网络参数,并利用多个训练样本对增强子网络进行训练,得到训练后的增强子网络;基于训练后的增强子网络、训练后的卷积子网络与未经训练的感知子网络组成目标检测模型;固定训练后的增强子网络和训练后的卷积子网络的网络参数,并利用多个训练样本对感知子网络进行训练;将训练后的增强子网络、训练后的卷积子网络和训练后的感知子网络作为目标检测网络,目标检测网络用于对图像中目标区域中目标物的类别以及目标物的位置进行检测。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:将各训练样本中的样本图像输入至网络参数固定的增强子网络中,得到增强子网络输出的增强图像,增强图像与训练样本中的样本图像的图像尺寸大小相同;将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别;根据样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距调整卷积子网络和对抗子网络的网络参数。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:将各训练样本依次输入至增强子网络中的编码器和解码器中,得到解码器输出的增强图像;将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别;根据样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距调整增强子网络的网络参数。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:基于第一损失函数计算样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距,其中,第一损失函数包括:
Lg=E[log(D(Y(X)))]+λ||X-Y(X)||2;
其中,E[]表示期望,D[]表示对抗网络,Y[]表示增强网络,X表示输入图像,λ表示平衡参数。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:将增强图像输入至卷积子网络,得到多个样本特征图;将多个样本特征图所表示的矩阵转换为样本特征向量;将样本特征向量输入到对抗子网络中,得到样本图像中目标物的训练类别。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:将各训练样本依次输入至训练后的增强子网络和训练后的卷积子网络中,得到解码器输出的增强图像;将增强图像输入至未经训练的感知网络中,得到样本图像中目标物的训练类别和训练位置;根据样本图像中目标物的训练类别和训练位置与样本图像中目标物的真实类别和真实位置之间的差距调整感知子网络的网络参数。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:基于第二损失函数计算样本图像中目标物的训练类别和训练位置与样本图像中目标物的真实类别和真实位置之间的差距,其中,第二损失函数包括:
Lp=E(-logpg)+1[g≥1]Lloc(rg,r*);
其中,Lloc(rg,r*)=∑smoothL1(rg-r*), rg表示真实位置,r*表示训练位置,pg为样本图像为真实类别的估计概率,g表示真实类别。
在本申请的一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取多个训练样本,各个训练样本包括样本图像以及样本图像中目标物的真实类别和真实位置;固定图像识别模型中的增强子网络中的网络参数,利用多个训练样本对图像识别模型中的卷积子网络和对抗子网络进行训练,得到训练后的卷积子网络和对抗子网络;固定卷积子网络和对抗子网络中的网络参数,并利用多个训练样本对增强子网络进行训练,得到训练后的增强子网络;基于训练后的增强子网络、训练后的卷积子网络与未经训练的感知子网络组成目标检测模型;固定训练后的增强子网络和训练后的卷积子网络的网络参数,并利用多个训练样本对感知子网络进行训练;将训练后的增强子网络、训练后的卷积子网络和训练后的感知子网络作为目标检测网络,目标检测网络用于对图像中目标区域中目标物的类别以及目标物的位置进行检测。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:将各训练样本中的样本图像输入至网络参数固定的增强子网络中,得到增强子网络输出的增强图像,增强图像与训练样本中的样本图像的图像尺寸大小相同;将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别;根据样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距调整卷积子网络和对抗子网络的网络参数。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:将各训练样本依次输入至增强子网络中的编码器和解码器中,得到解码器输出的增强图像;将增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别;根据样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距调整增强子网络的网络参数。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:基于第一损失函数计算样本图像中目标物的训练类别和样本图像中目标物的真实类别之间的差距,其中,第一损失函数包括:
Lg=E[log(D(Y(X)))]+λ||X-Y(X)||2;
其中,E[]表示期望,D[]表示对抗网络,Y[]表示增强网络,X表示输入图像,λ表示平衡参数。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:将增强图像输入至卷积子网络,得到多个样本特征图;将多个样本特征图所表示的矩阵转换为样本特征向量;将样本特征向量输入到对抗子网络中,得到样本图像中目标物的训练类别。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:将各训练样本依次输入至训练后的增强子网络和训练后的卷积子网络中,得到解码器输出的增强图像;将增强图像输入至未经训练的感知网络中,得到样本图像中目标物的训练类别和训练位置;根据样本图像中目标物的训练类别和训练位置与样本图像中目标物的真实类别和真实位置之间的差距调整感知子网络的网络参数。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于第二损失函数计算样本图像中目标物的训练类别和训练位置与样本图像中目标物的真实类别和真实位置之间的差距,其中,第二损失函数包括:
Lp=E(-logpg)+1[g≥1]Lloc(rg,r*);
其中,Lloc(rg,r*)=∑smoothL1(rg-r*), rg表示真实位置,r*表示训练位置,pg为样本图像为真实类别的估计概率,g表示真实类别。
本实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以M种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(SyMchliMk)DRAM(SLDRAM)、存储器总线(RaMbus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种目标检测方法,其特征在于,所述方法包括:
获取多个训练样本,各个所述训练样本包括样本图像以及所述样本图像中目标物的真实类别和真实位置;
固定图像识别模型中的增强子网络中的网络参数,利用所述多个训练样本对所述图像识别模型中的卷积子网络和对抗子网络进行训练,得到训练后的卷积子网络和对抗子网络;
固定所述卷积子网络和所述对抗子网络中的网络参数,并利用所述多个训练样本对所述增强子网络进行训练,得到训练后的增强子网络;
基于所述训练后的增强子网络、所述训练后的卷积子网络与未经训练的感知子网络组成目标检测模型;
固定所述训练后的增强子网络和所述训练后的卷积子网络的网络参数,并利用所述多个训练样本对所述感知子网络进行训练;
将所述训练后的增强子网络、所述训练后的卷积子网络和训练后的感知子网络作为目标检测网络,所述目标检测网络用于对图像中目标区域中目标物的类别以及目标物的位置进行检测;
所述利用所述多个训练样本对所述图像识别模型中的卷积子网络和对抗子网络进行训练,得到训练后的卷积子网络和对抗子网络包括:
将各所述训练样本中的样本图像输入至网络参数固定的增强子网络中,得到所述增强子网络输出的增强图像,所述增强图像与所述训练样本中的样本图像的图像尺寸大小相同;
将所述增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别;
根据所述样本图像中目标物的训练类别和所述样本图像中目标物的真实类别之间的差距调整所述卷积子网络和所述对抗子网络的网络参数;
所述利用所述多个训练样本对所述增强子网络进行训练,包括:
将各所述训练样本依次输入至所述增强子网络中的编码器和解码器中,得到所述解码器输出的增强图像;
固定所述卷积子网络和所述对抗子网络的参数,并将所述增强图像依次输入至所述卷积子网络和所述对抗子网络中,得到样本图像中目标物的训练类别;
根据所述样本图像中目标物的训练类别和所述样本图像中目标物的真实类别之间的差距调整所述增强子网络的网络参数;
所述固定所述训练后的增强子网络和所述训练后的卷积子网络的网络参数,并利用所述多个训练样本对所述感知子网络进行训练,包括:
将各所述训练样本依次输入至所述训练后的增强子网络和所述训练后的卷积子网络中,得到解码器输出的增强图像;
将所述增强图像输入至所述未经训练的感知网络中,得到样本图像中目标物的训练类别和训练位置;
根据所述样本图像中目标物的训练类别和训练位置与所述样本图像中目标物的真实类别和真实位置之间的差距调整所述感知子网络的网络参数。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于第一损失函数计算所述样本图像中目标物的训练类别和所述样本图像中目标物的真实类别之间的差距,其中,第一损失函数包括:
;
其中,表示期望,/>表示对抗网络,/>表示增强网络,/>表示输入图像,/>表示平衡参数。
3.根据权利要求1所述的方法,其特征在于,所述将所述增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别,包括:
将所述增强图像输入至所述卷积子网络,得到多个样本特征图;
将所述多个样本特征图所表示的矩阵转换为样本特征向量;
将所述样本特征向量输入到所述对抗子网络中,得到所述样本图像中目标物的训练类别。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于第二损失函数计算所述样本图像中目标物的训练类别和训练位置与所述样本图像中目标物的真实类别和真实位置之间的差距,其中,第二损失函数包括:
其中,/>,,
,/>表示真实位置,/>表示训练位置,/>为样本图像为真实类别的估计概率,/>表示真实类别。
5.一种目标检测装置,其特征在于,所述装置包括:
获取模块,用于获取多个训练样本,各个所述训练样本包括样本图像以及所述样本图像中目标物的真实类别和真实位置;
第一训练模块,用于固定图像识别模型中的增强子网络中的网络参数,利用所述多个训练样本对所述图像识别模型中的卷积子网络和对抗子网络进行训练,得到训练后的卷积子网络和对抗子网络;
第二训练模块,用于固定所述卷积子网络和所述对抗子网络中的网络参数,并利用所述多个训练样本对所述增强子网络进行训练,得到训练后的增强子网络;
第一模型获取模块,用于基于所述训练后的增强子网络、所述训练后的卷积子网络与未经训练的感知子网络组成目标检测模型;
第三训练模块,用于固定所述训练后的增强子网络和所述训练后的卷积子网络的网络参数,并利用所述多个训练样本对所述感知子网络进行训练;
第二模型获取模块,用于将所述训练后的增强子网络、所述训练后的卷积子网络和训练后的感知子网络作为目标检测网络,所述目标检测网络用于对图像中目标区域中目标物的类别以及目标物的位置进行检测;
所述第一训练模块,具体用于将各所述训练样本中的样本图像输入至网络参数固定的增强子网络中,得到所述增强子网络输出的增强图像,所述增强图像与所述训练样本中的样本图像的图像尺寸大小相同;将所述增强图像依次输入至卷积子网络和对抗子网络中,得到样本图像中目标物的训练类别;根据所述样本图像中目标物的训练类别和所述样本图像中目标物的真实类别之间的差距调整所述卷积子网络和所述对抗子网络的网络参数;
所述第二训练模块,具体用于将各所述训练样本依次输入至所述增强子网络中的编码器和解码器中,得到所述解码器输出的增强图像;固定所述卷积子网络和所述对抗子网络的参数,并将所述增强图像依次输入至所述卷积子网络和所述对抗子网络中,得到样本图像中目标物的训练类别;根据所述样本图像中目标物的训练类别和所述样本图像中目标物的真实类别之间的差距调整所述增强子网络的网络参数;
所述第三训练模块,具体用于将各所述训练样本依次输入至所述训练后的增强子网络和所述训练后的卷积子网络中,得到解码器输出的增强图像;将所述增强图像输入至所述未经训练的感知网络中,得到样本图像中目标物的训练类别和训练位置;根据所述样本图像中目标物的训练类别和训练位置与所述样本图像中目标物的真实类别和真实位置之间的差距调整所述感知子网络的网络参数。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
计算模块,用于基于第一损失函数计算所述样本图像中目标物的训练类别和所述样本图像中目标物的真实类别之间的差距,其中,第一损失函数包括:
;
其中,表示期望,/>表示对抗网络,/>表示增强网络,/>表示输入图像,/>表示平衡参数。
7.根据权利要求5所述的装置,其特征在于,所述第一训练模块还用于将所述增强图像输入至所述卷积子网络,得到多个样本特征图;将所述多个样本特征图所表示的矩阵转换为样本特征向量;将所述样本特征向量输入到所述对抗子网络中,得到所述样本图像中目标物的训练类别。
8.根据权利要求5所述的装置,其特征在于,所述第三训练模块还用于基于第二损失函数计算所述样本图像中目标物的训练类别和训练位置与所述样本图像中目标物的真实类别和真实位置之间的差距,其中,第二损失函数包括:
其中,/>,,
,/>表示真实位置,/>表示训练位置,/>为样本图像为真实类别的估计概率,/>表示真实类别。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至4任一所述的目标检测方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011375354.6A CN112465037B (zh) | 2020-11-30 | 2020-11-30 | 目标检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011375354.6A CN112465037B (zh) | 2020-11-30 | 2020-11-30 | 目标检测方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112465037A CN112465037A (zh) | 2021-03-09 |
CN112465037B true CN112465037B (zh) | 2023-12-19 |
Family
ID=74805747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011375354.6A Active CN112465037B (zh) | 2020-11-30 | 2020-11-30 | 目标检测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112465037B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113553959A (zh) * | 2021-07-27 | 2021-10-26 | 杭州逗酷软件科技有限公司 | 动作识别方法及装置、计算机可读介质和电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109063724A (zh) * | 2018-06-12 | 2018-12-21 | 中国科学院深圳先进技术研究院 | 一种增强型生成式对抗网络以及目标样本识别方法 |
CN109543740A (zh) * | 2018-11-14 | 2019-03-29 | 哈尔滨工程大学 | 一种基于生成对抗网络的目标检测方法 |
CN111008692A (zh) * | 2019-11-08 | 2020-04-14 | 国网天津市电力公司 | 基于改进生成对抗网络的多能计量特征数据生成方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10861225B2 (en) * | 2018-08-10 | 2020-12-08 | Intel Corporation | Neural network processing for multi-object 3D modeling |
-
2020
- 2020-11-30 CN CN202011375354.6A patent/CN112465037B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109063724A (zh) * | 2018-06-12 | 2018-12-21 | 中国科学院深圳先进技术研究院 | 一种增强型生成式对抗网络以及目标样本识别方法 |
CN109543740A (zh) * | 2018-11-14 | 2019-03-29 | 哈尔滨工程大学 | 一种基于生成对抗网络的目标检测方法 |
CN111008692A (zh) * | 2019-11-08 | 2020-04-14 | 国网天津市电力公司 | 基于改进生成对抗网络的多能计量特征数据生成方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于深度网络和数据增强的多物体图像识别;吴睿曦;肖秦琨;;国外电子测量技术(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112465037A (zh) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200372243A1 (en) | Image processing method and apparatus, facial recognition method and apparatus, and computer device | |
CN112699859B (zh) | 目标检测方法、装置、存储介质及终端 | |
CN111368758B (zh) | 一种人脸模糊度检测方法、装置、计算机设备及存储介质 | |
CN113516661B (zh) | 基于特征融合的缺陷检测方法及装置 | |
CN112183295A (zh) | 行人重识别方法、装置、计算机设备及存储介质 | |
CN110287936B (zh) | 图像检测方法、装置、设备及存储介质 | |
CN113160087B (zh) | 图像增强方法、装置、计算机设备及存储介质 | |
CN110543823B (zh) | 基于残差网络的行人再识别方法、装置和计算机设备 | |
CN110210519B (zh) | 分类方法、计算机设备和存储介质 | |
CN111144398A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN111199193B (zh) | 基于数字切片的图片分类方法、装置和计算机设备 | |
CN112465037B (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
CN113554630A (zh) | 芯片表面缺陷检测方法、系统、计算机设备和存储介质 | |
CN112115860A (zh) | 人脸关键点定位方法、装置、计算机设备和存储介质 | |
CN115100614A (zh) | 车辆感知系统的评估方法、装置、车辆及存储介质 | |
CN111046755A (zh) | 字符识别方法、装置、计算机设备和计算机可读存储介质 | |
CN111372042A (zh) | 故障检测方法、装置、计算机设备和存储介质 | |
CN112926616B (zh) | 图像匹配方法和装置、电子设备、计算机可读存储介质 | |
CN114549849A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
CN111241945A (zh) | 人脸识别性能的测试方法、装置、计算机设备及存储介质 | |
CN114972375B (zh) | 图像生成模型的训练方法及装置、设备和存储介质 | |
CN112101322B (zh) | 目标物体检测模型、训练方法、物体检测方法和相关设备 | |
CN112784781B (zh) | 基于差异感知元学习的伪造人脸检测方法和装置 | |
CN112862002A (zh) | 多尺度目标检测模型的训练方法、目标检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |