CN112633156A - 车辆检测方法、图像处理装置以及计算机可读存储介质 - Google Patents
车辆检测方法、图像处理装置以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112633156A CN112633156A CN202011529703.5A CN202011529703A CN112633156A CN 112633156 A CN112633156 A CN 112633156A CN 202011529703 A CN202011529703 A CN 202011529703A CN 112633156 A CN112633156 A CN 112633156A
- Authority
- CN
- China
- Prior art keywords
- feature
- network
- feature map
- feature extraction
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 20
- 238000007499 fusion processing Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种车辆检测方法、图像处理装置以及计算机可读存储介质，该车辆检测方法包括：采用第一特征提取子网络对待测图像进行第一次特征提取，得到多个第一特征图；利用特征金字塔网络对多个第一特征图进行处理，得到多个第二特征图；采用第二特征提取子网络对待测图像进行第二次特征提取，并根据第二特征提取子网络各阶段输出的特征图得到多个第三特征图，其中，第二特征提取子网络至少部分阶段输入的特征图为将前一阶段输出的特征图和对应的第二特征图进行融合处理得到的；利用特征金字塔网络对多个第三特征图进行处理，得到多个第四特征图；对多个第四特征图进行预测处理，得到预测结果。本申请的检测方法能够提高检测结果的准确率。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种车辆检测方法、图像处理装置以及计算机可读存储介质。
背景技术
在智慧交通场景下，交通卡口下的车辆位置检测以及车辆类别的识别十分重要，而本申请的发明人发现，现有技术中车辆位置检测以及车辆类别的准确率有待提高。
发明内容
本申请主要解决的技术问题是提供一种车辆检测方法、图像处理装置以及计算机可读存储介质，能够提高检测结果的准确率。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种车辆检测方法，所述方法包括：获取待测图像；采用第一特征提取子网络对所述待测图像进行第一次多阶段的特征提取，得到多个不同维度的第一特征图；利用特征金字塔网络FPN对所述多个不同维度的第一特征图进行处理，得到多个不同维度的第二特征图；采用第二特征提取子网络对所述待测图像进行第二次多阶段的特征提取，并根据所述第二特征提取子网络各阶段输出的特征图得到多个不同维度的第三特征图，其中，所述第二特征提取子网络在进行特征提取时，其至少部分阶段输入的特征图为将前一阶段输出的特征图和对应的所述第二特征图进行融合处理而得到的；利用特征金字塔网络FPN对所述多个不同维度的第三特征图进行处理，得到多个不同维度的第四特征图；对所述多个不同维度的第四特征图进行预测处理，得到所述待测图像中车辆的预测结果。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像处理装置，包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器以及所述通信电路，所述处理器在工作时控制自身以及所述存储器、所述通信电路以实现上述方法中的步骤。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被处理器执行以实现上述方法中的步骤。
本申请的有益效果是：本申请在对待测图像进行特征提取时，能够经过多次低维空间特征和高维语义特征的融合，因此对最终得到的第四特征图进行预测，能够保证预测结果的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请车辆检测方法一实施方式的流程示意图；
图2是本申请车辆检测模型一应用场景中的框架示意图；
图3是进行卷积操作时的示意图；
图4是采用GhostNet网络进行操作时的示意图；
图5是本申请图像处理装置一实施方式的结构示意图；
图6是本申请图像处理装置另一实施方式的结构示意图；
图7是本申请计算机存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1，图1是本申请车辆检测方法一实施方式的流程示意图，该方法包括：
S110：获取待测图像。
具体地，待测图像中包括待检测车辆，且待检测车辆的数量可以是一个，也可以是多个。
在一应用场景中，当获取的是视频时，将视频解码成多个待测图像，而后针对多个待测图像分别执行后续步骤。其中在对视频进行解码时，可以利用硬解码的方式对视频流中的I帧、P帧、B帧的编码信息进行解码，从而得到多个待测图像。
S120：采用第一特征提取子网络对待测图像进行第一次多阶段的特征提取，得到多个不同维度的第一特征图。
具体地，不同维度的第一特征图可以包含不同层次的特征信息，例如，低维度的第一特征图能够包含待测车辆的空间特征信息，而随着维度的提高，第一特征图分辨率随之减小，而第一特征图通道数随之增大，从而第一特征图能够包含更加抽象的语义特征信息。
在一应用场景中，为了提高车辆检测的效率，预先训练一车辆检测模型，且该车辆检测模型包括第一特征提取子网络。
在一应用场景中，第一特征提取子网络为残差网络(res-net)，如图2所示，该第一特征提取子网络依次包括第一卷积层、第一残差单元、第二残差单元、第三残差单元以及第四残差单元。在一具体实例中，输入第一特征提取子网络，具体为输入第一卷积层的图像尺寸为3*224*224，同时在经过第一卷积层的第一次特征提取后，得到尺寸为64*112*112的第一特征图，而后第一残差单元对尺寸为64*112*112的第一特征图进行第二次特征提取，得到尺寸为256*56*56的第一特征图，而后第二残差单元对尺寸为256*56*56的第一特征图进行第三次特征提取，得到尺寸为512*28*28的第一特征图，而后第三残差单元对尺寸为512*28*28的第一特征图进行第四次特征提取，得到尺寸为1024*14*14的第一特征图，最后第四残差单元对尺寸为1024*14*14的第一特征图进行第五次特征提取，得到尺寸为2048*7*7的第一特征图，上述第一特征图中，112*112、56*56、28*28、14*14以及7*7分别表示第一特征图的分辨率，而位于分辨率之前的数值分别表示第一特征图的通道数，故特征图的维度可以采用特征图的分辨率和通道数进行衡量，且维度越高，分辨率越小，通道数越大，特征图所表示的特征信息越抽象。
在其他应用场景中，第一特征提取子网络中残差单元的数量可以不止4个，例如还包括第五残差单元、第六残差单元等等。
同时在他应用场景中，第一特征提取子网络还可以是深层聚集提取网络(DeepLayer Aggregation，DLA)、稠密网络(dense-net)等等，在此不做限定。
S130：利用特征金字塔网络FPN对多个不同维度的第一特征图进行处理，得到多个不同维度的第二特征图。
具体地，以第一特征提取子网络为图2中的残差网络为例，下面介绍特征金字塔网络FPN对多个不同维度的第一特征图进行处理的过程。
首先为了方便说明，将第一卷积层输出的第一特征图记为P1，将第一残差单元输出的第一特征图记为P2，将第二残差单元输出的第一特征图记为P3，将第三残差单元输出的第一特征图记为P4以及将第四残差单元输出的第一特征图记为P5。
在得到多个不同维度的第一特征图后，利用特征金字塔网络FPN进行如下处理：将第一特征图P5进行1*1卷积，得到一第二特征图，记为FP5，然后将第二特征图FP5经过上采样(例如2倍上采样)后的特征图与第一特征图P4经过1*1卷积后的特征图进行融合处理，得到另一第二特征图，记为FP4，然后将第二特征图FP4经过上采样后的特征图与第一特征图P3经过1*1卷积后的特征图进行融合处理，得到又一第二特征图，记为FP3，最后将第二特征图FP3经过上采样后的特征图与第一特征图P2经过1*1卷积后的特征图进行融合处理，得到再一第二特征图，记为FP2，至此结束对多个不同维度的第一特征图的处理过程。
其中，第二特征图FP5经过上采样后的特征图与第一特征图P4经过1*1卷积后的特征图通道数、分辨率对应相同，而进行融合处理指的是：将两个特征图中对应通道数的两个矩阵中的对应元素直接相加，从而得到同一通道数的另一个特征图。
可以理解的是，经过上述处理，除最高维度之外的所有第二特征图都能够融合低维空间特征和高维语义特征。
另外，当第一特征提取子网络为其他提取子网络时，上述利用特征金字塔网络FPN对多个不同维度的第一特征图进行处理的过程同样适用。
S140：采用第二特征提取子网络对待测图像进行第二次多阶段的特征提取，并根据第二特征提取子网络各阶段输出的特征图得到多个不同维度的第三特征图，其中，第二特征提取子网络在进行特征提取时，其至少部分阶段输入的特征图为将前一阶段输出的特征图和对应的第二特征图进行融合处理而得到的。
具体地，第二特征提取子网络在进行第二次多阶段的特征提取时，其至少部分阶段输入的特征图为将前一阶段输出的特征图和对应的第二特征图进行融合处理而得到的，也就是说，该对部分阶段而言，其输入的特征图为将前一阶段输出的特征图和对应的第二特征图进行融合处理而得到的。其中对应的第二特征图指的是，和前一阶段输出的特征图分辨率和/或通道数相同的第二特征图。
在一应用场景中，为了提高车辆检测的效率，预先训练一车辆检测模型，且该车辆检测模型包括第二特征提取子网络。
由于第二特征图能够融合低维空间特征和高维语义特征，因此根据第二特征提取子网络各阶段输出的特征图得到的多个不同维度的第三特征图能够进一步融合低维空间特征和高维语义特征，为提高将来检测结果的准确率提供基础。
在一应用场景中，第二特征提取子网络的结构与第一特征提取子网络的结构相同，其也为残差网络，如图2所示，第二特征提取子网络依次包括第一卷积层、第一残差单元、第二残差单元、第三残差单元以及第四残差单元。同时在该应用场景中，第一特征提取子网络和第二特征提取子网络为同一网络。
下面以图2结构对第二特征提取子网络的特征提取过程以及第三特征图的生成过程进行介绍：
第一卷积层对待测图像进行第一次特征提取，得到一特征图，记为Q1，可以理解的是，当第一特征提取子网络与第二特征提取子网络为同一网络时，Q1与P1相同。
第一残差单元对特征图Q1进行第二次特征提取后输出一特征图，同时将第一残差单元输出的该特征图和对应的第二特征图FP2(此处的对应指的是分辨率相同)进行融合处理，得到一特征图Q2。
第二残差单元对特征图Q2进行第三次特征提取后输出一特征图，同时将第二残差单元输出的该特征图和对应的第二特征图FP3(此处的对应指的是分辨率相同)进行融合处理，得到一特征图Q3。
第三残差单元对特征图Q3进行第四次特征提取后输出一特征图，同时将第三残差单元输出的该特征图和对应的第二特征图FP4(此处的对应指的是分辨率相同)进行融合处理，得到一特征图Q4。
第四残差单元对特征图Q4进行第五次特征提取后输出一特征图，同时将第四残差单元输出的该特征图和对应的第二特征图FP5(此处的对应指的是分辨率相同)进行融合处理，得到一特征图Q5。
其中，生成第三特征图的过程中，将特征图Q2、特征图Q3、特征图Q4以及特征图Q5作为四个第三特征图。
在其他实施方式中，第二特征提取子网络也可以与第一特征提取子网络不同，例如，第二特征提取子网络与第一特征提取子网络虽然都为残差网络但是其具体结构不同，或者，第一特征提取子网络为残差网络，而第二特征提取子网络为深层聚集提取网络。
可以理解的是，当第二特征提取子网络为其他提取子网络时，上述第三特征图的生成过程同样适用。
S150：利用特征金字塔网络FPN对多个不同维度的第三特征图进行处理，得到多个不同维度的第四特征图。
具体地，此时利用特征金字塔FPN进行处理的过程与上述步骤S130利用特征金字塔FPN进行处理的过程类似。
继续以图2的结构进行说明：将第三特征图Q5进行1*1卷积，得到一第四特征图，记为FP’5，然后将第四特征图FP’5经过上采样(例如2倍上采样)后的特征图与第三特征图Q4经过1*1卷积后的特征图进行融合处理，得到另一第四特征图，记为FP’4，然后将第四特征图FP’4经过上采样后的特征图与第三特征图Q3经过1*1卷积后的特征图进行融合处理，得到又一第四特征图，记为FP’3，最后将第四特征图FP’3经过上采样后的特征图与第三特征图Q2经过1*1卷积后的特征图进行融合处理，得到再一第四特征图，记为FP’2，至此结束对多个不同维度的第三特征图的处理过程。
其中，第四特征图FP’5经过上采样后的特征图与第三特征图Q4经过1*1卷积后的特征图通道数、分辨率对应相同，而进行融合处理指的是：将两个特征图中对应通道数的两个矩阵中的对应元素直接相加，从而得到同一通道数的另一个特征图。
可以理解的是，经过再次特征金字塔FPN处理，得到的第四特征图进一步融合了低维空间特征和高维语义特征，进一步能保证了将来检测结果的准确率。
S160：对多个不同维度的第四特征图进行预测处理，得到待测图像中车辆的预测结果。
具体地，预测结果包括待测图像中车辆的位置以及车辆的类别。
在一应用场景中，为了提高车辆检测的效率，预先训练一车辆检测模型，且该车辆检测模型包括预测处理子网络，从而利用该预测处理子网络对多个不同维度的第四特征图进行预测处理。
在本实施方式中，预先训练一车辆检测模型，该车辆检测模型同时包括第一特征提取子网络、第二特征提取子网络以及预测处理子网络。
从上述内容可以看出，本申请在对待测图像进行特征提取时，能够经过多次低维空间特征和高维语义特征的融合，因此对最终得到的第四特征图进行预测，能够保证预测结果的准确率。
在本实施方式中，第一特征提取子网络和第二特征提取子网络中的第一残差单元、第二残差单元、第三残差单元以及第四残差单元均包括第二卷积层，其中，第二卷积层采用GhostNet网络对接收到的特征图进行处理。
具体地，GhostNet网络的主要思想为：采用简单的线性变换替代部分卷积变换，从而在一定程度上减少计算量，具体如图3和图4所示，传统意义上的卷积网络只要经过一次卷积，而GhostNet网络包括两次卷积变换，第一次卷积变换为传统意义上的卷积变换，而第二次卷积变换区别于传统意义上的卷积变换，其实质为线性变换，最后两次卷积变换后的结果进行叠加。
需要说明的是，在其他实施方式中，当第一残差单元、第二残差单元、第三残差单元以及第四残差单元还包括第三卷积层、第四卷积层，甚至更多的卷积层时，该卷积层也可以采用GhostNet网络对接收到的特征图进行处理。
当然在其他实施方式中，第一残差单元、第二残差单元、第三残差单元以及第四残差单元中所包括的卷积层也可以采用传统意义上的卷积操作(下面进行了介绍)。
在本实施方式中，第一特征提取子网络和第二特征提取子网络中的第一卷积层在进行卷积操作时，采用传统意义上的卷积操作，同时传统意义上的卷积操作可以表示为：
在本实施方式中，第一残差单元、第二残差单元、第三残差单元以及第四残差单元还包括与第二卷积层连接的批标准化层以及与批标准化层连接的激活层，其中，批标准化层对第二卷积层输出的特征图进行标准化处理，激活层采用Mish激活函数对批标准化层输出的特征图进行处理。
具体地，设置批标准化层对第二卷积层输出的特征图进行标准化处理，使得车辆检测模型在训练时能够快速收敛并同时提高车辆检测模型的准确性和泛化性；以及设置激活层采用Mish激活函数对批标准化层输出的特征图进行处理，能够使得车辆检测模型的梯度传播更加高效，从而进行有效的训练以及非线性的拟合。
其中，Mish激活函数可以表示为：
其中，
表示批标准化层的输出，
为
经激活函数Mish的输出，也就是激活层的输出。
下面对本实施方式中车辆检测模型的训练过程进行介绍：
步骤1：首先根据交通卡口的目标场景获取数据集，该数据集包括一定数量的图像，同时获取各图像对应的标注信息：目标车辆在图像上的位置以及该目标车辆的类别信息(例如该目标车辆为轿车、货车等)。在一应用场景中，在获取到数据集后，根据需求对数据集中的图像进行合理的数据增广，得到数据集Ω，其中数据增广包括缩放、旋转、镜像、随机裁剪、随机噪声、滤波、融合、拼接、颜色变换等中的至少一种。然后根据一定数量比例将数据集Ω划分为训练集、验证集和测试集，其中，假设数据集Ω中的图像数量为C，训练集中图像的数量为C1，验证集中图像的数量为C2，测试集中图像的数量为C3，则C＝C1+C2+C3。
步骤2：构建车辆检测模型，该车辆检测模型可以基于YOLOv3进行构建，其结构如图2所示，也就是说，该车辆检测模型采用残差网络作为主干网络进行特征提取，同时采用特征金字塔网络来对主干网络的特征提取能力进一步加强。
步骤3：使用传统的k-means聚类方法对步骤1得到的数据集Ω中的目标框的大小进行聚类，得到P个聚类中心(xi,yi)作为主干网络的先验框，其中xi表示聚类中心的水平坐标，yi表示聚类中心的垂直坐标。
步骤4：采用标准的YOLOv3中损失函数的计算方法计算损失函数。
进一步的，采用带有moment参数的随机梯度下降的优化方法来对得到的损失进行反向传播，传播过程中车辆检测模型的参数不断更新，以此不断进行迭代进而缩小预测值与真实值之间的差距，从而不断提高车辆检测模型检测结果的准确性。
步骤5：进行车辆检测模型的训练：初始化车辆检测模型每批次送入图像的数量记为BS；初始化训练周期记为EP，每个周期的训练迭代次数记为iter，iter为数据集Ω划分的训练集的数量C1除去每批次送入的图像数量BS；初始化学习率的大小为LR，随后根据车辆检测模型学习的收敛程度来分周期的减小学习率LR；初始化权重衰减率和动量moment。初始化参数完成后即可开始训练车辆检测模型，最终得到训练好的车辆检测模型。
参阅图5，图5是本申请图像处理装置一实施方式的结构示意图，该图像处理装置200包括处理器210、存储器220以及通信电路230，处理器210分别耦接存储器220以及通信电路230，处理器210在工作时控制自身以及存储器220、通信电路230以实现上述任一项方法中的步骤，其中详细的步骤可参见上述实施方式，在此不再赘述。
其中，图像处理装置200可以是手机、电脑等任一项具有图像处理能力的装置，在此不做限制。
参阅图6，图6是本申请图像处理装置另一实施方式的结构示意图，该图像处理装置300包括图像获取模块310以及与图像获取模块310连接的图像处理模块320。
图像获取模块310用于获取待测图像。
图像处理模块320用于采用第一特征提取子网络对待测图像进行第一次多阶段的特征提取，得到多个不同维度的第一特征图；而后利用特征金字塔网络FPN对多个不同维度的第一特征图进行处理，得到多个不同维度的第二特征图；接着采用第二特征提取子网络对待测图像进行第二次多阶段的特征提取，并根据第二特征提取子网络各阶段输出的特征图得到多个不同维度的第三特征图，其中，第二特征提取子网络在进行特征提取时，其至少部分阶段输入的特征图为将前一阶段输出的特征图和对应的第二特征图进行融合处理而得到的；然后再利用特征金字塔网络FPN对多个不同维度的第三特征图进行处理，得到多个不同维度的第四特征图；最后对多个不同维度的第四特征图进行预测处理，得到待测图像中车辆的预测结果。
在一实施方式中，第一特征提取子网络与第二特征提取子网络均为残差网络。
在一实施方式中，第一特征提取子网络以及第二特征提取子网络结构相同，且均依次包括第一卷积层、第一残差单元、第二残差单元、第三残差单元以及第四残差单元。
在一实施方式中，第一残差单元、第二残差单元、第三残差单元以及第四残差单元均包括第二卷积层，其中，第二卷积层采用GhostNet网络对接收到的特征图进行处理。
在一实施方式中，第一残差单元、第二残差单元、第三残差单元以及第四残差单元还包括与第二卷积层连接的批标准化层以及与批标准化层连接的激活层，其中，批标准化层对第二卷积层输出的特征图进行标准化处理，激活层采用Mish激活函数对批标准化层输出的特征图进行处理。
在一实施方式中，对应的第二特征图为与前一阶段输出的特征图分辨率相同的第二特征图。
在一实施方式中，在图像处理模块320中，第二特征提取子网络中的第一卷积层对待测图像进行第一次特征提取；第二特征提取子网络中的第一残差单元对第一卷积层输出的特征图进行第二次特征提取；将第一残差单元输出的特征图和对应的第二特征图进行融合处理，得到一第三特征图；第二特征提取子网络中的第二残差单元对一第三特征图进行第三次特征提取；将第二残差单元输出的特征图和对应的第二特征图进行融合处理，得到另一第三特征图；第二特征提取子网络中的第三残差单元对另一第三特征图进行第四次特征提取；将第三残差单元输出的特征图和对应的第二特征图进行融合处理，得到又一第三特征图；第二特征提取子网络中的第四残差单元对又一第三特征图进行第五次特征提取；将第四残差单元输出的特征图和对应的第二特征图进行融合处理，得到再一第三特征图。
在一实施方式中，维度包括特征图的分辨率和通道数，且维度越高，分辨率越小，通道数越大。
其中，图像处理装置300可以是手机、电脑等任一项具有图像处理能力的装置，在此不做限制。
参阅图7，图7是本申请计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质400存储有计算机程序410，计算机程序410能够被处理器执行以实现上述任一项方法中的步骤。
其中，计算机可读存储介质400具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储计算机程序410的装置，或者也可以为存储有该计算机程序410的服务器，该服务器可将存储的计算机程序410发送给其他设备运行，或者也可以自运行该存储的计算机程序410。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种车辆检测方法，其特征在于，所述方法包括：
获取待测图像；
采用第一特征提取子网络对所述待测图像进行第一次多阶段的特征提取，得到多个不同维度的第一特征图；
利用特征金字塔网络FPN对所述多个不同维度的第一特征图进行处理，得到多个不同维度的第二特征图；
采用第二特征提取子网络对所述待测图像进行第二次多阶段的特征提取，并根据所述第二特征提取子网络各阶段输出的特征图得到多个不同维度的第三特征图，其中，所述第二特征提取子网络在进行特征提取时，其至少部分阶段输入的特征图为将前一阶段输出的特征图和对应的所述第二特征图进行融合处理而得到的；
利用特征金字塔网络FPN对所述多个不同维度的第三特征图进行处理，得到多个不同维度的第四特征图；
对所述多个不同维度的第四特征图进行预测处理，得到所述待测图像中车辆的预测结果。
2.根据权利要求1所述的方法，其特征在于，所述第一特征提取子网络与所述第二特征提取子网络均为残差网络。
3.根据权利要求2所述的方法，其特征在于，所述第一特征提取子网络以及所述第二特征提取子网络结构相同，且均依次包括第一卷积层、第一残差单元、第二残差单元、第三残差单元以及第四残差单元。
4.根据权利要求3所述的方法，其特征在于，所述第一残差单元、所述第二残差单元、第三残差单元以及第四残差单元均包括第二卷积层，其中，所述第二卷积层采用GhostNet网络对接收到的特征图进行处理。
5.根据权利要求3所述的方法，其特征在于，所述第一残差单元、所述第二残差单元、所述第三残差单元以及所述第四残差单元还包括与所述第二卷积层连接的批标准化层以及与所述批标准化层连接的激活层，其中，所述批标准化层对所述第二卷积层输出的特征图进行标准化处理，所述激活层采用Mish激活函数对所述批标准化层输出的特征图进行处理。
6.根据权利要求3所述的方法，其特征在于，对应的所述第二特征图为与所述前一阶段输出的特征图分辨率相同的所述第二特征图。
7.根据权利要求6所述的方法，其特征在于，采用第二特征提取子网络对所述待测图像进行第二次多阶段的特征提取，并根据所述第二特征提取子网络各阶段的输出特征图得到多个不同维度的第三特征图的步骤，包括：
所述第二特征提取子网络中的所述第一卷积层对所述待测图像进行第一次特征提取；
所述第二特征提取子网络中的所述第一残差单元对所述第一卷积层输出的特征图进行第二次特征提取；
将所述第一残差单元输出的特征图和对应的所述第二特征图进行融合处理，得到一所述第三特征图；
所述第二特征提取子网络中的所述第二残差单元对所述一所述第三特征图进行第三次特征提取；
将所述第二残差单元输出的特征图和对应的所述第二特征图进行融合处理，得到另一所述第三特征图；
所述第二特征提取子网络中的所述第三残差单元对所述另一所述第三特征图进行第四次特征提取；
将所述第三残差单元输出的特征图和对应的所述第二特征图进行融合处理，得到又一所述第三特征图；
所述第二特征提取子网络中的所述第四残差单元对所述又一所述第三特征图进行第五次特征提取；
将所述第四残差单元输出的特征图和对应的所述第二特征图进行融合处理，得到再一所述第三特征图。
8.根据权利要求1所述的方法，其特征在于，所述维度包括特征图的分辨率和通道数，且所述维度越高，所述分辨率越小，所述通道数越大。
9.一种图像处理装置，其特征在于，包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器以及所述通信电路，所述处理器在工作时控制自身以及所述存储器、所述通信电路以实现如权利要求1-8任一项所述方法中的步骤。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被处理器执行以实现如权利要求1-8任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529703.5A CN112633156B (zh) | 2020-12-22 | 2020-12-22 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529703.5A CN112633156B (zh) | 2020-12-22 | 2020-12-22 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112633156A true CN112633156A (zh) | 2021-04-09 |
| CN112633156B CN112633156B (zh) | 2024-05-31 |
Family
ID=75321232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011529703.5A Active CN112633156B (zh) | 2020-12-22 | 2020-12-22 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633156B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449799A (zh) * | 2021-06-30 | 2021-09-28 | 上海西井信息科技有限公司 | 目标检测与分类方法、系统、设备及存储介质 |
| CN113591568A (zh) * | 2021-06-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 目标检测方法、目标检测模型的训练方法及其装置 |
| CN113591567A (zh) * | 2021-06-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 目标检测方法、目标检测模型的训练方法及其装置 |
| CN113673578A (zh) * | 2021-07-27 | 2021-11-19 | 浙江大华技术股份有限公司 | 图像检测方法、图像检测设备及计算机可读存储介质 |
| CN113920479A (zh) * | 2021-10-13 | 2022-01-11 | 北京易华录信息技术股份有限公司 | 一种目标检测网络构建和目标检测方法、装置及电子设备 |
| CN113963350A (zh) * | 2021-11-08 | 2022-01-21 | 西安链科信息技术有限公司 | 车辆识别检测方法、系统、计算机设备、存储介质及终端 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108648226A (zh) * | 2018-03-30 | 2018-10-12 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| WO2019020075A1 (zh) * | 2017-07-28 | 2019-01-31 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
| CN109447990A (zh) * | 2018-10-22 | 2019-03-08 | 北京旷视科技有限公司 | 图像语义分割方法、装置、电子设备和计算机可读介质 |
| CN109478239A (zh) * | 2016-07-25 | 2019-03-15 | 三菱电机株式会社 | 检测图像中的对象的方法和对象检测系统 |
| CN110852349A (zh) * | 2019-10-21 | 2020-02-28 | 上海联影智能医疗科技有限公司 | 一种图像处理方法、检测方法、相关设备及存储介质 |
| CN111160140A (zh) * | 2019-12-13 | 2020-05-15 | 浙江大华技术股份有限公司 | 一种图像检测方法及装置 |
| CN111160379A (zh) * | 2018-11-07 | 2020-05-15 | 北京嘀嘀无限科技发展有限公司 | 图像检测模型的训练方法及装置、目标检测方法及装置 |
| US20200160124A1 (en) * | 2017-07-19 | 2020-05-21 | Microsoft Technology Licensing, Llc | Fine-grained image recognition |
| CN111382654A (zh) * | 2018-12-29 | 2020-07-07 | 北京市商汤科技开发有限公司 | 图像处理方法和装置以及存储介质 |
| CN111461217A (zh) * | 2020-03-31 | 2020-07-28 | 华南理工大学 | 一种基于特征融合和上采样的航拍图像小目标检测方法 |
| CN111667476A (zh) * | 2020-06-09 | 2020-09-15 | 创新奇智(广州)科技有限公司 | 布料瑕疵检测方法、装置、电子设备及可读存储介质 |
| CN111723841A (zh) * | 2020-05-09 | 2020-09-29 | 北京捷通华声科技股份有限公司 | 文本检测方法、装置、电子设备及存储介质 |
| CN111767915A (zh) * | 2019-04-02 | 2020-10-13 | 顺丰科技有限公司 | 车牌检测方法、装置、设备及存储介质 |
| CN111784623A (zh) * | 2020-09-07 | 2020-10-16 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN111815594A (zh) * | 2020-06-29 | 2020-10-23 | 浙江大华技术股份有限公司 | 钢筋检测方法以及相关设备、装置 |
| CN111815579A (zh) * | 2020-06-24 | 2020-10-23 | 浙江大华技术股份有限公司 | 一种图像变化检测方法、装置及计算机可读存储介质 |
| CN111881707A (zh) * | 2019-12-04 | 2020-11-03 | 马上消费金融股份有限公司 | 图像翻拍检测方法、身份验证方法、模型训练方法及装置 |
| CN112016443A (zh) * | 2020-08-26 | 2020-12-01 | 深圳市商汤科技有限公司 | 同行识别方法及装置、电子设备和存储介质 |
| CN112052949A (zh) * | 2020-08-21 | 2020-12-08 | 北京市商汤科技开发有限公司 | 目标模型的获取方法及装置、电子设备和存储介质 |
-
2020
- 2020-12-22 CN CN202011529703.5A patent/CN112633156B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109478239A (zh) * | 2016-07-25 | 2019-03-15 | 三菱电机株式会社 | 检测图像中的对象的方法和对象检测系统 |
| US20200160124A1 (en) * | 2017-07-19 | 2020-05-21 | Microsoft Technology Licensing, Llc | Fine-grained image recognition |
| WO2019020075A1 (zh) * | 2017-07-28 | 2019-01-31 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
| CN108648226A (zh) * | 2018-03-30 | 2018-10-12 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN109447990A (zh) * | 2018-10-22 | 2019-03-08 | 北京旷视科技有限公司 | 图像语义分割方法、装置、电子设备和计算机可读介质 |
| CN111160379A (zh) * | 2018-11-07 | 2020-05-15 | 北京嘀嘀无限科技发展有限公司 | 图像检测模型的训练方法及装置、目标检测方法及装置 |
| CN111382654A (zh) * | 2018-12-29 | 2020-07-07 | 北京市商汤科技开发有限公司 | 图像处理方法和装置以及存储介质 |
| CN111767915A (zh) * | 2019-04-02 | 2020-10-13 | 顺丰科技有限公司 | 车牌检测方法、装置、设备及存储介质 |
| CN110852349A (zh) * | 2019-10-21 | 2020-02-28 | 上海联影智能医疗科技有限公司 | 一种图像处理方法、检测方法、相关设备及存储介质 |
| CN111881707A (zh) * | 2019-12-04 | 2020-11-03 | 马上消费金融股份有限公司 | 图像翻拍检测方法、身份验证方法、模型训练方法及装置 |
| CN111160140A (zh) * | 2019-12-13 | 2020-05-15 | 浙江大华技术股份有限公司 | 一种图像检测方法及装置 |
| CN111461217A (zh) * | 2020-03-31 | 2020-07-28 | 华南理工大学 | 一种基于特征融合和上采样的航拍图像小目标检测方法 |
| CN111723841A (zh) * | 2020-05-09 | 2020-09-29 | 北京捷通华声科技股份有限公司 | 文本检测方法、装置、电子设备及存储介质 |
| CN111667476A (zh) * | 2020-06-09 | 2020-09-15 | 创新奇智(广州)科技有限公司 | 布料瑕疵检测方法、装置、电子设备及可读存储介质 |
| CN111815579A (zh) * | 2020-06-24 | 2020-10-23 | 浙江大华技术股份有限公司 | 一种图像变化检测方法、装置及计算机可读存储介质 |
| CN111815594A (zh) * | 2020-06-29 | 2020-10-23 | 浙江大华技术股份有限公司 | 钢筋检测方法以及相关设备、装置 |
| CN112052949A (zh) * | 2020-08-21 | 2020-12-08 | 北京市商汤科技开发有限公司 | 目标模型的获取方法及装置、电子设备和存储介质 |
| CN112016443A (zh) * | 2020-08-26 | 2020-12-01 | 深圳市商汤科技有限公司 | 同行识别方法及装置、电子设备和存储介质 |
| CN111784623A (zh) * | 2020-09-07 | 2020-10-16 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 李小宁;雷涛;钟剑丹;唐自力;蒋平;: "基于改进SSD的车辆小目标检测方法", 应用光学, no. 01, 15 January 2020 (2020-01-15), pages 150 - 155 * |
| 顾婷婷;赵海涛;孙韶媛;: "基于金字塔型残差神经网络的红外图像深度估计", 红外技术, no. 05, 20 May 2018 (2018-05-20), pages 417 - 423 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591568A (zh) * | 2021-06-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 目标检测方法、目标检测模型的训练方法及其装置 |
| CN113591567A (zh) * | 2021-06-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 目标检测方法、目标检测模型的训练方法及其装置 |
| CN113449799A (zh) * | 2021-06-30 | 2021-09-28 | 上海西井信息科技有限公司 | 目标检测与分类方法、系统、设备及存储介质 |
| CN113449799B (zh) * | 2021-06-30 | 2023-11-24 | 上海西井科技股份有限公司 | 目标检测与分类方法、系统、设备及存储介质 |
| CN113673578A (zh) * | 2021-07-27 | 2021-11-19 | 浙江大华技术股份有限公司 | 图像检测方法、图像检测设备及计算机可读存储介质 |
| CN113920479A (zh) * | 2021-10-13 | 2022-01-11 | 北京易华录信息技术股份有限公司 | 一种目标检测网络构建和目标检测方法、装置及电子设备 |
| CN113963350A (zh) * | 2021-11-08 | 2022-01-21 | 西安链科信息技术有限公司 | 车辆识别检测方法、系统、计算机设备、存储介质及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112633156B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112633156A (zh) | 车辆检测方法、图像处理装置以及计算机可读存储介质 | |
| CN109101975B (zh) | 基于全卷积神经网络的图像语义分割方法 | |
| CN111915487B (zh) | 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 | |
| CN113033570B (zh) | 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法 | |
| CN111126359A (zh) | 基于自编码器与yolo算法的高清图像小目标检测方法 | |
| CN113870335A (zh) | 一种基于多尺度特征融合的单目深度估计方法 | |
| CN115410030A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN113971732A (zh) | 小目标检测方法、装置、可读存储介质及电子设备 | |
| CN113759338A (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
| CN114037893A (zh) | 一种基于卷积神经网络的高分辨率遥感图像建筑提取方法 | |
| CN116863194A (zh) | 一种足溃疡图像分类方法、系统、设备及介质 | |
| CN109658508B (zh) | 一种多尺度细节融合的地形合成方法 | |
| CN117557611A (zh) | 图像配准方法、装置、电子设备及存储介质 | |
| CN117115695A (zh) | 一种基于虚拟增强的人-物交互检测方法 | |
| CN116630912A (zh) | 三维语义占用预测方法、系统、设备、介质及产品 | |
| CN113744158B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN115170807A (zh) | 一种图像分割、模型训练方法、装置、设备及介质 | |
| CN113191947B (zh) | 一种图像超分辨率的方法及系统 | |
| CN115965839A (zh) | 图像识别方法、存储介质及设备 | |
| CN114494284A (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
| CN109815911B (zh) | 基于深度融合网络的视频运动物体检测系统、方法及终端 | |
| CN114092827A (zh) | 一种图像数据集生成方法 | |
| CN113450364A (zh) | 一种基于三维通量模型的树状结构中心线提取方法 | |
| CN112669240A (zh) | 高清图像修复方法、装置、电子设备和存储介质 | |
| CN114399453B (zh) | 一种基于生成对抗网络的人脸表情合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |