CN112580492A - 车辆检测方法及装置 - Google Patents
车辆检测方法及装置 Download PDFInfo
- Publication number
- CN112580492A CN112580492A CN202011484240.5A CN202011484240A CN112580492A CN 112580492 A CN112580492 A CN 112580492A CN 202011484240 A CN202011484240 A CN 202011484240A CN 112580492 A CN112580492 A CN 112580492A
- Authority
- CN
- China
- Prior art keywords
- input data
- vehicle detection
- preset
- shift
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 176
- 238000013139 quantization Methods 0.000 claims abstract description 85
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Abstract
本申请实施例涉及目标检测技术领域，提供了一种车辆检测方法及装置，所述车辆检测方法包括：获取待检测图像；将所述待检测图像输入至车辆检测模型，得到由所述车辆检测模型输出的所述待检测图像中是否存在车辆的检测结果。通过车辆检测模型，可以占用较少的计算机资源即可实现车辆检测，而且消耗时间短，可以提高车辆检测速度。而且，卷积神经网络中包含拼接层，通过拼接层的每项输入数据对应的预设量化系数以及预设移位信息，使得拼接层可以对两项定点型的输入数据进行拼接，拼接得到的输出数据也为定点型数据，保证了卷积神经网络中拼接层后面的其它层的输入数据也为定点型数据。
Description
技术领域
本申请涉及目标检测技术领域，尤其涉及一种车辆检测方法及装置。
背景技术
目前，主动辅助驾驶及无人驾驶系统已成为研究热点，车辆检测是这些技术的共同基础。经过几十年的发展，车辆检测技术取得巨大进步，检测精度得到了提升。车辆检测一般有两种方式：非视觉传感器检测和基于视觉的检测。基于计算机视觉的车辆检测方法价格低廉、安装使用方便，因而更具应用前景，同时也受到更多研究者的关注。但是由于复杂环境、成像角度、光照变化、车型多样性等影响，基于计算机视觉的车辆检测仍然是一个极具挑战性的问题。
基于计算机视觉的车辆检测方法主要有基于特征、基于光流法、基于模版和基于机器学习四种方法。随着机器学习领域理论和技术的不断发展，基于机器学习的车辆检测方法已成为主流方法，其中深度学习方法更是主要研究方向。
作为深度学习方法之一的卷积神经网络，将图像作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。同时，这种网络结构对平移、比例缩放、倾斜或者共它形式的变形具有高度不变性，而行驶过程中车辆在尺度、位置、方向上有诸多变化，因此将卷积神经网络应用于车辆检测，可以提高检测的精度。但是在利用神经网络进行车辆检测的过程中，存在着大量复杂的数据运算，如各个网络层的浮点型模型参数与可能为小数形式的图像数据之间的运算，导致车辆检测时占用的计算机资源多、消耗时间长。而且，在利用神经网络模型处理任务时，经常需要重新构建神经网络模型，此时对各个网络层的参数处理的复杂度会导致构建模型效率低下，进而极大地降低了神经网络模型进行车辆检测的效率，严重影响实时性，不利于车辆检测速度的提高。
发明内容
本申请提供一种车辆检测方法及装置，以实现占用较少的计算机资源即可实现车辆检测，而且消耗时间短，可以提高车辆检测速度。
本申请提供一种车辆检测方法，包括：
获取待检测图像；
将所述待检测图像输入至车辆检测模型，得到由所述车辆检测模型输出的所述待检测图像中是否存在车辆的检测结果；
其中，所述车辆检测模型基于卷积神经网络构建，所述卷积神经网络包括拼接层，所述拼接层用于基于所述拼接层的每项输入数据对应的预设量化系数以及预设移位信息，对所述拼接层的至少两项输入数据进行拼接；所述预设量化系数用于与对应的输入数据相乘，所述预设移位信息用于对所述预设量化系数与对应的输入数据相乘的结果进行移位；
所述拼接层的输出数据对应有预先确定的第一类定点系数，所述拼接层的每项输入数据均对应有预先确定的第二类定点系数，所述预设量化系数基于所述第一类定点系数、所有项输入数据对应的第二类定点系数中的最大值以及每项输入数据对应的预设移位信息确定；所述输入数据以及所述输出数据均为定点型数据，所述车辆检测模型基于携带有车辆标签的样本图像训练得到。
根据本申请提供的一种车辆检测方法，所述拼接层具体用于：
计算每项输入数据与每项输入数据对应的预设量化系数的乘积，得到第一乘积结果，并对所述第一乘积结果进行取整操作；
基于所述预设移位信息，对取整操作的结果进行移位处理；
将所有输入数据对应的移位处理结果进行拼接。
根据本申请提供的一种车辆检测方法，所述拼接层的每项输入数据均分别对应一预设移位信息，所述预设移位信息包括移位方向和移位位数，所述移位方向为右移；相应地，
所述预设量化系数基于如下方法离线确定：
计算输出数据对应的第一类定点系数与所述最大值的比值；
计算所述比值与2的指数次幂的乘积，得到第二乘积结果；所述指数为每项输入数据对应的移位位数；
将所述第二乘积结果进行取整操作，得到每项输入数据对应的预设量化系数。
根据本申请提供的一种车辆检测方法，所述移位位数为8～16位。
本申请提供一种车辆检测装置，包括：图像获取模块和检测模块。其中，
图像获取模块用于获取待检测图像；
检测模块用于将所述待检测图像输入至车辆检测模型，得到由所述车辆检测模型输出的所述待检测图像中是否存在车辆的检测结果；
其中，所述车辆检测模型基于卷积神经网络构建，所述卷积神经网络包括拼接层，所述拼接层用于基于所述拼接层的每项输入数据对应的预设量化系数以及预设移位信息，对所述拼接层的至少两项输入数据进行拼接；所述预设量化系数用于与对应的输入数据相乘，所述预设移位信息用于对所述预设量化系数与对应的输入数据相乘的结果进行移位；
所述拼接层的输出数据对应有预先确定的第一类定点系数，所述拼接层的每项输入数据均对应有预先确定的第二类定点系数，所述预设量化系数基于所述第一类定点系数、所有项输入数据对应的第二类定点系数中的最大值以及每项输入数据对应的预设移位信息确定；所述输入数据以及所述输出数据均为定点型数据，所述车辆检测模型基于携带有车辆标签的样本图像训练得到。
根据本申请提供的一种车辆检测装置，所述拼接层具体用于：
计算每项输入数据与每项输入数据对应的预设量化系数的乘积，得到第一乘积结果，并对所述第一乘积结果进行取整操作；
基于所述预设移位信息，对取整操作的结果进行移位处理；
将所有输入数据对应的移位处理结果进行拼接。
根据本申请提供的一种车辆检测装置，所述拼接层的每项输入数据均分别对应一预设移位信息，所述预设移位信息包括移位方向和移位位数，所述移位方向为右移；相应地，
所述车辆检测装置还包括预设量化系数离线确定模块，用于：
计算输出数据对应的第一类定点系数与所述最大值的比值；
计算所述比值与2的指数次幂的乘积，得到第二乘积结果；所述指数为每项输入数据对应的移位位数；
将所述第二乘积结果进行取整操作，得到每项输入数据对应的预设量化系数。
根据本申请提供的一种车辆检测装置，所述移位位数为8～16位。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述车辆检测方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述车辆检测方法的步骤。
本申请提供的车辆检测方法及装置，通过车辆检测模型，可以占用较少的计算机资源即可实现车辆检测，而且消耗时间短，可以提高车辆检测速度。而且，卷积神经网络中包含拼接层，通过拼接层的每项输入数据对应的预设量化系数以及预设移位信息，可以实现对拼接层的至少两项输入数据进行顺利拼接，拼接得到的数据也为定点型数据，保证了卷积神经网络中拼接层后面的其它层的输入数据也为定点型数据。另外，本申请实施例中给出了确定预设量化系数的具体方法，保证了方案的可行性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的车辆检测方法的流程示意图；
图2是本申请提供的车辆检测方法中车辆检测模型的拼接层的操作流程示意图；
图3是本申请提供的车辆检测方法中确定预设量化系数的实施方式的流程示意图；
图4是本申请提供的车辆检测装置的结构示意图；
图5是本申请提供的车辆检测装置的结构示意图；
图6是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
由于现有技术中，在利用神经网络进行车辆检测的过程中，存在着大量复杂的数据运算，如各个网络层的浮点型模型参数与可能为小数形式的图像数据之间的运算，导致车辆检测时占用的计算机资源多、消耗时间长。而且，在利用神经网络模型处理任务时，经常需要重新构建神经网络模型，此时对各个网络层的参数处理的复杂度会导致构建模型效率低下，进而极大地降低了神经网络模型进行车辆检测的效率，严重影响实时性，不利于车辆检测速度的提高。为此，本申请实施例中提供了一种车辆检测方法，以解决现有技术中存在的问题。
图1为本申请实施例中提供的一种车辆检测方法的流程示意图，如图1所示，该方法包括：
S11，获取待检测图像；
S12，将所述待检测图像输入至车辆检测模型，得到由所述车辆检测模型输出的所述待检测图像中是否存在车辆的检测结果；
其中，所述车辆检测模型基于卷积神经网络构建，所述卷积神经网络包括拼接层，所述拼接层用于基于所述拼接层的每项输入数据对应的预设量化系数以及预设移位信息，对所述拼接层的至少两项输入数据进行拼接；所述预设量化系数用于与对应的输入数据相乘，所述预设移位信息用于对所述预设量化系数与对应的输入数据相乘的结果进行移位；
所述拼接层的输出数据对应有预先确定的第一类定点系数，所述拼接层的每项输入数据均对应有预先确定的第二类定点系数，所述预设量化系数基于所述第一类定点系数、所有项输入数据对应的第二类定点系数中的最大值以及每项输入数据对应的预设移位信息确定；所述输入数据以及所述输出数据均为定点型数据，所述车辆检测模型基于携带有车辆标签的样本图像训练得到。
具体地，本申请实施例中提供的车辆检测方法，其执行主体为服务器，具体可以是服务器，例如即可以是云端服务器也可以是本地服务器，本地服务器具体可以是计算机、平板电脑以及智能手机等，本申请实施例中对此不作具体限定。
在进行车辆检测时，首先执行步骤S11，获取待检测图像，待检测图像是指需要检测其中是否包含有车辆的图像，在待检测图像中可以包含有车辆、人物、物品以及某种标志物等。待检测图像可以通过平面上的二维像素点和RGB通道构成的三维矩阵进行表示，该矩阵中各元素的取值均为整数，取值范围可以是[0,255]。
然后执行步骤S12，在将步骤S11获取的待检测图像输入至车辆检测模型之前，还包括对待检测图像进行预处理，预处理操作可以包括调整待检测图像的尺寸，并对待检测图像进行归一化处理，可以将图像尺寸调整为64*256，将待检测图像中的像素值调整到-1至1之间。然后，将预处理后的待检测图像输入至车辆检测模型，车辆检测模型对待检测图像进行识别检测，并输出待检测图像中是否存在车辆的检测结果。若待检测图像中存在车辆，则检测结果包括表示车辆位置的标识，若待检测图像不存在车辆，则检测结果直接为不存在车辆。车辆检测模型具体是基于卷积神经网络构建的，卷积神经网络(ConvolutionalNeural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks，SIANN)”。
卷积神经网络可以包括输入层、隐藏层和输出层，输入层用于接收待检测图像，隐藏层用于对待检测图像进行检测出来，输出层用于将检测结果进行输出。隐藏层可以包括卷积层、池化层和全连接层，卷积层用于进行特征提取，得到特征图，并将得到的特征图输入至池化层进行特征选择和信息过滤，全连接层位于隐含层的最后部分，用于对特征进行非线性组合。特征图在全连接层中会失去空间拓扑结构，被展开为向量。卷积层中包含有拼接层，即Concat层，以实现特征拼接，即拼接层的输入数据均为特征矩阵，输出数据为拼接后得到的特征矩阵。
本申请实施例中采用的卷积神经网络中的模型参数以及处理的数据均为定点型数据，因此拼接层的输入数据以及所述输出数据均为定点型数据，但是现有的拼接层均是针对于输入数据是浮点型数据实现的拼接作用，并没有针对于输入数据是定点型数据实现拼接的作用，因此本申请实施例中引入预设量化系数以及预设移位信息，通过将预设量化系数与定点型的输入数据进行相乘，通过预设移位信息实现对预设量化系数与定点型的输入数据的相乘结果进行移位，使得输入数据经过与预设量化系数相乘以及移位操作后，可以直接进行拼接，拼接得到的输出数据也为定点型数据。需要说明的是，本申请实施例中提及的拼接层基于拼接层的每项输入数据对应的预设量化系数以及预设移位信息，对所述拼接层的至少两项输入数据进行拼接的过程，可以理解为是对拼接层进行定点计算的过程。通过预设量化系数以及预设移位信息，可以共同实现对每项输入数据进行大小调整。
拼接层的输入数据可以有多项，即至少两项，输入数据的项数与预设量化系数的个数相等，每项输入数据都对应有一预设量化系数，如此可以保证每项输入数据相互独立的分别与对应的预设量化系数进行相乘，以体现不同项输入数据的差异性，提高输入数据调整的准确性，进而提高拼接层的输出数据的准确性，保证了检测结果的准确性。
拼接层的每项输入数据均对应有一预设量化系数，不同项输入数据对应的预设量化系数可以相同也可以不同。预设量化系数既可以在线计算也可以离线计算后传输至卷积神经网络，本申请实施例中对此不作具体限定。
在计算预设量化系数时，首先确定出拼接层的输出数据对应的第一类定点系数以及每项输入数据对应的第二类定点系数。其中，输出数据对应的第一类定点系数是输出数据的定点型数据与浮点型数据之间的转换系数，每项输入数据对应的第二类定点系数是每项输入数据的定点型数据与浮点型数据之间的转换系数。第一类定点系数和第二类定点系数均可以通过统计得到，本申请实施例中对其确定方式在此不作具体限定。由于每项输入数据均对应一第二类定点系数，因此可以确定出所有输入数据对应的第二类定点系数的最大值。
预设移位信息可以包括移位方向以及移位位数，移位方向可以包括左移和右移，移位位数可以根据需要进行设定，本申请实施例中对此不作具体限定。其中，对于不同项输入数据，预设移位信息可以相同也可以不同，移位方向既可以固定为左移或者右移，也可以根据输入数据的真实值进行确定，移位位数既可以为定值，也可以根据输入数据的绝对值进行确定，本申请实施例中对此不作具体限定。需要说明的是，移位位数为大于0的正整数。通过预设移位信息实现对预设量化系数与定点型的输入数据的相乘结果进行移位时，移位的操作可以通过相乘结果与2的指数次幂的乘积或者比值表示，其中的指数表示移位位数，乘积表示左移，比值表示右移。
最后，根据拼接层的输出数据对应的第一类定点系数、所有项输入数据对应的第二类定点系数中的最大值以及每项输入数据对应的预设移位信息即可确定出预设量化系数。
本申请实施例中，车辆检测模型由卷积神经网络构建，并基于携带有车辆标签的样本图像，对卷积神经网络进行训练得到车辆检测模型。车辆标签是指样本图像中是否包含有车辆以及包含的车辆位置的标识信息。在对卷积神经网络进行训练时，将样本图像作为输入，得到卷积神经网络输出的检测结果，然后通过该检测结果与车辆标签计算损失函数，若损失函数最小则训练结束。将样本图像输入至卷积神经网络之前，还可以对样本图像进行预处理。
在通过车辆检测模型对待检测进行检测时，由于车辆检测模型基于卷积神经网络构建，进行运算的数据均为定点型数据，可以占用较少的计算机资源即可实现车辆检测，而且消耗时间短，可以提高车辆检测速度。而且，卷积神经网络中包含拼接层，通过预设量化系数以及预设移位信息，可以实现对拼接层的至少两项输入数据进行顺利拼接，拼接得到的数据也为定点型数据，保证了卷积神经网络中拼接层后面的其它层的输入数据也为定点型数据。
本申请实施例中提供的车辆检测方法，首先获取待检测图像；然后将待检测图像输入至车辆检测模型，得到由所述车辆检测模型输出的所述待检测图像中是否存在车辆的检测结果。车辆检测模型基于卷积神经网络构建，卷积神经网络包括拼接层，拼接层基于拼接层的每项输入数据对应的预设量化系数以及预设移位信息，对拼接层的至少两项输入数据进行拼接。通过车辆检测模型，可以占用较少的计算机资源即可实现车辆检测，而且消耗时间短，可以提高车辆检测速度。而且，卷积神经网络中包含拼接层，通过拼接层的每项输入数据对应的预设量化系数以及预设移位信息，可以实现对拼接层的至少两项输入数据进行顺利拼接，拼接得到的数据也为定点型数据，保证了卷积神经网络中拼接层后面的其它层的输入数据也为定点型数据。另外，本申请实施例中给出了确定预设量化系数的具体方法，保证了方案的可行性。
如图2所示，在上述实施例的基础上，本申请实施例中提供的车辆检测方法，所述拼接层具体用于：
S21，计算每项输入数据与每项输入数据对应的预设量化系数的乘积，得到第一乘积结果，并对所述第一乘积结果进行取整操作；
S22，基于所述预设移位信息，对取整操作的结果进行移位处理；
S23，将所有输入数据对应的移位处理结果进行拼接。
具体地，拼接层在对各项输入数据进行拼接时，首先可以计算出每项输入数据与每项输入数据对应的预设量化系数的乘积，得到第一乘积结果。然后根据预设移位信息，对第一乘积结果进行移位处理，最后则将所有的移位处理结果进行拼接。例如，拼接层具有两项输入数据，均为定点型数据，分别为y1和y2，y1对应的预设量化系数为s1，y2对应的预设量化系数为s2，y1的移位位数为n1，移位方向为右移，y2的移位位数为n2，移位方向为右移。
y1的移位处理结果可以表示为：
y2的移位处理结果可以表示为：
将所有的移位处理结果进行拼接得到的输出数据y3可以表示为：
其中，||表示拼接运算符。
本申请实施例中，拼接层通过计算每项输入数据与每项输入数据对应的预设量化系数的乘积，得到第一乘积结果，并根据预设移位信息对得到第一乘积结果进行移位处理，可以实现对所有输入数据对应的移位处理结果进行拼接。而且，整个过程均是针对定点型数据的处理，提高了拼接效率。
如图3所示，在上述实施例的基础上，本申请实施例中提供的车辆检测方法，所述拼接层的每项输入数据均分别对应一预设移位信息，所述预设移位信息包括移位方向和移位位数，所述移位方向为右移；相应地，
所述预设量化系数基于如下方法离线确定：
S31，计算输出数据对应的第一类定点系数与所述最大值的比值；
S32，计算所述比值与2的指数次幂的乘积，得到第二乘积结果；所述指数为每项输入数据对应的移位位数；
S33，将所述第二乘积结果进行取整操作，得到每项输入数据对应的预设量化系数。
具体地，本申请实施例中的预设量化系数可以是离线确定后供拼接层使用的。每项输入数据均分别对应一预设移位信息，可实现每项输入数据的移位操作相互独立，移位操作更具有个性化以及针对性。预设移位信息包括移位方向和移位位数，移位方向为右移，移位位数可以根据需要进行设定，本申请实施例中对此不作具体限定。
取整操作可以是向下取整、向上取整或者四舍五入取整，本申请实施例中对此不作具体限定。例如，y3对应的第一类定点系数为q3，y1对应的第二类定点系数为q1，对应的移位位数为n1，y2对应的第二类定点系数为q2，对应的移位位数为n2，则y1对应的预设量化系数s1可以先通过如下公式确定s1′，并对s1′进行取整操作得到：
y2对应的预设量化系数s2可以先通过如下公式确定s2′，并对s2′进行取整操作得到：
本申请实施例中，给出了离线确定预设量化系数的具体方法，简单易行，可以节约车辆检测的计算资源，并且可以提高拼接速度，进而提高车辆检测的效率。
设y1对应的浮点型数据为y1′，y2对应的浮点型数据为y2′，拼接层可以直接对y1′和y2′进行拼接，得到的拼接结果为浮点型数据y3′，即有：
y3′＝y1′||y2′
对上式进行变换可以得到：
令：q1＝max(q1,q2)，q2＝max(q1,q2)，则有：
令：
对s1′进行取整操作得到s1，对s2′进行取整操作得到s2。
则有：
与上述输出数据y3的计算公式一致，证明了本申请中的拼接层的功能的可实现性。
在上述实施例的基础上，本申请实施例中提供的车辆检测方法，所述移位位数为8～16位。移位位数越大精度损失越小，移位位数越小存储空间占用越小，因此可以根据精度损失需求以及存储空间需求选取合适的移位位数取值，本申请实施例中对此不作具体限定。
在上述实施例的基础上，本申请实施例中提供的车辆检测方法，所述预设移位信息中的移位方向基于对应的数据的真实值确定，所述预设移位信息中的移位位数基于对应的数据的绝对值确定。
具体地，本申请实施例中在确定预设移位信息中的移位方向时，可以将对应的数据的真实值与预设数值进行比较，若真实值大于等于预设数值，则移位方向可以是向右，否则移位方向可以是向左。其中，预设数值可以根据需要进行设定，本申请实施例中对此不作具体限定。
在确定预设移位信息中的移位位数时，可以确定与对应的数据的绝对值最接近的2的指数次幂中指数的取值，然后将该取值作为移位位数。
本申请实施例中，给出了确定预设移位信息中的移位方向以及移位位数的具体方法，简单易行，可以节约车辆检测的计算资源，并且可以提高拼接速度，进而提高车辆检测的效率。
如图4所示，在上述实施例的基础上，本申请实施例中提供了一种车辆检测装置，包括：图像获取模块41和检测模块42。其中，
图像获取模块41用于获取待检测图像；
检测模块42用于将所述待检测图像输入至车辆检测模型，得到由所述车辆检测模型输出的所述待检测图像中是否存在车辆的检测结果；
其中，所述车辆检测模型基于卷积神经网络构建，所述卷积神经网络包括拼接层，所述拼接层用于基于所述拼接层的每项输入数据对应的预设量化系数以及预设移位信息，对所述拼接层的至少两项输入数据进行拼接；所述预设量化系数用于与对应的输入数据相乘，所述预设移位信息用于对所述预设量化系数与对应的输入数据相乘的结果进行移位；
所述拼接层的输出数据对应有预先确定的第一类定点系数，所述拼接层的每项输入数据均对应有预先确定的第二类定点系数，所述预设量化系数基于所述第一类定点系数、所有项输入数据对应的第二类定点系数中的最大值以及每项输入数据对应的预设移位信息确定；所述输入数据以及所述输出数据均为定点型数据，所述车辆检测模型基于携带有车辆标签的样本图像训练得到。
在上述实施例的基础上，本申请实施例中提供的车辆检测装置，所述拼接层具体用于：
计算每项输入数据与每项输入数据对应的预设量化系数的乘积，得到第一乘积结果，并对所述第一乘积结果进行取整操作；
基于所述预设移位信息，对取整操作的结果进行移位处理；
将所有输入数据对应的移位处理结果进行拼接。
如图5所示，在上述实施例的基础上，本申请实施例中提供的车辆检测装置，所述拼接层的每项输入数据均分别对应一预设移位信息，所述预设移位信息包括移位方向和移位位数，所述移位方向为右移；
相应地，
所述车辆检测装置还包括预设量化系数离线确定模块43，用于：
计算输出数据对应的第一类定点系数与所述最大值的比值；
计算所述比值与2的指数次幂的乘积，得到第二乘积结果；所述指数为每项输入数据对应的移位位数；
将所述第二乘积结果进行取整操作，得到每项输入数据对应的预设量化系数。
在上述实施例的基础上，本申请实施例中提供的车辆检测装置，所述移位位数为8～16位。
本申请实施例提供的车辆检测装置用于执行上述车辆检测方法，其具体的实施方式与本申请实施例提供的车辆检测方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行车辆检测方法，该方法包括：获取待检测图像；将所述待检测图像输入至车辆检测模型，得到由所述车辆检测模型输出的所述待检测图像中是否存在车辆的检测结果；其中，所述车辆检测模型基于卷积神经网络构建，所述卷积神经网络包括拼接层，所述拼接层用于基于所述拼接层的每项输入数据对应的预设量化系数以及预设移位信息，对所述拼接层的至少两项输入数据进行拼接；所述预设量化系数用于与对应的输入数据相乘，所述预设移位信息用于对所述预设量化系数与对应的输入数据相乘的结果进行移位；所述拼接层的输出数据对应有预先确定的第一类定点系数，所述拼接层的每项输入数据均对应有预先确定的第二类定点系数，所述预设量化系数基于所述第一类定点系数、所有项输入数据对应的第二类定点系数中的最大值以及每项输入数据对应的预设移位信息确定；所述输入数据以及所述输出数据均为定点型数据，所述车辆检测模型基于携带有车辆标签的样本图像训练得到。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器610可以调用存储器630中的逻辑指令，实现上述车辆检测方法，其具体的实施方式与本申请实施例提供的车辆检测方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的车辆检测方法可相互对应参照。
所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的车辆检测方法，该方法包括：获取待检测图像；将所述待检测图像输入至车辆检测模型，得到由所述车辆检测模型输出的所述待检测图像中是否存在车辆的检测结果；其中，所述车辆检测模型基于卷积神经网络构建，所述卷积神经网络包括拼接层，所述拼接层用于基于所述拼接层的每项输入数据对应的预设量化系数以及预设移位信息，对所述拼接层的至少两项输入数据进行拼接；所述预设量化系数用于与对应的输入数据相乘，所述预设移位信息用于对所述预设量化系数与对应的输入数据相乘的结果进行移位；所述拼接层的输出数据对应有预先确定的第一类定点系数，所述拼接层的每项输入数据均对应有预先确定的第二类定点系数，所述预设量化系数基于所述第一类定点系数、所有项输入数据对应的第二类定点系数中的最大值以及每项输入数据对应的预设移位信息确定；所述输入数据以及所述输出数据均为定点型数据，所述车辆检测模型基于携带有车辆标签的样本图像训练得到。
本申请实施例提供的计算机程序产品被执行时，实现上述车辆检测方法，其具体的实施方式与本申请实施例提供的车辆检测方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的车辆检测方法可相互对应参照。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的车辆检测方法，该方法包括：获取待检测图像；将所述待检测图像输入至车辆检测模型，得到由所述车辆检测模型输出的所述待检测图像中是否存在车辆的检测结果；其中，所述车辆检测模型基于卷积神经网络构建，所述卷积神经网络包括拼接层，所述拼接层用于基于所述拼接层的每项输入数据对应的预设量化系数以及预设移位信息，对所述拼接层的至少两项输入数据进行拼接；所述预设量化系数用于与对应的输入数据相乘，所述预设移位信息用于对所述预设量化系数与对应的输入数据相乘的结果进行移位；所述拼接层的输出数据对应有预先确定的第一类定点系数，所述拼接层的每项输入数据均对应有预先确定的第二类定点系数，所述预设量化系数基于所述第一类定点系数、所有项输入数据对应的第二类定点系数中的最大值以及每项输入数据对应的预设移位信息确定；所述输入数据以及所述输出数据均为定点型数据，所述车辆检测模型基于携带有车辆标签的样本图像训练得到。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述车辆检测方法，其具体的实施方式与本申请实施例提供的车辆检测方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种车辆检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入至车辆检测模型，得到由所述车辆检测模型输出的所述待检测图像中是否存在车辆的检测结果；
其中，所述车辆检测模型基于卷积神经网络构建，所述卷积神经网络包括拼接层，所述拼接层用于基于所述拼接层的每项输入数据对应的预设量化系数以及预设移位信息，对所述拼接层的至少两项输入数据进行拼接；所述预设量化系数用于与对应的输入数据相乘，所述预设移位信息用于对所述预设量化系数与对应的输入数据相乘的结果进行移位；
所述拼接层的输出数据对应有预先确定的第一类定点系数，所述拼接层的每项输入数据均对应有预先确定的第二类定点系数，所述预设量化系数基于所述第一类定点系数、所有项输入数据对应的第二类定点系数中的最大值以及每项输入数据对应的预设移位信息确定；所述输入数据以及所述输出数据均为定点型数据，所述车辆检测模型基于携带有车辆标签的样本图像训练得到。
2.根据权利要求1所述的车辆检测方法，其特征在于，所述拼接层具体用于：
计算每项输入数据与每项输入数据对应的预设量化系数的乘积，得到第一乘积结果，并对所述第一乘积结果进行取整操作；
基于所述预设移位信息，对取整操作的结果进行移位处理；
将所有输入数据对应的移位处理结果进行拼接。
3.根据权利要求1所述的车辆检测方法，其特征在于，所述拼接层的每项输入数据均分别对应一预设移位信息，所述预设移位信息包括移位方向和移位位数，所述移位方向为右移；相应地，
所述预设量化系数基于如下方法离线确定：
计算输出数据对应的第一类定点系数与所述最大值的比值；
计算所述比值与2的指数次幂的乘积，得到第二乘积结果；所述指数为每项输入数据对应的移位位数；
将所述第二乘积结果进行取整操作，得到每项输入数据对应的预设量化系数。
4.根据权利要求3所述的车辆检测方法，其特征在于，所述移位位数为8～16位。
5.一种车辆检测装置，其特征在于，包括：
图像获取模块，用于获取待检测图像；
检测模块，用于将所述待检测图像输入至车辆检测模型，得到由所述车辆检测模型输出的所述待检测图像中是否存在车辆的检测结果；
其中，所述车辆检测模型基于卷积神经网络构建，所述卷积神经网络包括拼接层，所述拼接层用于基于所述拼接层的每项输入数据对应的预设量化系数以及预设移位信息，对所述拼接层的至少两项输入数据进行拼接；所述预设量化系数用于与对应的输入数据相乘，所述预设移位信息用于对所述预设量化系数与对应的输入数据相乘的结果进行移位；
所述拼接层的输出数据对应有预先确定的第一类定点系数，所述拼接层的每项输入数据均对应有预先确定的第二类定点系数，所述预设量化系数基于所述第一类定点系数、所有项输入数据对应的第二类定点系数中的最大值以及每项输入数据对应的预设移位信息确定；所述输入数据以及所述输出数据均为定点型数据，所述车辆检测模型基于携带有车辆标签的样本图像训练得到。
6.根据权利要求5所述的车辆检测装置，其特征在于，所述拼接层具体用于：
计算每项输入数据与每项输入数据对应的预设量化系数的乘积，得到第一乘积结果，并对所述第一乘积结果进行取整操作；
基于所述预设移位信息，对取整操作的结果进行移位处理；
将所有输入数据对应的移位处理结果进行拼接。
7.根据权利要求5所述的车辆检测装置，其特征在于，所述拼接层的每项输入数据均分别对应一预设移位信息，所述预设移位信息包括移位方向和移位位数，所述移位方向为右移；相应地，
所述车辆检测装置还包括预设量化系数离线确定模块，用于：
计算输出数据对应的第一类定点系数与所述最大值的比值；
计算所述比值与2的指数次幂的乘积，得到第二乘积结果；所述指数为每项输入数据对应的移位位数；
将所述第二乘积结果进行取整操作，得到每项输入数据对应的预设量化系数。
8.根据权利要求7所述的车辆检测装置，其特征在于，所述移位位数为8～16位。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述车辆检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述车辆检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011484240.5A CN112580492A (zh) | 2020-12-15 | 2020-12-15 | 车辆检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011484240.5A CN112580492A (zh) | 2020-12-15 | 2020-12-15 | 车辆检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112580492A true CN112580492A (zh) | 2021-03-30 |
Family
ID=75135471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011484240.5A Pending CN112580492A (zh) | 2020-12-15 | 2020-12-15 | 车辆检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580492A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023000898A1 (zh) * | 2021-07-20 | 2023-01-26 | 腾讯科技（深圳）有限公司 | 图像分割模型量化方法、装置、计算机设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019238029A1 (zh) * | 2018-06-12 | 2019-12-19 | 华为技术有限公司 | 卷积神经网络系统和卷积神经网络量化的方法 |
| CN111612008A (zh) * | 2020-05-21 | 2020-09-01 | 苏州大学 | 基于卷积网络的图像分割方法 |
| CN111656315A (zh) * | 2019-05-05 | 2020-09-11 | 深圳市大疆创新科技有限公司 | 一种基于卷积神经网络架构的数据处理方法及装置 |
| CN111695671A (zh) * | 2019-03-12 | 2020-09-22 | 北京地平线机器人技术研发有限公司 | 训练神经网络的方法及装置、电子设备 |
| CN111931917A (zh) * | 2020-08-20 | 2020-11-13 | 浙江大华技术股份有限公司 | 前向计算的实现方法及装置、存储介质、电子装置 |
-
2020
- 2020-12-15 CN CN202011484240.5A patent/CN112580492A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019238029A1 (zh) * | 2018-06-12 | 2019-12-19 | 华为技术有限公司 | 卷积神经网络系统和卷积神经网络量化的方法 |
| CN110598839A (zh) * | 2018-06-12 | 2019-12-20 | 华为技术有限公司 | 卷积神经网络系统和卷积神经网络量化的方法 |
| CN111695671A (zh) * | 2019-03-12 | 2020-09-22 | 北京地平线机器人技术研发有限公司 | 训练神经网络的方法及装置、电子设备 |
| CN111656315A (zh) * | 2019-05-05 | 2020-09-11 | 深圳市大疆创新科技有限公司 | 一种基于卷积神经网络架构的数据处理方法及装置 |
| WO2020223856A1 (zh) * | 2019-05-05 | 2020-11-12 | 深圳市大疆创新科技有限公司 | 一种基于卷积神经网络架构的数据处理方法及装置 |
| CN111612008A (zh) * | 2020-05-21 | 2020-09-01 | 苏州大学 | 基于卷积网络的图像分割方法 |
| CN111931917A (zh) * | 2020-08-20 | 2020-11-13 | 浙江大华技术股份有限公司 | 前向计算的实现方法及装置、存储介质、电子装置 |
Non-Patent Citations (3)
| Title |
|---|
| BENOIT JACOB等: "Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference", 《ARXIV:1712.05877V1 [CS.LG]》, 15 December 2017 (2017-12-15), pages 1 - 14, XP002798211 * |
| JERMMY: "神 经 网 络 量 化 入 门 --Add 和 Concat", 《HTTPS://MP.WEIXIN.QQ.COM/S/QT3SU8M9NTHOY_DZK78I6G》, 13 December 2020 (2020-12-13), pages 1 - 6 * |
| RAGHURAMAN KRISHNAMOORTHI: "Quantizing deep convolutional networks for efficient inference: A whitepaper", 《ARXIV:1806.08342V1 [CS.LG]》, 21 June 2018 (2018-06-21), pages 1 - 36 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023000898A1 (zh) * | 2021-07-20 | 2023-01-26 | 腾讯科技（深圳）有限公司 | 图像分割模型量化方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110473141B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN107292352B (zh) | 基于卷积神经网络的图像分类方法和装置 | |
| CN113920307A (zh) | 模型的训练方法、装置、设备、存储介质及图像检测方法 | |
| CN110610526B (zh) | 一种基于wnet对单目人像进行分割和景深渲染的方法 | |
| CN109509248B (zh) | 一种基于神经网络的光子映射渲染方法和系统 | |
| CN109389667B (zh) | 一种基于深度学习的高效全局光照明绘制方法 | |
| CN112634343A (zh) | 图像深度估计模型的训练方法、图像深度信息的处理方法 | |
| CN112270332A (zh) | 一种基于子流稀疏卷积的三维目标检测方法及系统 | |
| WO2023154006A2 (en) | Method and system for a high-frequency attention network for efficient single image super-resolution | |
| CN112580492A (zh) | 车辆检测方法及装置 | |
| CN109903323B (zh) | 用于透明物体识别的训练方法、装置、存储介质及终端 | |
| CN110110775A (zh) | 一种基于超连接网络的匹配代价计算方法 | |
| CN112561933A (zh) | 图像分割方法及装置 | |
| CN112541438A (zh) | 文本识别方法及装置 | |
| CN117217274A (zh) | 向量处理器、神经网络加速器、芯片及电子设备 | |
| CN112949504B (zh) | 立体匹配方法、装置、设备及存储介质 | |
| CN116205927A (zh) | 一种基于边界增强的图像分割方法 | |
| CN112541549B (zh) | 商品分类识别方法及装置 | |
| EP4170547A1 (en) | Method for extracting data features, and related apparatus | |
| CN114998172A (zh) | 图像处理方法及相关系统 | |
| CN114298291A (zh) | 一种模型量化处理系统及一种模型量化处理方法 | |
| CN112560677A (zh) | 指纹识别方法及装置 | |
| KR20220083820A (ko) | 뉴럴 네트워크 프로세서에서의 3차원 콘볼루션 | |
| CN113255446B (zh) | 人脸检测系统 | |
| CN113963337B (zh) | 物体图像轮廓基元提取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |