CN112766206B - 一种高位视频车辆检测方法、装置、电子设备和存储介质 - Google Patents

一种高位视频车辆检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112766206B
CN112766206B CN202110120155.9A CN202110120155A CN112766206B CN 112766206 B CN112766206 B CN 112766206B CN 202110120155 A CN202110120155 A CN 202110120155A CN 112766206 B CN112766206 B CN 112766206B
Authority
CN
China
Prior art keywords
network model
feature extraction
module
vehicle
extraction network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110120155.9A
Other languages
English (en)
Other versions
CN112766206A (zh
Inventor
唐健
祝严刚
黄海波
陶昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN202110120155.9A priority Critical patent/CN112766206B/zh
Publication of CN112766206A publication Critical patent/CN112766206A/zh
Application granted granted Critical
Publication of CN112766206B publication Critical patent/CN112766206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种高位视频车辆检测方法，包括：获取标注好的训练数据集；利用训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型；其中，初始特征提取网络模型含有2D和3D检测模块；将待检测图片输入特征提取网络模型，得到车辆检测结果；车辆检测结果包括2D检测结果和3D检测结果。该方法不仅能够获取到车辆的2D检测信息，还能获取到车辆的3D检测信息，能够有效实现3D车辆检测，充分获取车辆的多维信息，利于精确判断后续高位停车事件。本申请同时还提供了一种高位视频车辆检测装置、一种电子设备和计算机可读存储介质，具有上述有益效果。

Description

一种高位视频车辆检测方法、装置、电子设备和存储介质
技术领域
本申请涉及智能安防监控技术领域，特别涉及一种高位视频车辆检测方法、装置、电子设备和计算机可读存储介质。
背景技术
当前，高位路边停车场景下，普遍采用对高位视频中的车辆进行2d检测，获取车辆的2d信息。但单纯进行2d车辆检测，由于高位场景下存在较多遮挡，后面的车辆经常检测不到，因此检测率较低，且仅通过获取车辆2d信息，易导致出现后续的高位停车事件判断错误等问题。
发明内容
本申请的目的是提供一种高位视频车辆检测方法，不仅能够获取车辆的2D检测信息，还可获取到车辆的3D检测信息，能够有效实现3D车辆检测，充分获取车辆的多维信息，利于精确判断后续高位停车事件。其具体方案如下：
第一方面，本申请公开了一种高位视频车辆检测方法，包括：
获取标注好的训练数据集；
利用所述训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型；其中，所述初始特征提取网络模型含有2D和3D检测模块；
将待检测图片输入所述特征提取网络模型，得到车辆检测结果；所述车辆检测结果包括2D检测结果和3D检测结果。
可选的，利用所述训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型，包括：
当所述初始特征提取网络模型为mobilenet_v2网络时，对所述mobilenet_v2网络的特征提取层添加3D检测模块，生成初始centernet_mbv2_3d网络模型；
利用所述训练数据集对所述初始centernet_mbv2_3d网络模型进行训练，得到训练后的centernet_mbv2_3d网络模型。
可选的，在所述将待检测图片输入所述特征提取网络模型，得到车辆检测结果之后，还包括：
根据所述车辆检测结果中的3D坐标信息，将所述车辆检测结果中的3D检测框转化为鸟瞰图，并显示所述鸟瞰图。
可选的，所述获取标注好的训练数据集，包括：
获取标注好的初始训练数据集；
对所述初始训练数据集进行数据清洗和数据加强，得到所述训练数据集。
可选的，在所述利用所述训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型之前，还包括：
设置所述初始特征提取网络模型的优化函数为随机梯度下降函数。
可选的，还包括：
所述特征提取网络模型应用于嵌入式平台。
第二方面，本申请公开了一种高位视频车辆检测装置，包括：
获取模块，用于获取标注好的训练数据集；
训练模块，用于利用所述训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型；其中，所述初始特征提取网络模型含有2D和3D检测模块；
输入模块，用于将待检测图片输入所述特征提取网络模型，得到车辆检测结果；所述车辆检测结果包括2D检测结果和3D检测结果。
可选的，所述训练模块，包括：
生成单元，用于当所述初始特征提取网络模型为mobilenet_v2网络时，对所述mobilenet_v2网络的特征提取层添加3D检测模块，生成初始centernet_mbv2_3d网络模型；
训练单元，用于利用所述训练数据集对所述初始centernet_mbv2_3d网络模型进行训练，得到训练后的centernet_mbv2_3d网络模型。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述高位视频车辆检测方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述高位视频车辆检测方法的步骤。
本申请提供一种高位视频车辆检测方法，包括：获取标注好的训练数据集；利用所述训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型；其中，所述初始特征提取网络模型含有2D和3D检测模块；将待检测图片输入所述特征提取网络模型，得到车辆检测结果；所述车辆检测结果包括2D检测结果和3D检测结果。
可见，本申请通过利用标注好的训练数据集，对含有2D和3D检测模块的初始特征提取网络模型进行训练，得到训练好的特征提取网络模型，再将待检测图片输入该特征提取网络模型，得到车辆检测结果，该车辆检测结果中不仅包含2D检测信息，还包括车辆的3D检测信息，避免了相关技术中单纯进行2D车辆检测，丢失车辆的重要信息，导致后续高位停车事件判断错误的缺陷，能够有效实现3D车辆检测，充分获取车辆的多维信息，利于精确判断后续高位停车事件。本申请同时还提供了一种高位视频车辆检测装置、一种电子设备和计算机可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种高位视频车辆检测方法的流程图；
图2为本申请实施例所提供的一种centernet_mbv2_3d网络模型示意图；
图3为本申请实施例所提供的另一种高位视频车辆检测方法的流程图；
图4为本申请实施例所提供的一种2D检测示意图；
图5为本申请实施例所提供的一种3D检测示意图；
图6为本申请实施例所提供的一种鸟瞰图示意图；
图7为本申请实施例所提供的一种高位视频车辆检测装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在常见的高位视频车辆检测方法中，普遍采用2D检测，该方式仅获取车辆的2D信息，无法精确判断车辆的具体位置，易丢失重要的车辆的方向、尺寸等信息，即存在易漏检、信息丢失过多、车辆判断不准等一系列问题。基于上述技术问题，本实施例提供一种高位视频车辆检测方法，能够有效实现3D车辆检测，充分获取车辆的多维信息，利于精确判断后续高位停车事件，具体请参考图1，图1为本申请实施例所提供的一种高位视频车辆检测方法的流程图，具体包括：
S101、获取标注好的训练数据集。
可以理解的是，本实施例并不限定获取标注好的数据集的具体过程，可以是先获取到丰富场景下录制的2D高位视频，从中选取合适的图片作为训练样本，然后对训练样本进行人工标注，最终获取到标注好的训练数据集。本实施例中的训练数据集为标注好的图片，图片中主要标注的对象为车辆，同时还需要标注车辆的2D和3D信息。本实施例并不限定2D和3D信息的具体内容，可以包括车辆的尺寸(长、宽、高)，可以包括车牌号，也可以包括方向等，可根据实际情况进行设定。本实施例也不限定训练数据集的数据量大小，可以理解的是，数据量越大，训练得到的模型效果更优。可以理解的是，获取得到标注好的训练数据集后，可直接利用训练数据集进行模型训练，也可以是对训练数据集进行数据预处理后，再进行模型训练。
在一种具体的实施例中，为了训练得到的模型效果更优，排除异常数据对模型的影响，本实施例中获取标注好的训练数据集，可以包括：
获取标注好的初始训练数据集；
对初始训练数据集进行数据清洗和数据加强，得到训练数据集。
即本实施例中获取到标注好的初始训练数据集后，对初始训练数据集进行数据清洗和数据加强，最终得到标注好的训练数据集。可以理解的是，初始训练数据集中的数据可能会存在数据缺失或数据异常等情况，所以，为了排除异常数据对网络模型的影响，可以对初始训练数据集进行数据清洗。还有，为了进一步提高模型效果，可以对初始训练数据集进行数据加强，例如可以是对图片颜色的增强，分别对图片的亮度、对比度、色调饱和度进行增强，还可以对图片进行(0.6，1.4)比例的随机调整等。
S102、利用训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型；其中，初始特征提取网络模型含有2D和3D检测模块。
本实施例中的初始特征提取网络模型含有2D和3D检测模块，本实施例并不限定2D检测模块所包含的具体模块，也不限定3D检测模块所包含的具体模块，例如2D检测模块可以包括2D中心点热力图模块，2D中心点偏移量回归模块，2D目标尺寸模块等，3D检测模块可以包括3D深度信息模块，3D尺寸模块和方向模块等。本实施例也不限定初始特征提取网络模型的具体应用模型，可以是任意的特征提取模型，例如可以是卷积神经网络模型，可以是mobilenet_v2网络模型，也可以是其他网络模型，可根据实际情况进行选取。
在一种具体的实施例中，为了使网络模型轻量化，具有较高实时性，本实施例中利用训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型，可以包括：
当初始特征提取网络模型为mobilenet_v2网络时，对mobilenet_v2网络的特征提取层添加3D检测模块，生成初始centernet_mbv2_3d网络模型；
利用训练数据集对初始centernet_mbv2_3d网络模型进行训练，得到训练后的centernet_mbv2_3d网络模型。
即，本实施例中初始特征提取网络模型选取mobilenet_v2网络，mobilenet_v2网络具有轻量化的特点，可以使最终训练得到的模型具有轻量化和实时性的特点，具有优越的检测速度。可以理解的是，本实施例中的mobilenet_v2网络的特征提取层含有2D检测模块，并在mobilenet_v2网络的特征提取层添加了3D检测模块，构成初始centernet_mbv2_3d网络模型。由于centernet为中心点回归的方法，无需设置大量候选框，且不需要基于iou的nms。且centernet在2D检测的基础上可添加上3D检测模块，如3D尺寸模块、方向模块等，可直接进行3D检测，简单高效。本实施例并不限定3D检测模块添加的具体特征提取层的层数，可以是中间的特征提取层，也可以在最后一层特征提取层添加，从而进行多任务学习，2D模块也能促进3D模块的性能提升。然后，利用获取到的训练数据集对初始centernet_mbv2_3d网络模型进行模型训练，最终得到训练好的centernet_mbv2_3d网络模型，centernet_mbv2_3d网络模型示意图可参考图2。
本实施例也不限定特征提取网络模型的优化函数，可以是任意的优化函数。在一种具体的实施例中，为了使模型更稳定，本实施例在利用训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型之前，还可以包括：
设置初始特征提取网络模型的优化函数为随机梯度下降函数。
即设置初始特征提取网络模型的优化函数为随机梯度下降(SGD)函数，使用随机梯度下降方法对模型参数进行迭代更新，直到模型收敛为止，得到特征提取网络模型。使用随机梯度下降(SGD)作为模型的优化函数，可使模型更稳定。
以下提供一种特征提取网络模型的网络设计和训练的具体过程。
为了使模型轻量化，提升推理速度，训练网络以mobilenet_v2为骨干网络，构建了轻量的centernet_mbv2_3d网络。在mobilenet_v2的最后一个特征提取层接上多个2D特征和3D特征模块，包括2D中心点热力图模块，2D中心点偏移量回归模块，2D目标尺寸模块，3D深度信息模块，3D尺寸模块和方向模块。
在将提取到的多种2D、3D特征信息送入多任务损失函数(由中心点热力图损失函数、目标尺寸回归损失函数、中心点偏移损失函数、3D深度回归损失函数、3D尺寸回归损失函数和方向回归损失函数组合而成)进行计算。
Ldet＝λkLk+λsizeLsize+λoffLoff+λdepLdep+λdimLdim+λoriLori 式(1)
式(1)中λk为目标中心点热力图loss的权重，λsize为目标尺寸回归loss的权重，λoff为目标中心点偏移量回归loss的权重，λdep为目标3D深度回归loss的权重，λdim为目标3D尺寸回归loss的权重，λori为目标方向回归loss的权重。本实施例为了更关注中心点热力图、中心点偏移量、3D深度信息和方向，加大以上4个损失函数权重，即将λsize和λdim设为0.1，将λoff、λdep和λori设为1。
Lk的计算方式为focal loss，其中Yxyc为ground truth标注，为网络输出的标签，N为中心点个数。x和y为目标中心点的坐标，而c为中心点的类别。对于每个groundtruth标注/>根据下采样倍数R，真实点变换/>然后将其通过一个椭圆高斯核变换成一个热力图/>其中σa和σb是目标尺寸自适应在x和y方向的标准差，如式(3)所示。
和/>用于降低简单样本的loss权重，增大困难样本的loss权重；用于处理正负样本不平衡的问题，主要降低了靠近中心点的loss权重。Loff为smoothL1损失函数，通过回归输出预测偏移量/>计算预测偏移量和真实偏移量之间的loss，如式(4)所示。Lsize为smoothL1损失函数，用/>来表示目标边界框左上角和右下角的坐标，k表示目标的类别Ck，中心点坐标可表示为
通过回归输出目标尺寸计算预测目标尺寸和真实目标尺寸sk之间的loss，如式(5)所示。Ldep为L1损失函数，通过回归输出目标3D深度/>由于深度信息较难直接回归，将d做了变换，d＝1/σ(d)-1，其中σ是sigmoid函数，计算预测目标3D深度和真实目标3D深度dk之间的loss，如式(6)所示。Ldim为L1损失函数，通过回归输出目标3D尺寸信息/>计算预测目标3D尺寸信息和真实目标3D尺寸信息γk之间的loss，如式(7)所示。其中γk是物体的真实3d尺寸信息，包括长、宽、高。Lori为L1损失函数，由于方向直接回归较困难，本申请实施例用两个bin(区间)来表示方向，分别为
并在bin内部进行回归，如式(8)所示。具体来说，方向用8个标量来进行编码，每个bin有4个标量。对于一个bin，两个值用作softmax分类，其余两个值在每个bin中的相对中心角mi进行正弦和余弦值的回归。其中ci为指示函数，判断在哪个区间中，ai＝(sin(θ-mi),cos(θ-mi))。
S103、将待检测图片输入特征提取网络模型，得到车辆检测结果；车辆检测结果包括2D检测结果和3D检测结果。
本实施例中车辆检测结果包括2D检测结果和3D检测结果，2D检测结果和3D检测结果可以包括2D尺寸信息，2D检测框，3D深度信息，3D尺寸信息，方向信息(全局角度)和3D检测框等，根据具体的2D和3D检测模块而定。本实施例并不限定特征提取网络模型的应用场景，如可以部署在服务器上，嵌入式平台等，可根据实际情况进行设定。
在一种具体的实施例中，还可以包括：
特征提取网络模型应用于嵌入式平台。
即将特征提取网络模型部署于嵌入式平台，例如可以将该网络模型设置于城市高位摄像头的芯片中，可以实时检测车辆的2D和3D信息，并根据2D和3D信息准确判断高位停车事件，且该模型具有轻量化的特点。
基于上述技术方案，本实施例通过训练好的特征提取网络模型，将待检测图片输入该特征提取网络模型，得到车辆检测结果，该车辆检测结果中不仅包含2D检测信息，还包括车辆的3D检测信息，避免了相关技术中单纯进行2D车辆检测，丢失车辆的重要信息，导致后续高位停车事件判断错误的缺陷，能够有效实现3D车辆检测，充分获取车辆的多维信息，利于精确判断后续高位停车事件。
基于上述实施例，为了使车辆位置信息更直观，本实施例提供一种高位视频车辆检测方法，具体请参考图3，图3为本申请实施例所提供的另一种高位视频车辆检测方法的流程图，包括：
S301、获取标注好的训练数据集。
S302、利用训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型；其中，初始特征提取网络模型含有2D和3D检测模块。
S303、将待检测图片输入特征提取网络模型，得到车辆检测结果；车辆检测结果包括2D检测结果和3D检测结果。
步骤S301至步骤S303的具体内容可以参考上述实施例，本实施例不再进行赘述。
S304、根据车辆检测结果中的3D坐标信息，将车辆检测结果中的3D检测框转化为鸟瞰图，并显示鸟瞰图。
可以理解的是，本实施例中通过获取车辆检测结果中的3D坐标信息，再结合相机的内外参等参数，可将车辆检测结果中的3D检测框转化为鸟瞰图，并进行显示。通过鸟瞰图，可以更直观的获取到车辆的位置信息。图4，图5和图6分别是本实施例提供的2D检测示意图、3D检测示意图和鸟瞰图示意图。
基于上述技术方案，本实施例通过对含有2D和3D检测模块的初始特征提取网络模型进行训练，得到训练好的特征提取网络模型，再将待检测图片输入该特征提取网络模型，得到车辆检测结果，能够有效实现3D车辆检测，无需依赖雷达等设备，只通过单独的视觉来进行3D检测，成本较低，充分获取车辆的多维信息，利于精确判断后续高位停车事件；还可实现将高位视频车辆的3D检测框，转化为鸟瞰图并进行显示，显示更加直观。
下面对本申请实施例提供的一种高位视频车辆检测装置进行介绍，下文描述的高位视频车辆检测装置与上文描述的高位视频车辆检测方法可相互对应参照，相关模块均设置于中，参考图7，图7为本申请实施例所提供的一种高位视频车辆检测装置的结构示意图，包括：
在一些具体的实施例中，具体包括：
获取模块701，用于获取标注好的训练数据集；
训练模块702，用于利用训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型；其中，初始特征提取网络模型含有2D和3D检测模块；
输入模块703，用于将待检测图片输入特征提取网络模型，得到车辆检测结果；车辆检测结果包括2D检测结果和3D检测结果。
在一些具体的实施例中，训练模块702，包括：
生成单元，用于当初始特征提取网络模型为mobilenet_v2网络时，对mobilenet_v2网络的特征提取层添加3D检测模块，生成初始centernet_mbv2_3d网络模型；
训练单元，用于利用训练数据集对初始centernet_mbv2_3d网络模型进行训练，得到训练后的centernet_mbv2_3d网络模型。
在一些具体的实施例中，还包括：
显示模块，用于根据车辆检测结果中的3D坐标信息，将车辆检测结果中的3D检测框转化为鸟瞰图，并显示鸟瞰图。
在一些具体的实施例中，获取模块，包括：
获取单元，用于获取标注好的初始训练数据集；
数据处理单元，用于对初始训练数据集进行数据清洗和数据加强，得到训练数据集。
在一些具体的实施例中，还包括：
设置模块，用于设置初始特征提取网络模型的优化函数为随机梯度下降函数。
在一些具体的实施例中，还包括：
应用模块，用于特征提取网络模型应用于嵌入式平台。
由于高位视频车辆检测装置部分的实施例与高位视频车辆检测方法部分的实施例相互对应，因此高位视频车辆检测装置部分的实施例请参见高位视频车辆检测方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的高位视频车辆检测方法可相互对应参照。
本申请提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述高位视频车辆检测方法的步骤。
由于电子设备部分的实施例与高位视频车辆检测方法部分的实施例相互对应，因此电子设备部分的实施例请参见高位视频车辆检测方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的高位视频车辆检测方法可相互对应参照。
本申请提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述高位视频车辆检测方法的步骤。
由于计算机可读存储介质部分的实施例与高位视频车辆检测方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见高位视频车辆检测方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种高位视频车辆检测方法、装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种高位视频车辆检测方法，其特征在于，包括：
获取标注好的训练数据集；其中，所述训练数据集中标注好的信息包括相应的车辆标识信息、2D车辆特征信息、3D车辆特征信息；
利用所述训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型；其中，所述初始特征提取网络模型含有2D和3D检测模块，且2D检测模块包括2D中心点热力图模块、2D中心点偏移量回归模块、2D目标尺寸模块、3D检测模块包括3D深度信息模块、3D尺寸模块、3D方向模块；
将待检测图片输入所述特征提取网络模型，得到车辆检测结果；所述车辆检测结果包括2D检测结果和3D检测结果；
其中，所述利用所述训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型，包括：
当所述初始特征提取网络模型为mobilenet_v2网络时，对所述mobilenet_v2网络的特征提取层添加3D检测模块，生成初始centernet_mbv2_3d网络模型；
通过将所述2D车辆特征信息、3D车辆特征信息输入预设多任务损失函数进行计算，利用所述训练数据集对所述初始centernet_mbv2_3d网络模型进行训练，得到训练后的centernet_mbv2_3d网络模型；
其中，所述预设多任务损失函数包括中心点热力图损失函数、目标尺寸回归损失函数、中心点偏移损失函数、3D深度回归损失函数、3D尺寸回归损失函数、3D方向回归损失函数。
2.根据权利要求1所述的高位视频车辆检测方法，其特征在于，在所述将待检测图片输入所述特征提取网络模型，得到车辆检测结果之后，还包括：
根据所述车辆检测结果中的3D坐标信息，将所述车辆检测结果中的3D检测框转化为鸟瞰图，并显示所述鸟瞰图。
3.根据权利要求1所述的高位视频车辆检测方法，其特征在于，所述获取标注好的训练数据集，包括：
获取标注好的初始训练数据集；
对所述初始训练数据集进行数据清洗和数据加强，得到所述训练数据集。
4.根据权利要求1所述的高位视频车辆检测方法，其特征在于，在所述利用所述训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型之前，还包括：
设置所述初始特征提取网络模型的优化函数为随机梯度下降函数。
5.根据权利要求1所述的高位视频车辆检测方法，其特征在于，还包括：
所述特征提取网络模型应用于嵌入式平台。
6.一种高位视频车辆检测装置，其特征在于，包括：
获取模块，用于获取标注好的训练数据集；其中，所述训练数据集中标注好的信息包括相应的车辆标识信息、2D车辆特征信息、3D车辆特征信息；
训练模块，用于利用所述训练数据集对初始特征提取网络模型进行训练，得到训练后的特征提取网络模型；其中，所述初始特征提取网络模型含有2D和3D检测模块，且2D检测模块包括2D中心点热力图模块、2D中心点偏移量回归模块、2D目标尺寸模块、3D检测模块包括3D深度信息模块、3D尺寸模块、3D方向模块；
输入模块，用于将待检测图片输入所述特征提取网络模型，得到车辆检测结果；所述车辆检测结果包括2D检测结果和3D检测结果；
其中，所述训练模块，包括：
生成单元，用于当所述初始特征提取网络模型为mobilenet_v2网络时，对所述mobilenet_v2网络的特征提取层添加3D检测模块，生成初始centernet_mbv2_3d网络模型；
训练单元，用于通过将所述2D车辆特征信息、3D车辆特征信息输入预设多任务损失函数进行计算，利用所述训练数据集对所述初始centernet_mbv2_3d网络模型进行训练，得到训练后的centernet_mbv2_3d网络模型；
其中，所述预设多任务损失函数包括中心点热力图损失函数、目标尺寸回归损失函数、中心点偏移损失函数、3D深度回归损失函数、3D尺寸回归损失函数、3D方向回归损失函数。
7.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述高位视频车辆检测方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述高位视频车辆检测方法的步骤。
CN202110120155.9A 2021-01-28 2021-01-28 一种高位视频车辆检测方法、装置、电子设备和存储介质 Active CN112766206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110120155.9A CN112766206B (zh) 2021-01-28 2021-01-28 一种高位视频车辆检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110120155.9A CN112766206B (zh) 2021-01-28 2021-01-28 一种高位视频车辆检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112766206A CN112766206A (zh) 2021-05-07
CN112766206B true CN112766206B (zh) 2024-05-28

Family

ID=75706487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110120155.9A Active CN112766206B (zh) 2021-01-28 2021-01-28 一种高位视频车辆检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112766206B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240734B (zh) * 2021-06-01 2024-05-17 深圳市捷顺科技实业股份有限公司 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN113435318A (zh) * 2021-06-25 2021-09-24 上海商汤临港智能科技有限公司 神经网络训练、图像检测、行驶控制方法及装置
CN113963571B (zh) * 2021-10-28 2023-10-17 深圳市捷顺科技实业股份有限公司 一种车辆进出车场识别事件的处理方法及装置
CN115359650A (zh) * 2022-07-06 2022-11-18 浙江大华技术股份有限公司 停车泊位检测方法、装置、计算机设备和存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141885A (zh) * 2014-05-26 2015-12-09 杭州海康威视数字技术股份有限公司 进行视频监控的方法及装置
CN107993282A (zh) * 2017-11-06 2018-05-04 江苏省测绘研究所 一种动态的可量测实景地图制作方法
CN207832204U (zh) * 2017-12-28 2018-09-07 中国科学院沈阳自动化研究所 一种车载相机综合标定检测台
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
CN110163107A (zh) * 2019-04-22 2019-08-23 智慧互通科技有限公司 一种基于视频帧识别路侧停车行为的方法及装置
CN110246341A (zh) * 2019-07-29 2019-09-17 深圳市万泊科技有限公司 一种基于地磁雷达检测的路侧停车低高位视频融合检测方法
CN110491168A (zh) * 2019-08-09 2019-11-22 智慧互通科技有限公司 一种基于车轮着地点检测车辆停车状态的方法及装置
CN110930759A (zh) * 2019-11-01 2020-03-27 泊圣智慧停车管理有限公司 一种共享停车管理系统
CN110969205A (zh) * 2019-11-29 2020-04-07 南京恩博科技有限公司 一种基于目标检测的森林烟火检测方法、存储介质和设备
CN110992731A (zh) * 2019-12-12 2020-04-10 苏州智加科技有限公司 基于激光雷达的3d车辆检测方法、装置及存储介质
CN111009131A (zh) * 2019-12-05 2020-04-14 成都思晗科技股份有限公司 一种基于图像识别的高位视频智能停车系统
WO2020108311A1 (zh) * 2018-11-29 2020-06-04 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN111353369A (zh) * 2019-10-16 2020-06-30 智慧互通科技有限公司 一种城市路侧停车高位视频在辅助刑侦中的应用方法及系统
CN111539973A (zh) * 2020-04-28 2020-08-14 北京百度网讯科技有限公司 用于检测车辆位姿的方法及装置
CN111932693A (zh) * 2020-08-11 2020-11-13 杭州立方控股股份有限公司 城市路侧停车场管理系统
CN112232449A (zh) * 2020-12-14 2021-01-15 浙江大华技术股份有限公司 神经网络的训练方法、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494937B2 (en) * 2018-11-16 2022-11-08 Uatc, Llc Multi-task multi-sensor fusion for three-dimensional object detection
CN114463713A (zh) * 2022-02-08 2022-05-10 天津天瞳威势电子科技有限公司 一种车辆在3d空间的信息检测方法、装置及电子设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141885A (zh) * 2014-05-26 2015-12-09 杭州海康威视数字技术股份有限公司 进行视频监控的方法及装置
CN107993282A (zh) * 2017-11-06 2018-05-04 江苏省测绘研究所 一种动态的可量测实景地图制作方法
CN207832204U (zh) * 2017-12-28 2018-09-07 中国科学院沈阳自动化研究所 一种车载相机综合标定检测台
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
WO2020108311A1 (zh) * 2018-11-29 2020-06-04 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN110163107A (zh) * 2019-04-22 2019-08-23 智慧互通科技有限公司 一种基于视频帧识别路侧停车行为的方法及装置
CN110246341A (zh) * 2019-07-29 2019-09-17 深圳市万泊科技有限公司 一种基于地磁雷达检测的路侧停车低高位视频融合检测方法
CN110491168A (zh) * 2019-08-09 2019-11-22 智慧互通科技有限公司 一种基于车轮着地点检测车辆停车状态的方法及装置
CN111353369A (zh) * 2019-10-16 2020-06-30 智慧互通科技有限公司 一种城市路侧停车高位视频在辅助刑侦中的应用方法及系统
CN110930759A (zh) * 2019-11-01 2020-03-27 泊圣智慧停车管理有限公司 一种共享停车管理系统
CN110969205A (zh) * 2019-11-29 2020-04-07 南京恩博科技有限公司 一种基于目标检测的森林烟火检测方法、存储介质和设备
CN111009131A (zh) * 2019-12-05 2020-04-14 成都思晗科技股份有限公司 一种基于图像识别的高位视频智能停车系统
CN110992731A (zh) * 2019-12-12 2020-04-10 苏州智加科技有限公司 基于激光雷达的3d车辆检测方法、装置及存储介质
CN111539973A (zh) * 2020-04-28 2020-08-14 北京百度网讯科技有限公司 用于检测车辆位姿的方法及装置
CN111932693A (zh) * 2020-08-11 2020-11-13 杭州立方控股股份有限公司 城市路侧停车场管理系统
CN112232449A (zh) * 2020-12-14 2021-01-15 浙江大华技术股份有限公司 神经网络的训练方法、电子设备及存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Emotion Recognition based on 2D-3D Facial Feature Extraction from Color Image Sequences;Robert Niese;Ayoub Al-Hamadi;Axel Panning;Bernd Michaelis;Journal of Multimedia;20101231;第5卷(第5期);全文 *
Fast and robust 3D feature extraction from sparse point clouds;Jacopo Serafin;IEEE;20161201;全文 *
Xingtong Liu ; Yiping Zheng ; Benjamin Killeen ; Masaru Ishii ; Gregory D. Hager ; Russell H. Taylor ; Mathias Unberath.Extremely Dense Point Correspondences Using a Learned Feature Descriptor.万方外文会议文献数据库.2020,全文. *
一种视频检测车辆位置违章的几何方法;严捷丰;陈功;刘学亮;周荷琴;;小型微型计算机系统(第03期);全文 *
单目视觉下基于三维目标检测的车型识别方法综述;王伟;唐心瑶;宋焕生;张朝阳;;小型微型计算机系统;20200529(第06期);全文 *
基于关键点的Anchor Free目标检测模型综述;郑婷婷;杨雪;戴阳;;计算机系统应用;20200815(第08期);全文 *
基于车灯跟踪的高速公路隧道变道检测方法;陈錦华;CNKI优秀硕士学位论文全文库;20210115;全文 *

Also Published As

Publication number Publication date
CN112766206A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112766206B (zh) 一种高位视频车辆检测方法、装置、电子设备和存储介质
CN109087510B (zh) 交通监测方法及装置
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
US11922569B2 (en) Generating realistic point clouds
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
CN111899515B (zh) 一种基于智慧道路边缘计算网关的车辆检测系统
CN107545263B (zh) 一种物体检测方法及装置
CN110728295B (zh) 半监督式的地貌分类模型训练和地貌图构建方法
CN104866868A (zh) 基于深度神经网络的金属币识别方法和装置
CN111256693A (zh) 一种计算位姿变化方法及车载终端
Su et al. EpNet: Power lines foreign object detection with Edge Proposal Network and data composition
US11651191B2 (en) Methods, apparatuses, and computer program products using a repeated convolution-based attention module for improved neural network implementations
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN116844129A (zh) 多模态特征对齐融合的路侧目标检测方法、系统及装置
CN112966815A (zh) 基于脉冲神经网络的目标检测方法、系统及设备
CN113239746A (zh) 电动车检测方法、装置、终端设备及计算机可读存储介质
CN116994084A (zh) 区域入侵检测模型训练方法及区域入侵检测方法
CN111667450A (zh) 一种船只数量统计方法、装置及电子设备
CN113673478B (zh) 基于深度学习全景拼接的港口大型设备检测与识别方法
CN115909245A (zh) 一种基于深度学习的视觉多任务处理方法
CN112133100B (zh) 一种基于r-cnn的车辆检测方法
TWI619099B (zh) Intelligent multifunctional driving assisted driving recording method and system
CN114972335A (zh) 一种用于工业检测的图像分类方法、装置及计算机设备
CN114881096A (zh) 多标签的类均衡方法及其装置
Meftah et al. Deep residual network for autonomous vehicles obstacle avoidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant