CN112257609A - 一种基于自适应关键点热图的车辆检测方法及装置 - Google Patents

一种基于自适应关键点热图的车辆检测方法及装置 Download PDF

Info

Publication number
CN112257609A
CN112257609A CN202011147629.0A CN202011147629A CN112257609A CN 112257609 A CN112257609 A CN 112257609A CN 202011147629 A CN202011147629 A CN 202011147629A CN 112257609 A CN112257609 A CN 112257609A
Authority
CN
China
Prior art keywords
key point
vehicle target
heat map
target
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011147629.0A
Other languages
English (en)
Other versions
CN112257609B (zh
Inventor
雒江涛
任媛
杨莎莎
覃海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202011147629.0A priority Critical patent/CN112257609B/zh
Publication of CN112257609A publication Critical patent/CN112257609A/zh
Application granted granted Critical
Publication of CN112257609B publication Critical patent/CN112257609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于自适应关键点热图的车辆检测方法及装置，属于计算机视觉、目标检测与识别技术领域；包括通过自适应可变半径高斯核渲染关键点热图，提取到车辆目标的中心点，然后通过车辆目标宽和高的信息，回归得到车辆目标尺寸、位置等信息；关键点热图的渲染采用自适应策略，高斯核半径随着目标宽和高的变化而变化，在道路拥挤条件下预测的边界框更加紧凑，计算坐标范围由整个特征图缩小为目标边界框内，能够加快网络收敛；在道路拥挤的视频场景下能有效解决密集遮挡车辆之间漏检、误检、检测精度不高的问题，能够满足在拥挤道路监控视频下对车辆检测速度和准确度的需求，对于智能交通管理工作具有重大的意义。

Description

一种基于自适应关键点热图的车辆检测方法及装置
技术领域
本发明设计一种基于自适应关键点热图的车辆检测方法及装置，属于计算机视觉、目标检测与识别技术领域。
背景技术
近年来，交通视频监控系统在智能交通领域中得到了广泛的应用，基于深度学习的方法对道路交通的实况进行监控和智能分析，对于缓解交通拥堵、交通事故应急处理、交通路线规划、道路车辆违规管理等工作至关重要。车辆检测是车辆分类、车辆追踪工作的基础，如何在拥堵环境下实现对车辆的实时精准检测是一个具有挑战性的工作。
现有基于深度学习的车辆检测方法主要分为两类：一是基于锚框的车辆检测方法；二是基于无锚框的车辆检测方法。其中，基于锚框的车辆检测方法存在正负样本不均衡、超参难调、后处理过程匹配耗时严重等缺点，难以实现车辆的实时检测。基于无锚框的车辆检测方法由于其简洁、快速、准确渐渐进入了公众视野，这类方法的主要思路是通过多个关键点来表示目标，无需使用锚框作为先验框，也就不存在正负样本筛选过程以及复杂耗时的后处理锚框筛选过程。
然而现有的基于无锚框的车辆检测方法对目标边界框的确定十分敏感，缺乏对全局信息的参考，无法确定哪组关键点属于同一车辆目标。关键点的特征提取也是一概而论，没有考虑目标的形状、宽高等特征，在多目标密集遮挡的条件下，容易出现正负样本模糊、边界不明晰的问题，从而导致目标检测网络难以收敛，模糊网络学习，使目标漏检、误检。因此如何实现对车辆目标精准、实时的检测是该领域亟待解决的难题。
发明内容
针对现有技术存在的问题，本发明的目的在于提供一种基于自适应关键点热图的车辆检测方法及装置，通过该技术可以有效解决道路拥挤条件下车辆检测精确度低和速度慢的问题。通过基于自适应关键点热图的目标检测框架能够满足监控环境下对实时性的要求，通过可变半径高斯核渲染的热图能够随着实际车辆目标的宽高变化而变化，减少车辆密集遮挡条件下的漏检、误检问题。
本发明的技术方案如下：
在本发明的第一方面，本发明提供了一种基于自适应关键点热图的车辆检测方法，所述检测方法包括以下步骤：
通过预先构建的全卷积编码解码网络提取出道路视频中车辆目标的特征图；
利用可变半径高斯核从特征图中渲染出关键点热图，将关键点热图映射到关键点特征图上；所述可变半径高斯核的标准差随着车辆目标的宽和高变换；其中所述关键点特征图为关键点热图、嵌入向量和偏移向量构成的特征；
在映射后的关键点特征图上提取出车辆目标的中心点；
根据车辆目标的宽和高的信息，构建卷积神经输出网络，回归得到车辆目标尺寸、大小、位置和边界框信息，从而确定出车辆目标的位置信息。
在本发明的第二方面，本发明还提供了一种自适应关键点热图的车联网检测装置，包括：
图片获取模块，用于获取待检测的道路视频中的车辆图像帧；
关键点特征图提取模块，用于按照预先构建的全卷积编码解码网络提取出道路视频中车辆目标的特征图；
热图渲染模块，利用可变半径高斯核从特征图中渲染出关键点热图，将关键点热图映射到关键点特征图上；
中心点提取模块，用于在映射后的关键点特征图上提取出车辆目标的中心点；
车辆目标确定模块，用于根据车辆目标的宽和高的信息，构建输出网络，回归得到目标尺寸、大小、位置和边界框信息，从而确定出车辆目标的位置信息。
本发明的有益效果：
从技术角度看，本发明是一种基于自适应关键点热图的车辆检测方法及装置。与现有的车辆检测方法或装置相比，本发明充分利用了基于无锚框检测的优点，不仅用迭代式地将网络结构的特征信息融合起来，使网络拥有更高的精度和更少的参数，而且对于关键点热图的渲染采用自适应策略，本发明根据目标的形状，高宽比来自适应调整高斯核半径；解决了基于无锚框检测方法中正负样本模糊的缺点，加快了网络收敛，在道路拥挤条件下，极大地提高了检测效率，降低了漏检率和误检率。
附图说明
图1是本发明所采用的车辆检测的示意图；
图2是本发明一种基于自适应关键点热图的车辆检测方法的流程图；
图3是本发明用于特征提取的全卷积编码解码网络；
图4是本发明中根据车辆目标热图、宽高、中心偏置所构建的卷积神经输出网络；
图5是本发明中基于自适应关键点热图的车辆检测装置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，以下实施例用于说明本发明，但并不用来限制本发明的范围。
如图1所示，本发明中提及的道路视频可以包括柏油马路或非柏油马路的相关视频图像，这种情况下可以假设包括马路环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不局限于此。本发明需要在马路环境中出现的物体中检测出车辆。
图2是本发明的一种基于自适应关键点热图的车辆检测方法的流程图，如图2所示，所述方法包括以下步骤：
通过预先构建的全卷积编码解码网络提取出道路视频中车辆目标的特征图；
其中，这里的全卷积编码解码网络可以参考如图3所示的，包括输入层、输出层和若干卷积层，框中的数字代表图像经过该层的卷积核移动步长；所述卷积层使用可变形卷积和上采样层的转置卷积组合进行特征提取；按照多级跳跃连接的方式对可变形卷积和上采样层进行处理，迭代式地将网络结构的特征信息融合起来。
本实施例中，使用可变形卷积和上采样层组合进行特征提取，提升空间分辨率。构建出带多级跳跃连接的图像分类网络，其中可变形卷积跳跃连接低层和输出层，可变形卷积相比于固定的3×3卷积，可以使网络的感知野变得更加精确。上采样的过程采用了转置卷积，能够更好地还原图像的语义信息和位置信息。迭代式地将网络结构的特征信息融合起来，从而让网络有更高的精度和更少的参数。
构建完成全卷积编码解码网络后，需要对这个网络进行训练，训练之前，首先可以采集CompCars、Standford Car、BIT-vehicles等公开数据集对网络进行训练；训练过程中，对于道路监控视频，首先将视频按帧提取，将图片送入全卷积编码解码网络进行特征提取，再利用可变半径高斯核函数从特征图中渲染关键点热图，将关键点热图映射到提取的特征图上，预测得到车辆目标的中心点，再通过目标宽和高的信息，回归得到目标尺寸、大小、位置和边界框信息。
在任意一个包含目标车辆的视频帧中，令I∈RW×H×3为输入图像，其中R是输出尺寸缩放比例。其宽为W，高为H，3表示输入图像的通道数，该通道可以为RGB通道也可以为HSV通道。当然在一些情况下，这里的通道数也可以不为3，输入图像可以是只有单通道的灰度图像等，但显然并不局限于此。
目标检测的关键是生成关键点热图
Figure BDA0002740216230000051
其中C为输出特征图通道数，也即是关键点类型数；
Figure BDA0002740216230000052
表示为检测到的关键点；
Figure BDA0002740216230000053
表示为背景；采用全卷积编码解码网络来预测出输入图像I的关键点热图
Figure BDA0002740216230000054
在一个实施例中，为了提取出道路视频中车辆目标的关键点特征图，需要对预先构建的全卷积编码解码网络进行训练，分别按照像素级逻辑回归的焦点损失完成关键点热图的训练，按照类别损失完成嵌入向量的训练，以及按照偏移损失完成偏移向量的训练，从而提取出关键点特征图。
如果对于同个类c有两个高斯函数发生重叠，则选择元素级最大的。训练目标函数如下，像素级逻辑回归的焦点损失focal loss:
Figure BDA0002740216230000055
其中，N是输入图像中车辆目标中的关键点个数，是为了将所有focal loss归一化。α，β均为像素级逻辑回归的焦点损失超参数；Yxyc表示坐标为(x,y)的类别为c的可变半径高斯核；
Figure BDA0002740216230000056
表示预测的坐标为(x,y)的类别为c的可变半径高斯核。
由于图像下采样时，真值的关键点会因数据是离散的而产生偏差，对每个中心点附加预测局部偏移
Figure BDA0002740216230000057
所有类别c共享同一个偏移预测，这个偏移用L1 loss来训练：
Figure BDA0002740216230000058
其中，N是输入图像中车辆目标个数；
Figure BDA0002740216230000059
表示经过下采样后的对应关键点；pk表示车辆目标k的检测框的中心位置；
Figure BDA00027402162300000510
表示属于同一目标种类的固定尺寸。
令
Figure BDA00027402162300000511
来表示目标k的检测框，其中心位置为：
Figure BDA0002740216230000061
用关键点来估计
Figure BDA0002740216230000062
从而得到所有的中心点，此外为每个目标k回归出目标的尺寸：
Figure BDA0002740216230000063
为了减少计算负担，为每个目标种类使用单一的尺寸预测
Figure BDA0002740216230000064
即
Figure BDA0002740216230000065
表示属于同一目标种类的固定尺寸，在中心点位置添加L1 loss：
Figure BDA0002740216230000066
本发明不将尺寸进行归一化，直接使用原始像素坐标。为了调节该损失的影响，将其乘了个系数，整个训练的目标loss函数为：
Ldet＝Lk+λsizeLsize+λoffLoff
在本发明中，λsize和λoff可以按照实际情况取值，整个网络预测会在每个位置输出C+4个值(即关键点类别C,偏移量的x,y，尺寸的w,h)，所有输出共享一个全卷积的骨干网络。利用可变半径高斯核渲染出关键点热图，将关键点热图映射到关键点特征图上；
训练全卷积编码解码网络时，对于真值的关键点c，其位置为p∈R2，计算得到经过下采样的低分辨率上对应的关键点
Figure BDA0002740216230000067
将关键点真值通过可变半径高斯核
Figure BDA0002740216230000068
渲染到热图
Figure BDA0002740216230000069
其中，Yxyc表示坐标为(x,y)的关键点c的可变半径高斯核；x表示关键点c的横坐标；x0表示经过下采样后的对应关键点的横坐标；
Figure BDA00027402162300000610
表示实际车辆目标的宽与自适应车辆目标的宽之间的标准方差，y表示关键点c的纵坐标；y0表示经过下采样后的对应关键点的纵坐标；
Figure BDA00027402162300000611
表示实际车辆目标的高与自适应车辆目标的高之间的标准方差。
这里的高斯核函数的标准差随着目标的宽和高的变化而变化，能够自适应目标的尺寸进行热图渲染。
其中，上述实施例中，实际车辆目标的宽与自适应车辆目标的宽之间的标准差表示为
Figure BDA0002740216230000071
实际车辆目标的高与自适应车辆目标的高之间的标准表示为
Figure BDA0002740216230000072
α表示像素级逻辑回归的焦点损失权重，w表示实际车辆目标的宽度，A表示第一径向辐射范围；h表示实际车辆目标的高度，B表示第二径向辐射范围。
在一个实施例中，本发明提供了不同的径向辐射范围值，所述第一径向辐射范围为[2,6]，所述第二径向辐射范围为[2,6]；且所述径向辐射范围均为整数，第一径向辐射范围的取值与第二径向辐射范围的取值无关，同样的，第二径向辐射范围的取值与第一径向辐射范围的取值无关，本发明中，第一径向辐射范围与第二径向辐射范围的取值可以相等也可以不相等。
在一个优选实施例中，本实施例综合考虑了高斯核的径向辐射范围以及车辆目标框的大小，本发明设置第一径向辐射范围为6，第二径向辐射范围也为6。
在一个优选实施例中，本实施例考虑车辆目标框的宽度一般大于高度，所以所设置的第二径向辐射范围的值大于第一径向辐射范围。
本发明中，关键点热图的渲染采用自适应策略，高斯核半径随着目标宽和高的变化而变化，在道路拥挤条件下预测的边界框更加紧凑，计算坐标范围由整个特征图缩小为目标边界框内，能够加快网络收敛；在道路拥挤的视频场景下能有效解决密集遮挡车辆之间漏检、误检、检测精度不高的问题，能够满足在拥挤道路监控视频下对车辆检测速度和准确度的需求，对于智能交通管理工作具有重大的意义。
在映射后的关键点特征图上提取出车辆目标的中心点；
在这个过程中，需要首先对图片进行下采样,在下采样的特征图中预测中心点。
提取关键点热图上的所有峰值点，这里的峰值点定义为8领域内的最大值，利用3×3的最大池化选取该热图上100个峰值点。
假设
Figure BDA0002740216230000081
为检测到的关键点，每个关键点的位置表示为整型坐标(xi,yi)，使用
Figure BDA0002740216230000082
表示当前关键点的置信度，推理出目标边界框的公式如下：
Figure BDA0002740216230000083
其中
Figure BDA0002740216230000084
是当前关键点对应原始图像的偏置点,
Figure BDA0002740216230000085
代表预测出来当前关键点对应目标的宽和高。所有的输出结果都是直接从特征图上获得,无需非极大值抑制等繁复的后处理步骤。
根据车辆目标的宽和高的信息，回归得到车辆目标尺寸、大小、位置和边界框信息，从而确定出车辆目标的位置信息。
在上述确定的车辆目标的中心点的基础上，本发明根据车辆目标的宽和高的信息，通过回归的方式得到车辆目标尺寸、大小、位置和边界框信息，从而确定出车辆目标的位置信息，这里的回归方式可以参考现有技术，本领域技术人员可以根据实际情况进行设定；本发明不对此进行限定。
参考如图4所示，输入的特征图的尺寸为64×128×128，即包括64个输出通道，且每个通道中包括宽为128、高为128的特征图；其中对于关键点热图包含一个通道，该输出通道中热图尺寸为128×128；按照车辆目标的高斯分布，表示出目标的中心点；确定出车辆目标的高度h和宽度w，这里的高度为128，宽度也为128；计算出车辆目标中心的整数化的误差。
可以理解的是，在本发明中，全卷积编码解码网络的训练过程与模型的测试过程具有相似的操作，本领域技术人员可以自行设置；本发明就不再一一进行重复说明。
在本发明的第二方面，如图5所示，本发明提供了一种自适应关键点热图的车联网检测装置，包括：
图片获取模块，用于获取待检测的道路视频中的车辆图像帧；
关键点特征图提取模块，用于按照预先构建的全卷积编码解码网络提取出道路视频中车辆目标的特征图；
热图渲染模块，利用可变半径高斯核渲染出关键点热图，将关键点热图映射到关键点特征图上；
中心点提取模块，用于在映射后的关键点特征图上提取出车辆目标的中心点；
车辆目标确定模块，用于根据车辆目标的宽和高的信息，构建输出网络，回归得到目标尺寸、大小、位置和边界框信息，从而确定出车辆目标的位置信息。
在一个实施例中，所述热图渲染模块包括可变半径高斯核调节模块、渲染单元；所述可变半径高斯核调节单元用于根据车辆目标的高宽比来调整高斯核的半径，并将调节半径的高斯核输出至渲染单元，所述渲染单元根据调节后高斯核从特征图中渲染出关键点热图。
在一个优选实施例中，所述可变半径高斯核调节模块通过以下函数进行调节：
Figure BDA0002740216230000091
其中，Yxyc表示坐标为(x,y)的关键点c的可变半径高斯核；x表示关键点c的横坐标；x0表示经过下采样后的对应关键点的横坐标；
Figure BDA0002740216230000092
表示实际车辆目标的宽与自适应车辆目标的宽之间的标准方差，y表示关键点c的纵坐标；y0表示经过下采样后的对应关键点的纵坐标；
Figure BDA0002740216230000093
表示实际车辆目标的高与自适应车辆目标的高之间的标准方差。
可以理解的是，本发明中的基于自适应关键点热图的车辆检测方法与检测装置的对应特征可以相互引用，本发明就不再一一赘述。
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于自适应关键点热图的车辆检测方法，其特征在于，所述检测方法包括以下步骤：
通过预先构建的全卷积编码解码网络提取出道路视频中车辆目标的特征图；
利用可变半径高斯核从特征图中渲染出关键点热图，将关键点热图映射到关键点特征图上；所述关键点特征图为关键点热图、嵌入向量和偏移向量构成的特征；
在映射后的关键点特征图上提取出车辆目标的中心点；
根据车辆目标的宽和高的信息，构建卷积神经输出网络，回归得到车辆目标尺寸、大小、位置和边界框信息，从而确定出车辆目标的位置信息。
2.根据权利要求1所述的一种基于自适应关键点热图的车辆检测方法，其特征在于，所述预先构建的全卷积编码解码网络包括输入层、输出层和若干卷积层；所述卷积层使用可变形卷积和上采样层的转置卷积组合进行特征提取；按照多级跳跃连接的方式对可变形卷积和上采样层进行处理，迭代式地将网络结构的特征信息融合起来。
3.根据权利要求1所述的一种基于自适应关键点热图的车辆检测方法，其特征在于，所述提取出道路视频中车辆目标的关键点特征图包括对预先构建的全卷积编码解码网络进行训练，分别按照像素级逻辑回归的焦点损失完成关键点热图的训练，按照类别损失完成嵌入向量的训练，以及按照偏移损失完成偏移向量的训练，从而提取出关键点特征图。
4.根据权利要求1所述的一种基于自适应关键点热图的车辆检测方法，其特征在于，所述可变半径高斯核的标准差随着车辆目标的宽和高进行自适应变换。
5.根据权利要求1或4所述的一种基于自适应关键点热图的车辆检测方法，其特征在于，所述可变半径高斯核表示为：
Figure FDA0002740216220000021
其中，Yxyc表示坐标为(x,y)的关键点c的可变半径高斯核；x表示关键点c的横坐标；x0表示经过下采样后的对应关键点的横坐标；σx表示实际车辆目标的宽与自适应车辆目标的宽之间的标准差，y表示关键点c的纵坐标；y0表示经过下采样后的对应关键点的纵坐标；σy表示实际车辆目标的高与自适应车辆目标的高之间的标准差。
6.根据权利要求5所述的一种基于自适应关键点热图的车辆检测方法，其特征在于，实际车辆目标的宽与自适应车辆目标的宽之间的标准差表示为
Figure FDA0002740216220000022
实际车辆目标的高与自适应车辆目标的高之间的标准表示为
Figure FDA0002740216220000023
α表示像素级逻辑回归的焦点损失权重，w表示实际车辆目标的宽度，A表示第一径向辐射范围；h表示实际车辆目标的高度，B表示第二径向辐射范围。
7.根据权利要求6所述的一种基于自适应关键点热图的车辆检测方法，其特征在于，所述第一径向辐射范围为[2,6]，所述第二径向辐射范围为[2,6]；且所述径向辐射范围均为整数。
8.根据权利要求1所述的一种基于自适应关键点热图的车辆检测方法，其特征在于，所述在映射后的关键点特征图上提取出车辆目标的中心点包括对待检测图片进行下采样，在下采样的特征图中预测中心点；使用最大池化选取关键点热图上的若干个峰值点，峰值点定义为当前点的值大于或等于周围8近邻点的值；将这若干个峰值点由大到小排序，选择值最大的点作为中心点。
9.一种自适应关键点热图的车联网检测装置，其特征在于，包括：
图片获取模块，用于获取待检测的道路视频中的车辆图像帧；
关键点特征图提取模块，用于按照预先构建的全卷积编码解码网络提取出道路视频中车辆目标的特征图；
热图渲染模块，利用可变半径高斯核从特征图中渲染出关键点热图，将关键点热图映射到关键点特征图上；
中心点提取模块，用于在映射后的关键点特征图上提取出车辆目标的中心点；
车辆目标确定模块，用于根据车辆目标的宽和高的信息，构建卷积神经输出网络，回归得到目标尺寸、大小、位置和边界框信息，从而确定出车辆目标的位置信息。
10.根据权利要求9所述的一种自适应关键点热图的车联网检测装置，其特征在于，所述热图渲染模块包括可变半径高斯核调节模块、渲染单元；所述可变半径高斯核调节单元用于根据车辆目标的高宽比来调整高斯核的半径，并将调节半径的高斯核输出至渲染单元，所述渲染单元根据调节后高斯核从特征图中渲染出关键点热图。
CN202011147629.0A 2020-10-23 2020-10-23 一种基于自适应关键点热图的车辆检测方法及装置 Active CN112257609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011147629.0A CN112257609B (zh) 2020-10-23 2020-10-23 一种基于自适应关键点热图的车辆检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011147629.0A CN112257609B (zh) 2020-10-23 2020-10-23 一种基于自适应关键点热图的车辆检测方法及装置

Publications (2)

Publication Number Publication Date
CN112257609A true CN112257609A (zh) 2021-01-22
CN112257609B CN112257609B (zh) 2022-11-04

Family

ID=74263638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011147629.0A Active CN112257609B (zh) 2020-10-23 2020-10-23 一种基于自适应关键点热图的车辆检测方法及装置

Country Status (1)

Country Link
CN (1) CN112257609B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700444A (zh) * 2021-02-19 2021-04-23 中国铁道科学研究院集团有限公司铁道建筑研究所 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN113095159A (zh) * 2021-03-23 2021-07-09 陕西师范大学 一种基于cnn的城市道路交通状况分析方法
CN113159146A (zh) * 2021-04-08 2021-07-23 浙江天行健智能科技有限公司 样本生成、目标检测模型训练、目标检测方法及装置
CN113538523A (zh) * 2021-09-17 2021-10-22 魔视智能科技(上海)有限公司 车位检测跟踪方法、电子设备及车辆
CN113642558A (zh) * 2021-08-16 2021-11-12 云南电网有限责任公司电力科学研究院 耐张线夹压接缺陷的x射线图像识别方法及装置
CN113673332A (zh) * 2021-07-15 2021-11-19 浙江大华技术股份有限公司 对象识别方法、装置以及计算机可读存储介质
CN113743219A (zh) * 2021-08-03 2021-12-03 北京格灵深瞳信息技术股份有限公司 运动目标检测方法、装置、电子设备及存储介质
CN113963206A (zh) * 2021-10-20 2022-01-21 中国石油大学(华东) 一种基于姿态指引的速滑运动员目标检测方法
CN114428556A (zh) * 2022-04-07 2022-05-03 深圳市赢向量科技有限公司 影像广告互动控制方法及系统
CN115457136A (zh) * 2022-11-09 2022-12-09 杭州远鉴信息科技有限公司 基于边缘计算的gis仪表六氟化硫数据监测方法及系统
CN115496666A (zh) * 2022-11-02 2022-12-20 清智汽车科技(苏州)有限公司 用于目标检测的热图生成方法和装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800321A (zh) * 2018-12-24 2019-05-24 银江股份有限公司 一种卡口图像车辆检索方法及系统
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN109919122A (zh) * 2019-03-18 2019-06-21 中国石油大学(华东) 一种基于3d人体关键点的时序行为检测方法
CN110032952A (zh) * 2019-03-26 2019-07-19 西安交通大学 一种基于深度学习的道路边界点检测方法
US20190279014A1 (en) * 2016-12-27 2019-09-12 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object keypoint, and electronic device
CN110490256A (zh) * 2019-08-20 2019-11-22 中国计量大学 一种基于关键点热图的车辆检测方法
CN110532894A (zh) * 2019-08-05 2019-12-03 西安电子科技大学 基于边界约束CenterNet的遥感目标检测方法
CN110765906A (zh) * 2019-10-12 2020-02-07 上海雪湖科技有限公司 一种基于关键点的行人检测算法
CN110930454A (zh) * 2019-11-01 2020-03-27 北京航空航天大学 一种基于边界框外关键点定位的六自由度位姿估计算法
CN111553348A (zh) * 2020-04-26 2020-08-18 中南大学 一种基于centernet的anchor-based目标检测方法
CN111738206A (zh) * 2020-07-08 2020-10-02 浙江浙能天然气运行有限公司 基于CenterNet的用于无人机巡检的挖掘机检测方法
CN111753732A (zh) * 2020-06-24 2020-10-09 佛山市南海区广工大数控装备协同创新研究院 一种基于目标中心点的车辆多目标跟踪方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190279014A1 (en) * 2016-12-27 2019-09-12 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object keypoint, and electronic device
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN109800321A (zh) * 2018-12-24 2019-05-24 银江股份有限公司 一种卡口图像车辆检索方法及系统
CN109919122A (zh) * 2019-03-18 2019-06-21 中国石油大学(华东) 一种基于3d人体关键点的时序行为检测方法
CN110032952A (zh) * 2019-03-26 2019-07-19 西安交通大学 一种基于深度学习的道路边界点检测方法
CN110532894A (zh) * 2019-08-05 2019-12-03 西安电子科技大学 基于边界约束CenterNet的遥感目标检测方法
CN110490256A (zh) * 2019-08-20 2019-11-22 中国计量大学 一种基于关键点热图的车辆检测方法
CN110765906A (zh) * 2019-10-12 2020-02-07 上海雪湖科技有限公司 一种基于关键点的行人检测算法
CN110930454A (zh) * 2019-11-01 2020-03-27 北京航空航天大学 一种基于边界框外关键点定位的六自由度位姿估计算法
CN111553348A (zh) * 2020-04-26 2020-08-18 中南大学 一种基于centernet的anchor-based目标检测方法
CN111753732A (zh) * 2020-06-24 2020-10-09 佛山市南海区广工大数控装备协同创新研究院 一种基于目标中心点的车辆多目标跟踪方法
CN111738206A (zh) * 2020-07-08 2020-10-02 浙江浙能天然气运行有限公司 基于CenterNet的用于无人机巡检的挖掘机检测方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
JIANGTAO LUO，ET AL: ""Sentiment Analysis via Deep Multichannel Neural Networks With Variational Information Bottleneck "", 《IEEE》, 2 July 2020 (2020-07-02) *
ZHONG QU，ET AL: ""The Improved Algorithm of Fast Panorama Stitching for Image Sequence and Reducing the Distortion Errors"", 《MATHEMATICAL PROBLEMS IN ENGINEERING》, 31 October 2015 (2015-10-31) *
任媛，等: ""基于人脸识别的来访学者信息知识图谱构建"", 《科学与财富》, 31 December 2018 (2018-12-31) *
常亮亮: ""基于激光雷达的车道线检测方法研究"", 《中国优秀硕士学位论文全文数据库》, 29 February 2020 (2020-02-29) *
张婷婷，等: ""基于深度学习的图像目标检测算法综述"", 《电信科学》, 31 July 2020 (2020-07-31) *
祁世风: ""复杂道路场景下车辆检测方法研究"", 《中国优秀硕士论文全文数据库》, 31 August 2020 (2020-08-31) *
郑婷婷等: "基于关键点的Anchor Free目标检测模型综述", 《计算机系统应用》 *
郑婷婷等: "基于关键点的Anchor Free目标检测模型综述", 《计算机系统应用》, no. 08, 15 August 2020 (2020-08-15) *
陈 晓: ""基于深度学习的二维人体姿态估计方法研究"", 《中国优秀硕士学位论文全文数据库》, 30 June 2020 (2020-06-30) *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700444B (zh) * 2021-02-19 2023-06-23 中国铁道科学研究院集团有限公司铁道建筑研究所 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN112700444A (zh) * 2021-02-19 2021-04-23 中国铁道科学研究院集团有限公司铁道建筑研究所 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN113095159A (zh) * 2021-03-23 2021-07-09 陕西师范大学 一种基于cnn的城市道路交通状况分析方法
CN113159146A (zh) * 2021-04-08 2021-07-23 浙江天行健智能科技有限公司 样本生成、目标检测模型训练、目标检测方法及装置
CN113673332A (zh) * 2021-07-15 2021-11-19 浙江大华技术股份有限公司 对象识别方法、装置以及计算机可读存储介质
CN113743219A (zh) * 2021-08-03 2021-12-03 北京格灵深瞳信息技术股份有限公司 运动目标检测方法、装置、电子设备及存储介质
CN113743219B (zh) * 2021-08-03 2023-09-19 北京格灵深瞳信息技术股份有限公司 运动目标检测方法、装置、电子设备及存储介质
CN113642558A (zh) * 2021-08-16 2021-11-12 云南电网有限责任公司电力科学研究院 耐张线夹压接缺陷的x射线图像识别方法及装置
CN113538523A (zh) * 2021-09-17 2021-10-22 魔视智能科技(上海)有限公司 车位检测跟踪方法、电子设备及车辆
CN113963206A (zh) * 2021-10-20 2022-01-21 中国石油大学(华东) 一种基于姿态指引的速滑运动员目标检测方法
CN114428556A (zh) * 2022-04-07 2022-05-03 深圳市赢向量科技有限公司 影像广告互动控制方法及系统
CN114428556B (zh) * 2022-04-07 2022-06-24 深圳市赢向量科技有限公司 影像广告互动控制方法及系统
CN115496666A (zh) * 2022-11-02 2022-12-20 清智汽车科技(苏州)有限公司 用于目标检测的热图生成方法和装置
CN115457136B (zh) * 2022-11-09 2023-03-03 杭州远鉴信息科技有限公司 基于边缘计算的gis仪表六氟化硫数据监测方法及系统
CN115457136A (zh) * 2022-11-09 2022-12-09 杭州远鉴信息科技有限公司 基于边缘计算的gis仪表六氟化硫数据监测方法及系统
US11790516B1 (en) 2022-11-09 2023-10-17 Hangzhou Yuanjian Information Technology Co., Ltd Method and system for monitoring GIS instrument sulfur hexafluoride data based on edge computing

Also Published As

Publication number Publication date
CN112257609B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN112257609B (zh) 一种基于自适应关键点热图的车辆检测方法及装置
EP4152204A1 (en) Lane line detection method, and related apparatus
CN111126453A (zh) 基于注意力机制和切割填充的细粒度图像分类方法及系统
CN113095277B (zh) 一种基于目标空间分布特征的无人机航拍车辆检测方法
CN112731436B (zh) 基于点云上采样的多模态数据融合可行驶区域检测方法
CN104320617A (zh) 一种基于深度学习的全天候视频监控方法
CN109919026A (zh) 一种水面无人艇局部路径规划方法
CN112861619A (zh) 模型的训练方法、车道线检测方法、设备及装置
CN112749654A (zh) 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN110889403A (zh) 文本检测方法以及相关装置
CN113011338A (zh) 一种车道线检测方法及系统
CN112733886A (zh) 样本图像的处理方法、装置、设备及存储介质
CN112637550A (zh) 多路4k准实时拼接视频的ptz动目标跟踪方法
CN106384359A (zh) 运动目标跟踪方法和电视
CN115424264A (zh) 全景分割方法及相关装置、电子设备、存储介质
WO2022219402A1 (en) Semantically accurate super-resolution generative adversarial networks
CN111340001B (zh) 一种基于遥感影像深度学习的交通拥堵识别方法
CN116311052A (zh) 一种人群计数方法、装置、电子设备及存储介质
CN114782915B (zh) 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统及设备
CN116434056A (zh) 一种基于雷视融合的目标识别方法、系统及电子设备
CN116259042A (zh) 基于图注意力的环视图像停车位检测方法及装置
CN116311039A (zh) 一种城市降水量反演方法、装置、计算机设备及存储介质
CN115880590A (zh) 基于无人机机器视觉的轨道异物入侵检测方法和装置
CN114565764A (zh) 基于舰船实例分割的港口全景感知系统
CN114998570A (zh) 一种对象检测框的确定方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant