CN114724094A - 一种基于三维图像与雷达技术的闸道口车内人数计量系统 - Google Patents

一种基于三维图像与雷达技术的闸道口车内人数计量系统 Download PDF

Info

Publication number
CN114724094A
CN114724094A CN202210347370.7A CN202210347370A CN114724094A CN 114724094 A CN114724094 A CN 114724094A CN 202210347370 A CN202210347370 A CN 202210347370A CN 114724094 A CN114724094 A CN 114724094A
Authority
CN
China
Prior art keywords
vehicle
dimensional
radar
features
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210347370.7A
Other languages
English (en)
Inventor
殷鹏
周斌
徐元晓
张家健
马乐
吴小伟
徐啸峰
张骏
洪亮
沈轩
陈飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Information Consulting and Designing Institute Co Ltd
Original Assignee
China Information Consulting and Designing Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Information Consulting and Designing Institute Co Ltd filed Critical China Information Consulting and Designing Institute Co Ltd
Priority to CN202210347370.7A priority Critical patent/CN114724094A/zh
Publication of CN114724094A publication Critical patent/CN114724094A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于三维图像与雷达技术的闸道口车内人数计量系统，包括雷达测速测距测车类型模块、相机拍照特征提取模块、候选区域选择计算模块、特征整合模块以及目标检测计算模块；其中，雷达测速测距测车类型模块包括：雷达测速，雷达测距离以及雷达测车类型；相机拍照特征提取模块包括：相机拍照，提取点云俯视图特征，提取点云前视图特征以及提取图像特征；候选区域计算模块包括：从俯视图特征中计算候选区；特征整合模块包括：整合候选区与三种特征，俯视图候选区投射到前视图以及整合统一度；目标检测计算模块包括：统计计算车内人数。

Description

一种基于三维图像与雷达技术的闸道口车内人数计量系统
技术领域
本发明涉及一种车内人数计量系统，特别是一种基于三维图像与雷达技术的闸道口车内人数计量系统。
背景技术
各级政府、园区特别重视人员安全管理，如政府机构、企业需要识别进出车辆内人数,从而进行安全防护。若通过传统方式,利用工作人员进行目测记录车内人数会存在很多问题，一是耗时久效率低，影响后面车辆通行；其次，是工作人员可能会出现人数记录错误的情况，不利于单位的安全防护。
目前有一种技术是利用红外热像仪进行检测记录，可以大大提高效率。其原理是通过人的温度与汽车的温度不同,从而轻易识别出车内人数,并自动进行记录，但红外热像仪进行车内人数检测是，车窗必须打开，因为红外热像仪的波长是8-14um，没有办法透过玻璃，无法检测车内人数。所以红外热像仪这种不可见光识别技术给车主带来不好的体验感。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于三维图像与雷达技术的闸道口车内人数计量系统。
为了解决上述技术问题，本发明公开了一种基于三维图像与雷达技术的闸道口车内人数计量系统，包括：雷达测速测距测车类型模块、相机拍照特征提取模块、候选区域选择计算模块、特征整合模块以及目标检测计算模块；
其中，雷达测速测距测车类型模块包括：雷达测速，雷达测距离以及雷达测车类型；
相机拍照特征提取模块包括：相机拍照，提取点云俯视图特征，提取点云前视图特征以及提取图像特征；
候选区域计算模块包括：从俯视图特征中计算候选区；
特征整合模块包括：整合候选区与三种特征，俯视图候选区投射到前视图以及整合统一度；
目标检测计算模块包括：统计计算车内人数。
本发明采用该系统统计计算车内人数的方法包括：
步骤1，通过雷达测速测距测车类型模块进行测速、测距和测车类型；
步骤2，通过相机拍照特征提取模块提取图像特征；
步骤3，通过候选区域选择计算模块计算候选区域；
步骤4，通过特征整合模块将特征整合处理；
步骤5，采用目标检测计算模块，通过视锥生成、三维实例分割和三维边界回归计算的方法来统计目标车内人数。
本发明步骤1包括：
步骤1-1，当车辆进入闸机前100米范围时，雷达对车辆速度进行测量，若车辆车速超过30公里/小时，则在闸机上方的显示屏中进行提醒；否则进入步骤1-2；
步骤1-2，通过雷达计算出车辆的高度，判断车辆类型为大型车或小型车(车辆判断标准是：0.9m<车头高<1.1m，1.4m<车身高1.6m为小型汽车；1.1m<车头高<1.5m， 1.68m<车身高1.8m为SUV车型；1.8m<车身高度<4m为重型、中型载货汽车；4m< 车身高度<4.2m为载运集装箱的车；再高的车身本系统不能识别)。
本发明通过所述相机拍照特征提取模块，对三维图形特征提取处理的方法，即步骤2包括：
步骤2-1，根据步骤1-2中雷达测出的车辆类型，在车辆进入闸机前10米范围时，动态调节摄像图高度和角度；同时打开闸道的上方的补光灯，使得拍摄的图像和视频清晰可见，保障拍摄时穿透汽车玻璃；
步骤2-2，使用相机将拍摄的车辆图片快速构建成三维模型，得到三维图像，该三维图像包括俯视图及前视图；
步骤2-3，根据步骤2-2中得到的三维图像中的俯视图，从俯视图中的高度、强度和密度三个维度进行特征提取；其中，高度的计算过程是通过计算三维图像中的点云单位格中最高的值得出，通过将点云划分为M块，然后每块计算出相应的高度图，从而获得M个高度图；强度的计算过程是通过循环计算找出M个高度图中单位格中最大高度的点的值，即为强度值；密度的计算过程是M个高度图中的每个单元格中点的数据，通过以下公式计算得出：
Figure BDA0003577251720000031
其中，N为单元格中的点数目；强度和密度是整个三维图像中俯视图的点云特征值，高度是计算的M切片，总的俯视图被编码为(M+2)个通道特征；
步骤2-4，根据步骤2-2中得到的三维图像中的前视图，通过计算将其投射到一个圆柱面上形成一个稠密的前视图来提取车辆前视图特征，包括：
假设三维坐标p为：p＝(x,y,z)
即得到前视图坐标pfv为：pfv＝(r,c)
其中r坐标轴和c坐标轴通过以下公式计算得到：
Figure BDA0003577251720000032
c＝atan2(y，x)/Δθ
其中，atan2是求反正切函数，Δφ是直径变量，Δθ是角度变量；
步骤2-5，采用视觉几何群网络VGG-16预训练好的卷积神经网络模型进行特征提取，包括：
将步骤2-3和步骤2-4中得到的车辆前视图特征作为输入，通过调整视觉几何群网络中的VGG16.npy，进行特征提取。
本发明步骤3包括：
步骤3-1，选择三维图形中的俯视图参与候选区域计算：
选择俯视图作为候选区是在实验中总结出的三点经验：1)物体投射到俯视图时，可以保持物体原始物理尺寸，从而具备较小的尺寸方差，前视图是不具备这种优势；2) 俯视图可以避免遮挡问题，因为俯视图车占据不同空间；3)在车驶入闸道场景中，车在垂直位置的方差较小，这样就可以获得准确的三维模型提供很好的基础；
步骤3-2，采用区域生成网络(RPN，Region Proposal Network)提取候选框；
步骤3-3，得到俯视图候选区域。
本发明步骤4包括：
步骤4-1，把候选区域计算模块中得到的俯视图候选区域分别与相机拍照特征提取模块中得到的特征进行整合；
步骤4-2，将俯视图候选区域投影到前视图和三维图像中,包括：
将每一个三维图像中的俯视图候选区参数化为：
(x,y,z,l,w,h)
其中，x，y，z是三维空间坐标轴，l，w，h是长度、宽度和高度；这些锚点用(x,y,l,w)表示；经过离散化后得到前视图和图像中的锚点；
步骤4-3：采用ROI pooling方法进行处理，将三维图像数据降维到同一维度上。
本发明步骤5中所述视锥生成指基于VGG-16神经网络进行特征提取，然后用Faster PCNN网络预测出锚点作为视锥；所述三维实例分割指对每个视锥进行旋转以得到中心视角，用此视角作为坐标轴的点云数据，然后再对点云数据进行实例分割，用以判断每个锚点是否属于目标点。
本发明步骤5中所述三维边界回归的计算方法包括：以三维实例分割的结果作为标记以得到目标的点云集；计算出目标的点云集的质心并作为新坐标系的原点；将视锥点云平移到新坐标系原点，再通过对三维边界的中心、尺寸和方向进行回归输出结果。
本发明步骤3-2中采用区域生成网络RPN提取候选框，包括：
对经过VGG-16卷积得到车辆前视图特征，经过一系列的卷积计算得到基础特征图；
再经过卷积计算，得到一组特征图；
结合一组锚点，锚点是在卷积过程中针对某一候选框选定的中心点，经过后处理得到候选框。
本发明中所述目标检测计算模块采用Faster PCNN网络结构进行计算的过程包括：
对选定的候选框，经过RPN纠偏，计算确定选定的候选框；
将候选框映射到公共特征图中；
将特征图降维到同一纬度上；
通过对ROI特征的分类和回归计算找出与候选框一一对应的图像特征，将其计数加1。
有益效果：
当车辆经过闸机时使驾驶员和车内人员在无感知的情况下统计出车内人数的场景，即是借助雷达灵敏的捕捉目标的特性来辅助高清相机拍照、三维建模、AI图像识别等技术。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。
图1是本发明系统模块示意图。
图2是本发明系统采用的方法流程示意图。
图3是本发明中车内人数识别过程意示图。
具体实施方式
如图1所示，本发明系统包括雷达测速测距测车类型模块、相机拍照特征提取模块、候选区域选择计算模块、特征整合模块、目标检测计算五个模块，这五大功能模块是基于人工智能的技术架构进行设计。
所述雷达测速测距测车类型模块主要有三个功能，首先，当车辆进入到车道前100米，雷达可以对车辆进行测速，但速度超过30公里/小时就会闸道显示屏上提醒车主要控制车速；其次，在车辆进入100米内，雷达测出车辆的高度，从而来判断是大型、小型车；最后，当车辆进入10米区域内时，雷达将辅助补光灯打开，同时根据车类型进行调整摄像机的高度和角度；
所述相机拍照特征提取模块用于，通过雷达辅助调整相机高度和拍摄角度拍摄一组照片和视频，并将其快速合成为三维模图像，然后再通过拍摄的俯视图和前视图来进行图像特征提取；
所述候选区域选择计算模块用于，选择俯视图进行参与计算的视图网络，这里涉及到数据计算；
所述特征整合模块用于，结合相机拍照特征提取模块中的点云俯视图特征提取、点云前视图特征提取、图像特征提取三个步骤进行融合形成参与计算的融合三维图形特征，然后将俯视图候选区投射融合到前视图，最后进行同纬度调整找出最优的特征进行整合；
所述目标检测计算用于，采用神经网络计算识别出车内人数的累加过程，其主要采用Faster PCNN网络结构进行计算。
如图2所示，所述雷达测速测距测车类型具体执行如下步骤：
步骤a1，当车辆进入闸机前100米范围时，雷达会对车辆速度进行测试，但车辆车速超过30公里/小时，在闸机上方的显示屏会提醒其将速度控制30公里/小时内。如果未超过30公里/小时则进入步骤a2；
步骤a2，当车进入闸机100米范围内，雷达会计算出车的高度，从而判断出是大型车、小型车；
所述所述三维图形特征提取具体执行如下步骤：
步骤b1：根据雷达测出的车类型进行动态调节摄像图高度和角度，同时打开闸道的上方的补光灯，保证拍摄的图像和视频清晰可见，同时还可以保障拍摄时能穿透汽车玻璃；
步骤b2：采用相机自带图像处理功能将拍摄的车辆图片快速构建成三维模型，输出三维图像；
步骤b3：根据b2中形成的三维图像中的俯视视图，从俯视视图中的高度、强度、密度三个维度进行特征提取；其中高度的计算过程是通过计算三维图像中的点云单位格中最高的值得出，这里通过将点云划分为M块，然后没课块计算出相应的高度图，从而获得M个高度图；强度是通过循环计算找出M个高度图中单位格中最大高度的点的值，即为强度值；密度是M个高度图中的每个单元格中点的数据，通过以下计算得出：
Figure BDA0003577251720000061
其中N为单元格中的点数目。这里强度、密度是计算的整个三维俯视图整个点云特征值，而高度是计算的M切片，这样总的俯视图被编码为(M+2) 个通道特征。
步骤b4：根据b2中形成的三维图像中的前视视图，通过计算将其投射到一个圆柱面上形成一个稠密的前视图来提取车辆特征；其中，前视图特征提取的目的是防止三维图像点云非常稀疏，投影到2D图上会非常稀疏，所以需要将拍摄到的前视图投影到一个圆柱面上生产一个新的而且稠密的前视图，具体计算如下：
假设三维坐标为：p＝(x,y,z)
即得到前视图为：pfv＝(r,c)
其中r和c可以通过以下计算得到：
Figure BDA0003577251720000062
c＝atan 2(y，x)/Δθ
其中，atan2都是求反正切函数，Δφ是直径变量，Δθ是角度变量；
步骤b5：在b4的基础上采用VGG-16(参考：Ge Huilin et al.Application ofMultiscale Facial Feature Manifold Learning Based on VGG-16[J].Journal ofSensors,2021,2021)预训练好的卷积神经网络模型进行特征提取，VGG-16预训练模型是第三方的模型；其中，VGG-16预训练模型是由第三方提供了完整的VGG16.npy的预训练好的模型下载，这里只需要将权利要求3中步骤b3、b4作为输入，然后将VGG16.npy做如下简单调整就可以进行特征提取：
Figure BDA0003577251720000071
所述确定候选区域网络主要是选择俯视图参与候选区域计算。选择俯视图作为候选区主要考虑三点：1)物体投射到俯视图时，可以保持物体原始物理尺寸，从而具备较小的尺寸方差，前视图是不具备这种优势；2)俯视图可以避免遮挡问题，因为俯视图车占据不同空间；3)在车驶入闸道场景中，车在垂直位置的方差较小，这样就可以获得准确的三维模型提供很好的基础；
所述特征整合具体执行如下步骤：
步骤c1：把候选区域分别与三维图形特征提取中的步骤b3、b4、b5的输出得到的特征进行整合；
步骤c2：将俯视图候选区域投影到前视图和图像中；其做法是将每一个三维候选框参数化为：
(x,y,z,l,w,h)，其中x，y，z是三维空间坐标轴，l，w，h是长度、宽度和高度
这些锚点用(x,y,l,w)表示
这样经过离散化后就可以获得前视图和图像中的锚点；
步骤c3：将三维图像数据降维到同一维度上，这里主要采用ROI pooling方法(参考：Yi Hou et al.Efficient ConvNet Feature Extraction with Multiple RoIPooling for Landmark-Based Visual Localization of Autonomous Vehicles[J].Mobile Information Systems,2017,2017:1-14.)进行处理，ROI pooling是第三方成熟的特征图上框的算法；
步骤c2俯视图候选区域投影到前视图和图像中具体做法是，将每一个三维候选框参数化为：
(x,y,z,l,w,h)，其中x，y，z是三维空间坐标轴，l，w，h是长度、宽度和高度；这些锚点用(x,y,l,w)表示；这样经过离散化后就可以获得前视图和图像中的锚点；
所述目标检测计算在经过权利要求8、9神经网络计算识别出车内人数的累加过程，其主要采用Faster PCNN网络结构进行计算(参考：Zhili Chen,Zhimin Zhao,AdamuAbubakar Abba.Detection of Microcalcifications in Mammograms Based on HyperFaster R-CNN[C]//.Conference proceedings of 2021 4th International Conferenceon Algorithms, Computing and Artificial Intelligence(ACAi 2021).,2021:416-423.DOI:10.26914/c.cnkihy.2021.055265.)，其识别过程，如图3所示：
对选定的候选框，经过RPN再纠偏，计算确定选定的候选框；
将候选框映射到公共特征图中；
将特征图降维到同一纬度上；
通过对ROI特征的分类和回归计算找出与候选框一一对应的图像特征，将其计数加1。
本发明提供了一种基于三维图像与雷达技术的闸道口车内人数计量系统的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于三维图像与雷达技术的闸道口车内人数计量系统，其特征在于，包括雷达测速测距测车类型模块、相机拍照特征提取模块、候选区域选择计算模块、特征整合模块以及目标检测计算模块；
其中，雷达测速测距测车类型模块包括：雷达测速，雷达测距离以及雷达测车类型；
相机拍照特征提取模块包括：相机拍照，提取点云俯视图特征，提取点云前视图特征以及提取图像特征；
候选区域计算模块包括：从俯视图特征中计算候选区；
特征整合模块包括：整合候选区与三种特征，俯视图候选区投射到前视图以及整合统一度；
目标检测计算模块包括：统计计算车内人数。
2.根据权利要求1所述的一种基于三维图像与雷达技术的闸道口车内人数计量系统，其特征在于，采用该系统统计计算车内人数的方法包括：
步骤1，通过雷达测速测距测车类型模块进行测速、测距和测车类型；
步骤2，通过相机拍照特征提取模块提取图像特征；
步骤3，通过候选区域选择计算模块计算候选区域；
步骤4，通过特征整合模块将特征整合处理；
步骤5，采用目标检测计算模块，通过视锥生成、三维实例分割和三维边界回归计算的方法来统计目标车内人数。
3.根据权利要求2所述的一种基于三维图像与雷达技术的闸道口车内人数计量系统，其特征在于，步骤1包括：
步骤1-1，当车辆进入闸机前100米范围时，雷达对车辆速度进行测量，若车辆车速超过30公里/小时，则在闸机上方的显示屏中进行提醒；否则进入步骤1-2；
步骤1-2，通过雷达计算出车辆的高度，判断车辆类型为大型车或小型车。
4.根据权利要求3所述的一种基于三维图像与雷达技术的闸道口车内人数计量系统，其特征在于，通过所述相机拍照特征提取模块，对三维图形特征提取处理的方法，即步骤2包括：
步骤2-1，根据步骤1-2中雷达测出的车辆类型，在车辆进入闸机前10米范围时，动态调节摄像图高度和角度；同时打开闸道的上方的补光灯，使得拍摄的图像和视频清晰可见，保障拍摄时穿透汽车玻璃；
步骤2-2，使用相机将拍摄的车辆图片快速构建成三维模型，得到三维图像，该三维图像包括俯视图及前视图；
步骤2-3，根据步骤2-2中得到的三维图像中的俯视图，从俯视图中的高度、强度和密度三个维度进行特征提取；其中，高度的计算过程是通过计算三维图像中的点云单位格中最高的值得出，通过将点云划分为M块，然后每块计算出相应的高度图，从而获得M个高度图；强度的计算过程是通过循环计算找出M个高度图中单位格中最大高度的点的值，即为强度值；密度的计算过程是M个高度图中的每个单元格中点的数据，通过以下公式计算得出：
Figure FDA0003577251710000021
其中，N为单元格中的点数目；强度和密度是整个三维图像中俯视图的点云特征值，高度是计算的M切片，总的俯视图被编码为(M+2)个通道特征；
步骤2-4，根据步骤2-2中得到的三维图像中的前视图，通过计算将其投射到一个圆柱面上形成一个稠密的前视图来提取车辆前视图特征，包括：
假设三维坐标p为：p＝(x,y,z)
即得到前视图坐标pfv为：pfv＝(r,c)
其中r坐标轴和c坐标轴通过以下公式计算得到：
Figure FDA0003577251710000022
c＝atan2(y，x)/Δθ
其中，atan2是求反正切函数，Δφ是直径变量，Δθ是角度变量；
步骤2-5，采用视觉几何群网络VGG-16预训练好的卷积神经网络模型进行特征提取，包括：
将步骤2-3和步骤2-4中得到的车辆前视图特征作为输入，通过调整视觉几何群网络中的VGG16.npy，进行特征提取。
5.根据权利要求4所述的一种基于三维图像与雷达技术的闸道口车内人数计量系统，其特征在于，步骤3包括：
步骤3-1，选择三维图形中的俯视图参与候选区域计算；
步骤3-2，采用区域生成网络RPN提取候选框；
步骤3-3，得到俯视图候选区域。
6.根据权利要求5所述的一种基于三维图像与雷达技术的闸道口车内人数计量系统，其特征在于，步骤4包括：
步骤4-1，把候选区域计算模块中得到的俯视图候选区域分别与相机拍照特征提取模块中得到的特征进行整合；
步骤4-2，将俯视图候选区域投影到前视图和三维图像中,包括：
将每一个三维图像中的俯视图候选区参数化为：
(x,y,z,l,w,h)
其中，x，y，z是三维空间坐标轴，l，w，h是长度、宽度和高度；这些锚点用(x,y,l,w)表示；经过离散化后得到前视图和图像中的锚点；
步骤4-3：采用ROIpooling方法进行处理，将三维图像数据降维到同一维度上。
7.根据权利要求6所述的一种基于三维图像与雷达技术的闸道口车内人数计量系统，其特征在于，步骤5中所述视锥生成指基于VGG-16神经网络进行特征提取，然后用FasterPCNN网络预测出锚点作为视锥；所述三维实例分割指对每个视锥进行旋转以得到中心视角，用此视角作为坐标轴的点云数据，然后再对点云数据进行实例分割，用以判断每个锚点是否属于目标点。
8.根据权利要求7所述的一种基于三维图像与雷达技术的闸道口车内人数计量系统，其特征在于，步骤5中所述三维边界回归的计算方法包括：以三维实例分割的结果作为标记以得到目标的点云集；计算出目标的点云集的质心并作为新坐标系的原点；将视锥点云平移到新坐标系原点，再通过对三维边界的中心、尺寸和方向进行回归输出结果。
9.根据权利要求8所述的一种基于三维图像与雷达技术的闸道口车内人数计量系统，其特征在于，步骤3-2中采用区域生成网络RPN提取候选框，包括：
对经过VGG-16卷积得到车辆前视图特征，经过一系列的卷积计算得到基础特征图；
再经过卷积计算，得到一组特征图；
结合一组锚点，锚点是在卷积过程中针对某一候选框选定的中心点，经过后处理得到候选框。
10.根据权利要求9所述的一种基于三维图像与雷达技术的闸道口车内人数计量系统，其特征在于，所述目标检测计算模块采用Faster PCNN网络结构进行计算的过程包括：
对选定的候选框，经过RPN纠偏，计算确定选定的候选框；
将候选框映射到公共特征图中；
将特征图降维到同一纬度上；
通过对ROI特征的分类和回归计算找出与候选框一一对应的图像特征，将其计数加1。
CN202210347370.7A 2022-04-01 2022-04-01 一种基于三维图像与雷达技术的闸道口车内人数计量系统 Pending CN114724094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210347370.7A CN114724094A (zh) 2022-04-01 2022-04-01 一种基于三维图像与雷达技术的闸道口车内人数计量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210347370.7A CN114724094A (zh) 2022-04-01 2022-04-01 一种基于三维图像与雷达技术的闸道口车内人数计量系统

Publications (1)

Publication Number Publication Date
CN114724094A true CN114724094A (zh) 2022-07-08

Family

ID=82241587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210347370.7A Pending CN114724094A (zh) 2022-04-01 2022-04-01 一种基于三维图像与雷达技术的闸道口车内人数计量系统

Country Status (1)

Country Link
CN (1) CN114724094A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345908A (zh) * 2022-10-18 2022-11-15 四川启睿克科技有限公司 一种基于毫米波雷达的人体姿态识别方法
CN116687386A (zh) * 2023-08-07 2023-09-05 青岛市畜牧工作站(青岛市畜牧兽医研究所) 牛体形数据综合校准的雷达探测系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345908A (zh) * 2022-10-18 2022-11-15 四川启睿克科技有限公司 一种基于毫米波雷达的人体姿态识别方法
CN115345908B (zh) * 2022-10-18 2023-03-07 四川启睿克科技有限公司 一种基于毫米波雷达的人体姿态识别方法
CN116687386A (zh) * 2023-08-07 2023-09-05 青岛市畜牧工作站(青岛市畜牧兽医研究所) 牛体形数据综合校准的雷达探测系统及方法
CN116687386B (zh) * 2023-08-07 2023-10-31 青岛市畜牧工作站(青岛市畜牧兽医研究所) 牛体形数据综合校准的雷达探测系统及方法

Similar Documents

Publication Publication Date Title
CN110322702B (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN110285793B (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN107253485B (zh) 异物侵入检测方法及异物侵入检测装置
CN108596081B (zh) 一种基于雷达和摄像机融合的车辆行人探测方法
CN110487562A (zh) 一种用于无人驾驶的车道保持能力检测系统及方法
CN105321342B (zh) 一种基于航拍视频的交叉口车辆排队长度检测方法
CN108681718B (zh) 一种无人机低空目标精准检测识别方法
CN106650708A (zh) 一种自动驾驶障碍物视觉检测方法与系统
CN114724094A (zh) 一种基于三维图像与雷达技术的闸道口车内人数计量系统
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN109871776B (zh) 全天候车道线偏离的预警方法
CN106127137A (zh) 一种基于3d轨迹分析的目标检测识别算法
CN112731436B (zh) 基于点云上采样的多模态数据融合可行驶区域检测方法
CN104331901A (zh) 一种基于tld的多视角目标跟踪装置及方法
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN104517095A (zh) 一种基于深度图像的人头分割方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN112991369A (zh) 基于双目视觉的行驶车辆外廓尺寸检测方法
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
CN106570899A (zh) 一种目标物体检测方法及装置
CN106446785A (zh) 基于双目视觉的可行道路检测方法
CN108416798A (zh) 一种基于光流的车辆距离估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination