CN114663473A - 基于多视角信息融合的人员目标定位与追踪方法及系统 - Google Patents

基于多视角信息融合的人员目标定位与追踪方法及系统 Download PDF

Info

Publication number
CN114663473A
CN114663473A CN202210199524.2A CN202210199524A CN114663473A CN 114663473 A CN114663473 A CN 114663473A CN 202210199524 A CN202210199524 A CN 202210199524A CN 114663473 A CN114663473 A CN 114663473A
Authority
CN
China
Prior art keywords
personnel
view
camera
model
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210199524.2A
Other languages
English (en)
Inventor
王刘旺
刘浩军
孙歆
万家炎
叶晓桐
魏默涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Zhejiang University ZJU
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202210199524.2A priority Critical patent/CN114663473A/zh
Publication of CN114663473A publication Critical patent/CN114663473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于多视角信息融合的人员目标定位与追踪方法及系统，属于多视角行人检测领域。现有的多个摄像头监测系统，对人员目标定位与追踪，不够精确，误差较大，方案繁琐，不利于推广使用。本发明的基于多视角信息融合的人员目标定位与追踪方法，利用具有重叠视角范围的多摄像头系统，通过融合多个摄像头视图的视频数据，有效解决了场景中作业人员经常被环境或他人遮挡而无法定位的问题，并且通过构建多视角人员定位网络模型、人员追踪模型以及人员位置与轨迹可视化模型，获得作业人员在建立的平面坐标系中的地面位置，以及位置轨迹，有效提高了定位以及追踪精确度，并降低了定位、追踪误差，方案简单易行、易于推广。

Description

基于多视角信息融合的人员目标定位与追踪方法及系统
技术领域
本发明涉及基于多视角信息融合的人员目标定位与追踪方法及系统，属于多视角行人检测领域。
背景技术
在变电站施工场景中，经常需要对施工人员在作业现场的活动轨迹进行记录，以确保施工人员始终在安全区域进行合规操作。现有的目标定位与检测通常是两套系统。例如通过GPS或者RFID技术进行定位，而通过单个摄像头及相关算法在视频流中实现目标检测。而搭建由多个摄像头构成的监测系统，确保作业人员始终能被两个以上的摄像头监测到，再通过设计多视角监测追踪网络，能够鲁棒精确地同时对作业人员进行追踪和定位，有效降低了监测系统的搭建成本。
但现有的多个摄像头监测系统，对人员目标定位与追踪，不够精确，误差较大，方案繁琐，不利于推广使用。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种利用具有重叠视角范围的多摄像头系统，通过融合多个摄像头视图的视频数据，有效解决了场景中作业人员经常被环境或他人遮挡而无法定位的问题，并且通过构建多视角人员定位网络模型、人员追踪模型以及人员位置与轨迹可视化模型，获得作业人员在建立的平面坐标系中的地面位置，以及位置轨迹，有效提高了作业现场的管控水平，同时有效提高了定位以及追踪精确度，并降低了定位、追踪误差，方案简单易行、易于推广的基于多视角信息融合到人员目标定位与追踪方法及系统。
为实现上述目的，本发明采用的第一种技术方案为：
基于多视角信息融合的人员目标定位与追踪方法，
包括离线准备阶段和在线应用阶段：
所述的离线准备阶段,包括以下内容：
首先，根据确定的目前区域，搭建监控视线能覆盖目标区域并具有监控视线相重叠的多摄像头监控系统，并对摄像头进行联合标定；
其次，根据多摄像头监控系统，构建并训练多视角特征提取与人员检测模型、多视角特征投影模型、多视角投影特征融合模型、人员位置占有图预测模型、多视角人员定位网络模型、人员追踪模型、人员位置与轨迹可视化模型；
所述的在线应用阶段,包括以下内容：
首先，获取离线准备阶段的场景参数；
然后，通过离线准备阶段中的多个摄像头获取监控视频流，并进行预处理；
之后，将预处理后的视频流以及场景参数输入训练好的多视角人员定位网络模型、人员追踪模型以及人员位置与轨迹可视化模型，获得作业人员在建立的平面坐标系中的地面位置，以及位置轨迹，并且在摄像头拍摄的视频中对位置以及跟踪效果进行可视化显示。
本发明经过不断探索以及试验，利用具有重叠视角范围的多摄像头系统，通过融合多个摄像头视图的视频数据，有效解决了场景中作业人员经常被环境或他人遮挡而无法定位的问题，并且通过构建多视角人员定位网络模型、人员追踪模型以及人员位置与轨迹可视化模型，获得作业人员在建立的平面坐标系中的地面位置，以及位置轨迹，有效提高了作业现场的管控水平，同时有效提高了定位以及追踪精确度，并降低了定位、追踪误差，方案简单、实用，便于实现，易于推广。
作为优选技术措施：
所述离线准备阶段的具体步骤如下：
步骤1，确定目标区域的三维坐标系，搭建监控视线能覆盖目标区域并具有监控视线相重叠的多摄像头监控系统；
步骤2，根据步骤1中的三维坐标系以及多摄像头监控系统，对场景中的多个摄像头进行联合标定；
步骤3，利用标定完成的多个摄像头，拍摄收集场景中有作业人员的多摄像头同步视频片段，并进行标注，构建训练用数据集；
步骤4，根据步骤3中的训练用数据集，构建基于深度神经网络的多视角特征提取与人员检测模型；
步骤5，根据步骤3中的训练用数据集，构建基于透视变换的多视角特征投影模型；
步骤6，根据步骤3中的训练用数据集，构建多视角投影特征融合模型；
步骤7，根据步骤3中的训练用数据集，构建基于深度学习的人员位置占有图预测模型；
步骤8，根据步骤3中的训练用数据集，构建并训练多视角人员定位网络模型；
步骤9，根据步骤3中的训练用数据集，构建人员追踪模型与人员位置与轨迹可视化模型。
作为优选技术措施：
所述在线应用阶段的具体步骤如下：
步骤10，获取三维坐标系下的应用场景的场景参数；
步骤11，将标定完成的多个摄像头拍摄的视频流，进行预处理；
步骤12，将预处理后的视频流输入训练好的多视角人员定位网络模型，获得人员位置占有图以及视频中人员检测结果；
步骤13，将步骤12中的人员位置占有图输入人员追踪模型，获得在占有图上的人员运动轨迹，以位置序列表示：<人员编号，(时刻1，位置1；时刻2，位置2；时刻3，位置3，……)>；
步骤14，将步骤13中的人员轨迹以及步骤12中的人员检测结果输入人员位置与轨迹可视化模型，进行可视化显示。
作为优选技术措施：
当场景中新增摄像头、减少摄像头、替换摄像头或摄像头安装位置变动等情况发生时，需要对所有的摄像头重新进行联合标定；
当更换在线应用场景时，需要重新确定目标区域平面坐标系，对场景中的摄像头进行联合标定。
作为优选技术措施：
所述的步骤1中，三维坐标系的建立以及多摄像头监控系统的搭建，具体包括以下内容：
步骤1-1，通过实地勘测，建立作业现场的目标区域空间坐标系；
步骤1-2，根据目标区域空间坐标系，对摄像头分别标定内参并进行编号；
步骤1-3，将摄像头安装到高于人员头顶的位置，在保证所有摄像头视角范围的并集能够覆盖整个目标区域的前提下，使得多个摄像头的视角范围有诸多重叠；
所述的步骤2中，对多个摄像头进行联合标定的方法如下：
步骤2-1，在作业现场选取若干标识点并测量其在空间坐标系下的坐标；
步骤2-2，在每个摄像头分别拍摄的若干帧图像中找到步骤2-1中的标识点，并测量其所在摄像头的位置坐标；
步骤2-3，根据步骤2-2中的标识点以及摄像头的位置坐标，构建重投影误差代价函数，进行优化，得到各个摄像头在空间坐标系下的外参；
所述的步骤3中，训练用数据集的构建过程如下：
步骤3-1，拍摄多组场景目标区域中作业人员数量不同、位置不同、运动不同的多摄像头同步视频片段；
步骤3-2，根据摄像头标定以及三角定位的方法，初步确定步骤3-1的视频中作业人员在平面坐标系下的地面位置；
步骤3-3，以步骤3-2中的地面位置为圆柱体的底面圆心，通过调整圆柱体的位置、高度和半径，使其在每个摄像头视图中的投影矩形均与该位置的作业人员重叠。
作为优选技术措施：
所述的步骤4中:多视角特征提取与人员检测模型采用基于深度神经网络的目标检测算法进行构建，其具体方法如下：
采用多摄像头视图共享权重的网络架构建立多视角特征提取器，并去掉最后的两层最大池化层，同时将后两个阶段的卷积替换为空洞卷积，降低下采样率的同时增大感受野，多视角特征提取器在可视化数据库ImageNet上进行预训练；
通过在步骤3中构建的数据集上训练后，检测到摄像头视图中的人体并用检测框标注；
所述的步骤5中，多视角特征投影模型的构建方法如下：
步骤5-1，在作业区域上方定义一个俯视的虚拟摄像头模型；
步骤5-2，利用仿射变换将各个摄像头平面上的特征图投影到步骤5-1的虚拟摄像头模型中；
所述步骤6中，多视角投影特征融合模型构建方法如下：
采用加权平均的方法对投影后的特征图进行融合，其公式为：
Figure BDA0003528729260000041
其中，F代表融合后特征图，fi代表第i个摄像头视图对应的投影特征图，mi代表第i个投影特征的权重，为第i个摄像头视角范围中的目标区域占整个目标区域的比例；
所述步骤7中，人员位置占有图预测模型采用深度学习进行构建，其具体过程如下：
采用三层空洞卷积网络的方法，输入融合特征图，通过在步骤3中构建的数据集上训练后，预测由人员地面位置构成的位置占有图；
所述步骤8中，多视角人员定位网络模型的构建并训练方法如下：
构建多视角人员定位网络，并在步骤3中构建的数据集上训练，损失函数为人员检测的IoU损失函数与结合人员定位损失函数的加权和，训练后的多视角人员定位网络模型能够输出人员位置占有图以及摄像头视图中人员检测结果；
所述步骤9中，人员追踪模型与人员位置与轨迹可视化模型的构建方法如下：
当前时刻人员位置点仅在下一时刻该位置确定半径范围内搜寻匹配的位置点，通过组合优化的算法，其半径由作业人员的最大运动速度和视频帧率决定，在多项式时间内实现跟踪，输出占有图上的人员运动轨迹，以位置序列表示：<人员编号，(时刻1，位置1；时刻2，位置2；时刻3，位置3，……)>；
制作人员位置与轨迹可视化模型，显示在鸟瞰视角下目标区域中作业人员的位置与运动轨迹，在各个摄像头视图中作业人员检测、定位与追踪结果；
以上离线准备阶段完成后，通过在作业场景中布置的多摄像头监控系统，对目标区域中的作业人员进行定位与追踪。
作为优选技术措施：
所述步骤10中，场景参数，包括目标区域平面坐标系设置以及多摄像机联合标定参数；
所述的步骤11中，预处理包括以下内容：
步骤11-1，以特定的频率，抽取原多个摄像头拍摄视频的同步帧，组成降低帧率的多摄像头视频；
步骤11-2，将步骤11-1中的多摄像头视频的分辨率统一到相同的特定大小。
作为优选技术措施：
所述的步骤12中，检测结果的获取过程如下：
步骤12-1，采用共享权重的多视角特征提取与人员检测模型对来自多个摄像头的视图进行特征提取，生成每个摄像头视图对应的特征图；
步骤12-2，根据步骤12-1中的特征图，采用基于深度学习的目标检测器，对每个摄像头视图中的作业人员进行检测，得到检测特征图；
步骤12-3，采用多视角特征投影模型将步骤12-2中的检测特征图投影到目标区域地平面，获得投影特征图；
步骤12-4，采用多视角投影特征融合模型将步骤12-3中的投影特征图融合，生成融合特征图；
步骤12-5，采用位置占有图预测模型根据步骤12-4中的融合特征图预测人员位置占有图，并根据建立的平面坐标系，获得人员的地面位置坐标。
作为优选技术措施：
所述的步骤14中，可视化显示，包括以下内容：
步骤14-1，根据输入运动轨迹位置序列，在鸟瞰视角下目标区域中作业人员的位置以及运动轨迹进行标注，不同作业人员轨迹颜色不同；
步骤14-2，根据步骤14-1中标注的位置以及运动轨迹，在每个时刻，以作业人员地面位置为底面圆心，在鸟瞰视角下，生成圆柱体；
步骤14-3，将步骤14-2中生成的圆柱体投影到对应的多个摄像头视图上，生成对应的投影矩形；
步骤14-4，如果视图中存在跟步骤14-3中的投影矩形的重叠比例大于阈值的人员检测结果，即矩形框，则取重叠最大的检测结果作为该作业人员在该视图中的匹配；
如果视图中不存在跟投影矩形的重叠比例大于阈值的人员检测结果，即矩形框，则认为该作业人员在该时刻的该摄像头视图中被遮挡；
步骤14-5，根据步骤14-4中的人员检测结果，将每一条轨迹序列在多个摄像头视图中的匹配结果的检测框标注为相同颜色，不同运动轨迹对应的检测框标注为不同颜色，并在视图中标注出该作业人员地面位置与编号；
将摄像头视图中未匹配到的作业人员检测结果的检测框标注为灰色，并添加“未知人员”的标签。
步骤14-6，根据步骤14-5中的标注情况，完成人员位置与轨迹的鸟瞰视角地面视图以及各个摄像头视图可视化显示。
为实现上述目的，本发明采用的第二种技术方案为：
一种基于多视角信息融合的人员目标定位与追踪系统，
应用上述的基于多视角信息融合的人员目标定位与追踪方法，其包括多摄像头监控系统、多视角特征提取与人员检测模块、多视角特征投影模块、多视角投影特征融合模块、人员位置占有图预测模块、多视角人员定位网络模块、人员追踪模块、人员位置与轨迹可视化模块；
多摄像头监控系统，其包括若干能覆盖目标区域并具有重叠区域的摄像头；
多视角特征提取与人员检测模块，用于多视角特征的提取与人员检测；
多视角特征投影模块，用于多视角特征投影；
多视角投影特征融合模块，用于多视角投影特征融合；
人员位置占有图预测模块，用于人员位置占有图预测；
多视角人员定位网络模块，用于多视角人员定位；
人员追踪模块，用于人员追踪；
人员位置与轨迹可视化模块，用于人员位置与轨迹可视化。
与现有技术相比，本发明具有以下有益效果：
本发明可用于作业场景的视频监控系统，依托多摄像头监控系统，通过联合标定的多摄像头，预先训练好的多视角人员定位网络模型、人员追踪模型以及人员位置与轨迹可视化模型，能够快速的对作业人员进行定位和追踪，提高作业现场的管控水平。本发明可以用于解决存在较多遮挡作业场景下的作业人员定位和追踪问题，实施方案简单易行、易于推广。
附图说明
图1为本发明方法离线准备阶段的流程图；
图2为本发明方法在线应用阶段的流程图；
图3为本发明方法多视角人员定位网络模型结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
如图1和图2所示，本发明提供的基于多视角信息融合的人员定位与目标追踪方法，包括离线准备阶段和在线定位阶段。
如图1所示，离线准备阶段的具体实施步骤如下：
步骤1:建立作业现场的目标区域平面坐标系，坐标精确到0.1米；对需要使用的摄像头进行编号，编号唯一；将摄像头安装到合适位置，使视角范围的交集覆盖整个目标区域地面，并有较大的视角范围重叠。
步骤1的具体实施步骤如下：
步骤1-1，通过实地勘测，建立作业现场的目标区域平面坐标系，选取目标区域中的某一点为坐标原点，以正北方向作为Y轴正方向，以正东方向为X轴正方向。根据实地勘测情况，坐标原点可以为目标区域中心、角点等位置，坐标精确到0.1米；
步骤1-2，对摄像头进行内参标定并编号，编号以“C+数字”形式组成，编号唯一。
步骤1-3，将摄像头安装到略高于人员头顶(2米的位置，在保证所有摄像头视角范围的并集能够覆盖整个目标区域的前提下，使目标区域中任意点至少有3个摄像头视角范围可以观测。
步骤2:对场景中的多个摄像头进行联合标定。步骤2的具体实施步骤如下：
步骤2-1，在作业现场选取若干标识点并测量其在空间坐标系下的坐标；
步骤2-2，在每个摄像头分别拍摄的若干帧图像中找到标识点，并测量其在摄像头
步骤2-3，构建重投影误差代价函数，进行优化，得到各个摄像头在空间坐标系下的外参。
步骤3:拍摄5组多摄像头同步视频片段，对作业人员地面位置进行确定，并对多个摄像头视图中的人员进行联合标注，构建用于后续多视角人员定位网络模型训练使用的数据集。
步骤3-1，拍摄5组场景目标区域中作业人员数量不同、位置不同、运动不同的多摄像头同步视频片段，视频帧率为3fps，每组视频的长度为400到500帧；
步骤3-2，根据摄像头标定以及三角定位的方法，初步确定视频中作业人员在平面坐标系下的地面位置；
步骤3-3，以地面位置为圆柱体的底面圆心，通过调整圆柱体的位置、高度和半径，使其在每个摄像头视图中的投影矩形均与该位置的作业人员重叠；
步骤3-4，记录调整后的作业人员地面位置以及在每个摄像头视图中投影矩形的边框，实现对多摄像头视图的联合标注。
步骤4:构建基于深度神经网络的多视角特征提取与人员检测模型。本实施实例采用的是基于深度神经网络的方法：多视角特征提取器采用多摄像头视图共享权重的Darknet-19网络架构，去掉最后的两层最大池化层，并将后两个阶段的卷积替换为空洞卷积，降低下采样率的同时增大感受野，多视角特征提取器在ImageNet上进行预训练；人员检测模型采用基于深度神经网络的目标检测算法，基于多视角特征提取器提供的每个摄像头视图提取的特征，通过在步骤3中构建的数据集上训练后，可以检测到摄像头视图中的人体并用检测框标注。
步骤5，构建基于透视变换的多视角特征投影模型。
步骤6，构建多视角投影特征融合模型。本实施实例采用加权平均的方法对投影后的特征图进行融合，其公式为：
Figure BDA0003528729260000081
其中，F代表融合后特征图，fi代表第i个摄像头视图对应的投影特征图，mi代表第i个投影特征的权重，为第i个摄像头视角范围中的目标区域占整个目标区域的比例。
步骤7，构建基于深度学习的人员位置占有图预测模型。本实施实例采用三层空洞卷积网络的方法，输入融合特征图，通过在步骤3中构建的数据集上训练后，可以预测由人员地面位置构成的位置占有图。
步骤8，构建并训练多视角人员定位网络模型。本实施实例融合步骤4、5、6、7中构建的模型，构建多视角人员定位网络，并在步骤3中构建的数据集上训练，损失函数为人员检测的IoU损失函数与结合Kullback-Leibler Divergence与Pearson Cross-Correlation的人员定位损失函数的加权和，训练后的多视角人员定位网络模型能够输出人员位置占有图以及摄像头视图中人员检测结果。
步骤9，构建人员追踪模型与人员位置与轨迹可视化模型。本实施实例将跟踪问题简化为最小成本最大流问题，当前时刻人员位置点仅在下一时刻该位置确定半径(由作业人员的最大运动速度和视频帧率决定)范围内搜寻匹配的位置点，通过组合优化的算法，构建人员追踪模型，在多项式时间内实现跟踪，输出占有图上的人员运动轨迹，以位置序列表示：<人员编号，(时刻1，位置1；时刻2，位置2；时刻3，位置3，……)>；本实施实例采用Opencv等工具，制作人员位置与轨迹可视化模型，可以显示在鸟瞰视角下目标区域中作业人员的位置与运动轨迹，在各个摄像头视图中作业人员检测、定位与追踪结果。
以上离线准备阶段完成后，可以通过在作业场景中布置的多摄像头监控系统，对目标区域中的作业人员进行定位与追踪，需要经过本发明的在线应用阶段；如图2所示，具体实施步骤如下：
步骤10，获取应用场景的场景参数并输入算法模型。本实施实例在线应用阶段与离线准备阶段场景设置相同，在线应用的算法模型可采用离线准备阶段的场景参数，包括目标区域平面坐标系设置以及多摄像机联合标定参数。
步骤11，将多个摄像头拍摄的视频流，进行预处理。目的是降低输入算法模型的视频的帧率，统一多个摄像头视图视频的分辨率，实现对作业人员的实时定位与追踪。步骤11的具体实施步骤如下：
步骤11-1，以3fps的频率，抽取原多个摄像头拍摄视频的同步帧，组成降低帧率的多摄像头视频；
步骤11-2，将降低帧率的多个摄像头视图的视频统一到720×1280分辨率。
步骤12，将预处理后的视频流输入训练好的多视角人员定位网络模型，通过特征提取、人员检测、透视变换、特征融合、位置预测等过程，输出鸟瞰视角下目标区域中人员位置占有图以及摄像头视图中人员检测结果。如图3所示，步骤12的实际实施如下：
步骤12-1，采用共享权重的多视角特征提取与人员检测模型对来自多个摄像头的视图进行特征提取，生成每个摄像头视图对应的特征图；
步骤12-2，采用基于深度学习的目标检测器使用每个摄像头视图生成的特征图，对每个摄像头视图中的作业人员进行检测，用检测框标注检测结果；
步骤12-3，采用多视角特征投影模型将多个摄像头视图的特征图投影到目标区域地平面，获得每个摄像头视图的投影特征图；
步骤12-4，采用多视角投影特征融合模型，使用加权平均方法，将多摄像头的投影特征图进行融合，生成融合特征图；
步骤12-5，采用位置占有图预测模型根据融合特征图预测人员位置占有图，并根据建立的平面坐标系，获得人员的地面位置坐标数据：<人员编号，(X坐标，Y坐标)>。
步骤13，将获得的人员位置占有图输入人员追踪模型，通过组合优化的算法，获得在占有图上的人员位置运动轨迹，以时间位置序列表示：<人员编号，(时刻1，位置1；时刻2，位置2；时刻3，位置3，……)>；
步骤14，将获得的人员轨迹以及人员检测结果输入人员位置与轨迹可视化模型，进行可视化显示，步骤14的实际实施如下：
步骤14-1，根据输入运动轨迹位置序列，在鸟瞰视角下目标区域中作业人员的位置以及运动轨迹进行标注，不同作业人员轨迹颜色不同；
步骤14-2，根据输入运动轨迹位置序列，在每个时刻，以作业人员地面位置为底面圆心，在鸟瞰视角下，生成圆柱体，高1.8米，宽1米；
步骤14-3，将生成的圆柱体投影到对应的多个摄像头视图上，生成对应的投影矩形；
步骤14-4，如果视图中存在跟投影矩形的重叠比例大于阈值(IOU＝0.5)的人员检测结果(矩形框)，则取重叠最大的检测结果作为该作业人员在该视图中的匹配；
步骤14-5，如果视图中不存在跟投影矩形的重叠比例大于阈值的人员检测结果(矩形框)，则认为该作业人员在该时刻的该摄像头视图中被遮挡；
步骤14-6，将每一条轨迹序列在多个摄像头视图中的匹配结果的检测框标注为相同颜色(不同运动轨迹对应的检测框标注为不同颜色)，并在视图中标注出该作业人员地面位置与编号；
步骤14-7，将摄像头视图中未匹配到的作业人员检测结果的检测框标注为灰色，并添加“未知人员”的标签，
步骤14-8，将上述标注完成的完成人员位置与轨迹的鸟瞰视角地面视图以及各个摄像头视图在图形界面中可视化显示。
本发明利用具有重叠视角范围的多摄像头系统，预先对多摄像头联合标定，通过融合多个摄像头视图的视频数据，可以实现作业场景中作业人员的动态定位及轨迹跟踪，方法简单易行、精度高、易于推广。
应用本发明方法的一种系统实施例：
一种基于多视角信息融合的人员目标定位与追踪系统，
应用上述的基于多视角信息融合的人员目标定位与追踪方法，其包括多摄像头监控系统、多视角特征提取与人员检测模块、多视角特征投影模块、多视角投影特征融合模块、人员位置占有图预测模块、多视角人员定位网络模块、人员追踪模块、人员位置与轨迹可视化模块；
多摄像头监控系统，其包括若干能覆盖目标区域并具有重叠区域的摄像头；
多视角特征提取与人员检测模块，用于多视角特征的提取与人员检测；
多视角特征投影模块，用于多视角特征投影；
多视角投影特征融合模块，用于多视角投影特征融合；
人员位置占有图预测模块，用于人员位置占有图预测；
多视角人员定位网络模块，用于多视角人员定位；
人员追踪模块，用于人员追踪；
人员位置与轨迹可视化模块，用于人员位置与轨迹可视化。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.基于多视角信息融合的人员目标定位与追踪方法，其特征在于,
包括离线准备阶段和在线应用阶段：
所述的离线准备阶段,包括以下内容：
首先，根据确定的目前区域，搭建监控视线能覆盖目标区域并具有监控视线相重叠的多摄像头监控系统，并对摄像头进行联合标定；
其次，根据多摄像头监控系统，构建并训练多视角特征提取与人员检测模型、多视角特征投影模型、多视角投影特征融合模型、人员位置占有图预测模型、多视角人员定位网络模型、人员追踪模型、人员位置与轨迹可视化模型；
所述的在线应用阶段,包括以下内容：
首先，获取离线准备阶段的场景参数；
然后，通过离线准备阶段中的多个摄像头获取监控视频流，并进行预处理；
之后，将预处理后的视频流以及场景参数输入训练好的多视角人员定位网络模型、人员追踪模型以及人员位置与轨迹可视化模型，获得作业人员在建立的平面坐标系中的地面位置，以及位置轨迹，并且在摄像头拍摄的视频中对位置以及跟踪效果进行可视化显示。
2.根据权利要求1所述的基于多视角信息融合的人员目标定位与追踪方法，其特征在于，
所述离线准备阶段的具体步骤如下：
步骤1，确定目标区域的三维坐标系，搭建监控视线能覆盖目标区域并具有监控视线相重叠的多摄像头监控系统；
步骤2，根据步骤1中的三维坐标系以及多摄像头监控系统，对场景中的多个摄像头进行联合标定；
步骤3，利用标定完成的多个摄像头，拍摄收集场景中有作业人员的多摄像头同步视频片段，并进行标注，构建训练用数据集；
步骤4，根据步骤3中的训练用数据集，构建基于深度神经网络的多视角特征提取与人员检测模型；
步骤5，根据步骤3中的训练用数据集，构建基于透视变换的多视角特征投影模型；
步骤6，根据步骤3中的训练用数据集，构建多视角投影特征融合模型；
步骤7，根据步骤3中的训练用数据集，构建基于深度学习的人员位置占有图预测模型；
步骤8，根据步骤3中的训练用数据集，构建并训练多视角人员定位网络模型；
步骤9，根据步骤3中的训练用数据集，构建人员追踪模型与人员位置与轨迹可视化模型。
3.根据权利要求2所述的基于多视角信息融合的人员目标定位与追踪方法，其特征在于，
所述在线应用阶段的具体步骤如下：
步骤10，获取三维坐标系下的应用场景的场景参数；
步骤11，将标定完成的多个摄像头拍摄的视频流，进行预处理；
步骤12，将预处理后的视频流输入训练好的多视角人员定位网络模型，获得人员位置占有图以及视频中人员检测结果；
步骤13，将步骤12中的人员位置占有图输入人员追踪模型，获得在占有图上的人员运动轨迹，以位置序列表示：<人员编号，(时刻1，位置1；时刻2，位置2；时刻3，位置3，……)>；
步骤14，将步骤13中的人员轨迹以及步骤12中的人员检测结果输入人员位置与轨迹可视化模型，进行可视化显示。
4.如权利要求1、2或3所述的基于多视角信息融合的人员目标定位与追踪方法，其特征在于，
当场景中新增摄像头、减少摄像头、替换摄像头或摄像头安装位置变动等情况发生时，需要对所有的摄像头重新进行联合标定；
当更换在线应用场景时，需要重新确定目标区域平面坐标系，对场景中的摄像头进行联合标定。
5.如权利要求2所述的基于多视角信息融合的人员目标定位与追踪方法，其特征在于，
所述的步骤1中，三维坐标系的建立以及多摄像头监控系统的搭建，具体包括以下内容：
步骤1-1，通过实地勘测，建立作业现场的目标区域空间坐标系；
步骤1-2，根据目标区域空间坐标系，对摄像头分别标定内参并进行编号；
步骤1-3，将摄像头安装到高于人员头顶的位置，在保证所有摄像头视角范围的并集能够覆盖整个目标区域的前提下，使得多个摄像头的视角范围有诸多重叠；
所述的步骤2中，对多个摄像头进行联合标定的方法如下：
步骤2-1，在作业现场选取若干标识点并测量其在空间坐标系下的坐标；
步骤2-2，在每个摄像头分别拍摄的若干帧图像中找到步骤2-1中的标识点，并测量其所在摄像头的位置坐标；
步骤2-3，根据步骤2-2中的标识点以及摄像头的位置坐标，构建重投影误差代价函数，进行优化，得到各个摄像头在空间坐标系下的外参；
所述的步骤3中，训练用数据集的构建过程如下：
步骤3-1，拍摄多组场景目标区域中作业人员数量不同、位置不同、运动不同的多摄像头同步视频片段；
步骤3-2，根据摄像头标定以及三角定位的方法，初步确定步骤3-1的视频中作业人员在平面坐标系下的地面位置；
步骤3-3，以步骤3-2中的地面位置为圆柱体的底面圆心，通过调整圆柱体的位置、高度和半径，使其在每个摄像头视图中的投影矩形均与该位置的作业人员重叠。
6.如权利要求2所述的基于多视角信息融合的人员目标定位与追踪方法，其特征在于，
所述的步骤4中:多视角特征提取与人员检测模型采用基于深度神经网络的目标检测算法进行构建，其具体方法如下：
采用多摄像头视图共享权重的网络架构建立多视角特征提取器，并去掉最后的两层最大池化层，同时将后两个阶段的卷积替换为空洞卷积，降低下采样率的同时增大感受野，多视角特征提取器在可视化数据库ImageNet上进行预训练；
通过在步骤3中构建的数据集上训练后，检测到摄像头视图中的人体并用检测框标注；
所述的步骤5中，多视角特征投影模型的构建方法如下：
步骤5-1，在作业区域上方定义一个俯视的虚拟摄像头模型；
步骤5-2，利用仿射变换将各个摄像头平面上的特征图投影到步骤5-1的虚拟摄像头模型中；
所述步骤6中，多视角投影特征融合模型构建方法如下：
采用加权平均的方法对投影后的特征图进行融合，其公式为：
Figure FDA0003528729250000031
其中，F代表融合后特征图，fi代表第i个摄像头视图对应的投影特征图，mi代表第i个投影特征的权重，为第i个摄像头视角范围中的目标区域占整个目标区域的比例；
所述步骤7中，人员位置占有图预测模型采用深度学习进行构建，其具体过程如下：
采用三层空洞卷积网络的方法，输入融合特征图，通过在步骤3中构建的数据集上训练后，预测由人员地面位置构成的位置占有图；
所述步骤8中，多视角人员定位网络模型的构建并训练方法如下：
构建多视角人员定位网络，并在步骤3中构建的数据集上训练，损失函数为人员检测的IoU损失函数与结合人员定位损失函数的加权和，训练后的多视角人员定位网络模型能够输出人员位置占有图以及摄像头视图中人员检测结果；
所述步骤9中，人员追踪模型与人员位置与轨迹可视化模型的构建方法如下：
当前时刻人员位置点仅在下一时刻该位置确定半径范围内搜寻匹配的位置点，通过组合优化的算法，其半径由作业人员的最大运动速度和视频帧率决定，在多项式时间内实现跟踪，输出占有图上的人员运动轨迹，以位置序列表示：<人员编号，(时刻1，位置1；时刻2，位置2；时刻3，位置3，……)>；
制作人员位置与轨迹可视化模型，显示在鸟瞰视角下目标区域中作业人员的位置与运动轨迹，在各个摄像头视图中作业人员检测、定位与追踪结果；
以上离线准备阶段完成后，通过在作业场景中布置的多摄像头监控系统，对目标区域中的作业人员进行定位与追踪。
7.如权利要求3所述的基于多视角信息融合的人员目标定位与追踪方法，其特征在于，
所述步骤10中，场景参数，包括目标区域平面坐标系设置以及多摄像机联合标定参数；
所述的步骤11中，预处理包括以下内容：
步骤11-1，以特定的频率，抽取原多个摄像头拍摄视频的同步帧，组成降低帧率的多摄像头视频；
步骤11-2，将步骤11-1中的多摄像头视频的分辨率统一到相同的特定大小。
8.如权利要求3所述的基于多视角信息融合的人员目标定位与追踪方法，其特征在于，
所述的步骤12中，检测结果的获取过程如下：
步骤12-1，采用共享权重的多视角特征提取与人员检测模型对来自多个摄像头的视图进行特征提取，生成每个摄像头视图对应的特征图；
步骤12-2，根据步骤12-1中的特征图，采用基于深度学习的目标检测器，对每个摄像头视图中的作业人员进行检测，得到检测特征图；
步骤12-3，采用多视角特征投影模型将步骤12-2中的检测特征图投影到目标区域地平面，获得投影特征图；
步骤12-4，采用多视角投影特征融合模型将步骤12-3中的投影特征图融合，生成融合特征图；
步骤12-5，采用位置占有图预测模型根据步骤12-4中的融合特征图预测人员位置占有图，并根据建立的平面坐标系，获得人员的地面位置坐标。
9.如权利要求3所述的基于多视角信息融合的人员目标定位与追踪方法，其特征在于，
所述的步骤14中，可视化显示，包括以下内容：
步骤14-1，根据输入运动轨迹位置序列，在鸟瞰视角下目标区域中作业人员的位置以及运动轨迹进行标注，不同作业人员轨迹颜色不同；
步骤14-2，根据步骤14-1中标注的位置以及运动轨迹，在每个时刻，以作业人员地面位置为底面圆心，在鸟瞰视角下，生成圆柱体；
步骤14-3，将步骤14-2中生成的圆柱体投影到对应的多个摄像头视图上，生成对应的投影矩形；
步骤14-4，如果视图中存在跟步骤14-3中的投影矩形的重叠比例大于阈值的人员检测结果，即矩形框，则取重叠最大的检测结果作为该作业人员在该视图中的匹配；
如果视图中不存在跟投影矩形的重叠比例大于阈值的人员检测结果，即矩形框，则认为该作业人员在该时刻的该摄像头视图中被遮挡；
步骤14-5，根据步骤14-4中的人员检测结果，将每一条轨迹序列在多个摄像头视图中的匹配结果的检测框标注为相同颜色，不同运动轨迹对应的检测框标注为不同颜色，并在视图中标注出该作业人员地面位置与编号；
将摄像头视图中未匹配到的作业人员检测结果的检测框标注为灰色，并添加“未知人员”的标签；
步骤14-6，根据步骤14-5中的标注情况，完成人员位置与轨迹的鸟瞰视角地面视图以及各个摄像头视图可视化显示。
10.一种基于多视角信息融合的人员目标定位与追踪系统，其特征在于，
应用如权利要求1-9任一所述的基于多视角信息融合的人员目标定位与追踪方法，其包括多摄像头监控系统、多视角特征提取与人员检测模块、多视角特征投影模块、多视角投影特征融合模块、人员位置占有图预测模块、多视角人员定位网络模块、人员追踪模块、人员位置与轨迹可视化模块；
多摄像头监控系统，其包括若干能覆盖目标区域并具有重叠区域的摄像头；
多视角特征提取与人员检测模块，用于多视角特征的提取与人员检测；
多视角特征投影模块，用于多视角特征投影；
多视角投影特征融合模块，用于多视角投影特征融合；
人员位置占有图预测模块，用于人员位置占有图预测；
多视角人员定位网络模块，用于多视角人员定位；
人员追踪模块，用于人员追踪；
人员位置与轨迹可视化模块，用于人员位置与轨迹可视化。
CN202210199524.2A 2022-03-02 2022-03-02 基于多视角信息融合的人员目标定位与追踪方法及系统 Pending CN114663473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210199524.2A CN114663473A (zh) 2022-03-02 2022-03-02 基于多视角信息融合的人员目标定位与追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210199524.2A CN114663473A (zh) 2022-03-02 2022-03-02 基于多视角信息融合的人员目标定位与追踪方法及系统

Publications (1)

Publication Number Publication Date
CN114663473A true CN114663473A (zh) 2022-06-24

Family

ID=82027430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210199524.2A Pending CN114663473A (zh) 2022-03-02 2022-03-02 基于多视角信息融合的人员目标定位与追踪方法及系统

Country Status (1)

Country Link
CN (1) CN114663473A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100601A (zh) * 2022-06-30 2022-09-23 南京邮电大学 一种基于多视角特征群智融合的特定行人目标匹配方法
CN115294204A (zh) * 2022-10-10 2022-11-04 浙江光珀智能科技有限公司 一种户外目标定位方法及系统
CN116524442A (zh) * 2023-07-04 2023-08-01 深圳大学 基于视角贡献加权的人群检测方法及相关装置
CN118038008A (zh) * 2024-04-15 2024-05-14 武汉人云智物科技有限公司 基于ptz多摄像头联动的水电厂人员定位方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179707A (zh) * 2007-09-21 2008-05-14 清华大学 无线网络视频图像多视角协作目标跟踪测量方法
US10621444B1 (en) * 2019-10-25 2020-04-14 7-Eleven, Inc. Action detection during image tracking
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112966638A (zh) * 2021-03-22 2021-06-15 国网浙江省电力有限公司电力科学研究院 基于多种特征的变电站作业人员鉴别及定位方法
WO2021170030A1 (zh) * 2020-02-28 2021-09-02 华为技术有限公司 一种用于目标追踪的方法、设备及系统
CN113673444A (zh) * 2021-08-19 2021-11-19 清华大学 一种基于角点池化的路口多视角目标检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179707A (zh) * 2007-09-21 2008-05-14 清华大学 无线网络视频图像多视角协作目标跟踪测量方法
US10621444B1 (en) * 2019-10-25 2020-04-14 7-Eleven, Inc. Action detection during image tracking
WO2021170030A1 (zh) * 2020-02-28 2021-09-02 华为技术有限公司 一种用于目标追踪的方法、设备及系统
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112966638A (zh) * 2021-03-22 2021-06-15 国网浙江省电力有限公司电力科学研究院 基于多种特征的变电站作业人员鉴别及定位方法
CN113673444A (zh) * 2021-08-19 2021-11-19 清华大学 一种基于角点池化的路口多视角目标检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张毓: "多相机协同的主动目标跟踪问题研究", 中国优秀硕士毕业论文, 15 January 2022 (2022-01-15) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100601A (zh) * 2022-06-30 2022-09-23 南京邮电大学 一种基于多视角特征群智融合的特定行人目标匹配方法
CN115294204A (zh) * 2022-10-10 2022-11-04 浙江光珀智能科技有限公司 一种户外目标定位方法及系统
CN116524442A (zh) * 2023-07-04 2023-08-01 深圳大学 基于视角贡献加权的人群检测方法及相关装置
CN116524442B (zh) * 2023-07-04 2024-05-17 深圳大学 基于视角贡献加权的人群检测方法及相关装置
CN118038008A (zh) * 2024-04-15 2024-05-14 武汉人云智物科技有限公司 基于ptz多摄像头联动的水电厂人员定位方法及系统

Similar Documents

Publication Publication Date Title
Zhao et al. Detection, tracking, and geolocation of moving vehicle from uav using monocular camera
CN109059954B (zh) 支持高精度地图车道线实时融合更新的方法和系统
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
CN114663473A (zh) 基于多视角信息融合的人员目标定位与追踪方法及系统
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
CN110285793A (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
CN110322702A (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN111261016B (zh) 道路地图的构建方法、装置和电子设备
CN111241988B (zh) 一种结合定位信息的大场景内运动目标检测识别方法
CN106878687A (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
CN115388902B (zh) 室内定位方法和系统、ar室内定位导航方法和系统
CN110033411A (zh) 基于无人机的公路施工现场全景图像高效拼接方法
CN111754388B (zh) 一种建图方法及车载终端
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN106370160A (zh) 一种机器人室内定位系统和方法
CN115797408A (zh) 融合多视角图像和三维点云的目标跟踪方法及装置
CN115035251B (zh) 一种基于领域增强合成数据集的桥面车辆实时追踪方法
CN116883610A (zh) 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统
CN113592905A (zh) 基于单目摄像头的车辆行驶轨迹预测方法
CN116630267A (zh) 基于无人机与激光雷达数据融合的路基沉降监测方法
CN115457084A (zh) 一种多相机目标检测跟踪方法、装置
Kloeker et al. Framework for quality evaluation of smart roadside infrastructure sensors for automated driving applications
CN111950524A (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination