CN115375733A - 基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法 - Google Patents

基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法 Download PDF

Info

Publication number
CN115375733A
CN115375733A CN202211019775.4A CN202211019775A CN115375733A CN 115375733 A CN115375733 A CN 115375733A CN 202211019775 A CN202211019775 A CN 202211019775A CN 115375733 A CN115375733 A CN 115375733A
Authority
CN
China
Prior art keywords
point
track
image
coordinate
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211019775.4A
Other languages
English (en)
Inventor
王璐
王帅
李伟曦
常宏达
崔凯宁
李传文
邓庆绪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202211019775.4A priority Critical patent/CN115375733A/zh
Publication of CN115375733A publication Critical patent/CN115375733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，所述方法包括：基于3D点云和视频帧关键点匹配点对的摄像机标定；基于场景内容的视频数据切分；拟合赛道两侧边缘的曲线以避免赛道外移动物体对检测的干扰；利用背景差分法检测雪车雪橇位置；利用卡尔曼滤波进行跟踪；跟踪完成后对轨迹进行平滑处理；滑行轨迹的2D坐标转换为3D坐标。本发明使用视频帧和点云关键点坐标对集合估计摄像机参数，可在无标定物的情况下获得准确的摄像机标定结果，节省人力和成本；通过利用赛道表面约束建立2D‑3D映射表进行2D坐标到3D坐标的转换；在不需要繁杂人工标注的情况下，准确提取雪车雪橇的2D滑行轨迹，并将其转换为3D轨迹。

Description

基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法。
背景技术
目标跟踪技术在自动驾驶系统、智能机器人、智能安防、人体动作识别等领域都有着广泛应用，将目标跟踪技术应用于雪车雪橇以提取雪车雪橇的运动轨迹对于指导运动员训练，进而提高成绩有着重要意义。
在进行3D世界坐标和2D图像坐标的相互转换之前，需要进行摄像机的标定工作，通常的摄像机标定工作都需要专门放置已知尺寸的标定物，如标定板(Z.Zhang,"Aflexible new technique for camera calibration,"in IEEE Transactions onPattern Analysis and Machine Intelligence,vol.22,no.11,pp.1330-1334,Nov.2000,doi:10.1109/34.888718.)。如何在仅有的视频数据和3D点云数据的基础上，在视频画面中没有标定物的情况下，高效准确地进行摄像机参数的估计是需要研究的问题。
基于机器学习和深度学习的目标检测和跟踪方法在训练模型时需要大量的标注数据(S.Ren,K.He,R.Girshick and J.Sun,"Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks,"in IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.39,no.6,pp.1137-1149,1June 2017,doi:10.1109/TPAMI.2016.2577031.)，而如何在不需要标注工作的情况下准确高效地提取雪车雪橇的滑行轨迹需要进行研究。
由于缺少深度信息，利用摄像机参数从2D轨迹推导出3D轨迹是一个不适定问题，大部分方法需要假设目标都是在同一平面运动，如地平面(Z.Boukhers,K.Shirahama andM.Grzegorzek,"Example-Based 3D Trajectory Extraction of Objects From 2DVideos,"in IEEE Transactions on Circuits and Systems for Video Technology,vol.28,no.9,pp.2246-2260,Sept.2018,doi:10.1109/TCSVT.2017.2727963.)。但雪车雪橇滑行赛道无法近似成一个平面，如何通过增加赛道约束使2D轨迹到3D轨迹的转换唯一合理且高效需要进行研究。
发明内容
为解决上述问题，本发明提出了基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，避免了大量繁杂的使用标定板进行摄像机标定的工作，高效率地进行赛道上2D坐标到3D坐标的转换，并针对任务特点进行优化，在省去大量标注工作的同时提取到了准确的轨迹坐标。
为实现上述目的，本发明采取的技术方案为：
基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，包括以下步骤：
S1：获取赛场3D点云数据及通过多个摄像机拍摄雪车雪橇在赛道上的滑行视频，并根据同步的时间信息将多个摄像机拍摄的视频组合为记录雪车雪橇滑行过程的视频；
S2：视频数据预处理，将记录雪车雪橇滑行过程的视频切分为若干个视频段，每个视频段对应一个摄像机，进一步将视频段按帧切分为若干图像；
S3：通过对所有摄像机分别进行标定估计出所有摄像机的参数，生成每个摄像机对应的赛道表面2D-3D坐标映射表；
S4：针对每个摄像机的镜头场景，拟合赛道两侧边缘的曲线表达式；
S5：利用背景差分算法检测雪车雪橇在当前帧图像中的位置；
S6：使用卡尔曼滤波器预测雪车雪橇在下一帧图像中的位置；
S7：从若干待选目标中选出真实目标并更新卡尔曼滤波器；
S8：对2D轨迹坐标做平滑后处理以获得雪车雪橇在每个摄像机下的滑行轨迹2D坐标；
S9：根据每个摄像机的赛道表面2D-3D坐标映射表将所有2D滑行轨迹段转为3D轨迹，得到滑行过程的3D轨迹。
所述S2中，视频数据预处理具体包括以下步骤：
S2.1：基于场景检测将雪车雪橇滑行过程视频自动地切分为对应不同摄像机的视频段，
S2.2：读取时间码将整个雪车雪橇滑行视频分割成对应不同摄像机的视频段；
S2.3：在得到切分后的视频段后，进一步将视频段切分为若干帧图像。
所述S3中，摄像机参数估计的过程如下：
S3.1：在图像上选取若干角点，同时使用Cyclone软件在3D点云数据提取对应位置的3D点，得到当前摄像机下的2D-3D关键点坐标对集合，并保存到文件中；
所述选取角点的数量大于等于6；
S3.2：设图像像素坐标系为
Figure BDA0003813832590000021
像平面坐标系为
Figure BDA0003813832590000022
像空间坐标系为
Figure BDA0003813832590000023
笛卡尔坐标系(3D世界坐标系)为
Figure BDA0003813832590000024
像素坐标系和笛卡尔空间坐标系的转换关系如式(1)所示：
Figure BDA0003813832590000025
由式(1)可得：
Figure BDA0003813832590000031
其中，l1,l2,…,l12为笛卡尔空间坐标系与像素坐标系之间的关系系数，令l12＝1，求得参数l11-l11；
将式(1)进行变换，如式(2)所示：
Figure BDA0003813832590000032
其中，参数l1-l11为未知数，将每个2D-3D点对代入式(2)可得两个等式，至少需要6个2D-3D点对对式(2)求解；
令
Figure BDA0003813832590000033
L＝[l1l2 l3 l4 l5l6 l7 l8 l9 l10 l11]T，C＝[u v]T，式(2)记为BL-C＝0，则未知数矩阵L的解析，如式(3)所示
L＝(BTB)-1(BTC) (3)
通过最小二乘法求得L的数值；
S3.3：对每个摄像机通过S3.1-S3.2的步骤，将3D点映射到2D图像的参数进行保存。
所述S3中，2D-3D坐标映射表的生成过程，包括以下步骤：
SS3.1：在3D点云数据上提取出赛道表面的3D点的集合，作为2D轨迹向3D映射的约束，将每个摄像机镜头场景下的赛道表面数据分别导出；
SS3.2：读取每个摄像机下赛道表面的3D点，每个3D点的数据为(x,y,z)坐标，根据估计出的摄像机参数，计算3D点对应2D像素点的坐标(u,v)，所述2D坐标为小数时进行四舍五入；
SS3.3：建立一个(W,H,3)的矩阵作为2D点到3D点的映射表，其中W和H分别为当前摄像机任一帧图像的宽度和高度，3表示通道数，分别用于存储当前像素位置对应的3D点的坐标，当3D点对应2D像素点的坐标(u,v)中一个2D图像点对应多个3D点时，计算其对应的多个3D点坐标的平均值，并将其作为该2D点的3D映射结果；若一个2D图像点不存在对应的3D点，则根据图像上附近点对应的3D点估计出当前图像点对应的3D坐标，以该2D点为中心，框出一个7×7的范围，对该范围内全部有对应3D坐标的2D点计算对应的3D坐标的平均值，将该3D平均值作为该2D点的对应点，若7×7范围内没有点有对应的3D坐标，则其3D点设置为(0，0，0)，视为该2D图像点没有找到对应的3D点。
所述S4中，针对每个镜头场景，拟合赛道两侧边缘的曲线表达式的过程如下：
S4.1：在该场景的任意一帧图像上，对两个赛道边缘均匀采点；
S4.2：赛道边缘通过多次多项式拟合，使用最小二乘法估计赛道两个边界的曲线的多项式系数读取多项式系数构建曲线表达式。
所述S5中，利用背景差分算法检测雪车雪橇在图像中的位置的过程如下：
S5.1：通过高斯混合模型获取背景图像帧B，当前图像帧为Fi，背景帧和当前帧对应像素点的灰度值分别记为B(x,y)和Fi(x,y)，将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn，如式(4)所示：
Dn(x,y)＝|Fi(x,y)-B(x,y)| (4)
S5.1：设定阈值T，逐个对像素点进行二值化处理，得到二值化图像R'n，如式(5)所示：
Figure BDA0003813832590000041
其中，灰度值为255的点为前景点，表示运动目标，灰度值为0的点为背景点，
S5.2：对图像R'i进行连通域分析(connected component analysis)，得到含有完整运动目标的图像Ri，根据Ri得到目标的边框坐标，并通过S4中拟合的赛道边缘曲线滤除位于赛道外的目标。
所述S7中，从若干待选目标中选出真实目标并更新卡尔曼滤波器，包括以下步骤：
S7.1：对于卡尔曼滤波预测的雪车雪橇在下一帧图像中的位置附近存在多个待选目标，在多个待选目标中，通过待选目标面积及靠近预测位置判断真实目标，获取所有待选目标的边框坐标并计算面积；
S7.2：对所有待选目标的面积进行高斯加权，如式(6)所示：
Figure BDA0003813832590000042
其中，(cx,cy)为目标的中心点坐标，σc为依据目标边框面积得到的标准差，目标边框面积越大，目标的高斯核作用范围越大，反之则越小，高斯加权的结果是靠近预测目标的候选目标获得更高的权重；
S7.3：选择加权后的面积最大目标作为当前帧图像中的真实目标，更新卡尔曼滤波器预测值。
所述S8中，2D轨迹坐标平滑后处理，包括以下步骤：
S8.1：使用卡尔曼滤波器去除轨迹坐标数据中的噪声点；
S8.2：读取去噪后的轨迹坐标数据进行平滑处理，选择连续的n1帧对应的雪车雪橇坐标点，n1≥5；对n1个雪车雪橇坐标点分别计算横纵坐标的平均值，作为平滑后的中间帧雪车雪橇坐标；
S8.3：依次对以每一帧为中心选择前后n1个雪车雪橇坐标点进行去噪、平滑处理，直到遍历完轨迹上的所有点；
S8.4：最后将这些局部平滑结果组合以得到平滑处理后的2D轨迹坐标。
所述S9中，运动轨迹2D坐标转为3D坐标，包括以下步骤：
S9.1：读取平滑处理后的轨迹2D坐标获取运动目标的中心点坐标；
S9.2：根据运动目标的中心点坐标在2D-3D坐标映射表中查找其对应的3D坐标，并将对应数据存入文件保存。
有益技术效果
1.在不使用标定板的情况下对摄像机进行比较准确地标定，若摄像机发生一定的移动，则可以重新标定。
2.基于背景差分算法进行目标跟踪，并针对任务特点进行优化，在无需大量手工标注的情况下高效准确地提取出雪车雪橇的滑行轨迹。
3.在深度未知的情况下，将从视频中提取的雪车雪橇2D滑行轨迹映射到3D真实赛道上。
4.本发明可应用于雪车雪橇等体育项目中，所得3D轨迹可以帮助运动员了解自身滑行过程中存在的问题以及与优异滑行轨迹的差异，进而改善训练。
附图说明
图1为本发明实施例提供的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法流程图；
图2为本发明实施例提供的2D图像数据和3D点云数据的示例图；
其中，图2(a)为第一场景的3D点云数据示意图、图2(b)为第一场景的提取的赛道表面的点云数据示意图、图2(c)为第一场景的对应的2D图像数据示意图、图2(d)第一场景的为赛道表面的3D点云数据映射到2D图像上的结果示意图；
图3为本发明实施例提供的在2D图像和3D点云上的对应点采样示意图；
其中，图3(a)第二场景中3D点云数据上用于相机标定的关键点示意图；图3(b)为第三场景对应的2D图像数据上用于相机标定的关键点和利用2D-3D点对所估计的摄像机参数从3D向2D投影的结果示意图；图3(c)为第二场景中3D点云数据上用于相机标定的关键点示意图；图3(d)为第三场景对应的2D图像数据上用于相机标定的关键点和利用2D-3D点对所估计的摄像机参数从3D向2D投影的结果示意图；
其中，白色点表示关键点，灰色点表示利用2D-3D点对所估计的摄像机参数从3D向2D投影的结果；
图4为本发明实施例提供的赛道曲线拟合结果可视化图；
其中，图4(a)为拟合的赛道曲线可视化示意图，图4(b)为原始图像示意图；
图5为本发明实施例提供的检测结果示例图；
其中图5(a)为第四场景的2D图像上的跟踪轨迹可视化图；图5(b)为第四场景的3D点云上的轨迹可视化图；图5(c)为第四场景的3D点云坐标在2D图像上的映射结果示意图；图5(d)为第五场景的2D图像上的跟踪轨迹可视化图；图5(e)为第四场景的3D点云上的轨迹可视化图；图5(f)为第四场景的3D点云坐标在2D图像上的映射结果示意图；图5(g)为第六场景的2D图像上的跟踪轨迹可视化图；图5(h)为第四场景的3D点云上的轨迹可视化图；图5(i)为第四场景的3D点云坐标在2D图像上的映射结果示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例以及相应的附图对本申请技术方案进行清楚、完整地描述。
本实施例提供了一种基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，如图1所示，包括以下步骤：
S1：获取赛场3D点云数据及通过多个摄像机拍摄雪车雪橇在赛道上的滑行视频，如图2所示，并根据同步的时间信息将多个摄像机拍摄的视频组合为同步雪车雪橇滑行视频；
S2：视频数据预处理，将同步雪车雪橇滑行视频切分为若干个视频段，每个视频段对应一个摄像机，进一步将视频段切分为若干帧图像；包括以下步骤：
S2.1：基于场景检测将同步雪车雪橇滑行视频自动地切分为对应不同摄像机的视频段；
S2.2：随后读取时间码将整个同步雪车雪橇滑行视频分割成对应不同摄像机的视频段；
S2.3：在得到切分后的视频段后，进一步将视频段切分为若干帧图像；以便进行雪车雪橇检测和跟踪；
S3：对所有摄像机分别进行标定，对所有摄像机的参数进行估计，生成每个摄像机对应的赛道表面2D-3D坐标映射表；
所述摄像机参数估计的过程，包括以下步骤：
S3.1：在图像上选取若干角点，同时使用Cyclone软件在3D点云数据提取对应位置的3D点，如图3所示，得到当前摄像机下的2D-3D关键点坐标对集合，并保存到文件中；
所述选取角点的数量大于等于6；
S3.2：设图像像素坐标系为
Figure BDA0003813832590000071
像平面坐标系为
Figure BDA0003813832590000072
像空间坐标系为
Figure BDA0003813832590000073
笛卡尔坐标系(3D世界坐标系)为
Figure BDA0003813832590000074
像素坐标系和笛卡尔空间坐标系的转换关系如式(1)所示：
Figure BDA0003813832590000075
由式(1)可得：
Figure BDA0003813832590000076
其中，l1,l2,…,l12为笛卡尔空间坐标系与像素坐标系之间的关系系数，因为l12的取值对其他参数的值没有影响，令l12＝1，求得参数l11-l11；
将式(1)进行变换，如式(2)所示：
Figure BDA0003813832590000077
其中，参数l11-l11为未知数，每个2D-3D点对需两个等式，至少需要6个2D-3D点对对式(2)求解；
本实施例中，在每个摄像机下采集了10-20个点对，满足计算参数的需要；
令
Figure BDA0003813832590000078
L＝[l1 l2 l3 l4 l5l6 l7 l8 l9 l10 l11]T，C＝[u v]T，式(2)记为BL-C＝0，则未知数矩阵L的解析，如式(3)所示
L＝(BTB)-1(BTC) (3)
通过最小二乘法求得L的数值；
S3.3：对每个摄像机通过S3.1-S3.2的步骤，将3D点映射到2D图像的参数保存；
所述2D-3D坐标映射表的生成过程，包括以下步骤：
SS3.1：在3D点云数据上提取出赛道表面的3D点的集合，作为2D轨迹向3D映射的约束，将每个摄像机镜头场景下的赛道分别导出；
SS3.2：读取每个摄像机下赛道表面的3D点，每行数据包含(x,y,z)的坐标，根据估计出的摄像机参数，计算3D点对应2D像素点的坐标(u,v)，所述2D坐标为小数时进行四舍五入；
SS3.3：建立一个(W,H,3)的矩阵作为2D点到3D点的映射表，其中W和H分别为当前摄像机任一帧图像的宽度和高度，3表示通道数，分别用于存储当前像素位置对应的3D点的坐标，当3D点对应2D像素点的坐标(u,v)中一个2D图像点对应多个3D点的情况，计算其对应的多个3D点坐标的平均值，并将其作为该2D点的3D映射结果；若一个2D图像点不存在对应的3D点，则根据图像上附近点对应的3D点估计出当前图像点对应的3D坐标，以该2D点为中心，框出一个7×7的范围，对该范围内全部有对应3D坐标的2D点计算对应的3D坐标的平均值，将该3D平均值作为该2D点的对应点，若7×7范围内没有点有对应的3D坐标，则其3D点设置为(0，0，0)，视为该2D图像点没有找到对应的3D点；
S4：针对每个摄像机的镜头场景，如图4所示，拟合赛道两侧边缘的曲线表达式，包括以下步骤：
S4.1：在该场景的任意一帧图像上，对两个赛道边缘均匀采点；
S4.2：设定赛道边界曲线可用四次多项式y＝a0x4+a1x3+a2x2+a3x+a4拟合，使用最小二乘法估计赛道两个边界的曲线的多项式系数a0,...,a4的数值，读取多项式系数构建曲线表达式；
S5：利用背景差分算法检测雪车雪橇在当前帧图像中的位置；包括以下步骤：
S5.1：通过高斯混合模型获取背景图像帧B，当前图像帧为Fi，背景帧和当前帧对应像素点的灰度值分别记为B(x,y)和Fi(x,y)，将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn，如式(4)所示：
Dn(x,y)＝|Fi(x,y)-B(x,y)| (4)
S5.1：设定阈值T，逐个对像素点进行二值化处理，得到二值化图像R'n，如式(5)所示：
Figure BDA0003813832590000081
其中，灰度值为255的点为前景点，表示运动目标，灰度值为0的点为背景点，
S5.2：对图像R'i进行连通域分析(connected component analysis)，得到含有完整运动目标的图像Ri，根据Ri得到目标的边框坐标；
S6：使用卡尔曼滤波器预测雪车雪橇在下一帧图像中的位置；
S7：从若干待选目标中选出真实目标并更新卡尔曼滤波器；包括以下步骤：
S7.1：对于卡尔曼滤波预测的雪车雪橇在下一帧图像中的位置附近存在多个待选目标，在多个待选目标中，通过待选目标面积及靠近预测位置判断真实目标，获取所有待选目标的边框坐标并计算面积；
S7.2：对所有待选目标的面积进行高斯加权，如式(6)所示：
Figure BDA0003813832590000091
其中，(cx,cy)为目标的中心点坐标，σc为依据目标边框面积得到的标准差，目标边框面积越大，目标的高斯核作用范围越大，反之则越小，高斯加权的结果靠近预测目标的候选目标获得更高的权重；
S7.3：选择加权后的面积最大目标作为当前帧图像中的真实目标，更新卡尔曼滤波器预测值；
S8：对轨迹坐标平滑后处理以获得雪车雪橇在每个摄像机下的滑行轨迹2D坐标；包括以下步骤：
S8.1：使用卡尔曼滤波器去除轨迹坐标数据中的噪声点；
S8.2：读取去噪后的轨迹坐标数据进行平滑处理，选择连续的5帧对应的雪车雪橇坐标点，对5个雪车雪橇坐标点分别计算横纵坐标的平均值，作为平滑后的中间帧雪车雪橇坐标；
S8.3：依次选择5个雪车雪橇坐标点进行去噪、平滑处理，直到遍历完轨迹上的所有点；
S8.4：最后将平滑后的轨迹坐标数据结果组合以得到完整的平滑处理的轨迹坐标；
S9：根据每个摄像机的赛道表面2D-3D坐标映射表将所有2D滑行轨迹段转为3D轨迹，如图5所示，得到滑行全过程的3D轨迹，包括以下步骤：
S9.1：读取平滑处理后的轨迹2D坐标获取运动目标的中心点坐标；
S9.2：根据运动目标的中心点坐标在2D-3D坐标映射表中查找其对应的3D坐标，并将对应数据存入txt文件保存。

Claims (10)

1.基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，其特征在于：包括以下步骤：
S1：获取赛场3D点云数据及通过多个摄像机拍摄雪车雪橇在赛道上的滑行视频，并根据同步的时间信息将多个摄像头摄像机拍摄的视频组合为记录雪车雪橇滑行过程的视频；
S2：视频数据预处理，将记录雪车雪橇滑行过程的视频切分为若干个视频段，每个视频段对应一个摄像机，进一步将视频段按帧切分为若干图像；
S3：通过对所有摄像机分别进行标定估计出所有摄像机的参数，生成每个摄像机对应的赛道表面2D-3D坐标映射表；
S4：针对每个摄像机的镜头场景，拟合赛道两侧边缘的曲线表达式；
S5：利用背景差分算法检测雪车雪橇在当前帧图像中的位置；
S6：使用卡尔曼滤波器预测雪车雪橇在下一帧图像中的位置；
S7：从若干待选目标中选出真实目标并更新卡尔曼滤波器；
S8：对2D轨迹坐标做平滑后处理以获得雪车雪橇在每个监控摄像机下的滑行轨迹2D坐标；
S9：根据每个监控摄像机的赛道表面2D-3D坐标映射表将所有2D滑行轨迹段转为3D轨迹，得到滑行过程的3D轨迹。
2.如权利要求1所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，其特征在于：所述S2中，视频数据预处理具体包括以下步骤：
S2.1：基于场景检测将雪车雪橇滑行过程视频自动地切分为对应不同摄像机的视频段，
S2.2：读取时间码将整个雪车雪橇滑行视频分割成对应不同摄像机的视频段；
S2.3：在得到切分后的视频段后，进一步将视频段切分为若干帧图像。
3.如权利要求1所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，其特征在于：所述S3中，摄像机参数估计的过程如下：
S3.1：在图像上选取若干角点，同时使用Cyclone软件在3D点云数据提取对应位置的3D点，得到当前摄像机下的2D-3D关键点坐标对集合，并保存到文件中；
S3.2：设图像像素坐标系为
Figure FDA0003813832580000011
像平面坐标系为
Figure FDA0003813832580000012
像空间坐标系为
Figure FDA0003813832580000013
笛卡尔坐标系为
Figure FDA0003813832580000014
像素坐标系和笛卡尔空间坐标系的转换关系如式(1)所示：
Figure FDA0003813832580000015
由式(1)可得：
Figure FDA0003813832580000021
其中，l1,l2,…,l12为笛卡尔空间坐标系与像素坐标系之间的关系系数，令l12＝1，求得参数l11-l11；
将式(1)进行变换，如式(2)所示：
Figure FDA0003813832580000022
其中，参数l1-l11为未知数，将每个2D-3D点对代入式(2)可得两个等式，至少需要6个2D-3D点对对式(2)求解；
令
Figure FDA0003813832580000023
L＝[l1 l2 l3 l4 l5 l6 l7l8 l9 l10 l11]T，C＝[u v]T，式(2)记为BL-C＝0，则未知数矩阵L的解析，如式(3)所示
L＝(BTB)-1(BTC) (3)
通过最小二乘法求得L的数值；
S3.3：对每个摄像机通过S3.1-S3.2的步骤，将3D点映射到2D图像的参数进行保存。
4.如权利要求3所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，其特征在于：所述选取角点的数量大于等于6。
5.如权利要求1所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，其特征在于：所述S3中，2D-3D坐标映射表的生成过程，包括以下步骤：
SS3.1：在3D点云数据上提取出赛道表面的3D点的集合，作为2D轨迹向3D映射的约束，将每个摄像机镜头场景下的赛道表面数据分别导出；
SS3.2：读取每个摄像机下赛道表面的3D点，每个3D点的数据为(x,y,z)坐标，根据估计出的摄像机参数，计算3D点对应2D像素点的坐标(u,v)，所述2D坐标为小数时进行四舍五入；
SS3.3：建立一个(W,H,3)的矩阵作为2D点到3D点的映射表，其中W和H分别为当前摄像机任一帧图像的宽度和高度，3表示通道数，分别用于存储当前像素位置对应的3D点的坐标，当3D点对应2D像素点的坐标(u,v)中一个2D图像点对应多个3D点时，计算其对应的多个3D点坐标的平均值，并将其作为该2D点的3D映射结果；若一个2D图像点不存在对应的3D点，则根据图像上附近点对应的3D点估计出当前图像点对应的3D坐标，以该2D点为中心，框出一个7×7的范围，对该范围内全部有对应3D坐标的2D点计算对应的3D坐标的平均值，将该3D平均值作为该2D点的对应点，若7×7范围内没有点有对应的3D坐标，则其3D点设置为(0，0，0)，视为该2D图像点没有找到对应的3D点。
6.如权利要求1所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，其特征在于：所述S4中，针对每个镜头场景，拟合赛道两侧边缘的曲线表达式的过程如下：
S4.1：在该场景的任意一帧图像上，对两个赛道边缘均匀采点；
S4.2：赛道边缘通过多次多项式拟合，使用最小二乘法估计赛道两个边界的曲线的多项式系数读取多项式系数构建曲线表达式。
7.如权利要求1所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，其特征在于：所述S5中，利用背景差分算法检测雪车雪橇在图像中的位置的过程如下：
S5.1：通过高斯混合模型获取背景图像帧B，当前图像帧为Fi，背景帧和当前帧对应像素点的灰度值分别记为B(x,y)和Fi(x,y)，将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn，如式(4)所示：
Dn(x,y)＝|Fi(x,y)-B(x,y)| (4)
S5.1：设定阈值T，逐个对像素点进行二值化处理，得到二值化图像R′n，如式(5)所示：
Figure FDA0003813832580000031
其中，灰度值为255的点为前景点，表示运动目标，灰度值为0的点为背景点，
S5.2：对图像R′i进行连通域分析，得到含有完整运动目标的图像Ri，根据Ri得到目标的边框坐标，并通过S4中拟合的赛道边缘曲线滤除位于赛道外的目标。
8.如权利要求1所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，其特征在于：所述S7中，从若干待选目标中选出真实目标并更新卡尔曼滤波器，包括以下步骤：
S7.1：对于卡尔曼滤波预测的雪车雪橇在下一帧图像中的位置附近存在多个待选目标，在多个待选目标中，通过待选目标面积及靠近预测位置判断真实目标，获取所有待选目标的边框坐标并计算面积；
S7.2：对所有待选目标的面积进行高斯加权，如式(6)所示：
Figure FDA0003813832580000041
其中，(cx,cy)为目标的中心点坐标，σc为依据目标边框面积得到的标准差，目标边框面积越大，目标的高斯核作用范围越大，反之则越小，高斯加权的结果是靠近预测目标的候选目标获得更高的权重；
S7.3：选择加权后的面积最大目标作为当前帧图像中的真实目标，更新卡尔曼滤波器预测值。
9.如权利要求1所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，其特征在于：所述S8中，2D轨迹坐标平滑后处理，包括以下步骤：
S8.1：使用卡尔曼滤波器去除轨迹坐标数据中的噪声点；
S8.2：读取去噪后的轨迹坐标数据进行平滑处理，选择连续的n1帧对应的雪车雪橇坐标点，n1≥5；对n1个雪车雪橇坐标点分别计算横纵坐标的平均值，作为平滑后的中间帧雪车雪橇坐标；
S8.3：依次对以每一帧为中心选择前后n1个雪车雪橇坐标点进行去噪、平滑处理，直到遍历完轨迹上的所有点；
S8.4：最后将这些局部平滑结果组合以得到平滑处理后的2D轨迹坐标。
10.如权利要求1所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法，其特征在于：所述S9中，运动轨迹2D坐标转为3D坐标，包括以下步骤：
S9.1：读取平滑处理后的轨迹2D坐标获取运动目标的中心点坐标；
S9.2：根据运动目标的中心点坐标在2D-3D坐标映射表中查找其对应的3D坐标，并将对应数据存入文件保存。
CN202211019775.4A 2022-08-24 2022-08-24 基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法 Pending CN115375733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211019775.4A CN115375733A (zh) 2022-08-24 2022-08-24 基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211019775.4A CN115375733A (zh) 2022-08-24 2022-08-24 基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法

Publications (1)

Publication Number Publication Date
CN115375733A true CN115375733A (zh) 2022-11-22

Family

ID=84067769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211019775.4A Pending CN115375733A (zh) 2022-08-24 2022-08-24 基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法

Country Status (1)

Country Link
CN (1) CN115375733A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109672A (zh) * 2023-01-13 2023-05-12 北京理工大学 一种雪车雪橇赛道智能训练监测分析方法
CN116186861A (zh) * 2023-03-10 2023-05-30 中国建筑设计研究院有限公司 雪车雪橇赛道设计方法、雪车雪橇赛道及可读存储介质
CN117315147A (zh) * 2023-09-25 2023-12-29 北京理工大学 一种基于单相机的雪车雪橇3d轨迹重建方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109672A (zh) * 2023-01-13 2023-05-12 北京理工大学 一种雪车雪橇赛道智能训练监测分析方法
CN116186861A (zh) * 2023-03-10 2023-05-30 中国建筑设计研究院有限公司 雪车雪橇赛道设计方法、雪车雪橇赛道及可读存储介质
CN116186861B (zh) * 2023-03-10 2023-09-26 中国建筑设计研究院有限公司 雪车雪橇赛道设计方法、雪车雪橇赛道及可读存储介质
CN117315147A (zh) * 2023-09-25 2023-12-29 北京理工大学 一种基于单相机的雪车雪橇3d轨迹重建方法
CN117315147B (zh) * 2023-09-25 2024-05-24 北京理工大学 一种基于单相机的雪车雪橇3d轨迹重建方法

Similar Documents

Publication Publication Date Title
CN106780620B (zh) 一种乒乓球运动轨迹识别定位与跟踪系统及方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
US11763485B1 (en) Deep learning based robot target recognition and motion detection method, storage medium and apparatus
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN115375733A (zh) 基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法
CN104200485B (zh) 一种面向视频监控的人体跟踪方法
KR100901904B1 (ko) 카메라 움직임 추정 방법 및 비디오 움직임 식별 장치
CN111693972A (zh) 一种基于双目序列图像的车辆位置与速度估计方法
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN111539273A (zh) 一种交通视频背景建模方法及系统
CN110276785B (zh) 一种抗遮挡红外目标跟踪方法
CN111311666A (zh) 一种融合边缘特征和深度学习的单目视觉里程计方法
CN105740945A (zh) 一种基于视频分析的人群计数方法
Chen et al. Tracking of moving object based on optical flow detection
CN110006444B (zh) 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
CN112801074A (zh) 一种基于交通摄像头的深度图估计方法
CN104200492A (zh) 基于轨迹约束的航拍视频目标自动检测跟踪方法
CN101765019A (zh) 一种用于运动模糊和光照变化图像的立体匹配方法
CN108021857B (zh) 基于无人机航拍图像序列深度恢复的建筑物检测方法
CN111161308A (zh) 一种基于关键点匹配的双波段融合目标提取方法
CN108090920B (zh) 一种光场图像深度流估计方法
CN103337082A (zh) 基于统计形状先验的视频分割方法
El Ansari et al. Temporal consistent fast stereo matching for advanced driver assistance systems (ADAS)
CN111160362B (zh) 一种fast特征均匀化提取与帧间特征误匹配去除方法
CN110111368B (zh) 一种基于人体姿态识别的相似移动目标的检测跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination