CN117455957A - 一种基于深度学习的车辆轨迹定位追踪方法及系统 - Google Patents

一种基于深度学习的车辆轨迹定位追踪方法及系统 Download PDF

Info

Publication number
CN117455957A
CN117455957A CN202311785097.7A CN202311785097A CN117455957A CN 117455957 A CN117455957 A CN 117455957A CN 202311785097 A CN202311785097 A CN 202311785097A CN 117455957 A CN117455957 A CN 117455957A
Authority
CN
China
Prior art keywords
vehicle
information
key point
track
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311785097.7A
Other languages
English (en)
Other versions
CN117455957B (zh
Inventor
钱钧
邹伯昌
马瑞
郑贵君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Future Network Research Institute Industrial Internet Innovation Application Base Of Zijinshan Laboratory
Original Assignee
Shandong Future Network Research Institute Industrial Internet Innovation Application Base Of Zijinshan Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Future Network Research Institute Industrial Internet Innovation Application Base Of Zijinshan Laboratory filed Critical Shandong Future Network Research Institute Industrial Internet Innovation Application Base Of Zijinshan Laboratory
Priority to CN202311785097.7A priority Critical patent/CN117455957B/zh
Publication of CN117455957A publication Critical patent/CN117455957A/zh
Application granted granted Critical
Publication of CN117455957B publication Critical patent/CN117455957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及车辆轨迹定位技术领域，尤其是涉及一种基于深度学习的车辆轨迹定位追踪方法及系统。所述方法，包括获取车辆轨迹信息和图像信息；根据获取的图像信息，利用yolo模型对图像信息进行识别检测，对检测到的车辆添加ID标签；对于同一路口，利用deepsort追踪算法对检测到的车辆进行轨迹追踪，通过合并同一车辆轨迹进行ID标签合并，并通过设置重合度阈值的进行ID标签更新。本发明采用基于yolo_pose的多路口车辆图像特征点检测与区域特征识别，利用车牌信息与车辆局部特征信息相结合，实现不同路口同一车辆的信息匹配，建立整条交通网络中完整的车辆轨迹信息，进而确定每辆车的位置。

Description

一种基于深度学习的车辆轨迹定位追踪方法及系统
技术领域
本发明涉及车辆轨迹定位技术领域，尤其是涉及一种基于深度学习的车辆轨迹定位追踪方法及系统。
背景技术
在当前交通网络中，及时准确的完成对每辆车的轨迹追踪，可以方便完成对车辆未来行驶路线的预测、发生交通事故的车辆准确位置定位排查以及其它车辆事件的检测；然而现有技术中，针对传统车辆轨迹检测只是单一路口下的微观追踪，无法建立整个道路系统前后贯穿的车辆轨迹追踪以及定位问题，此外，传统方法中车辆追踪过程中由于物体遮挡而造成的车辆错检，从而导致生成新的车辆与轨迹信息，且传统车牌识别需要分多步骤，先检测车辆，再检测车牌，最后车牌识别，步骤繁琐影响检测效率，尤其是传统车辆追踪大多依靠单一车辆车牌信息，未考虑车辆属性以及车辆内部等局部信息，导致车牌识别失败时，无法保证多路口的车辆轨迹串联与车辆定位。因此亟需一种基于深度学习的车辆轨迹定位追踪方法及系统。
发明内容
为了解决上述提到的问题，本发明提供一种基于深度学习的车辆轨迹定位追踪方法及系统。
第一方面，本发明提供的一种基于深度学习的车辆轨迹定位追踪方法，采用如下的技术方案：
一种基于深度学习的车辆轨迹定位追踪方法，包括：
获取车辆轨迹信息和图像信息；
根据获取的图像信息，利用yolo模型对图像信息进行识别检测，对检测到的车辆添加ID标签；
对于同一路口，利用deepsort追踪算法对检测到的车辆进行轨迹追踪，通过合并同一车辆轨迹进行ID标签合并，并通过设置重合度阈值的进行ID标签更新；
对于不同路口，利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，通过局部特征匹配进行车辆的ID标签合并及更新；
基于ID标签的合并和更新，将被检测到的车辆在同一路口和不同路口的轨迹串联，得到车辆轨迹和位置。
进一步地，所述获取车辆轨迹信息和图像信息，包括基于视频采集装置获取各个路口的车辆视频，基于车辆视频得到车辆轨迹信息和图像信息。
进一步地，所述利用yolo模型对图像信息进行识别检测，对检测到的车辆添加ID标签，包括利用yolo模型检测图像信息中每帧的车辆目标，利用检测框框选车辆目标，并为车辆目标设置ID标签。
进一步地，所述利用deepsort追踪算法对检测到的车辆进行轨迹追踪，通过合并同一车辆轨迹进行ID标签合并，包括利用deepsort追踪算法对车辆的轨迹进行预测，并将预测轨迹和当前轨迹进行相似度匹配，通过匹配结果进行ID标签合并和更新。
进一步地，所述利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，包括利用yolo_pose模型的关键点检测算法，检测车辆的前端12个关键点以及后端12个关键点，对于选取的24个关键点进行特征识别，得到车辆的24个特征点信息，根据24个特征点信息利用矩形裁剪得到6个局部特征信息图像。
进一步地，所述利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，还包括基于局部特征信息图像进行车牌识别匹配，根据匹配结果进行ID标签合并和更新。
进一步地，所述利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，还包括对无法进行车牌识别匹配的车辆，进行关键点区域特征匹配，包括计算关键点区域在不同路口的余弦距离，通过匹配重合度阈值确定是否为同一车辆，若是则进行ID合并及更新。
第二方面，一种基于深度学习的车辆轨迹定位追踪系统，包括：
数据获取模块，被配置为，获取车辆轨迹信息和图像信息；
检测模块，被配置为，根据获取的图像信息，利用yolo模型对图像信息进行识别检测，对检测到的车辆添加ID标签；
追踪模块，被配置为，对于同一路口，利用deepsort追踪算法对检测到的车辆进行轨迹追踪，通过合并同一车辆轨迹进行ID标签合并，并通过设置重合度阈值的进行ID标签更新；
匹配模块，被配置为，对于不同路口，利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，通过局部特征匹配进行车辆的ID标签合并及更新；
输出模块，被配置为，基于ID标签的合并和更新，将被检测到的车辆在同一路口和不同路口的轨迹串联，得到车辆轨迹和位置。
第三方面，本发明提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于深度学习的车辆轨迹定位追踪方法。
第四方面，本发明提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于深度学习的车辆轨迹定位追踪方法。
综上所述，本发明具有如下的有益技术效果：
1、本发明通过多路口微观车辆轨迹信息记录与结合，实现整条路线宏观车辆轨迹追踪、定位与统计；
2、采用基于yolo_pose的多路口车辆图像特征点检测与区域特征识别，利用车牌信息与车辆局部特征信息相结合，实现不同路口同一车辆的信息匹配，建立整条交通网络中完整的车辆轨迹信息，进而确定每辆车的位置；
3、通过重合度计算判断车辆ID标签信息，防止由于物体遮挡而造成的车辆错检；
4、采用yolo_pose车牌关键点检测，直接确定车牌位置，省去多余步骤，提高车牌识别效率；
5、通过yolo_pose识别车窗、车灯等局部特征信息，配合车牌识别信息，进一步提高多路口同一车辆的轨迹匹配准确度。
附图说明
图1是本发明实施例1的一种基于深度学习的车辆轨迹定位追踪方法的示意图；
图2是本发明实施例1同一路口的车辆识别流程示意图；
图3是本发明实施例1的车辆前立面特征点示意图；
图4是本发明实施例1的不同路口的车牌识别流程示意图；
图5是本发明实施例1的局部特征图像特征匹配流程示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
实施例1
参照图1，本实施例的一种基于深度学习的车辆轨迹定位追踪方法，包括：
获取车辆轨迹信息和图像信息；
根据获取的图像信息，利用yolo模型对图像信息进行识别检测，对检测到的车辆添加ID标签；
对于同一路口，利用deepsort追踪算法对检测到的车辆进行轨迹追踪，通过合并同一车辆轨迹进行ID标签合并，并通过设置重合度阈值的进行ID标签更新；
对于不同路口，利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，通过局部特征匹配进行车辆的ID标签合并及更新；
基于ID标签的合并和更新，将被检测到的车辆在同一路口和不同路口的轨迹串联，得到车辆轨迹和位置。
所述获取车辆轨迹信息和图像信息，包括基于视频采集装置获取各个路口的车辆视频，基于车辆视频得到车辆轨迹信息和图像信息。
所述利用yolo模型对图像信息进行识别检测，对检测到的车辆添加ID标签，包括利用yolo模型检测图像信息中每帧的车辆目标，利用检测框框选车辆目标，并为车辆目标设置ID标签。
所述利用deepsort追踪算法对检测到的车辆进行轨迹追踪，通过合并同一车辆轨迹进行ID标签合并，包括利用deepsort追踪算法对车辆的轨迹进行预测，并将预测轨迹和当前轨迹进行相似度匹配，通过匹配结果进行ID标签合并和更新。
所述利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，包括利用yolo_pose模型的关键点检测算法，检测车辆的前端12个关键点以及后端12个关键点，对于选取的24个关键点进行特征识别，得到车辆的24个特征点信息，根据24个特征点信息利用矩形裁剪得到6个局部特征信息图像。
所述利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，还包括基于局部特征信息图像进行车牌识别匹配，根据匹配结果进行ID标签合并和更新。
所述利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，还包括对无法进行车牌识别匹配的车辆，进行关键点区域特征匹配，包括计算关键点区域在不同路口的余弦距离，通过匹配重合度阈值确定是否为同一车辆，若是则进行ID合并及更新。
具体为，
本实施例的一种基于深度学习的车辆轨迹定位追踪方法，包括：
S1.获取车辆轨迹信息和图像信息；
其中，采用在道路各个路口装配专用的视频采集装置，各个路口信息分别通过微观角度，获取当前路口车俩的轨迹信息，然后各个路口的视频采集车辆轨道信息在后台统一宏观调控，实现对车辆轨迹在整条线中的追踪与定位。
S2.根据获取的图像信息，利用yolo模型对图像信息进行识别检测，对检测到的车辆添加ID标签；
其中，针对单路口车辆检测流程如图2所示，首先利用各路口的视频采集装置获取路口车辆信息，对获取视频进行逐帧分解，利用yolo模型检测每帧中的待车辆目标，利用检测框框选目标区域，设置ID，将待检测车辆目标首次出现的帧设为初始帧，即目标的初始轨迹点；采用基于yolo的模型，对于车辆数据集进行模型训练，根据训练的车辆识别模型，对路口的车辆进行识别并框选识别出的每辆车，对于检测出的车辆添加ID标签。
S3.对于同一路口，利用deepsort追踪算法对检测到的车辆进行轨迹追踪，通过合并同一车辆轨迹进行ID标签合并，并通过设置重合度阈值的进行ID标签更新；
其中，利用deepsort追踪算法，对当前路口的车辆进行车辆追踪，当符合条件的目标加入同一目标的轨迹，即都设为相同ID，以目标初始帧ID为准，将相同目标的每帧图像中检测框中心点坐标进行串联，即实现对同一目标一个路口的微观轨迹统计，若出现相邻帧的遮挡情况，利用设置重合度阈值的方式计算更新目标的ID信息。
利用基于deepsort的追踪模型对车辆计算位移过程如下：
对于检测的视频原始帧中的待检测目标，利用车辆检测模型进行目标检测获取检测框以及对应ID，定义为初始轨迹；对目标轨迹进行卡尔曼滤波预测，再利用匈牙利算法对预测后的轨迹与当前帧的检测框进行匹配。匈牙利算法匹配实现过程为利用马氏距离计算预测后的轨迹与当前帧的检测框信息的相似度s，检测框信息包括框的中心坐标(cx,cy)、高h以及宽高比r，设定当距离阈值T，当s小于T，则预测后的轨迹与当前帧的检测框运动状态关联成功，为了证明为同一物体，还需对测后的轨迹与当前帧的检测框进行特征信息匹配，采用余弦距离度量值s1，对预测后的轨迹与当前帧的检测框的所有特征信息进行距离计算，设定特征距离阈值T1，则当s1小于T1时，证明为同一个待测物体，将ID更新，若ID不同，即将检测为同一目标的待测物体替换为原始帧的ID，完成轨迹更新。
对于位移d(,/>,/>)计算，由于待检测车辆信息通过各路口的视频采集装置获取，装置与道路行驶的车辆存在夹角/>，假设相邻两帧之间的目标中心为（cxi,cyi）与（cxj,cyj）,则在图像中两帧的像素距离计算d(x,y,z)为：
对于图像像素距离与真实距离进行尺度替换：=/>
其中为变换矩阵，选取图中靠近采集设备的区域与真实世界对应区域做透射变换获取。由于图中物体向图像边缘离去会逐渐变小，即单一的变换矩阵无法代表所有距离计算，为了更加符合真实情况，提取每帧图像高度，按高度等分为十个区间，对每个区间都进行对应的透射变换获取变换矩阵，当目标位于对应区域/>时，采用对应变换矩阵进行真实距离/>计算。也可计算当前车辆速度v：/>
其中 N为1、210，t表示从第一帧到当前帧花费的时间。/>表示从原始帧到当前帧目标的总位移。
S4.对于不同路口，利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，通过局部特征匹配进行车辆的ID标签合并及更新；
对于不同路口，利用基于yolo_pose的关键点检测算法，关键点分别采取车辆的前端12个以及后端12个，其中前端12个点如图3所示，分别为P1、P2、P3、P4、D1、D2、D3、D4、R1、R2、R3、R4，分别为前档四个角点P1、P2、P3、P4，左右两个大灯中心点D1、D2，大灯下面的左右两个雾灯中心点D3、D4以及车牌区域的四个角点R1、R2、R3、R4，后端12个点分别为后档四个角点、左右尾灯中心点、左右倒车灯中心点以及车牌区域四个角点。对于选取的24个关键点进行特征识别，通过多次训练，实现对不同车辆24个特征点识别，得到每辆车的特征点信息；
对于获取的车辆24个特征点信息，首先对于前端的12个点，将D1、D2、D3、D4四个点进行利用式子：；
其中P表示原始点，即对每个位置进行适当距离的扩展得到/>、/>、/>、/>，由/>、、/>、/>获得新的矩形F1，F1包含不同厂家车辆独有的大灯形状信息，对F1进行裁剪获取车灯区域局部特征信息。同时也对前窗四个角点P1、P2、P3、P4进行扩展得到/>、/>、/>、/>，将、/>、/>、/>围成的矩形F2，进行裁剪获取车窗局部特征信息，对F1内的R1、R2、R3、R4围成的车牌矩形F3进行裁剪获取车牌局部特征信息；后端12个关键点信息也采取相同的操作，分别获取F4车灯局部特征信息、F5车窗局部特征信息、F6车牌局部特征信息，这样通过前后端，一辆车可同时获取6个局部特征信息图像；
对于不同路口的车牌识别流程如图4所示，对于车辆前端获取的F3图像，利用lprnet深度学习网络对车牌直接进行识别，将识别信息记录并将车辆ID标签与车牌信息绑定，即车辆ID具有唯一性，同时对车辆后端的车牌矩形图像F6进行车牌识别，获取当前车辆的车牌信息。对于不同路口的目标识别信息，进行车牌信息对比，若车牌信息一致，则认为为同一个目标，根据不同路口的前后循序，将位置靠后的路口出现的目标ID更换为之前路口同一目标的ID，实现不同路口车辆轨迹信息的串联。
若车牌特征点区域无法准确获取车牌信息，则利用其它关键点区域特征匹配来实现车辆轨迹串联，具体过程为如图5所示，利用F2与F5图像进行局部特征图像特征匹配，由于每辆车的F2图像获取的车窗信息，车窗包含车辆内部的布局信息，包括驾驶人的姿势、衣服颜色、以及各种摆件等，每辆车的车辆内部局部布局信息具有不同的特征，因此可以作为匹配的选择，加以车辆引擎盖信息，对不同路口出现的车辆的F2图像进行特征匹配，同理也对F5图像进行匹配；F1与F4含有车灯的局部信息，因此对不同路口的车的F1和F4图像分别进行匹配，具体配准方法采用余弦距离计算特征距离、/>、/>、/>，分别表示不同路口的当前帧中目标区域F1、F2、F3、F4的余弦距离，具体为：
n为特征个数，与/>分别表示不同路口的当前帧中目标区域F1特征值。设定匹配重合度阈值/>、/>、/>、/>，当/>大于等于/>、/>大于等于/>、/>大于等于/>、/>大于等于同时成立则匹配成功，当前车辆是同一辆车，将车辆的ID进行更新，把车的轨迹进行结合，即形成多个路口的同一辆车的宏观轨迹信息。
统计所有路口的车辆轨迹信息，利用提出的算法进行判断，将所有车辆的轨迹信息进行整理与统计，形成整个道路系统完整的车辆轨迹并准确确定每辆车的位置。
S5.基于ID标签的合并和更新，将被检测到的车辆在同一路口和不同路口的轨迹串联，得到车辆轨迹和位置。
统计所有路口的车辆轨迹信息，利用提出的算法进行判断，将所有车辆的轨迹信息进行整理与统计，形成整个道路系统完整的车辆轨迹并准确确定每辆车的位置。
实施例2
本实施例提供一种基于深度学习的车辆轨迹定位追踪系统，包括：
数据获取模块，被配置为，获取车辆轨迹信息和图像信息；
检测模块，被配置为，根据获取的图像信息，利用yolo模型对图像信息进行识别检测，对检测到的车辆添加ID标签；
追踪模块，被配置为，对于同一路口，利用deepsort追踪算法对检测到的车辆进行轨迹追踪，通过合并同一车辆轨迹进行ID标签合并，并通过设置重合度阈值的进行ID标签更新；
匹配模块，被配置为，对于不同路口，利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，通过局部特征匹配进行车辆的ID标签合并及更新；
输出模块，被配置为，基于ID标签的合并和更新，将被检测到的车辆在同一路口和不同路口的轨迹串联，得到车辆轨迹和位置。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于深度学习的车辆轨迹定位追踪方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于深度学习的车辆轨迹定位追踪方法。
以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的车辆轨迹定位追踪方法，其特征在于，包括：
获取车辆轨迹信息和图像信息；
根据获取的图像信息，利用yolo模型对图像信息进行识别检测，对检测到的车辆添加ID标签；
对于同一路口，利用deepsort追踪算法对检测到的车辆进行轨迹追踪，通过合并同一车辆轨迹进行ID标签合并，并通过设置重合度阈值的进行ID标签更新；
对于不同路口，利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，通过局部特征匹配进行车辆的ID标签合并及更新；
基于ID标签的合并和更新，将被检测到的车辆在同一路口和不同路口的轨迹串联，得到车辆轨迹和位置。
2.根据权利要求1所述的一种基于深度学习的车辆轨迹定位追踪方法，其特征在于，所述获取车辆轨迹信息和图像信息，包括基于视频采集装置获取各个路口的车辆视频，基于车辆视频得到车辆轨迹信息和图像信息。
3.根据权利要求2所述的一种基于深度学习的车辆轨迹定位追踪方法，其特征在于，所述利用yolo模型对图像信息进行识别检测，对检测到的车辆添加ID标签，包括利用yolo模型检测图像信息中每帧的车辆目标，利用检测框框选车辆目标，并为车辆目标设置ID标签。
4.根据权利要求3所述的一种基于深度学习的车辆轨迹定位追踪方法，其特征在于，所述利用deepsort追踪算法对检测到的车辆进行轨迹追踪，通过合并同一车辆轨迹进行ID标签合并，包括利用deepsort追踪算法对车辆的轨迹进行预测，并将预测轨迹和当前轨迹进行相似度匹配，通过匹配结果进行ID标签合并和更新。
5.根据权利要求4所述的一种基于深度学习的车辆轨迹定位追踪方法，其特征在于，所述利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，包括利用yolo_pose模型的关键点检测算法，检测车辆的前端12个关键点以及后端12个关键点，对于选取的24个关键点进行特征识别，得到车辆的24个特征点信息，根据24个特征点信息利用矩形裁剪得到6个局部特征信息图像。
6.根据权利要求5所述的一种基于深度学习的车辆轨迹定位追踪方法，其特征在于，所述利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，还包括基于局部特征信息图像进行车牌识别匹配，根据匹配结果进行ID标签合并和更新。
7.根据权利要求6所述的一种基于深度学习的车辆轨迹定位追踪方法，其特征在于，所述利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，还包括对无法进行车牌识别匹配的车辆，进行关键点区域特征匹配，包括计算关键点区域在不同路口的余弦距离，通过匹配重合度阈值确定是否为同一车辆，若是则进行ID合并及更新。
8.一种基于深度学习的车辆轨迹定位追踪系统，其特征在于，包括：
数据获取模块，被配置为，获取车辆轨迹信息和图像信息；
检测模块，被配置为，根据获取的图像信息，利用yolo模型对图像信息进行识别检测，对检测到的车辆添加ID标签；
追踪模块，被配置为，对于同一路口，利用deepsort追踪算法对检测到的车辆进行轨迹追踪，通过合并同一车辆轨迹进行ID标签合并，并通过设置重合度阈值的进行ID标签更新；
匹配模块，被配置为，对于不同路口，利用yolo_pose模型的关键点检测算法对的检测到的车辆进行关键点检测，基于关键点检测进行局部特征匹配，通过局部特征匹配进行车辆的ID标签合并及更新；
输出模块，被配置为，基于ID标签的合并和更新，将被检测到的车辆在同一路口和不同路口的轨迹串联，得到车辆轨迹和位置。
9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求1所述的一种基于深度学习的车辆轨迹定位追踪方法。
10.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求1所述的一种基于深度学习的车辆轨迹定位追踪方法。
CN202311785097.7A 2023-12-25 2023-12-25 一种基于深度学习的车辆轨迹定位追踪方法及系统 Active CN117455957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311785097.7A CN117455957B (zh) 2023-12-25 2023-12-25 一种基于深度学习的车辆轨迹定位追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311785097.7A CN117455957B (zh) 2023-12-25 2023-12-25 一种基于深度学习的车辆轨迹定位追踪方法及系统

Publications (2)

Publication Number Publication Date
CN117455957A true CN117455957A (zh) 2024-01-26
CN117455957B CN117455957B (zh) 2024-04-02

Family

ID=89585990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311785097.7A Active CN117455957B (zh) 2023-12-25 2023-12-25 一种基于深度学习的车辆轨迹定位追踪方法及系统

Country Status (1)

Country Link
CN (1) CN117455957B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579858A (zh) * 2017-09-28 2019-04-05 腾讯科技（深圳）有限公司 导航数据处理方法、装置、设备及存储介质
CN110097068A (zh) * 2019-01-17 2019-08-06 北京航空航天大学 相似车辆的识别方法和装置
US20190266418A1 (en) * 2018-02-27 2019-08-29 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
CN111860352A (zh) * 2020-07-23 2020-10-30 上海高重信息科技有限公司 一种多镜头车辆轨迹全跟踪系统及方法
CN112101433A (zh) * 2020-09-04 2020-12-18 东南大学 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法
CN113313098A (zh) * 2021-07-30 2021-08-27 阿里云计算有限公司 视频处理方法、设备、系统及存储介质
CN114170797A (zh) * 2021-12-02 2022-03-11 北京百度网讯科技有限公司 交通限制路口的识别方法、装置、设备、介质及产品
WO2022052375A1 (zh) * 2020-09-10 2022-03-17 深圳市商汤科技有限公司 车辆识别方法及装置、电子设备及存储介质
CN114708304A (zh) * 2022-06-06 2022-07-05 苏州浪潮智能科技有限公司 一种跨摄像头的多目标追踪方法、装置、设备及介质
CN114998886A (zh) * 2022-08-04 2022-09-02 智慧互通科技股份有限公司 基于雷视融合的车辆追踪方法以及装置
CN115205559A (zh) * 2022-06-29 2022-10-18 同济大学 一种跨域车辆重识别及连续轨迹构建方法
CN115497047A (zh) * 2022-09-27 2022-12-20 江苏范特科技有限公司 一种基于视觉标签识别的轨迹追踪方法、装置和电子设备
CN116310933A (zh) * 2022-11-22 2023-06-23 北京交通大学 轨道交通侵界场景人员跨镜跟踪预警方法及系统
CN116594005A (zh) * 2023-04-11 2023-08-15 成都蓉通微链科技有限公司 一种园区车辆轨迹跟踪方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579858A (zh) * 2017-09-28 2019-04-05 腾讯科技（深圳）有限公司 导航数据处理方法、装置、设备及存储介质
US20190266418A1 (en) * 2018-02-27 2019-08-29 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
CN110097068A (zh) * 2019-01-17 2019-08-06 北京航空航天大学 相似车辆的识别方法和装置
CN111860352A (zh) * 2020-07-23 2020-10-30 上海高重信息科技有限公司 一种多镜头车辆轨迹全跟踪系统及方法
CN112101433A (zh) * 2020-09-04 2020-12-18 东南大学 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法
WO2022052375A1 (zh) * 2020-09-10 2022-03-17 深圳市商汤科技有限公司 车辆识别方法及装置、电子设备及存储介质
CN113313098A (zh) * 2021-07-30 2021-08-27 阿里云计算有限公司 视频处理方法、设备、系统及存储介质
CN114170797A (zh) * 2021-12-02 2022-03-11 北京百度网讯科技有限公司 交通限制路口的识别方法、装置、设备、介质及产品
CN114708304A (zh) * 2022-06-06 2022-07-05 苏州浪潮智能科技有限公司 一种跨摄像头的多目标追踪方法、装置、设备及介质
CN115205559A (zh) * 2022-06-29 2022-10-18 同济大学 一种跨域车辆重识别及连续轨迹构建方法
CN114998886A (zh) * 2022-08-04 2022-09-02 智慧互通科技股份有限公司 基于雷视融合的车辆追踪方法以及装置
CN115497047A (zh) * 2022-09-27 2022-12-20 江苏范特科技有限公司 一种基于视觉标签识别的轨迹追踪方法、装置和电子设备
CN116310933A (zh) * 2022-11-22 2023-06-23 北京交通大学 轨道交通侵界场景人员跨镜跟踪预警方法及系统
CN116594005A (zh) * 2023-04-11 2023-08-15 成都蓉通微链科技有限公司 一种园区车辆轨迹跟踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
F. M. NAZAROV 等: "Technologies for Identifying Vehicles Standing at Traffic Lights based on Video Data", 《CENTRAL ASIAN JOURNAL OF MATHEMATICAL THEORY AND COMPUTER SCIENCES》, vol. 3, no. 12, 31 December 2022 (2022-12-31), pages 52 - 59 *

Also Published As

Publication number Publication date
CN117455957B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
Hasegawa et al. Robust Japanese road sign detection and recognition in complex scenes using convolutional neural networks
CN107563419B (zh) 图像匹配和二维码相结合的列车定位方法
CN112069643B (zh) 一种自动驾驶仿真场景生成方法及装置
Li et al. Springrobot: A prototype autonomous vehicle and its algorithms for lane detection
KR101737791B1 (ko) 교통 표지판 인식 장치 및 그 동작 방법
CN110532896A (zh) 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN112991791B (zh) 交通信息识别和智能行驶方法、装置、设备及存储介质
Tae-Hyun et al. Detection of traffic lights for vision-based car navigation system
CN110879950A (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
CN107560622A (zh) 一种基于行车图像导航的方法与设备
CN101900562A (zh) 采用基于分割方法的畅通路径检测
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN110967018B (zh) 停车场定位方法、装置、电子设备及计算机可读介质
CN113029185B (zh) 众包式高精度地图更新中道路标线变化检测方法及系统
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN111126327A (zh) 车道线检测方法、系统、车载系统及车辆
Zeng et al. Enhancing underground visual place recognition with Shannon entropy saliency
Xuan et al. Robust lane-mark extraction for autonomous driving under complex real conditions
CN117455957B (zh) 一种基于深度学习的车辆轨迹定位追踪方法及系统
CN115294560B (zh) 基于属性匹配与运动轨迹预测的车辆跟踪方法及系统
CN113051987A (zh) 信号识别系统及其方法
CN115909241A (zh) 一种车道线检测方法、系统、电子设备和存储介质
Chen et al. Video-based on-road driving safety system with lane detection and vehicle detection
JP2012160116A (ja) 物体識別装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant