CN116824172A - 一种多摄像头融合的实时车辆跟踪方法及装置 - Google Patents

一种多摄像头融合的实时车辆跟踪方法及装置 Download PDF

Info

Publication number
CN116824172A
CN116824172A CN202310617390.6A CN202310617390A CN116824172A CN 116824172 A CN116824172 A CN 116824172A CN 202310617390 A CN202310617390 A CN 202310617390A CN 116824172 A CN116824172 A CN 116824172A
Authority
CN
China
Prior art keywords
vehicle
information
license plate
picture
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310617390.6A
Other languages
English (en)
Inventor
宋建斌
姜德宏
武英杰
刘寰
王伟
耿亚玮
刘尹强
林宝华
陈卫强
王兆明
陈岱庚
张照
张紫昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoshang Xinzhi Technology Co ltd
China Merchants Bureau Highway Network Technology Holding Co ltd
Original Assignee
Zhaoshang Xinzhi Technology Co ltd
China Merchants Bureau Highway Network Technology Holding Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoshang Xinzhi Technology Co ltd, China Merchants Bureau Highway Network Technology Holding Co ltd filed Critical Zhaoshang Xinzhi Technology Co ltd
Priority to CN202310617390.6A priority Critical patent/CN116824172A/zh
Publication of CN116824172A publication Critical patent/CN116824172A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及车辆跟踪技术领域，具体涉及一种多摄像头融合的实时车辆跟踪方法及装置，为解决对车辆跟踪存在部分路段失踪的问题。该实时车辆跟踪方法，包括：获取道路环境下沿线监控设备的图像初始数据，并基于图像清晰度在所述图像初始数据中定义图像基准数据；对每个监控设备的所述图像初始数据中的车辆进行识别，得到车辆图片数据；对图像基准数据进行识别，得到车辆图片基准数据，将所述车辆图片数据和所述车辆图片基准数据输入车辆结构化算法模型中进行识别，获得车辆结构化信息；以图像基准数据为标准，对车牌信息进行自定义修正；进行路径拟合补缺；车辆路径轨迹还原达到实时对车辆进行跟踪的效果。使得车辆跟踪连续不中断。

Description

一种多摄像头融合的实时车辆跟踪方法及装置
技术领域
本发明涉及实时车辆跟踪技术领域，尤其涉及一种多摄像头融合的实时车辆跟踪方法及装置。
背景技术
现阶段基于图像识别的车辆跟踪的方法主要是基于收费站出入口过程信息及门架过车信息实现的，但是其中沿线门架布设成本较高导致点位稀疏，导致难以准确还原出实际轨迹。高速公路沿线过车信息主要依靠门架天线与车载OBU的通信，并结合门架抓拍摄像机获取的抓拍图片，由于车辆处在高速行驶的过程中，使得门架抓拍获得的视频或图片容易拍摄不清楚，存在容易导致过车信息缺漏的情况。进而导致对车辆跟踪存在部分路段失踪的问题。
现有技术CN2021111064740公开了一种基于视频的跨摄像头车辆身份识别方法及系统，但是其仅能在车牌信息全部清晰、可识别的情况下对车牌进行有效识别，对于视频丢帧或部分路段车牌无法识别的情况则无法进行识别。
发明内容
有鉴于此，本发明的目的在于提出一种多摄像头融合的实时车辆跟踪方法，以解决对车辆跟踪存在部分路段失踪的问题。
基于上述目的，本发明提供了一种多摄像头融合的实时车辆跟踪方法，包括：
获取道路环境下沿线监控设备的图像初始数据，并基于图像清晰度在所述图像初始数据中定义图像基准数据；
对每个监控设备的所述图像初始数据中的车辆进行识别，得到车辆图片数据；
对图像基准数据进行识别，得到车辆图片基准数据，所述车辆图片基准数据包括过车时间信息、过车位置信息、车道ID及过车图片信息；
将所述车辆图片数据和所述车辆图片基准数据输入车辆结构化算法模型中进行识别，获得车辆结构化信息；
将所述车辆结构化信息根据监控设备位置信息，编组入库，每个监控设备的摄像机构建独属的数据库，采用时序数据库；每条数据包含摄像机经纬度信息、过车时间信息以及过车车辆的车牌信息；以图像基准数据为标准，对车牌信息进行自定义修正；
基于车辆结构化信息，结合摄像机经纬度信息、高速路网结构和过车时间信息进行路径拟合补缺；
车辆路径轨迹还原达到实时对车辆进行跟踪的效果。
具体的，一种车辆身份识别方法，包括：
获取实际道路环境下的收费站、门架、沿线监控中每个摄像机的视频，获得图像数据；
以摄像机为单位，对每个摄像机的所述图像数据中的车辆进行检测、跟踪，并提取跟踪车辆图片，对每辆出现的车辆赋予唯一的车辆ID，得到车辆图片数据；
通过视频截帧的方法截取图像数据中收费站及门架系统拍摄的视频，获得图片流数据，所述图片流数据包含过车时间、过车位置、摄像机ID、门架ID、收费站ID、车道ID及过车图片的信息；
将所述车辆图片数据和所述图片流数据输入车辆结构化算法模型中进行识别，获得车辆结构化信息，所述车辆结构化信息包括车牌信息、车型信息、车辆属性信息及车辆ID信息；
将所述车辆结构化信息根据拍摄的摄像机的维度进行信息入库，即每个摄像机构建独属的数据库，采用时序数据库；每条数据包含摄像机ID信息、摄像机经纬度信息、过车时间信息以及过车车辆的车牌信息、车牌颜色信息、车型信息、车辆属性信息及车辆ID信息；
基于摄像机经纬度信息、高速路网结构和过车时间信息进行路径拟合补缺；
车辆路径轨迹还原。
作为本申请的进一步改进，所述对所述对图像初始数据进行识别，包括：
步骤1、从所述图像初始数据中抽帧获取图片，所有的图片构成图片组；
识别所述图片组中的图片中车辆的车牌信息，生成车牌对象，如果没有检测出车，则转步骤11；
步骤2、对检测出的车按步骤3开始处理；否则，转步骤11；
步骤3、所述车在本次跟踪中，是否为第一次识别，如果是，就为该车分配一个队列，并将本次识别的结果存入队列中，转步骤11；否则，转步骤4；
步骤4、将本次的识别结果与队列首位的识别结果进行比较，如果本次识别结果车的高度或宽度比队列首位结果中车对应的高度或宽度小，就转步骤11；否则，存储当前位置信息，转步骤5；
步骤5、是否检测出了车牌？如果没有，转步骤6；否则，转步骤7；
步骤6、队列首位的识别结果是否含有车牌？如果没有，转步骤10；否则，转步骤9；
步骤7、车牌距离图像底部是否距离过近？如果是，转步骤11；否则，转步骤8；
步骤8、队列首位的识别结果是否含有车牌？如果没有，转步骤9；否则，转步骤10；
步骤9、在队列的首位写入本次识别的结果，转步骤11；
步骤10、用本次识别的结果更新队列首位的结果，转步骤11；
步骤11、进行优帧的计算，对每个ID对应的队列进行处理，从队列的首位开始遍历，找到的含有车牌的第一个对象，为待定的优帧；如果当前帧的序列号与待定优帧的序列号之差大于15，则认为待定优帧为正式的优帧；否则等待下一次处理时，再进行优帧的判断；
步骤12、过滤，滤除远离的车的数据和车辆位于距离图像底部较远的优帧。
作为本申请的进一步改进，所述将所述车辆图片数据和所述图片流数据输入车辆结构化算法模型中进行识别，获得车辆结构化信息，所述车辆结构化信息包括车牌信息、车型信息、车辆属性信息及车辆ID信息，对车牌信息进行自定义修正。
作为本申请的进一步改进，所述对车牌信息进行自定义修正包括：
修正首字，对所有的图片点位档案关联的未修正状态特征集合进行首字修正；
修正非首字，对所有的图片点位档案和当前区间集合中的所有非图片点位和未修正状态档案进行相似度计算修正，再将其关联特征集合进行修正；
修正基准，以准确率较高收费站出入口/门架的图片流数据去修正中间视频点位数据。
作为本申请的进一步改进，所述修正非首字，对所有的图片点位档案和当前区间集合中的所有非图片点位和未修正状态档案进行相似度计算修正，再将其关联特征集合进行修正，所述相似度计算算法公式为：
，
其中，S为相似度，n表示车牌中除省份部分车牌号位数，Si为车牌单位相似度；
Si＝Ni*Xi
其中，Ni为车牌单位置信度，Xi为车牌单位置信度系数；
，
其中，C0为置信度阈值，C1为标准车牌单位置信度，C2为待修正车牌单位置信度。
作为本申请的进一步改进，所述修正首字，对所有的图片点位档案关联的未修正状态特征集合进行首字修正；包括：车牌首字前置修正和车牌首字后置修正；
所述车牌首字前置修正为把需要修正的摄像机点位的具有时空关系的上游收费站入口或者门架的车辆识别结果作为准确识别结果，修正当前点位车牌首字；
所述车牌首字后置修正为把需要修正的摄像机点位的具有时空关系的下游收费站出口或者门架的车辆识别结果作为准确识别结果，修正当前点位车牌首字。
作为本申请的进一步改进，所述沿线监控设备包括实际道路环境下的收费站、门架、沿线监控中每个监控摄像头。
一种多摄像头融合的实时车辆跟踪装置，包括：
获取模块，用于获取道路环境下沿线监控设备的图像初始数据，并基于图像清晰度在所述图像初始数据中定义图像基准数据；
提取模块，用于对每个监控设备的所述图像初始数据中的车辆进行识别，得到车辆图片数据；
识别模块，用于对图像基准数据进行识别，得到车辆图片基准数据，所述车辆图片基准数据包括过车时间信息、过车位置信息、车道ID及过车图片信息；
编组修正模块，用于将所述车辆图片数据和所述车辆图片基准数据输入车辆结构化算法模型中进行识别，获得车辆结构化信息；将所述车辆结构化信息根据监控设备位置信息，编组入库，每个监控设备的摄像机构建独属的数据库，采用时序数据库；
每条数据包含摄像机经纬度信息、过车时间信息以及过车车辆的车牌信息；以图像基准数据为标准，对车牌信息进行自定义修正；
路径拟合模块，用于基于车辆结构化信息，结合摄像机经纬度信息、高速路网结构和过车时间信息进行路径拟合补缺；
轨迹还原模块，用于车辆路径轨迹还原达到实时对车辆进行跟踪的效果。
作为本申请的进一步改进，所述对车牌信息进行自定义修正包括：
修正首字子单元，用于修正首字，对所有的图片点位档案关联的未修正状态特征集合进行首字修正；
修正非首字子单元，用于修正非首字，对所有的图片点位档案和当前区间集合中的所有非图片点位和未修正状态档案进行相似度计算修正，再将其关联特征集合进行修正；
修正基准子单元，用于修正基准，以准确率较高收费站出入口/门架的图片流数据去修正中间视频点位数据。
本发明的有益效果：通过编组修正模块对车牌信息进行自定义修正，使得门架抓拍获得的不清楚的视频或图片中的车牌信息被修正，使得过车信息完整，进而使得车辆跟踪连续不中断。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种多摄像头融合的实时车辆跟踪方法的流程示意图；
图2为本发明实施例一种多摄像头融合的实时车辆跟踪装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如图1所示，一种多摄像头融合的实时车辆跟踪方法，包括：
S100、获取道路环境下沿线监控设备的图像初始数据，并基于图像清晰度在所述图像初始数据中定义图像基准数据；
S200、对每个监控设备的所述图像初始数据中的车辆进行识别，得到车辆图片数据；
S300、对图像基准数据进行识别，得到车辆图片基准数据，所述车辆图片基准数据包括过车时间信息、过车位置信息、车道ID及过车图片信息；
S400、将所述车辆图片数据和所述车辆图片基准数据输入车辆结构化算法模型中进行识别，获得车辆结构化信息；将所述车辆结构化信息根据监控设备位置信息，编组入库，每个监控设备的摄像机构建独属的数据库，采用时序数据库；每条数据包含摄像机经纬度信息、过车时间信息以及过车车辆的车牌信息；以图像基准数据为标准，对车牌信息进行自定义修正；
S500、基于车辆结构化信息，结合摄像机经纬度信息、高速路网结构和过车时间信息进行路径拟合补缺；
S600、车辆路径轨迹还原达到实时对车辆进行跟踪的效果。
通过编组修正模块对车牌信息进行自定义修正，使得门架抓拍获得的不清楚的视频或图片中的车牌信息被修正，使得过车信息完整，进而使得车辆跟踪连续不中断。
具体的，一种多摄像头融合的实时车辆跟踪方法，包括：
获取道路环境下沿线监控设备的图像初始数据，并基于图像清晰度在所述图像初始数据中定义图像基准数据；
沿线监控设备包括实际道路环境下的收费站、门架、沿线监控中每个监控摄像头。
对每个监控设备的所述图像初始数据中的车辆进行识别，得到车辆图片数据；对每个摄像机的图像初始数据中的车辆进行检测、跟踪，并提取跟踪车辆图片，对每辆出现的车辆赋予唯一的车辆ID；包括：
步骤1、从所述图像初始数据中抽帧获取图片，所有的图片构成图片组；
识别所述图片组中的图片中车辆的车牌信息，生成车牌对象，如果没有检测出车，则转步骤11；
步骤2、对检测出的车按步骤3开始处理；否则，转步骤11；
步骤3、所述车在本次跟踪中，是否为第一次识别，如果是，就为该车分配一个队列，并将本次识别的结果存入队列中，转步骤11；否则，转步骤4；
步骤4、将本次的识别结果与队列首位的识别结果进行比较，如果本次识别结果车的高度或宽度比队列首位结果中车对应的高度或宽度小，就转步骤11；否则，存储当前位置信息，转步骤5；
步骤5、是否检测出了车牌？如果没有，转步骤6；否则，转步骤7；
步骤6、队列首位的识别结果是否含有车牌？如果没有，转步骤10；否则，转步骤9；
步骤7、车牌距离图像底部是否距离过近？如果是，转步骤11；否则，转步骤8；
步骤8、队列首位的识别结果是否含有车牌？如果没有，转步骤9；否则，转步骤10；
步骤9、在队列的首位写入本次识别的结果，转步骤11；
步骤10、用本次识别的结果更新队列首位的结果，转步骤11；
步骤11、进行优帧的计算，对每个ID对应的队列进行处理，从队列的首位开始遍历，找到的含有车牌的第一个对象，为待定的优帧；如果当前帧的序列号与待定优帧的序列号之差大于15，则认为待定优帧为正式的优帧；否则等待下一次处理时，再进行优帧的判断；
步骤12、过滤，滤除远离的车的数据和车辆位于距离图像底部较远的优帧。
对图像基准数据进行识别，得到车辆图片基准数据，具体的，通过视频截帧的方法截取图像基准数据，得到车辆图片基准数据，所述车辆图片基准数据包括过车时间信息、过车位置信息、摄像机ID信息、门架ID信息、收费站ID信息、车道ID信息及过车图片信息。
将所述车辆图片数据和所述车辆图片基准数据输入车辆结构化算法模型中进行识别，获得车辆结构化信息；将所述车辆结构化信息根据监控设备位置信息，编组入库，每个监控设备的摄像机构建独属的数据库，采用时序数据库；每条数据包含摄像机经纬度信息、过车时间信息以及过车车辆的车牌信息；以图像基准数据为标准，对车牌信息进行自定义修正，包括：
修正首字，对所有的图片点位档案关联的未修正状态特征集合进行首字修正；所述修正首字包括：车牌首字前置修正和车牌首字后置修正；
所述车牌首字前置修正为把需要修正的摄像机点位的具有时空关系的上游收费站入口或者门架的车辆识别结果作为准确识别结果，修正当前点位车牌首字；
所述车牌首字后置修正为把需要修正的摄像机点位的具有时空关系的下游收费站出口或者门架的车辆识别结果作为准确识别结果，修正当前点位车牌首字。
修正非首字，对所有的图片点位档案和当前区间集合中的所有非图片点位和未修正状态档案进行相似度计算修正，再将其关联特征集合进行修正；所述相似度计算算法公式为：
，
其中，S为相似度，n表示车牌中除省份部分车牌号位数，Si为车牌单位相似度：
Si＝Ni*Xi，
其中，Ni为车牌单位置信度，Xi为车牌单位置信度系数；
，
其中，C0为置信度阈值，C1为标准车牌单位置信度，C2为待修正车牌单位置信度。
修正基准，以准确率较高收费站出入口/门架的图片流数据去修正中间视频点位数据。
基于车辆结构化信息，结合摄像机经纬度信息、高速路网结构和过车时间信息进行路径拟合补缺；
车辆路径轨迹还原达到实时对车辆进行跟踪的效果。
如图2所示，一种多摄像头融合的实时车辆跟踪装置，包括：
获取模块100，用于获取道路环境下沿线监控设备的图像初始数据，并基于图像清晰度在所述图像初始数据中定义图像基准数据；
提取模块200，用于对每个监控设备的所述图像初始数据中的车辆进行识别，得到车辆图片数据；
识别模块300，用于对图像基准数据进行识别，得到车辆图片基准数据，所述车辆图片基准数据包括过车时间信息、过车位置信息、车道ID及过车图片信息；
编组修正模块400，用于将所述车辆图片数据和所述车辆图片基准数据输入车辆结构化算法模型中进行识别，获得车辆结构化信息；将所述车辆结构化信息根据监控设备位置信息，编组入库，每个监控设备的摄像机构建独属的数据库，采用时序数据库；
每条数据包含摄像机经纬度信息、过车时间信息以及过车车辆的车牌信息；以图像基准数据为标准，对车牌信息进行自定义修正，包括：
修正首字子单元，用于修正首字，对所有的图片点位档案关联的未修正状态特征集合进行首字修正；
修正非首字子单元，用于修正非首字，对所有的图片点位档案和当前区间集合中的所有非图片点位和未修正状态档案进行相似度计算修正，再将其关联特征集合进行修正；
修正基准子单元，用于修正基准，以准确率较高收费站出入口/门架的图片流数据去修正中间视频点位数据；
路径拟合模块500，用于基于车辆结构化信息，结合摄像机经纬度信息、高速路网结构和过车时间信息进行路径拟合补缺；
轨迹还原模块600，用于车辆路径轨迹还原达到实时对车辆进行跟踪的效果。所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本发明旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多摄像头融合的实时车辆跟踪方法，其特征在于，包括：
获取道路环境下沿线监控设备的图像初始数据，并基于图像清晰度在所述图像初始数据中定义图像基准数据；
对每个监控设备的所述图像初始数据中的车辆进行识别，得到车辆图片数据；
对图像基准数据进行识别，得到车辆图片基准数据，所述车辆图片基准数据包括过车时间信息、过车位置信息、车道ID及过车图片信息；
将所述车辆图片数据和所述车辆图片基准数据输入车辆结构化算法模型中进行识别，获得车辆结构化信息；
将所述车辆结构化信息根据监控设备位置信息，编组入库，每个监控设备的摄像机构建独属的数据库，采用时序数据库；每条数据包含摄像机经纬度信息、过车时间信息以及过车车辆的车牌信息；以图像基准数据为标准，对车牌信息进行自定义修正；
基于车辆结构化信息，结合摄像机经纬度信息、高速路网结构和过车时间信息进行路径拟合补缺；
车辆路径轨迹还原达到实时对车辆进行跟踪的效果。
2.根据权利要求1所述的多摄像头融合的实时车辆跟踪方法，其特征在于，所述对图像初始数据进行识别，包括：
步骤1、从所述图像初始数据中抽帧获取图片，所有的图片构成图片组；
识别所述图片组中的图片中车辆的车牌信息，生成车牌对象，如果没有检测出车，则转步骤11；
步骤2、对检测出的车按步骤3开始处理；否则，转步骤11；
步骤3、所述车在本次跟踪中，是否为第一次识别，如果是，就为该车分配一个队列，并将本次识别的结果存入队列中，转步骤11；否则，转步骤4；
步骤4、将本次的识别结果与队列首位的识别结果进行比较，如果本次识别结果车的高度或宽度比队列首位结果中车对应的高度或宽度小，就转步骤11；否则，存储当前位置信息，转步骤5；
步骤5、是否检测出了车牌；如果没有，转步骤6；否则，转步骤7；
步骤6、队列首位的识别结果是否含有车牌；如果没有，转步骤10；否则，转步骤9；
步骤7、车牌距离图像底部是否距离过近；如果是，转步骤11；否则，转步骤8；
步骤8、队列首位的识别结果是否含有车牌；如果没有，转步骤9；否则，转步骤10；
步骤9、在队列的首位写入本次识别的结果，转步骤11；
步骤10、用本次识别的结果更新队列首位的结果，转步骤11；
步骤11、进行优帧的计算，对每个ID对应的队列进行处理，从队列的首位开始遍历，找到的含有车牌的第一个对象，为待定的优帧；如果当前帧的序列号与待定优帧的序列号之差大于15，则认为待定优帧为正式的优帧；否则等待下一次处理时，再进行优帧的判断；
步骤12、过滤，滤除远离的车的数据和车辆位于距离图像底部较远的优帧。
3.根据权利要求1所述的一种多摄像头融合的实时车辆跟踪方法，其特征在于，所述对车牌信息进行自定义修正包括：
修正首字，对所有的图片点位档案关联的未修正状态特征集合进行首字修正；
修正非首字，对所有的图片点位档案和当前区间集合中的所有非图片点位和未修正状态档案进行相似度计算修正，再将其关联特征集合进行修正；
修正基准，以准确率较高收费站出入口/门架的图片流数据去修正中间视频点位数据。
4.根据权利要求3所述的一种多摄像头融合的实时车辆跟踪方法，其特征在于，所述修正非首字，对所有的图片点位档案和当前区间集合中的所有非图片点位和未修正状态档案进行相似度计算修正，再将其关联特征集合进行修正，所述相似度计算算法公式为：
，
其中，S为相似度，n表示车牌中除省份部分车牌号位数，Si为车牌单位相似度；
Si＝Ni*Xi，
其中，Ni为车牌单位置信度，Xi为车牌单位置信度系数；
，
其中，C0为置信度阈值，C1为标准车牌单位置信度，C2为待修正车牌单位置信度。
5.根据权利要求3所述的一种多摄像头融合的实时车辆跟踪方法，其特征在于，所述修正首字，对所有的图片点位档案关联的未修正状态特征集合进行首字修正；包括：车牌首字前置修正和车牌首字后置修正；
所述车牌首字前置修正为把需要修正的摄像机点位的具有时空关系的上游收费站入口或者门架的车辆识别结果作为准确识别结果，修正当前点位车牌首字；
所述车牌首字后置修正为把需要修正的摄像机点位的具有时空关系的下游收费站出口或者门架的车辆识别结果作为准确识别结果，修正当前点位车牌首字。
6.根据权利要求1所述的一种多摄像头融合的实时车辆跟踪方法，其特征在于，所述沿线监控设备包括实际道路环境下的收费站、门架、沿线监控中每个监控摄像头。
7.一种多摄像头融合的实时车辆跟踪装置，其特征在于，包括：
获取模块，用于获取道路环境下沿线监控设备的图像初始数据，并基于图像清晰度在所述图像初始数据中定义图像基准数据；
提取模块，用于对每个监控设备的所述图像初始数据中的车辆进行识别，得到车辆图片数据；
识别模块，用于对图像基准数据进行识别，得到车辆图片基准数据，所述车辆图片基准数据包括过车时间信息、过车位置信息、车道ID及过车图片信息；
编组修正模块，用于将所述车辆图片数据和所述车辆图片基准数据输入车辆结构化算法模型中进行识别，获得车辆结构化信息；将所述车辆结构化信息根据监控设备位置信息，编组入库，每个监控设备的摄像机构建独属的数据库，采用时序数据库；
每条数据包含摄像机经纬度信息、过车时间信息以及过车车辆的车牌信息；以图像基准数据为标准，对车牌信息进行自定义修正；
路径拟合模块，用于基于车辆结构化信息，结合摄像机经纬度信息、高速路网结构和过车时间信息进行路径拟合补缺；
轨迹还原模块，用于车辆路径轨迹还原达到实时对车辆进行跟踪的效果。
8.根据权利要求7所述的一种多摄像头融合的实时车辆跟踪装置，其特征在于，所述对车牌信息进行自定义修正包括：
修正首字子单元，用于修正首字，对所有的图片点位档案关联的未修正状态特征集合进行首字修正；
修正非首字子单元，用于修正非首字，对所有的图片点位档案和当前区间集合中的所有非图片点位和未修正状态档案进行相似度计算修正，再将其关联特征集合进行修正；
修正基准子单元，用于修正基准，以准确率较高收费站出入口/门架的图片流数据去修正中间视频点位数据。
CN202310617390.6A 2023-05-29 2023-05-29 一种多摄像头融合的实时车辆跟踪方法及装置 Pending CN116824172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310617390.6A CN116824172A (zh) 2023-05-29 2023-05-29 一种多摄像头融合的实时车辆跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310617390.6A CN116824172A (zh) 2023-05-29 2023-05-29 一种多摄像头融合的实时车辆跟踪方法及装置

Publications (1)

Publication Number Publication Date
CN116824172A true CN116824172A (zh) 2023-09-29

Family

ID=88124956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310617390.6A Pending CN116824172A (zh) 2023-05-29 2023-05-29 一种多摄像头融合的实时车辆跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN116824172A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351438A (zh) * 2023-10-24 2024-01-05 武汉无线飞翔科技有限公司 一种基于图像识别的车辆实时位置跟踪方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351438A (zh) * 2023-10-24 2024-01-05 武汉无线飞翔科技有限公司 一种基于图像识别的车辆实时位置跟踪方法及系统
CN117351438B (zh) * 2023-10-24 2024-06-04 武汉无线飞翔科技有限公司 一种基于图像识别的车辆实时位置跟踪方法及系统

Similar Documents

Publication Publication Date Title
CN111145545B (zh) 基于深度学习的道路交通行为无人机监测系统及方法
CN109784162B (zh) 一种行人行为识别及轨迹跟踪方法
CN111429484B (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
Mithun et al. Detection and classification of vehicles from video using multiple time-spatial images
CN108305466B (zh) 基于车辆特征分析的路侧停车检测方法及装置
US6747687B1 (en) System for recognizing the same vehicle at different times and places
TWI425454B (zh) 行車路徑重建方法、系統及電腦程式產品
TWI640964B (zh) 以影像為基礎之車輛計數與分類系統
CN116824172A (zh) 一种多摄像头融合的实时车辆跟踪方法及装置
CN112836683B (zh) 用于便携式摄像设备的车牌识别方法、装置、设备和介质
CN112733719A (zh) 一种融合人脸及人体特征的跨境行人轨迹检测方法
CN111127520B (zh) 一种基于视频分析的车辆跟踪方法和系统
KR102506971B1 (ko) 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템
CN114724131A (zh) 一种车辆追踪方法、装置、电子设备及存储介质
CN115909223A (zh) 一种wim系统信息与监控视频数据匹配的方法和系统
CN114898353A (zh) 一种基于视频序列图像特征与信息的车牌识别方法
CN111489380A (zh) 一种目标物体轨迹分析方法
Chang et al. Shadow elimination for effective moving object detection with gaussian models
CN113591643A (zh) 一种基于计算机视觉的地下交通工具进出站检测系统及方法
CN106778675B (zh) 一种视频图像中目标对象的识别方法和装置
CN112950922A (zh) 一种共享电动车的定点还车方法
CN110363192B (zh) 物件影像辨识系统及物件影像辨识方法
CN114283363A (zh) 一种基于人脸识别的客流量获取方法、系统及存储介质
CN111062294B (zh) 一种客流排队时间的检测方法、装置及系统
Tan et al. Dashboard Camera View Vehicle License Plate Compliance Verification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination