CN112836699A - 一种基于长时多目标跟踪的泊位出入场事件分析方法 - Google Patents
一种基于长时多目标跟踪的泊位出入场事件分析方法 Download PDFInfo
- Publication number
- CN112836699A CN112836699A CN202110172449.6A CN202110172449A CN112836699A CN 112836699 A CN112836699 A CN 112836699A CN 202110172449 A CN202110172449 A CN 202110172449A CN 112836699 A CN112836699 A CN 112836699A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- license plate
- image
- edge
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims description 43
- 230000007774 longterm Effects 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 230000006872 improvement Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 102100032202 Cornulin Human genes 0.000 description 1
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于长时多目标跟踪的路侧停车出入场事件分析方法，该方法通过获取车辆多模态特征以及车辆轨迹集，并将两者进行逐层次关联处理，以获得可靠准确的长时轨迹信息，并根据已获得的车辆的泊位位置与车辆长时轨迹的关系，可准确获取泊位车辆驶入驶出事件信息，特别是在车辆被短时全部遮挡后出现或部分遮挡情况下准确识别驶入驶出事件，以提高路侧停车业务智能化水平。
Description
技术领域
本发明涉及车辆行为智能分析领域，尤其涉及一种基于长时多目标跟踪的泊位出入场事件分析方法。
背景技术
在城市泊车管理系统中，停车场的使用占有很大的比例，随着城市机动车辆占有率的不断提高，停车场已经无法满足日益增长的泊车需求，路侧停车模式逐步承担了越来越重要的角色，路侧停车的智能化显得尤为重要。
随着计算机视觉、人工智能、模式识别等领域的飞速发展，原有依靠停车计费人员的收费模式，逐步替换为依靠多种传感器的智能自动化管理的收费模式。而封闭停车场和路侧开放停车场的智能化程度完全依赖于车辆行为的准确分析，依据使用的数据源不同，车辆行为分析技术，可以分为静态分析和动态分析两种；其中，静态分析方法利用单帧或多帧(通常为三帧)图像判断是否有车，该类方法从早期的帧差方法已经发展到基于深度学习的分类识别方法(即有车和无车二分类问题)，从而判断泊位是否有车；静态分析方法虽然有一定的适应性，但在摄像头拍摄角度不理想而造成泊位中前后车遮挡、或者过路大车遮挡等情况下，该类方法很容易会造成误判；动态分析方法则将单帧/多帧图像拓展为视频数据分析，即对泊位相关的视频数据中的车辆进行轨迹跟踪，通过分析轨迹与泊位位置关系，从而获得泊位出入事件信息。该类方法较静态分析方法，在泊位出入事件判断准确性上有一定提升，但也存在较多问题。
本发明在动态分析方法基础上，提出了长时多目标跟踪泊位出入事件准确分析方法，该方法先利用车辆表观深度学习模型抽取特征、运动状态特征、车辆边缘特征等多重特征对车辆进行建模描述，利用数据关联技术获取车辆轨迹。通常由于遮挡造成同一车辆的轨迹可能存在断裂问题，即在整个视频过程中，同一车辆的轨迹可以分裂为多条轨迹，针对轨迹集合并问题。
基于此，本方法进一步利用车辆边缘积分特征、速度特征、车牌特征等，进行多模态相似性判断，完成轨迹集动态合并，并根据车辆长时轨迹和泊位位置关系，给出泊位车辆驶入驶出事件分析结果，用于准确识别泊位出入事件。
发明内容
本发明的目的是提供一种基于长时多目标跟踪的泊位出入场事件分析方法，旨在解决路侧停车泊位驶入驶出事件实时分析问题，特别是针对车辆遮挡情况下，准确获取泊位驶入驶出事件获取问题。
为实现上述目的，本发明提供一种基于长时多目标跟踪的泊位出入场事件分析方法，所述方法包括：
获取监控视频中连续的多帧图像，提取每帧图像中的车辆和车牌位置信息；根据车辆和车牌位置信息，确定该车牌和车辆的从属关系；
对所述车辆和车牌图像进行预处理，得到所述车辆的多维特征以及车牌识别结果的综合置信度；
关联所述车辆的多维特征以及车牌识别结果的综合置信度，获取车辆轨迹集；
分割车辆图像，提取车辆实例区域边缘特征，计算车辆边缘积分特征；
匹配车辆轨迹集以及车辆边缘积分特征，获取车辆长时轨迹；
获取车辆的泊位位置，根据所述泊位位置与车辆长时轨迹的关系，确认车辆的出入场事件。
作为对本发明的进一步改进，确定所述车牌与车辆的从属关系的步骤具体包括，对每帧图像进行预处理，提取图像中的车辆区域和车牌区域，确定图像中车牌区域和车辆区域的位置关系，若图像中，车牌区域位于车辆区域内，确定该车牌属于该车辆，所述预处理包括所述车辆及车牌颜色通道转换、缩放、滤波中的一种或多种。
作为对本发明的进一步改进，对所述车牌图像进行预处理，得到所述车牌识别结果的综合置信度具体包括；
矫正车牌区域图像，根据矫正结果确定车牌类别，
分割车牌字符得到车牌字符个数，根据车牌字符的个数确定车牌完整置信度，
识别所述车牌字符，确认字符识别置信度；
根据车牌完整置信度以及字符识别置信度确定车牌识别结果的综合置信度。
作为对本发明的进一步改进，获取所述车辆的多维特征至少包括获取车辆的表观特征描述、车辆状态信息的一种或多种。
作为对本发明的进一步改进，关联所述车辆的多维特征以及车牌识别结果的综合置信度，获取车辆轨迹集之后还包括更新车辆轨迹集，更新所述车辆轨迹集具体包括，选取阈值高的车牌与轨迹集中的车辆进行关联，增加新的车辆表观特征、车辆状态信息中的一种或多种。
作为对本发明的进一步改进，更新所述车辆轨迹集具体还包括删除长时间无法获得运动状态的车辆轨迹集。
作为对本发明的进一步改进，分割车辆图像，提取车辆实例区域边缘特征，计算车辆边缘积分特征具体包括，计算运动车辆边缘特征和静止车辆边缘特征。
作为对本发明的进一步改进，计算静止车辆的积分特征具体包括；将获取的该车辆的稳定的多帧边缘特征进行权重累加，得到边缘积分特征。
作为对本发明的进一步改进，计算运动车辆具体包括根据轨迹集进行平移和/或旋转变化，获取车辆的多段边缘积分特征。
作为对本发明的进一步改进，根据边缘积分特征获取车辆的长时轨迹具体包括匹配所述车辆边缘积分，并进行轨迹集合并，得到车辆的长时轨迹。
一种基于长时多目标跟踪的泊位出入场事件分析装置包括，
采集分析装置，用于获取监控视频中连续的多帧图像，提取每帧图像中的车辆和车牌位置信息；根据车辆和车牌位置信息，确定该车牌和车辆的从属关系；
预处理装置；用于对所述车辆和车牌图像进行预处理，得到所述车辆的多维特征以及车牌识别结果的综合置信度；
获取装置；关联所述车辆的多维特征以及车牌识别结果的综合置信度，获取车辆轨迹集；
计算装置，分割车辆图像，提取车辆实例区域边缘特征，计算车辆边缘积分特征；匹配装置；匹配车辆轨迹集以及车辆边缘积分特征，获取车辆长时轨迹；
判断装置，获取车辆的泊位位置，根据所述泊位位置与车辆长时轨迹的关系，确认车辆的出入场事件。
作为对本发明的进一步改进，所述装置还包括提取装置，所述提取装置用于对每帧图像进行预处理，提取图像中的车辆区域和车牌区域，确定车牌区域和车辆区域的位置关系，若车牌区域位于车辆区域内，确定该车牌属于该车辆，所述预处理包括所述车辆及车牌颜色通道转换、缩放、滤波中的一种或多种。
作为对本发明的进一步改进，还包括，
矫正装置，用于通过矫正算法矫正车牌区域图像，根据矫正结果确定车牌类别，
分割装置，用于通过分割算法分割车牌字符得到车牌字符个数，根据车牌字符的个数确定车牌完整置信度；
识别装置，用于通过识别装置识别所述车牌字符，确认字符识别置信度；根据车牌完整置信度以及字符识别置信度确定车牌识别结果的综合置信度。
作为对本发明的进一步改进，所述获取装置还用于更新车辆轨迹集，更新所述车辆轨迹集具体包括，选取阈值高的车牌与轨迹集中的车辆进行关联，增加新的车辆表观特征、车辆状态信息中的一种或多种。
作为对本发明的进一步改进，所述分割装置还用于通过分割算法分割车辆图像，提取车辆实例区域边缘特征；
所述计算装置还用于计算车辆边缘积分特征具体包括，计算运动车辆边缘特征和静止车辆边缘特征。
作为对本发明的进一步改进，所述计算装置还用于匹配所述车辆边缘积分，并进行轨迹集合并，得到车辆的长时轨迹。
有益效果
本发明公开的基于长时多目标跟踪的路侧停车出入场事件分析方法，将车辆多模态特征以及车牌识别结果的综合置信度进行逐层次关联处理，以获得可靠准确的长时轨迹信息。一方面通过多个弱约束的组合以获得更可靠的的长时轨迹；另一方面，该方法可以极大地减少算法计算量，具体包括以下几个层次(说明，以下耗时统计，是在nvidia 1060显卡上)：首先、采用较少层的宽残差网络以获取车辆区域表观特征，单目标表征识别时间优于1ms；其次，利用Kalman滤波建立目标运动特征描述，运动特征建立优于0.5ms；再者，通过建立车牌矫正网络、字符分割与识别两个网络，将传统的多步计算，整合到深度学习网络中，使得车牌识别时间优于1ms；还有，在车辆检测算法上，在现有经典检测算法基础，根据路侧停车，特别是遮挡情况频繁的特性，进行了网络结构调整，已获得准确性与耗时兼优的模型；最后通过模型加速，具体包括模型剪枝、TensorRT加速，使得每个环节算法耗时进一步得到优化。在优于1050Ti的Nvidia显卡算力的平台上，单路视频可以做到实时处理，进一步准确获取泊位车辆驶入驶出事件信息，特别是在车辆被全部或部分遮挡情况下可准确识别驶入驶出事件，以提高路侧停车业务智能化水平。
附图说明
图1是本发明基于长时多目标跟踪的泊位出入场事件分析方法的流程图；
图2是本发明基于长时多目标跟踪的泊位出入场事件分析方法的流程图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明提供一种基于长时多目标跟踪的泊位出入场事件分析方法，可以准确获取泊位车辆驶入驶出时间信息，特别是在车辆被全部或部分遮挡情况下可准确识别驶入驶出事件，可提高路侧停车的智能化管理水平。
具体地，本发明公开的方法包括：
S1；获取监控视频中连续的多帧图像，提取每帧图像中的车辆和车牌位置；根据车辆和车牌位置信息，确定该车牌和车辆的从属关系；
具体的，通过监控装置获取监控视频中的连续多帧图像，再对获取的每一帧图像进行预处理，
当车牌发生扭转或者曝光等情况下，所述预处理方法包括对图像中车牌颜色、车辆颜色通道的转换、缩放以及滤波处理，得到清晰的车牌和车辆图像，再进一步的利用基于机器学习的检测方法获取该图像中车辆区域和车牌区域，利用单一车牌只能属于一个车辆、车牌应该在该车辆区域内的先验知识，利用交并比判断车牌的从属关系，所述交并比计算方法包括但不限于IOU、CIOU、DIOU、GIOU等交并比计算方法。例如,在实际情况中，由于车辆相互遮挡(如前后两车遮挡情况)，经常出现一个车牌识别框，在两个车辆检测框中都有整体或部分出现，这时候判断其归属性做法如下：根据车牌框与车辆框的加权IOU的大小判断归属性，其中权重为：在不同相机视角情况下，车牌框与车辆框位置象限关系进行加权。
在获取监控视频中的每一帧图像的同时，需要对多车牌以及车辆目标进行实时跟踪监测，以获取车辆目标和车牌目标的动态信息，具体的所述车辆检测方法包括但不限于通过YOLO、SSD、CenterNet等目标检测网络进行检测跟踪；所述车牌检测方法包括但不限于通过CRNN+CTC、YOLO等目标检测网络进行检测跟踪，以获得最佳的车辆和车牌图像信息。
所述监控装置包括枪型摄像机或球形摄像机中的一种或者多种的组合。
S2：对所述车辆和车牌图像进行预处理，得到所述车辆的多维特征以及车牌识别结果的综合置信度；
由于车辆在进出场的过程中，会遇到部分或全部遮挡，为了提高车辆进出场事件判定的准确度，获取车辆的多维特征显得尤为重要，具体的首先利用检测网络的backbone部分获取车辆的多维表观特征描述，进一步的利用Kalman滤波对车辆运动状态进行建模，以获取车辆速度、加速度等车辆状态信息，通过上述方法获取车辆的多维特征，所述车辆表观特征描述用到的检测网络backbone包括但不限于Vgg、ResNet、Darknet53、ResNext等。
进一步的，还需要对所述车牌图像进行预处理，得到车牌识别结果的综合置信度，车牌识别结果的综合置信度包括车牌完整置信度以及字符识别置信度；
具体计算车牌完整置信度的步骤如下；第一、矫正车牌区域图像，第二、对矫正后的车辆图像进行分类，确认车辆属于新能源车牌、普通车牌或双层字符车牌中的一种，第三、分割车牌里的字符得到车牌字符个数，根据车牌字符的个数来确认车牌的完整度，本实施例中，具体地，车牌完整度置信度根据不同的车牌形态(单层或双侧、普通车牌或新能源车牌等)，对分割出的字符数目与正确的字符数目的比例进行比对确认，所述车辆分割方法包括但不限于MASK-RCNN、BlendMask、SOLO、PolarMask等，例如，当车牌的颜色为绿色时，则刻初步确定该车辆是新能源车辆，若车牌的颜色为蓝色，则初步确认该车辆是普通小客车；若经确认该车辆是普通车牌，且该车牌的字符为7个时，则可初步确认该车牌属于完整的车牌。
所述车牌矫正算法包括但不限于基于车牌角点矫正和基于深度学习的检测左右两边的矫正方法。
计算字符识别置信度的步骤如下，对经分割的字符进行识别，得到识别结果，根据识别结果计算字符识别置信度，具体地，字符识别置信度，为每个分割出的字符的识别准确度的最小值和均值的乘积，但该置信度不限于乘积模式，其他组分方式也可(如平均值、L2范数等)。其中，对于普通车牌、新能源车牌、双层车牌等，其字符数目、位置都是特定模式，如果获取的分割字符数目、车牌宽高比等与某一类真实车牌(如普通车牌)更为接近，则该车牌字符分割置信度较高；另外，通过深度学习网络对每个分割获取的字符进行识别，并获取单个字符识别置信度，然后将单个字符置信度进行L2范数计算，获得整个车牌字符识别置信度；综合分割置信度与识别置信度给出单帧图像车牌置信度。最后根据时间维度上，连续多帧图像同一车牌置信度，进行动态优化其置信度。
S3：关联所述车辆的多维特征以及车牌识别结果的综合置信度，获取车辆轨迹集；
具体地，先根据车牌综合置信度，选取高阈值的车牌对应的车辆，进一步将高于阈值的车牌对应的车辆与轨迹集中车辆进行关联，并将轨迹集中的车牌信息更新为最高置信度。
然后对车牌低置信度或车牌被遮挡的车辆，通过对用S2获得的上一帧图像或下一帧的图像进行同样的处理，通过获取车辆表观特征、运动状态特征，车牌特征匹配并进行车辆运动状态匹配、车辆表观特征相似性描述以及车牌特征相似性描述等，结合当前帧图像车辆检测结果，构建cost矩阵，利用数据关联方法获得最优分配结果；根据最优分配结果，对每个车辆进行轨迹状态更新。其中cost矩阵，横坐标为上一帧中保有的车辆轨迹数目，纵坐标为当前帧中通过检测算法获取的车辆数目，其数值为上一帧车辆轨迹所对应的多维特征描述和当前帧中通过检测算法获取的车辆多维特征描述进行差运算，并通过L2归一化，从cost矩阵，找寻最小值对应的匹配关系，即可当前帧中车辆ID关系。
所谓的车辆运动状态匹配程度描述包括但不限于马氏距离、L2距离等。
所谓的车辆表观特征相似性描述包括但不限于最小余弦距离、L2距离等。
所谓车牌特征相似性描述包括但不限于L2距离、马氏距离等。
进一步的，关联所述车辆的多维特征以及车牌识别结果的综合置信度，获取车辆轨迹集之后还包括更新车辆轨迹集，具体的，对于长时间无法获得状态更新的目标予以剔除，表明该车辆已经不在监控区域了；对于由于遮挡等情况影响而暂时无法更新状态的车辆，暂时保留其状态，状态的更新可选择时间，例如1分钟内该目标重新出现，则继续更新其状态，否则予以剔除。
所谓数据关联方法包括但不限于匈牙利算法、Nearest算法、K-Means算法等。
S4：对车辆的图像进行分割，并获取分割区域内车辆整体的边缘特征、内部文理边缘特征，计算车辆边缘积分特征；
具体地，对于静止的车辆，其整体或部分遮挡(因拍摄角度而造成停靠时前后车遮挡情况)、或逐步遮挡再显露(过路车遮挡情况)，其整体边缘或部分边缘具体较强的稳定性，获取其连续多帧图像，并对连续多帧稳定出现的边缘特征进行权重累加，以获得边缘积分特征。
对于运动车辆，根据S3获取的轨迹特征，结合相机内参，进行尺度+平移+旋转变换，进而获得运动车辆的多段边缘积分特征，计算所述车辆的边缘积分特征包括分别计算静止车辆和运动车辆边缘积分特征；具体做法如下：相机内参及泊位边缘在图像消失点，估算相机视角信息(由于相机安装固定后，相机内外参基本不变化，估算相机外参可以在系统初始化阶段进行计算，而不用在实时计算)；在此基础上，利用车辆运动状态(即平移向量：Δx、Δy)，结合相机内参及估算外参，给出车辆三维描述变化量(包括旋转、平移、尺度估计值)，最后对当前帧车辆框进行重投影变换，计算重投影图像的边缘特征，结合之前边缘积分特征，进行动态调整。为了降低计算量，对边缘积分图进行稀疏化(即下采样)。
所谓运动车辆的边缘积分特征分段标准为：当前车辆若存在较大的面内旋转运动，则重新构建一段新的边缘积分特征；
S5：匹配车辆轨迹集以及车辆边缘积分特征，获取车辆长时轨迹；
匹配车辆边缘积分特征并进行轨迹集合并，对无法合并且超过保留时长的轨迹集予以剔除，从而获得车辆长时轨迹。具体做法如下：对于两段时间维度上没有重叠关系的轨迹所对应的边缘积分特征图，进行最小二乘匹配，获取匹配相似性数据，当匹配相似性高于预先设定的阈值时，认为两条轨迹对应于同一车辆。
具体地，对于静止车辆，直接进行最小二乘匹配计算；对于运动车辆，进行多段边缘积分特征最小二乘意义匹配以获得其关联性。
S6：获取车辆的泊位位置，根据所述泊位位置与车辆长时轨迹的关系，确认车辆的出入场事件。
具体地，对视频中每个车辆的长时轨迹，根据其头尾两端与泊位位置关系，给出是否与泊位有关，若车头和车尾均在泊位内，则该车辆一定在泊位内，若车头的部分不在车位内，则该车辆有驶出或驶入动作。再根据该动作发生的先后顺序，判断其该车辆是停泊如泊位或驶出泊位。
本发明中，泊位驶入驶出事件判断的准确性，很大程度依赖于车辆轨迹识别的准确度以及有效轨迹的长短，相比现有的基于单一跟踪算法和仅仅依靠车牌识别进行车辆关联等方法，本发明具有的优势如下：(1)具有鲁棒性和可靠性，特别是在车辆被部分或完全遮挡情况下仍具有较好的识别性能，相对于基于车牌识别的车辆轨迹识别类方法，本发明将车牌信息作为其中一个约束，当车牌被遮挡或者车牌识别不准的时候，本发明采用多模态多层次轨迹关联方法，将多个效果“较弱”的方法，有效地组织起来，可以有效提高车辆轨迹识别准确定，另外，对于车辆遮挡频发的情况，该方法相比于现有技术中“基于单一跟踪算法(如KLT、粒子滤波、卡拉曼滤波等)车辆轨迹识别方法”可提高识别的准确率；(2)良好的实时性，本发明将检测任务合并，单帧图像一次检测即可获取车牌与车辆定位信息；将表观特征与车辆轨迹集结合，在检测位置同时获得车辆表观特征描述，减少了计算维度，极大的提高了算法实时性。
本发明还公开了一种执行基于长时多目标跟踪的泊位出入场事件分析方法的装置，采集分析装置，用于获取监控视频中连续的多帧图像，提取每帧图像中的车辆和车牌位置信息；根据车辆和车牌位置信息，确定该车牌和车辆的从属关系；
预处理装置；用于对所述车辆和车牌图像进行预处理，得到所述车辆的多维特征以及车牌识别结果的综合置信度；
获取装置，关联所述车辆的多维特征以及车牌识别结果的综合置信度，获取车辆轨迹集；
计算装置，分割车辆图像，提取车辆实例区域边缘特征，计算车辆边缘积分特征；
匹配装置，匹配车辆轨迹集以及车辆边缘积分特征，获取车辆长时轨迹；
判断装置，获取车辆的泊位位置，根据所述泊位位置与车辆长时轨迹的关系，确认车辆的出入场事件。
所述装置还包括提取装置，所述提取装置用于对每帧图像进行预处理，提取图像中的车辆区域和车牌区域，确定车牌区域和车辆区域的位置关系，若车牌区域位于车辆区域内，确定该车牌属于该车辆，所述预处理包括所述车辆及车牌颜色通道转换、缩放、滤波中的一种或多种。
矫正装置，用于矫正车牌区域图像，根据矫正结果确定车牌类别，
分割装置，分割车牌字符得到车牌字符个数，根据车牌字符的个数确定车牌完整置信度；
识别装置，识别所述车牌字符，确认字符识别置信度；根据车牌完整置信度以及字符识别置信度确定车牌识别结果的综合置信度。
所述获取装置还用于用于更新车辆轨迹集，更新所述车辆轨迹集具体包括，选取阈值高的车牌与轨迹集中的车辆进行关联，增加新的车辆表观特征、车辆状态信息中的一种或多种。
所述分割装置还用于分割车辆图像，提取车辆实例区域边缘特征；
所述计算装置还用于计算运动车辆边缘特征和静止车辆边缘特征，具体用于将获取的该车辆的稳定的多帧边缘特征进行权重累加，得到边缘积分特征；还用于根据轨迹集进行平移和/或旋转变化，获取车辆的多段边缘积分特征。
所述计算装置还用于匹配所述车辆边缘积分，并进行轨迹集合并，得到车辆的长时轨迹。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logicalblock)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种基于长时多目标跟踪的泊位出入场事件分析方法，其特征在于，所述方法包括：
获取监控视频中连续的多帧图像，提取每帧图像中的车辆和车牌位置信息；根据车辆和车牌位置信息，确定该车牌和车辆的从属关系；
对所述车辆和车牌图像进行预处理，得到所述车辆的多维特征以及车牌识别结果的综合置信度；
关联所述车辆的多维特征以及车牌识别结果的综合置信度，获取车辆轨迹集；
分割车辆图像，提取车辆实例区域边缘特征，计算车辆边缘积分特征；
匹配车辆轨迹集以及车辆边缘积分特征，获取车辆长时轨迹；
获取车辆的泊位位置，根据所述泊位位置与车辆长时轨迹的关系，确认车辆的出入场事件。
2.根据权利要求1所述方法，其特征在于，确定所述车牌与车辆的从属关系的步骤具体包括，
对每帧图像进行预处理，提取图像中的车辆区域和车牌区域图像，确定图像中车牌区域和车辆区域的位置关系，若图像中车牌区域位于车辆区域内，确定该车牌属于该车辆，所述预处理包括所述车辆及车牌颜色通道转换、缩放、滤波中的一种或多种。
3.根据权利要求2所述的方法，其特征在于，
对所述车牌图像进行预处理，得到所述车牌识别结果的综合置信度具体包括；
矫正车牌区域图像，根据矫正结果确定车牌类别，
分割车牌字符得到车牌字符个数，根据车牌字符的个数确定车牌完整置信度，
识别所述车牌字符，确认字符识别置信度；
根据车牌完整置信度以及字符识别置信度确定车牌识别结果的综合置信度。
4.根据权利要求3所述的方法，其特征在于，获取所述车辆的多维特征至少包括获取车辆的表观特征描述、车辆运动状态信息的一种或多种。
5.根据权利要求4所述的方法，其特征在于，关联所述车辆的多维特征以及车牌识别结果的综合置信度，获取车辆轨迹集之后还包括更新车辆轨迹集，更新所述车辆轨迹集具体包括，选取阈值高的车牌与轨迹集中的车辆进行关联，增加新的车辆表观特征、车辆运动状态信息中的一种或多种。
6.根据权利要求5所述的方法，其特征在于，更新所述车辆轨迹集具体还包括删除长时间无法更新多维特征状态的车辆轨迹、增加新识别的车辆轨迹。
7.根据权利要求5所述的方法，其特征在于，分割车辆图像，提取车辆实例分割区域边缘特征，计算车辆边缘积分特征具体包括，计算运动车辆边缘特征和静止车辆边缘特征。
8.根据权利要求7所述的方法，其特征在于；计算静止车辆的积分特征具体包括；将获取的该车辆的稳定的多帧边缘特征进行权重累加，得到边缘积分特征。
9.根据权利要求7所述的方法，其特征在于；计算运动车辆具体包括根据轨迹集进行平移和/或旋转变化，获取车辆的多段边缘积分特征。
10.根据权利要求7所述的方法，其特征在于；根据边缘积分特征获取车辆的长时轨迹具体包括，匹配所述车辆边缘积分，并进行轨迹集合并，得到车辆的长时轨迹集。
11.一种基于长时多目标跟踪的泊位出入场事件分析装置包括，
采集分析装置，用于获取监控视频中连续的多帧图像，提取每帧图像中的车辆和车牌位置信息；根据车辆和车牌位置信息，确定该车牌和车辆的从属关系；
预处理装置；用于对所述车辆和车牌图像进行预处理，得到所述车辆的多维特征以及车牌识别结果的综合置信度；
获取装置；关联所述车辆的多维特征以及车牌识别结果的综合置信度，获取车辆轨迹集；
计算装置，分割车辆图像，提取车辆实例区域边缘特征，计算车辆边缘积分特征；
匹配装置；匹配车辆轨迹集以及车辆边缘积分特征，获取车辆长时轨迹集；
判断装置，获取车辆的泊位位置，根据所述泊位位置与车辆长时轨迹的关系，确认车辆的出入场事件。
12.根据权利要求11所述的装置，其特征在于：所述装置还包括提取装置，所述提取装置用于对每帧图像进行预处理，提取图像中的车辆区域和车牌区域，确定车牌区域和车辆区域的位置关系，若车牌区域位于车辆区域内，确定该车牌属于该车辆，所述预处理包括所述车辆及车牌颜色通道转换、缩放、滤波中的一种或多种。
13.根据权利要求12所述的装置，其特征在于：还包括，
矫正装置，用于通过矫正算法矫正车牌区域图像，根据矫正结果确定车牌类别，
分割装置，用于通过分割算法分割车牌字符得到车牌字符个数，根据车牌字符的个数确定车牌完整置信度；
识别装置，用于通过识别算法识别所述车牌字符，确认字符识别置信度；根据车牌完整置信度以及字符识别置信度确定车牌识别结果的综合置信度。
14.根据权利要求12所述的装置，其特征在于：所述获取装置还用于更新车辆轨迹集，更新所述车辆轨迹集具体包括，选取阈值高的车牌与轨迹集中的车辆进行关联，增加新的车辆表观特征、车辆状态信息中的一种或多种。
15.根据权利要求13所述的装置，其特征在于：所述分割装置还用于通过分割算法分割车辆图像，提取车辆实例区域边缘特征；
所述计算装置还用于通过计算装置计算车辆边缘积分特征具体包括，计算运动车辆边缘特征和静止车辆边缘特征。
16.根据权利要求13所述的装置，其特征在于：所述计算装置还用于通过算法匹配所述车辆边缘积分，并进行轨迹集合并，得到车辆的长时轨迹。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011372457 | 2020-11-30 | ||
| CN2020113724577 | 2020-11-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112836699A true CN112836699A (zh) | 2021-05-25 |
| CN112836699B CN112836699B (zh) | 2024-11-08 |
Family
ID=
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449624A (zh) * | 2021-06-22 | 2021-09-28 | 超级视线科技有限公司 | 一种基于行人重识别确定车辆行为的方法及装置 |
| CN114998815A (zh) * | 2022-08-04 | 2022-09-02 | 江苏三棱智慧物联发展股份有限公司 | 一种基于视频分析的交通车辆识别追踪方法及系统 |
| CN115440059A (zh) * | 2022-07-22 | 2022-12-06 | 张伟 | 基于物联网的智慧车位管理系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567380A (zh) * | 2010-12-28 | 2012-07-11 | 沈阳聚德视频技术有限公司 | 在视频图像中检索车辆信息的方法 |
| CN105844959A (zh) * | 2016-06-13 | 2016-08-10 | 北京精英智通科技股份有限公司 | 车辆入位的判定方法、装置及车辆出位的判定方法、装置 |
| CN107292277A (zh) * | 2017-06-30 | 2017-10-24 | 深圳信路通智能技术有限公司 | 一种路侧双车位停车跟踪方法 |
| CN107767673A (zh) * | 2017-11-16 | 2018-03-06 | 智慧互通科技有限公司 | 一种基于多摄像机的路侧停车管理方法、装置及系统 |
| CN110472496A (zh) * | 2019-07-08 | 2019-11-19 | 长安大学 | 一种基于目标检测与跟踪的交通视频智能分析方法 |
| KR20200025247A (ko) * | 2018-08-29 | 2020-03-10 | 주식회사 파킹패스 | 이동차량 추적에 의한 주차 관리장치 |
| CN110910655A (zh) * | 2019-12-11 | 2020-03-24 | 深圳市捷顺科技实业股份有限公司 | 一种停车管理方法、装置及设备 |
| CN111667514A (zh) * | 2020-05-22 | 2020-09-15 | 浙江工贸职业技术学院 | 一种快速准确的车辆跟踪系统 |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567380A (zh) * | 2010-12-28 | 2012-07-11 | 沈阳聚德视频技术有限公司 | 在视频图像中检索车辆信息的方法 |
| CN105844959A (zh) * | 2016-06-13 | 2016-08-10 | 北京精英智通科技股份有限公司 | 车辆入位的判定方法、装置及车辆出位的判定方法、装置 |
| CN107292277A (zh) * | 2017-06-30 | 2017-10-24 | 深圳信路通智能技术有限公司 | 一种路侧双车位停车跟踪方法 |
| CN107767673A (zh) * | 2017-11-16 | 2018-03-06 | 智慧互通科技有限公司 | 一种基于多摄像机的路侧停车管理方法、装置及系统 |
| KR20200025247A (ko) * | 2018-08-29 | 2020-03-10 | 주식회사 파킹패스 | 이동차량 추적에 의한 주차 관리장치 |
| CN110472496A (zh) * | 2019-07-08 | 2019-11-19 | 长安大学 | 一种基于目标检测与跟踪的交通视频智能分析方法 |
| CN110910655A (zh) * | 2019-12-11 | 2020-03-24 | 深圳市捷顺科技实业股份有限公司 | 一种停车管理方法、装置及设备 |
| CN111667514A (zh) * | 2020-05-22 | 2020-09-15 | 浙江工贸职业技术学院 | 一种快速准确的车辆跟踪系统 |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 龚轩等: "多目标跟踪中的数据关联技术综述", 计算机科学, vol. 47, no. 10 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449624A (zh) * | 2021-06-22 | 2021-09-28 | 超级视线科技有限公司 | 一种基于行人重识别确定车辆行为的方法及装置 |
| CN113449624B (zh) * | 2021-06-22 | 2024-05-14 | 超级视线科技有限公司 | 一种基于行人重识别确定车辆行为的方法及装置 |
| CN115440059A (zh) * | 2022-07-22 | 2022-12-06 | 张伟 | 基于物联网的智慧车位管理系统 |
| CN114998815A (zh) * | 2022-08-04 | 2022-09-02 | 江苏三棱智慧物联发展股份有限公司 | 一种基于视频分析的交通车辆识别追踪方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112016464B (zh) | 检测人脸遮挡的方法、装置、电子设备及存储介质 | |
| US9002055B2 (en) | Methods and systems for matching keypoints and tracking regions between frames of video data | |
| US20240273737A1 (en) | System and method for transforming video data into directional object count | |
| CN111931627A (zh) | 一种基于多模态信息融合的车辆再识别方法及装置 | |
| CN110688902B (zh) | 一种检测停车位内车辆区域的方法及装置 | |
| CN104318263A (zh) | 一种实时高精度人流计数方法 | |
| CN111582256B (zh) | 一种基于雷达和视觉信息的停车管理方法及装置 | |
| Naufal et al. | Preprocessed mask RCNN for parking space detection in smart parking systems | |
| CN111739338A (zh) | 一种基于多类型传感器的停车管理方法及系统 | |
| Jelača et al. | Vehicle matching in smart camera networks using image projection profiles at multiple instances | |
| CN112116635A (zh) | 一种基于快速人体移动的视觉跟踪方法及装置 | |
| Chen et al. | Vehicle detection based on visual attention mechanism and adaboost cascade classifier in intelligent transportation systems | |
| Mao et al. | Aic2018 report: Traffic surveillance research | |
| CN113450575A (zh) | 一种路侧停车的管理方法及装置 | |
| CN113449624B (zh) | 一种基于行人重识别确定车辆行为的方法及装置 | |
| CN112836699B (zh) | 一种基于长时多目标跟踪的泊位出入场事件分析方法 | |
| CN112836699A (zh) | 一种基于长时多目标跟踪的泊位出入场事件分析方法 | |
| Badal et al. | Online multi-object tracking: multiple instance based target appearance model | |
| CN112907634B (zh) | 基于无人机的车辆跟踪方法 | |
| CN112015960B (zh) | 车载雷达测量数据的聚类方法、存储介质和电子装置 | |
| CN114373203A (zh) | 图片归档方法、装置、终端设备及计算机可读存储介质 | |
| CN113887449A (zh) | 多目标跟踪方法及计算机可读存储介质 | |
| CN113052118A (zh) | 基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质 | |
| CN117636402B (zh) | 基于行人重识别的客情分析方法及装置、计算机存储介质 | |
| CN118865187A (zh) | 自适应目标跟踪方法、装置、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100080 1202-03, 12 / F, 27 Zhongguancun Street, Haidian District, Beijing Applicant after: Love parking Technology Co.,Ltd. Address before: 100080 1202-03, 12 / F, 27 Zhongguancun Street, Haidian District, Beijing Applicant before: Aipark Meihao Technology Co.,Ltd. |
|
| GR01 | Patent grant |