CN109117702B - 目标车辆的检测与跟踪计数方法及系统 - Google Patents

目标车辆的检测与跟踪计数方法及系统 Download PDF

Info

Publication number
CN109117702B
CN109117702B CN201810603260.6A CN201810603260A CN109117702B CN 109117702 B CN109117702 B CN 109117702B CN 201810603260 A CN201810603260 A CN 201810603260A CN 109117702 B CN109117702 B CN 109117702B
Authority
CN
China
Prior art keywords
target vehicle
image
tracking
target
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810603260.6A
Other languages
English (en)
Other versions
CN109117702A (zh
Inventor
欧阳一村
贺涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE ICT Technologies Co Ltd
Original Assignee
ZTE ICT Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE ICT Technologies Co Ltd filed Critical ZTE ICT Technologies Co Ltd
Priority to CN201810603260.6A priority Critical patent/CN109117702B/zh
Publication of CN109117702A publication Critical patent/CN109117702A/zh
Application granted granted Critical
Publication of CN109117702B publication Critical patent/CN109117702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明提供了一种目标车辆的检测与跟踪计数方法及系统、一种计算机装置和一种计算机可读存储介质。其中，目标车辆的检测与跟踪计数方法包括：判断待检测视频每一帧的图像中是否包含目标车辆；当待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对目标车辆Rj进行编号；自任一帧起，使用滤波目标跟踪算法持续跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；通过检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置；判断目标车辆Rj与目标车辆Sj是否为同一车辆；当判断目标车辆Rj与目标车辆Sj为不同车辆时，对目标车辆Sj进行编号，并同时跟踪目标车辆Rj与目标车辆Sj；根据目标车辆的编号最终确定目标车辆的数量。

Description

目标车辆的检测与跟踪计数方法及系统
技术领域
本发明涉及视频监控技术领域，具体而言，涉及一种目标车辆的检测与跟踪计数方法、一种目标车辆的检测与跟踪计数系统、一种计算机装置和一种计算机可读存储介质。
背景技术
目前，在相关技术中泥头车作为工地以及建筑类用车，一直都是地方政府在环保监管过程中的重点监控对象。与一般的交通智能监控系统相比，对建筑工地、煤矿等地的泥头车的视频智能监控存在很多的不同。首先，泥头车本身体型较大在视频图像中车与车之间很容易存在相互遮挡，在计数过程中容易误检；其次，泥头车工作环境决定了车身以及车牌容易被灰尘或者其它运输的物料如煤炭、渣土等覆盖形成脏污，如若车辆没及时清洗在监控时一些传统方法如车牌检测等方法的准确性就会降低。最后，这些工地环境中监控摄像头的安装位置常常受到周围环境限制并没有城市交通监控摄像头安装的规范，摄像头位置的不同造成图像视角以及远近的迥异使得图像处理过程更加困难。上述这些原因导致交通智能监控系统中的车辆检测以及计数方法不能直接应用到泥头车的监控系统中。因此，如何对泥头车进行检测以及计数，成为了亟待解决的问题。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的第一方面提出一种目标车辆的检测与跟踪计数方法。
本发明的第二方面提出一种目标车辆的检测与跟踪计数系统。
本发明的第三方面提出一种计算机装置。
本发明的第四方面提出一种计算机可读存储介质。
有鉴于此，本发明的第一方面提供了一种目标车辆的检测与跟踪计数方法，包括：判断待检测视频每一帧的图像中是否包含目标车辆；当待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对目标车辆Rj进行编号；自任一帧起，使用滤波目标跟踪算法持续跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；通过检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置；通过跟踪位置和检测位置判断目标车辆Rj与目标车辆Sj是否为同一车辆；当判断目标车辆Rj与目标车辆Sj为同一车辆时，维持目标车辆Rj的编号，并继续跟踪目标车辆Rj；当判断目标车辆Rj与目标车辆Sj为不同车辆时，对目标车辆Sj进行编号，并同时跟踪目标车辆Rj与目标车辆Sj；根据目标车辆的编号最终确定目标车辆的数量。
在该技术方案中，对待检测视频中每一帧的图像里是否包含目标车辆进行预检测，在判断存在目标车辆Rj时，对目标车辆Rj进行编号，并自目标车辆Rj出现的帧图像起，使用滤波目标跟踪算法跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置，此时通过训练好的检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置，通过目标车辆Rj的跟踪位置和目标车辆Sj的检测位置判断目标车辆Rj和目标车辆Sj是否为同一车辆，以此来判断目标车辆Sj是否为新出现的目标车辆。当目标车辆Sj为新出现的车辆时，对目标车辆Sj进行编号。最后根据待检测视频中所有目标车辆的编号确定待检测视频中出现的目标车辆的准确数量。采用本发明提供的技术方案，使得在检测和跟踪目标车辆，如大型泥头车时，通过跟踪位置和检测位置对目标车辆是否为新出现的进行判断，不会在计数过程中产生误检，不依赖车牌检测，避免了因目标车辆车牌脏污导致检测准确性降低。同时，通过对待检测视频中每一帧的图像里是否包含目标车辆进行预检测，不需要逐帧检测目标车辆的位置，减小了计算压力，节省了计算资源，同时每隔m帧检测一次目标车辆的位置，检测模块无需每帧都执行检测，减少了计算量，提高了效率。
另外，本发明提供的上述技术方案中的目标车辆的检测与跟踪计数方法还可以具有如下附加技术特征：
在上述技术方案中，优选地，判断待检测视频每一帧的图像中是否包含目标车辆的步骤，具体包括：将待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像；阈值分割差分图像，对分割后的差分图像进行二值化处理，并进行归一化，得到图像Pi；根据图像Pi是否满足预设条件判断图像Pt中是否包含目标车辆。
在该技术方案中，将待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像后，通过阈值分割差分图像，并做二值化处理，进一步进行归一化，得到像素尺寸相同的二值图像Pi，根据图像Pi是否满足预设条件即可判断图像Pt中是否包含目标车辆，实现对待检测视频的预检测。
具体地，在待检测视频中存在运动目标时，对待检测视频中存在运动目标的帧图像进行预检测，并将检测结果显示可能存在目标车辆的帧图像进行处理，得到处理后的图像Pi，再进一步确认是否包含目标车辆。而在待检测视频中不存在运动目标时，不需要逐帧检测，进而减小了计算量，节省了计算资源。
在上述任一技术方案中，优选地，根据图像Pi是否满足预设条件判断图像Pt中是否包含目标车辆的步骤，具体包括：获取图像Pi中任一特定区域的像素面积；当像素面积大于或等于像素面积阈值时，判断图像Pt中包含目标车辆。
在该技术方案中，获取处理后的图像Pi中任一特定区域的像素面积，该特定区域可以为二值化图像中像素为“1”的区域，代表车辆、行人、飞鸟等运动物体。在目标车辆为泥头车等大型工程车辆时，目标车辆对应的特定区域的面积较大，根据归一化图像的像素尺寸，设定像素面积阈值，在图像Pi中像素面积大于像素面积阈值的特定区域即可判定为目标车辆，该方法在检测大型车辆时检测结果准确，需要的计算量小，具有较高的检测效率。
在上述任一技术方案中，优选地，根据图像Pi是否满足预设条件判断图像Pt中是否包含目标车辆的步骤，具体包括：获取图像Pi中任一特定区域的像素高度和像素宽度；当像素高度大于或等于像素高度阈值，且像素宽度大于或等于像素宽度阈值时，确定图像Pt中包含目标车辆。
在该技术方案中，获取处理后的图像Pi中任一特定区域的像素面积，该特定区域为二值化图像中像素为“1”的区域，代表车辆、行人、飞鸟等运动物体。在目标车辆为泥头车等大型工程车辆时，目标车辆对应的特定区域的像素高度和像素宽度较大，根据归一化图像的像素尺寸，设定像素高度阈值和像素宽度阈值，在图像Pi中像素高度大于像素高度阈值，同时像素宽度也大于像素宽度阈值的特定区域即可判定为目标车辆，该方法在检测大型车辆时检测结果准确，需要的计算量小，具有较高的检测效率。
在上述任一技术方案中，优选地，通过跟踪位置和检测位置判断目标车辆Rj与目标车辆Sj是否为同一车辆的步骤，具体包括：计算目标车辆Rj与目标车辆Sj的覆盖关系；计算目标车辆Rj与目标车辆Sj的位置坐标点距离；当覆盖关系大于覆盖阈值，且位置坐标点距离小于距离阈值时，确定目标车辆Rj与目标车辆Sj为同一车辆；当覆盖关系小于覆盖阈值，和/或位置坐标点距离大于距离阈值时，确定目标车辆Rj与目标车辆Sj为不同车辆。
在该技术方案中，当确定待检测视频中存在目标车辆Rj，并得到目标车辆Rj的跟踪位置，和m帧后至少一个目标车辆Sj的检测位置后，计算目标车辆Rj的跟踪位置与目标车辆Sj的检测位置之间的覆盖关系和目标车辆Rj与目标车辆Sj的位置坐标点距离，当覆盖关系大于覆盖阈值，且位置坐标点距离小于距离阈值时，目标车辆Rj与目标车辆Sj为同一车辆的可能性极高，可认定目标车辆Rj与目标车辆Sj为同一车辆，否则认定目标车辆Rj与目标车辆Sj为不同车辆。
在上述任一技术方案中，优选地，计算目标车辆Rj与目标车辆Sj的覆盖关系的公式具体为：
Figure BDA0001693783140000041
其中，γ(Sj∩Rj)为目标车辆Sj与目标车辆Rj位置区域交集的面积，γ(Sj∪Rj)为目标车辆Sj与目标车辆Rj位置区域并集面积，CIOU(Sj,Rj)为目标车辆Rj与目标车辆Sj的覆盖关系。
在该技术方案中，通过获取目标车辆Sj与目标车辆Rj位置区域交集的面积和目标车辆Sj与目标车辆Rj位置区域并集面积，可计算得到目标车辆Rj与目标车辆Sj的覆盖关系CIOU(Sj,Rj)，进一步可通过CIOU(Sj,Rj)判断目标车辆Rj与目标车辆Sj是否为同一车辆。
在上述任一技术方案中，优选地，计算目标车辆Rj与目标车辆Sj的位置坐标点距离的公式具体为：
Figure BDA0001693783140000051
其中，xs为目标车辆Sj左上角像素点的x轴坐标，ys为目标车辆Sj左上角像素点的y轴坐标，xr为目标车辆Rj左上角像素点的x轴坐标，yr为目标车辆Rj左上角像素点的y轴坐标，D为目标车辆Rj与目标车辆Sj的位置坐标点距离。
在该技术方案中，获取目标车辆Sj对应的目标区域的坐标(xs，ys)，同时获取目标车辆Rj对应的目标区域的坐标(xr，yr)，通过公式计算可以得到目标车辆Rj与目标车辆Sj的位置坐标点距离D，进一步可通过D判断目标车辆Rj与目标车辆Sj是否为同一车辆。
在上述任一技术方案中，优选地，在判断待检测视频每一帧的图像中是否包含目标车辆的步骤前，还包括：获取目标车辆的图像并进行标注，以形成训练数据集；通过训练数据集训练目标车辆的检测模型。
在该技术方案中，通过获取目标车辆的图像，并对图像进行标注，将标注后的图像制作成训练数据集，用训练数据集训练得到目标车辆的检测模型，通过目标车辆的检测模型来对视频中关键帧中的目标车辆进行检测，不需要人工标注，检测精准度高，同时成本较低，适于推广。
本发明的第二方面提供了一种目标车辆的检测与跟踪计数系统，包括：预检测模块、编号模块、跟踪模块、检测模块、判断模块和统计模块；预检测模块用于判断待检测视频每一帧的图像中是否包含目标车辆；编号模块用于当待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对目标车辆Rj进行编号；跟踪模块用于自任一帧起，使用滤波目标跟踪算法持续跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；检测模块用于通过检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置；判断模块用于通过跟踪位置和检测位置判断目标车辆Rj与目标车辆Sj是否为同一车辆；跟踪模块还用于当判断目标车辆Rj与目标车辆Sj为同一车辆时，维持目标车辆Rj的编号，并继续跟踪目标车辆Rj；编号模块还用于当判断目标车辆Rj与目标车辆Sj为不同车辆时，对目标车辆Sj进行编号，并同时跟踪目标车辆Rj与目标车辆Sj；统计模块用于根据目标车辆的编号最终确定目标车辆的数量。
在该技术方案中，对待检测视频中每一帧的图像里是否包含目标车辆进行预检测，在判断存在目标车辆Rj时，对目标车辆Rj进行编号，并自目标车辆Rj出现的帧图像起，使用滤波目标跟踪算法跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置，此时通过训练好的检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置，通过目标车辆Rj的跟踪位置和目标车辆Sj的检测位置判断目标车辆Rj和目标车辆Sj是否为同一车辆，以此来判断目标车辆Sj是否为新出现的目标车辆。当目标车辆Sj为新出现的车辆时，对目标车辆Sj进行编号。最后根据待检测视频中所有目标车辆的编号确定待检测视频中出现的目标车辆的准确数量。采用本发明提供的技术方案，使得在检测和跟踪目标车辆，如大型泥头车时，通过跟踪位置和检测位置对目标车辆是否为新出现的进行判断，不会在计数过程中产生误检，不依赖车牌检测，避免了因目标车辆车牌脏污导致检测准确性降低。同时，通过对待检测视频中每一帧的图像里是否包含目标车辆进行预检测，不需要逐帧检测目标车辆的位置，减小了计算压力，节省了计算资源，同时每隔m帧检测一次目标车辆的位置，检测模块无需每帧都执行检测，减少了计算量，提高了效率。
在上述技术方案中，优选地，目标车辆的检测与跟踪计数系统，包括：预检测模块、编号模块、跟踪模块、检测模块、判断模块和统计模块，其中，预检测模块具体包括：差分单元、图像处理单元和判断单元；差分单元用于将待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像；图像处理单元用于阈值分割差分图像，对分割后的差分图像进行二值化处理，并进行归一化，得到图像Pi；判断单元用于根据图像Pi是否满足预设条件判断图像Pt中是否包含目标车辆。
在该技术方案中，将待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像后，通过阈值分割差分图像，并做二值化处理，进一步进行归一化，得到像素尺寸相同的二值图像Pi，根据图像Pi是否满足预设条件即可判断图像Pt中是否包含目标车辆，实现对待检测视频的预检测。
在上述任一技术方案中，优选地，目标车辆的检测与跟踪计数系统，包括：预检测模块、编号模块、跟踪模块、检测模块、判断模块和统计模块，其中，预检测模块具体包括：差分单元、图像处理单元和判断单元，判断单元具体包括：第一获取单元和第一判定单元；第一获取单元用于获取图像Pi中任一特定区域的像素面积；第一判定单元用于当像素面积大于或等于像素面积阈值时，判定图像Pt中包含目标车辆。
在该技术方案中，获取处理后的图像Pi中任一特定区域的像素面积，该特定区域可以为二值化图像中像素为“1”的区域，代表车辆、行人、飞鸟等运动物体。在目标车辆为泥头车等大型工程车辆时，目标车辆对应的特定区域的面积较大，根据归一化图像的像素尺寸，设定像素面积阈值，在图像Pi中像素面积大于像素面积阈值的特定区域即可判定为目标车辆，该方法在检测大型车辆时检测结果准确，需要的计算量小，具有较高的检测效率。
在上述任一技术方案中，优选地，目标车辆的检测与跟踪计数系统，包括：预检测模块、编号模块、跟踪模块、检测模块、判断模块和统计模块，其中，预检测模块具体包括：差分单元、图像处理单元和判断单元，判断单元具体包括：第二获取单元和第二判定单元；第二获取单元用于获取图像Pi中任一特定区域的像素高度和像素宽度；第二判定单元用于当像素高度大于或等于像素高度阈值，且像素宽度大于或等于像素宽度阈值时，判定图像Pt中包含目标车辆。
在该技术方案中，获取处理后的图像Pi中任一特定区域的像素面积，该特定区域为二值化图像中像素为“1”的区域，代表车辆、行人、飞鸟等运动物体。在目标车辆为泥头车等大型工程车辆时，目标车辆对应的特定区域的像素高度和像素宽度较大，根据归一化图像的像素尺寸，设定像素高度阈值和像素宽度阈值，在图像Pi中像素高度大于像素高度阈值，同时像素宽度也大于像素宽度阈值的特定区域即可判定为目标车辆，该方法在检测大型车辆时检测结果准确，需要的计算量小，具有较高的检测效率。
在上述任一技术方案中，优选地，目标车辆的检测与跟踪计数系统，包括：预检测模块、编号模块、跟踪模块、检测模块、判断模块和统计模块，其中，判断模块具体包括：计算单元、第三判定单元和第四判定单元；计算单元用于计算目标车辆Rj与目标车辆Sj的覆盖关系和目标车辆Rj与目标车辆Sj的位置坐标点距离；第三判定单元用于当覆盖关系大于或等于覆盖阈值，且位置坐标点距离小于或等于距离阈值时，判定目标车辆Rj与目标车辆Sj为同一车辆；第四判定单元用于当覆盖关系小于覆盖阈值，和/或位置坐标点距离大于距离阈值时，判定目标车辆Rj与目标车辆Sj为不同车辆。
在该技术方案中，当确定待检测视频中存在目标车辆Rj，并得到目标车辆Rj的跟踪位置，和m帧后至少一个目标车辆Sj的检测位置后，计算目标车辆Rj的跟踪位置与目标车辆Sj的检测位置之间的覆盖关系和目标车辆Rj与目标车辆Sj的位置坐标点距离，当覆盖关系大于覆盖阈值，且位置坐标点距离小于距离阈值时，目标车辆Rj与目标车辆Sj为同一车辆的可能性极高，可认定目标车辆Rj与目标车辆Sj为同一车辆，否则认定目标车辆Rj与目标车辆Sj为不同车辆。
在上述任一技术方案中，优选地，计算目标车辆Rj与目标车辆Sj的覆盖关系的公式具体为：
Figure BDA0001693783140000081
其中，γ(Sj∩Rj)为目标车辆Sj与目标车辆Rj位置区域交集的面积，γ(Sj∪Rj)为目标车辆Sj与目标车辆Rj位置区域并集面积，CIOU(Sj,Rj)为目标车辆Rj与目标车辆Sj的覆盖关系。
在该技术方案中，通过获取目标车辆Sj与目标车辆Rj位置区域交集的面积和目标车辆Sj与目标车辆Rj位置区域并集面积，可计算得到目标车辆Rj与目标车辆Sj的覆盖关系CIOU(Sj,Rj)，进一步可通过CIOU(Sj,Rj)判断目标车辆Rj与目标车辆Sj是否为同一车辆。
在上述任一技术方案中，优选地，计算目标车辆Rj与目标车辆Sj的位置坐标点距离的公式具体为：
Figure BDA0001693783140000091
其中，xs为目标车辆Sj左上角像素点的x轴坐标，ys为目标车辆Sj左上角像素点的y轴坐标，xr为目标车辆Rj左上角像素点的x轴坐标，yr为目标车辆Rj左上角像素点的y轴坐标，D为目标车辆Rj与目标车辆Sj的位置坐标点距离。
在该技术方案中，获取目标车辆Sj对应的目标区域的坐标(xs，ys)，同时获取目标车辆Rj对应的目标区域的坐标(xr，yr)，通过公式计算可以得到目标车辆Rj与目标车辆Sj的位置坐标点距离D，进一步可通过D判断目标车辆Rj与目标车辆Sj是否为同一车辆。
在上述任一技术方案中，优选地，目标车辆的检测与跟踪计数系统，包括：预检测模块、编号模块、跟踪模块、检测模块、判断模块、统计模块，标注模块和训练模块；标注模块用于获取目标车辆的图像并进行标注，以形成训练数据集；训练模块用于通过训练数据集训练目标车辆的检测模型。
在该技术方案中，通过获取目标车辆的图像，并对图像进行标注，将标注后的图像制作成训练数据集，用训练数据集训练得到目标车辆的检测模型，通过目标车辆的检测模型来对视频中关键帧中的目标车辆进行检测，不需要人工标注，检测精准度高，同时成本较低，适于推广。
本发明第三方面提供了一种计算机装置，计算机装置包括处理器，处理器用于执行存储器中存储的计算机程序时实现如上述任一技术方案所述的目标车辆的检测与跟踪计数方法，因此，该计算机装置包括如上述任一技术方案所述的目标车辆的检测与跟踪计数方法的全部有益效果。
本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一技术方案所述的目标车辆的检测与跟踪计数方法，因此，该计算机可读存储介质包括如上述任一技术方案所述的目标车辆的检测与跟踪计数方法的全部有益效果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了根据本发明的一个实施例的目标车辆的检测与跟踪计数方法的流程图；
图2示出了根据本发明的另一个实施例的目标车辆的检测与跟踪计数方法的流程图；
图3示出了根据本发明的又一个实施例的目标车辆的检测与跟踪计数方法的流程图；
图4示出了根据本发明的再一个实施例的目标车辆的检测与跟踪计数方法的流程图；
图5示出了根据本发明的再一个实施例的目标车辆的检测与跟踪计数方法的流程图；
图6示出了根据本发明的再一个实施例的目标车辆的检测与跟踪计数方法的流程图；
图7出了根据本发明的一个实施例的目标车辆的检测与跟踪计数系统的框图；
图8出了根据本发明的一个实施例的目标车辆的检测与跟踪计数系统中预检测模块的框图；
图9出了根据本发明的一个实施例的目标车辆的检测与跟踪计数系统中判断单元的框图；
图10出了根据本发明的另一个实施例的目标车辆的检测与跟踪计数系统中判断单元的框图；
图11出了根据本发明的一个实施例的目标车辆的检测与跟踪计数系统中判断模块的框图；
图12出了根据本发明的另一个实施例的目标车辆的检测与跟踪计数系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
下面参照图1至图6描述根据本发明一些实施例所述目标车辆的检测与跟踪计数方法、计算机装置和计算机可读存储介质。
如图1所示，在本发明第一方面的实施例中，提供了一种目标车辆的检测与跟踪计数方法，包括：
S102，判断待检测视频每一帧的图像中是否包含目标车辆；
S104，当待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对目标车辆Rj进行编号；
S106，自任一帧起，使用滤波目标跟踪算法持续跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；
S108，通过检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置；
S110，通过跟踪位置和检测位置判断目标车辆Rj与目标车辆Sj是否为同一车辆；
S112，当判断目标车辆Rj与目标车辆Sj为同一车辆时，维持目标车辆Rj的编号，并继续跟踪目标车辆Rj；
S114，当判断目标车辆Rj与目标车辆Sj为不同车辆时，对目标车辆Sj进行编号，并同时跟踪目标车辆Rj与目标车辆Sj；
S116，根据目标车辆的编号最终确定目标车辆的数量。
在该实施例中，对待检测视频中每一帧的图像里是否包含目标车辆进行预检测，在判断存在目标车辆Rj时，对目标车辆Rj进行编号，并自目标车辆Rj出现的帧图像起，使用滤波目标跟踪算法跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置，此时通过训练好的检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置，通过目标车辆Rj的跟踪位置和目标车辆Sj的检测位置判断目标车辆Rj和目标车辆Sj是否为同一车辆，以此来判断目标车辆Sj是否为新出现的目标车辆。当目标车辆Sj为新出现的车辆时，对目标车辆Sj进行编号。最后根据待检测视频中所有目标车辆的编号确定待检测视频中出现的目标车辆的准确数量。采用本发明提供的技术方案，使得在检测和跟踪目标车辆，如大型泥头车时，通过跟踪位置和检测位置对目标车辆是否为新出现的进行判断，不会在计数过程中产生误检，不依赖车牌检测，避免了因目标车辆车牌脏污导致检测准确性降低。同时，通过对待检测视频中每一帧的图像里是否包含目标车辆进行预检测，不需要逐帧检测目标车辆的位置，减小了计算压力，节省了计算资源，同时每隔m帧检测一次目标车辆的位置，检测模块无需每帧都执行检测，减少了计算量，提高了效率。
优选地，m为根据检测目标车辆所需消耗的时间以及检测速度、检测精度的需求，人工设置的经验值。
优选地，滤波目标跟踪算法选用滤波类算法Staple。
优选地，滤波目标跟踪算法还可选用CSK(Exploiting the Circulant Structureof Tracking-by-detection with Kernels)、DCF(Discrimiuative CorrelationFilter)、CN(Adaptive Color Attriloutes for Real-Time Visual Tracking)、DSST/fDSST(Accurate Scale Estimation for Robust Visual Tracking)等滤波算法。
在本发明的一个实施例中，优选地，如图2所示，目标车辆的检测与跟踪计数方法包括：
S202，将待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像；
S204，阈值分割差分图像，对分割后的差分图像进行二值化处理，并进行归一化，得到图像Pi；
S206，根据图像Pi是否满足预设条件判断图像Pt中是否包含目标车辆；
S208，当待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对目标车辆Rj进行编号；
S210，自任一帧起，使用滤波目标跟踪算法持续跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；
S212，通过检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置；
S214，通过跟踪位置和检测位置判断目标车辆Rj与目标车辆Sj是否为同一车辆；
S216，当判断目标车辆Rj与目标车辆Sj为同一车辆时，维持目标车辆Rj的编号，并继续跟踪目标车辆Rj；
S218，当判断目标车辆Rj与目标车辆Sj为不同车辆时，对目标车辆Sj进行编号，并同时跟踪目标车辆Rj与目标车辆Sj；
S220，根据目标车辆的编号最终确定目标车辆的数量。
在该实施例中，将待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像后，通过阈值分割差分图像，并做二值化处理，进一步进行归一化，得到像素尺寸相同的二值图像Pi，根据图像Pi是否满足预设条件即可判断图像Pt中是否包含目标车辆，实现对待检测视频的预检测。
具体地，在待检测视频中存在运动目标时，对待检测视频中存在运动目标的帧图像进行预检测，并将检测结果显示可能存在目标车辆的帧图像进行处理，得到处理后的图像Pi，再进一步确认是否包含目标车辆。而在待检测视频中不存在运动目标时，不需要逐帧检测，进而减小了计算量，节省了计算资源。
优选地，归一化的图像Pi的像素尺寸为480×320像素。
优选地，对归一化的图像Pi进行图像处理的形态学开运算，以去除图像噪声，其中，开运算的结构元素可设置为像素尺寸为5×5的像素单元。
优选地，待检测视频中第t帧的图像Pt为待检测视频的第2帧图像，即从待检测视频的第2帧开始检测。
优选地，待检测视频中第t帧的图像Pt为待检测视频中，摄像头接入后第2帧的图像，即从摄像头接入后第2帧的图像开始检测。
在本发明的一个实施例中，优选地，如图3所示，目标车辆的检测与跟踪计数方法包括：
S302，将待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像；
S304，阈值分割差分图像，对分割后的差分图像进行二值化处理，并进行归一化，得到图像Pi；
S306，获取图像Pi中任一特定区域的像素面积；
S308，当像素面积大于或等于像素面积阈值时，判断图像Pt中包含目标车辆；
S310，当待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对目标车辆Rj进行编号；
S312，自任一帧起，使用滤波目标跟踪算法持续跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；
S314，通过检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置；
S316，通过跟踪位置和检测位置判断目标车辆Rj与目标车辆Sj是否为同一车辆；
S318，当判断目标车辆Rj与目标车辆Sj为同一车辆时，维持目标车辆Rj的编号，并继续跟踪目标车辆Rj；
S320，当判断目标车辆Rj与目标车辆Sj为不同车辆时，对目标车辆Sj进行编号，并同时跟踪目标车辆Rj与目标车辆Sj；
S322，根据目标车辆的编号最终确定目标车辆的数量。
在该实施例中，获取处理后的图像Pi中任一特定区域的像素面积，该特定区域可以为二值化图像中像素为“1”的区域，代表车辆、行人、飞鸟等运动物体。在目标车辆为泥头车等大型工程车辆时，目标车辆对应的特定区域的面积较大，根据归一化图像的像素尺寸，设定像素面积阈值，在图像Pi中像素面积大于像素面积阈值的特定区域即可判定为目标车辆，该方法在检测大型车辆时检测结果准确，需要的计算量小，具有较高的检测效率。
优选地，在归一化的图像Pi的像素尺寸为480×320像素的情况下，像素面积阈值可设置为6400像素。
在本发明的一个实施例中，优选地，如图4所示，目标车辆的检测与跟踪计数方法包括：
S402，将待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像；
S404，阈值分割差分图像，对分割后的差分图像进行二值化处理，并进行归一化，得到图像Pi；
S406，获取图像Pi中任一特定区域的像素高度和像素宽度；
S408，当像素高度大于或等于像素高度阈值，且像素宽度大于或等于像素宽度阈值时，确定图像Pt中包含目标车辆；
S410，当待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对目标车辆Rj进行编号；
S412，自任一帧起，使用滤波目标跟踪算法持续跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；
S414，通过检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置；
S416，通过跟踪位置和检测位置判断目标车辆Rj与目标车辆Sj是否为同一车辆；
S418，当判断目标车辆Rj与目标车辆Sj为同一车辆时，维持目标车辆Rj的编号，并继续跟踪目标车辆Rj；
S420，当判断目标车辆Rj与目标车辆Sj为不同车辆时，对目标车辆Sj进行编号，并同时跟踪目标车辆Rj与目标车辆Sj；
S422，根据目标车辆的编号最终确定目标车辆的数量。
在该实施例中，获取处理后的图像Pi中任一特定区域的像素面积，该特定区域为二值化图像中像素为“1”的区域，代表车辆、行人、飞鸟等运动物体。在目标车辆为泥头车等大型工程车辆时，目标车辆对应的特定区域的像素高度和像素宽度较大，根据归一化图像的像素尺寸，设定像素高度阈值和像素宽度阈值，在图像Pi中像素高度大于像素高度阈值，同时像素宽度也大于像素宽度阈值的特定区域即可判定为目标车辆，该方法在检测大型车辆时检测结果准确，需要的计算量小，具有较高的检测效率。
优选地，在归一化的图像Pi的像素尺寸为480×320像素的情况下，像素高度阈值为80像素，像素宽度阈值为80像素。
在本发明的一个实施例中，优选地，如图5所示，目标车辆的检测与跟踪计数方法包括：
S502，判断待检测视频每一帧的图像中是否包含目标车辆；
S504，当待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对目标车辆Rj进行编号；
S506，自任一帧起，使用滤波目标跟踪算法持续跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；
S508，通过检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置；
S510，计算目标车辆Rj与目标车辆Sj的覆盖关系和目标车辆Rj与目标车辆Sj的位置坐标点距离；
S512，当覆盖关系大于或等于覆盖阈值，且位置坐标点距离小于或等于距离阈值时，确定目标车辆Rj与目标车辆Sj为同一车辆；
S514，当覆盖关系小于覆盖阈值，和/或位置坐标点距离大于距离阈值时，确定目标车辆Rj述目标车辆Sj为不同车辆；
S516，维持目标车辆Rj的编号，并继续跟踪目标车辆Rj；
S518，对目标车辆Sj进行编号，并同时跟踪所述目标车辆Rj与所述目标车辆Sj；
S520，根据目标车辆的编号最终确定目标车辆的数量。
在该实施例中，当确定待检测视频中存在目标车辆Rj，并得到目标车辆Rj的跟踪位置，和m帧后至少一个目标车辆Sj的检测位置后，计算目标车辆Rj的跟踪位置与目标车辆Sj的检测位置之间的覆盖关系和目标车辆Rj与目标车辆Sj的位置坐标点距离，当覆盖关系大于覆盖阈值，且位置坐标点距离小于距离阈值时，目标车辆Rj与目标车辆Sj为同一车辆的可能性极高，可认定目标车辆Rj与目标车辆Sj为同一车辆，否则认定目标车辆Rj与目标车辆Sj为不同车辆。
优选地，目标车辆Rj的跟踪位置的信息包括(xr，yr，wr，hr)，其中(xr，yr)为目标车辆Rj左上角像素点的坐标位置，(wr，hr)为目标车辆Rj对应像素区域的像素宽度与像素高度。
优选地，目标车辆Sj的跟踪位置的信息包括(xs，ys，ws，hs)，其中(xs，ys)为目标车辆Sj左上角像素点的坐标位置，(ws，hs)为目标车辆Sj对应像素区域的像素宽度与像素高度。
在本发明的一个实施例中，优选地，计算目标车辆Rj与目标车辆Sj的覆盖关系的公式具体为：
Figure BDA0001693783140000171
其中，γ(Sj∩Rj)为目标车辆Sj与目标车辆Rj位置区域交集的面积，γ(Sj∪Rj)为目标车辆Sj与目标车辆Rj位置区域并集面积，CIOU(Sj,Rj)为目标车辆Rj与目标车辆Sj的覆盖关系。
在该实施例中，通过获取目标车辆Sj与目标车辆Rj位置区域交集的面积和目标车辆Sj与目标车辆Rj位置区域并集面积，可计算得到目标车辆Rj与目标车辆Sj的覆盖关系CIOU(Sj,Rj)，进一步可通过CIOU(Sj,Rj)判断目标车辆Rj与目标车辆Sj是否为同一车辆。
在本发明的一个实施例中，优选地，计算目标车辆Rj与目标车辆Sj的位置坐标点距离的公式具体为：
Figure BDA0001693783140000172
其中，xs为目标车辆Sj左上角像素点的x轴坐标，ys为目标车辆Sj左上角像素点的y轴坐标，xr为目标车辆Rj左上角像素点的x轴坐标，yr为目标车辆Rj左上角像素点的y轴坐标，D为目标车辆Rj与目标车辆Sj的位置坐标点距离。
在该实施例中，获取目标车辆Sj对应的目标区域的坐标(xs，ys)，同时获取目标车辆Rj对应的目标区域的坐标(xr，yr)，通过公式计算可以得到目标车辆Rj与目标车辆Sj的位置坐标点距离D，进一步可通过D判断目标车辆Rj与目标车辆Sj是否为同一车辆。
在本发明的一个实施例中，优选地，如图6所示，目标车辆的检测与跟踪计数方法包括：
S602，获取目标车辆的图像并进行标注，以形成训练数据集；
S604，通过训练数据集训练目标车辆的检测模型；
S606，判断待检测视频每一帧的图像中是否包含目标车辆；
S608，当待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对目标车辆Rj进行编号；
S610，自任一帧起，使用滤波目标跟踪算法持续跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；
S612，通过检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置；
S614，通过跟踪位置和检测位置判断目标车辆Rj与目标车辆Sj是否为同一车辆；
S616，当判断目标车辆Rj与目标车辆Sj为同一车辆时，维持目标车辆Rj的编号，并继续跟踪目标车辆Rj；
S618，当判断目标车辆Rj与目标车辆Sj为不同车辆时，对目标车辆Sj进行编号，并同时跟踪目标车辆Rj与目标车辆Sj；
S620，根据目标车辆的编号最终确定目标车辆的数量。
在该实施例中，通过获取目标车辆的图像，并对图像进行标注，将标注后的图像制作成训练数据集，用训练数据集训练得到目标车辆的检测模型，通过目标车辆的检测模型来对视频中关键帧中的目标车辆进行检测，不需要人工标注，检测精准度高，同时成本较低，适于推广。
优选地，目标车辆的检测模型可选用SSD(Single Shot MultiBox Detector)模型。
在本发明的一个实施例中，优选地，收集若干未经处理的原始监控视频，将视频逐帧拆分为帧图像，从中挑选出包含目标车辆泥头车的图片，并用开元图像标注工具labelImg对图片进行标注，以生成与图片一一对应的xml标签文件。将上述标签文件与图片组成的数据集转化为标准的voc格式，如.record数据格式，选用一款用coco数据集预训练的SSD模型，修改配置文件，输入训练数据集开始训练，直至训练结束后导出训练完成的泥头车检测模型。
在本发明的一个实施例中，优选地，读取待检测的视频数据，如摄像头视频数据，从视频数据的第2帧开始处理，将视频图像的第2帧图像Pt与第1帧图像Pt-1之间做帧间差分，并使用自适应方法阈值分割差分图像并二值化处理并归一化图像像素尺寸为480×320像素的图像，进行图像处理的形态学开运算去除图像噪声得到图像Pi，其中开运算的结构元素此处设置为5×5的像素单元。检测图像Pi中s值为1的特定区域，判断图像Pi中是否存在一个特定区域的像素面积大于或等于6400像素，若存在，则确定图像Pt中存在目标车辆泥头车。对图像Pt中的泥头车Rj进行编号。使用滤波类算法Staple对泥头车Rj向后跟踪m帧，得到m帧后的图像Pk+m中泥头车Rj的跟踪位置(xr，yr，wr，hr)，使用训练得到的泥头车检测模型检测图像Pk+m中至少一辆泥头车的位置，得到泥头车Sj的检测位置(xs，ys，ws，hs)，其中(xr，yr)、(xs，ys)分别为泥头车Rj和泥头车Sj左上角像素点的坐标位置，(wr，hr)、(ws，hs)分别为泥头车Rj和泥头车Sj对应像素区域的像素宽度与像素高度。将(xr，yr，wr，hr)与(xs，ys，ws，hs)带入对应的公式
Figure BDA0001693783140000191
和
Figure BDA0001693783140000192
中，得到泥头车Rj和泥头车Sj的覆盖关系CIOU(Sj,Rj)和坐标点距离D，比对后发现CIOU(Sj,Rj)大于覆盖阈值，且D小于距离阈值，判定泥头车Rj和泥头车Sj为同一辆泥头车，维持泥头车Rj的编号不变，持续上述检测跟踪过程直至待检测视频结束后，根据所有检测到的泥头车的编号确定待检测视频中泥头车的总数。
如图7所示，本发明的第二方面提供了一种目标车辆的检测与跟踪计数系统70，包括：预检测模块702、编号模块704、跟踪模块706、检测模块708、判断模块710和统计模块712；预检测模块702用于判断待检测视频每一帧的图像中是否包含目标车辆；编号模块704用于当待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对目标车辆Rj进行编号；跟踪模块706用于自任一帧起，使用滤波目标跟踪算法持续跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；检测模块708用于通过检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置；判断模块710用于通过跟踪位置和检测位置判断目标车辆Rj与目标车辆Sj是否为同一车辆；跟踪模块706还用于当判断目标车辆Rj与目标车辆Sj为同一车辆时，维持目标车辆Rj的编号，并继续跟踪目标车辆Rj；编号模块704还用于当判断目标车辆Rj与目标车辆Sj为不同车辆时，对目标车辆Sj进行编号，并同时跟踪目标车辆Rj与目标车辆Sj；统计模块712用于根据目标车辆的编号最终确定目标车辆的数量。
在该实施例中，对待检测视频中每一帧的图像里是否包含目标车辆进行预检测，在判断存在目标车辆Rj时，对目标车辆Rj进行编号，并自目标车辆Rj出现的帧图像起，使用滤波目标跟踪算法跟踪目标车辆Rj共m帧，得到目标车辆Rj在m帧后的图像Pk+m中的跟踪位置，此时通过训练好的检测模型获取图像Pk+m中至少一个目标车辆Sj的检测位置，通过目标车辆Rj的跟踪位置和目标车辆Sj的检测位置判断目标车辆Rj和目标车辆Sj是否为同一车辆，以此来判断目标车辆Sj是否为新出现的目标车辆。当目标车辆Sj为新出现的车辆时，对目标车辆Sj进行编号。最后根据待检测视频中所有目标车辆的编号确定待检测视频中出现的目标车辆的准确数量。采用本发明提供的技术方案，使得在检测和跟踪目标车辆，如大型泥头车时，通过跟踪位置和检测位置对目标车辆是否为新出现的进行判断，不会在计数过程中产生误检，不依赖车牌检测，避免了因目标车辆车牌脏污导致检测准确性降低。同时，通过对待检测视频中每一帧的图像里是否包含目标车辆进行预检测，不需要逐帧检测目标车辆的位置，减小了计算压力，节省了计算资源，同时每隔m帧检测一次目标车辆的位置，检测模块无需每帧都执行检测，减少了计算量，提高了效率。
在本发明的一个实施例中，优选地，如图8所示，预检测模块802具体包括：差分单元803、图像处理单元804和判断单元805；差分单元803用于将待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像；图像处理单元804用于阈值分割差分图像，对分割后的差分图像进行二值化处理，并进行归一化，得到图像Pi；判断单元805用于根据图像Pi是否满足预设条件判断图像Pt中是否包含目标车辆。
在该实施例中，将待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像后，通过阈值分割差分图像，并做二值化处理，进一步进行归一化，得到像素尺寸相同的二值图像Pi，根据图像Pi是否满足预设条件即可判断图像Pt中是否包含目标车辆，实现对待检测视频的预检测。
在本发明的一个实施例中，优选地，如图9所示，判断单元905具体包括：第一获取单元906和第一判定单元907；第一获取单元906用于获取图像Pi中任一特定区域的像素面积；第一判定单元907用于当像素面积大于或等于像素面积阈值时，判定图像Pt中包含目标车辆。
在该实施例中，获取处理后的图像Pi中任一特定区域的像素面积，该特定区域可以为二值化图像中像素为“1”的区域，代表车辆、行人、飞鸟等运动物体。在目标车辆为泥头车等大型工程车辆时，目标车辆对应的特定区域的面积较大，根据归一化图像的像素尺寸，设定像素面积阈值，在图像Pi中像素面积大于像素面积阈值的特定区域即可判定为目标车辆，该方法在检测大型车辆时检测结果准确，需要的计算量小，具有较高的检测效率。
在本发明的一个实施例中，优选地，如图10所示，判断单元1002具体包括：第二获取单元1003和第二判定单元1004；第二获取单元1003用于获取图像Pi中任一特定区域的像素高度和像素宽度；第二判定单元1004用于当像素高度大于或等于像素高度阈值，且像素宽度大于或等于像素宽度阈值时，判定图像Pt中包含目标车辆。
在该实施例中，获取处理后的图像Pi中任一特定区域的像素面积，该特定区域为二值化图像中像素为“1”的区域，代表车辆、行人、飞鸟等运动物体。在目标车辆为泥头车等大型工程车辆时，目标车辆对应的特定区域的像素高度和像素宽度较大，根据归一化图像的像素尺寸，设定像素高度阈值和像素宽度阈值，在图像Pi中像素高度大于像素高度阈值，同时像素宽度也大于像素宽度阈值的特定区域即可判定为目标车辆，该方法在检测大型车辆时检测结果准确，需要的计算量小，具有较高的检测效率。
在本发明的一个实施例中，优选地，如图11所示，判断模块1110具体包括：计算单元1111、第三判定单元1112和第四判定单元1113；计算单元1111用于计算目标车辆Rj与目标车辆Sj的覆盖关系和目标车辆Rj与目标车辆Sj的位置坐标点距离；第三判定单元1112用于当覆盖关系大于或等于覆盖阈值，且位置坐标点距离小于或等于距离阈值时，判定目标车辆Rj与目标车辆Sj为同一车辆；第四判定单元1113用于当覆盖关系小于覆盖阈值，和/或位置坐标点距离大于距离阈值时，判定目标车辆Rj与目标车辆Sj为不同车辆。
在该实施例中，当确定待检测视频中存在目标车辆Rj，并得到目标车辆Rj的跟踪位置，和m帧后至少一个目标车辆Sj的检测位置后，计算目标车辆Rj的跟踪位置与目标车辆Sj的检测位置之间的覆盖关系和目标车辆Rj与目标车辆Sj的位置坐标点距离，当覆盖关系大于覆盖阈值，且位置坐标点距离小于距离阈值时，目标车辆Rj与目标车辆Sj为同一车辆的可能性极高，可认定目标车辆Rj与目标车辆Sj为同一车辆，否则认定目标车辆Rj与目标车辆Sj为不同车辆。
在本发明的一个实施例中，优选地，计算目标车辆Rj与目标车辆Sj的覆盖关系的公式具体为：
Figure BDA0001693783140000221
其中，γ(Sj∩Rj)为目标车辆Sj与目标车辆Rj位置区域交集的面积，γ(Sj∪Rj)为目标车辆Sj与目标车辆Rj位置区域并集面积，CIOU(Sj,Rj)为目标车辆Rj与目标车辆Sj的覆盖关系。
在该实施例中，通过获取目标车辆Sj与目标车辆Rj位置区域交集的面积和目标车辆Sj与目标车辆Rj位置区域并集面积，可计算得到目标车辆Rj与目标车辆Sj的覆盖关系CIOU(Sj,Rj)，进一步可通过CIOU(Sj,Rj)判断目标车辆Rj与目标车辆Sj是否为同一车辆。
在本发明的一个实施例中，优选地，计算目标车辆Rj与目标车辆Sj的位置坐标点距离的公式具体为：
Figure BDA0001693783140000222
其中，xs为目标车辆Sj左上角像素点的x轴坐标，ys为目标车辆Sj左上角像素点的y轴坐标，xr为目标车辆Rj左上角像素点的x轴坐标，yr为目标车辆Rj左上角像素点的y轴坐标，D为目标车辆Rj与目标车辆Sj的位置坐标点距离。
在该实施例中，获取目标车辆Sj对应的目标区域的坐标(xs，ys)，同时获取目标车辆Rj对应的目标区域的坐标(xr，yr)，通过公式计算可以得到目标车辆Rj与目标车辆Sj的位置坐标点距离D，进一步可通过D判断目标车辆Rj与目标车辆Sj是否为同一车辆。
在本发明的一个实施例中，优选地，如图12所示，目标车辆的检测与跟踪计数系统120，包括：预检测模块1202、编号模块1204、跟踪模块1206、检测模块1208、判断模块1210、统计模块1212，标注模块1214和训练模块1216；标注模块1214用于获取目标车辆的图像并进行标注，以形成训练数据集；训练模块1216用于通过训练数据集训练目标车辆的检测模型。
在该实施例中，通过获取目标车辆的图像，并对图像进行标注，将标注后的图像制作成训练数据集，用训练数据集训练得到目标车辆的检测模型，通过目标车辆的检测模型来对视频中关键帧中的目标车辆进行检测，不需要人工标注，检测精准度高，同时成本较低，适于推广。
在本发明第三方面的实施例中，提供了一种计算机装置，计算机装置包括处理器，处理器用于执行存储器中存储的计算机程序时实现如上述任一实施例所述的目标车辆的检测与跟踪计数方法，因此，该计算机装置包括如上述任一实施例所述的目标车辆的检测与跟踪计数方法的全部有益效果。
在本发明第四方面的实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例所述的目标车辆的检测与跟踪计数方法，因此，该计算机可读存储介质包括如上述任一实施例所述的目标车辆的检测与跟踪计数方法的全部有益效果。
在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本发明中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种目标车辆的检测与跟踪计数方法，其特征在于，包括：
判断待检测视频每一帧的图像中是否包含目标车辆；
当所述待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对所述目标车辆Rj进行编号；
自所述任一帧起，使用滤波目标跟踪算法持续跟踪所述目标车辆Rj共m帧，得到所述目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；
通过检测模型获取所述图像Pk+m中至少一个目标车辆Sj的检测位置；
通过所述跟踪位置和所述检测位置判断所述目标车辆Rj与所述目标车辆Sj是否为同一车辆；
当判断所述目标车辆Rj与所述目标车辆Sj为同一车辆时，维持所述目标车辆Rj的编号，并继续跟踪所述目标车辆Rj；
当判断所述目标车辆Rj与所述目标车辆Sj为不同车辆时，对所述目标车辆Sj进行编号，并同时跟踪所述目标车辆Rj与所述目标车辆Sj；
根据所述目标车辆的编号最终确定所述目标车辆的数量；
所述判断待检测视频每一帧的图像中是否包含目标车辆的步骤，具体包括：
将所述待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像；
阈值分割所述差分图像，对分割后的所述差分图像进行二值化处理，并进行归一化，得到图像Pi；
根据所述图像Pi是否满足预设条件判断所述图像Pt中是否包含目标车辆；
所述根据所述图像Pi是否满足预设条件判断所述图像Pt中是否包含目标车辆的步骤，具体包括：
获取所述图像Pi中任一特定区域的像素面积；
当所述像素面积大于或等于像素面积阈值时，判定所述图像Pt中包含所述目标车辆；
或获取所述图像Pi中任一特定区域的像素高度和像素宽度；
当所述像素高度大于或等于像素高度阈值，且所述像素宽度大于或等于像素宽度阈值时，判定所述图像Pt中包含所述目标车辆。
2.根据权利要求1所述的目标车辆的检测与跟踪计数方法，其特征在于，所述通过所述跟踪位置和所述检测位置判断所述目标车辆Rj与所述目标车辆Sj是否为同一车辆的步骤，具体包括：
计算所述目标车辆Rj与所述目标车辆Sj的覆盖关系和所述目标车辆Rj与所述目标车辆Sj的位置坐标点距离；
当所述覆盖关系大于或等于覆盖阈值，且所述位置坐标点距离小于或等于距离阈值时，判定所述目标车辆Rj与所述目标车辆Sj为同一车辆；
当所述覆盖关系小于所述覆盖阈值，和/或所述位置坐标点距离大于所述距离阈值时，判定所述目标车辆Rj与所述目标车辆Sj为不同车辆。
3.根据权利要求2所述的目标车辆的检测与跟踪计数方法，其特征在于，所述计算所述目标车辆Rj与所述目标车辆Sj的覆盖关系的公式具体为：
Figure FDA0003294910580000021
其中，γ(Sj∩Rj)为所述目标车辆Sj与目标车辆Rj位置区域交集的面积，γ(Sj∪Rj)为所述目标车辆Sj与目标车辆Rj位置区域并集面积，CIOU(Sj,Rj)为所述目标车辆Rj与所述目标车辆Sj的覆盖关系。
4.根据权利要求2所述的目标车辆的检测与跟踪计数方法，其特征在于，所述计算所述目标车辆Rj与所述目标车辆Sj的位置坐标点距离的公式具体为：
Figure FDA0003294910580000022
其中，xs为所述目标车辆Sj左上角像素点的x轴坐标，ys为所述目标车辆Sj左上角像素点的y轴坐标，xr为所述目标车辆Rj左上角像素点的x轴坐标，yr为所述目标车辆Rj左上角像素点的y轴坐标，D为所述目标车辆Rj与所述目标车辆Sj的位置坐标点距离。
5.根据权利要求1至4中任一项所述的目标车辆的检测与跟踪计数方法，其特征在于，在所述判断待检测视频每一帧的图像中是否包含目标车辆的步骤前，还包括：
获取所述目标车辆的图像并进行标注，以形成训练数据集；
通过所述训练数据集训练所述目标车辆的所述检测模型。
6.一种目标车辆的检测与跟踪计数系统，其特征在于，包括：
预检测模块，用于判断待检测视频每一帧的图像中是否包含目标车辆；
编号模块，用于当所述待检测视频任一帧的图像Pk中包含至少一辆目标车辆Rj时，对所述目标车辆Rj进行编号；
跟踪模块，用于自所述任一帧起，使用滤波目标跟踪算法持续跟踪所述目标车辆Rj共m帧，得到所述目标车辆Rj在m帧后的图像Pk+m中的跟踪位置；
检测模块，用于通过检测模型获取所述图像Pk+m中至少一个目标车辆Sj的检测位置；
判断模块，用于通过所述跟踪位置和所述检测位置判断所述目标车辆Rj与所述目标车辆Sj是否为同一车辆；
所述跟踪模块，还用于当判断所述目标车辆Rj与所述目标车辆Sj为同一车辆时，维持所述目标车辆Rj的编号，并继续跟踪所述目标车辆Rj；
所述编号模块，还用于当判断所述目标车辆Rj与所述目标车辆Sj为不同车辆时，对所述目标车辆Sj进行编号，并同时跟踪所述目标车辆Rj与所述目标车辆Sj；
统计模块，用于根据所述目标车辆的编号最终确定所述目标车辆的数量；
所述预检测模块，具体包括：
差分单元，用于将所述待检测视频中第t帧的图像Pt与第t-1帧的图像Pt-1做帧间差分，得到差分图像；
图像处理单元，用于阈值分割所述差分图像，对分割后的所述差分图像进行二值化处理，并进行归一化，得到图像Pi；
判断单元，用于根据所述图像Pi是否满足预设条件判断所述图像Pt中是否包含目标车辆；
所述判断单元，具体包括：
第一获取单元，用于获取所述图像Pi中任一特定区域的像素面积；
第一判定单元，用于当所述像素面积大于或等于像素面积阈值时，判定所述图像Pt中包含所述目标车辆；
或第二获取单元，用于获取所述图像Pi中任一特定区域的像素高度和像素宽度；
第二判定单元，用于当所述像素高度大于或等于像素高度阈值，且所述像素宽度大于或等于像素宽度阈值时，判定所述图像Pt中包含所述目标车辆。
7.根据权利要求6所述的目标车辆的检测与跟踪计数系统，其特征在于，所述判断模块，具体包括：
计算单元，用于计算所述目标车辆Rj与所述目标车辆Sj的覆盖关系和所述目标车辆Rj与所述目标车辆Sj的位置坐标点距离；
第三判定单元，用于当所述覆盖关系大于或等于覆盖阈值，且所述位置坐标点距离小于或等于距离阈值时，判定所述目标车辆Rj与所述目标车辆Sj为同一车辆；
第四判定单元，用于当所述覆盖关系小于所述覆盖阈值，和/或所述位置坐标点距离大于所述距离阈值时，判定所述目标车辆Rj与所述目标车辆Sj为不同车辆。
8.根据权利要求7所述的目标车辆的检测与跟踪计数系统，其特征在于，所述计算所述目标车辆Rj与所述目标车辆Sj的覆盖关系的公式具体为：
Figure FDA0003294910580000041
其中，γ(Sj∩Rj)为所述目标车辆Sj与目标车辆Rj位置区域交集的面积，γ(Sj∪Rj)为所述目标车辆Sj与目标车辆Rj位置区域并集面积，CIOU(Sj,Rj)为所述目标车辆Rj与所述目标车辆Sj的覆盖关系。
9.根据权利要求7所述的目标车辆的检测与跟踪计数系统，其特征在于，所述计算所述目标车辆Rj与所述目标车辆Sj的位置坐标点距离的公式具体为：
Figure FDA0003294910580000042
其中，xs为所述目标车辆Sj左上角像素点的x轴坐标，ys为所述目标车辆Sj左上角像素点的y轴坐标，xr为所述目标车辆Rj左上角像素点的x轴坐标，yr为所述目标车辆Rj左上角像素点的y轴坐标，D为所述目标车辆Rj与所述目标车辆Sj的位置坐标点距离。
10.根据权利要求6至9中任一项所述的目标车辆的检测与跟踪计数系统，其特征在于，还包括：
标注模块，用于获取所述目标车辆的图像并进行标注，以形成训练数据集；
训练模块，用于通过所述训练数据集训练所述目标车辆的所述检测模型。
11.一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5中任一项所述的目标车辆的检测与跟踪计数方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的目标车辆的检测与跟踪计数方法。
CN201810603260.6A 2018-06-12 2018-06-12 目标车辆的检测与跟踪计数方法及系统 Active CN109117702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810603260.6A CN109117702B (zh) 2018-06-12 2018-06-12 目标车辆的检测与跟踪计数方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810603260.6A CN109117702B (zh) 2018-06-12 2018-06-12 目标车辆的检测与跟踪计数方法及系统

Publications (2)

Publication Number Publication Date
CN109117702A CN109117702A (zh) 2019-01-01
CN109117702B true CN109117702B (zh) 2022-01-25

Family

ID=64822234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810603260.6A Active CN109117702B (zh) 2018-06-12 2018-06-12 目标车辆的检测与跟踪计数方法及系统

Country Status (1)

Country Link
CN (1) CN109117702B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800696A (zh) * 2019-01-09 2019-05-24 深圳中兴网信科技有限公司 目标车辆的监控方法、系统和计算机可读存储介质
CN109948602B (zh) * 2019-01-21 2023-03-03 创新奇智(南京)科技有限公司 一种识别商品的方法、计算机可读介质及识别系统
CN110674703A (zh) * 2019-09-05 2020-01-10 北京正安维视科技股份有限公司 一种智能监控中的视频绊线报警计数方法与流程
CN110648540B (zh) * 2019-09-09 2021-07-02 安徽师范大学 基于无人机的高速公路紧急车道占用跟踪系统及方法
CN112700654A (zh) * 2020-12-21 2021-04-23 上海眼控科技股份有限公司 视频处理方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007002648A2 (en) * 2005-06-27 2007-01-04 University Of Virginia Patent Foundation Apparatus and method for automatic detection and tracking of a rigid or deformable image object in image frames
WO2013053159A1 (zh) * 2011-10-09 2013-04-18 青岛海信网络科技股份有限公司 一种车辆跟踪的方法及装置
CN104282020A (zh) * 2014-09-22 2015-01-14 中海网络科技股份有限公司 一种基于目标运动轨迹的车辆速度检测方法
CN106446824A (zh) * 2016-09-21 2017-02-22 防城港市港口区思达电子科技有限公司 一种车辆检测和跟踪方法
CN106560861A (zh) * 2015-09-30 2017-04-12 徐贵力 基于计算机视觉的智能监管方法
CN106651923A (zh) * 2016-12-13 2017-05-10 中山大学 一种视频图像目标检测与分割方法及系统
CN107122758A (zh) * 2017-05-11 2017-09-01 南宁市正祥科技有限公司 一种车型识别和车流量检测方法
CN107766821A (zh) * 2017-10-23 2018-03-06 江苏鸿信系统集成有限公司 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824281B2 (en) * 2015-05-15 2017-11-21 Sportlogiq Inc. System and method for tracking moving objects in videos

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007002648A2 (en) * 2005-06-27 2007-01-04 University Of Virginia Patent Foundation Apparatus and method for automatic detection and tracking of a rigid or deformable image object in image frames
WO2013053159A1 (zh) * 2011-10-09 2013-04-18 青岛海信网络科技股份有限公司 一种车辆跟踪的方法及装置
CN104282020A (zh) * 2014-09-22 2015-01-14 中海网络科技股份有限公司 一种基于目标运动轨迹的车辆速度检测方法
CN106560861A (zh) * 2015-09-30 2017-04-12 徐贵力 基于计算机视觉的智能监管方法
CN106446824A (zh) * 2016-09-21 2017-02-22 防城港市港口区思达电子科技有限公司 一种车辆检测和跟踪方法
CN106651923A (zh) * 2016-12-13 2017-05-10 中山大学 一种视频图像目标检测与分割方法及系统
CN107122758A (zh) * 2017-05-11 2017-09-01 南宁市正祥科技有限公司 一种车型识别和车流量检测方法
CN107766821A (zh) * 2017-10-23 2018-03-06 江苏鸿信系统集成有限公司 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统

Also Published As

Publication number Publication date
CN109117702A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN109117702B (zh) 目标车辆的检测与跟踪计数方法及系统
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
TWI409718B (zh) 移動中車輛之車牌定位方法
CN102348128B (zh) 具有摄像机异常检测装置的监视用摄像机系统
JP4930046B2 (ja) 路面判別方法および路面判別装置
KR101935399B1 (ko) 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템
JP4811201B2 (ja) 走路境界線検出装置、および走路境界線検出方法
CN108021856B (zh) 车辆尾灯识别方法、装置及车辆
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN110298300B (zh) 一种检测车辆违章压线的方法
CN107909009B (zh) 一种基于路面学习的障碍物检测方法与装置
JP2006268097A (ja) 車載物体検出装置、および物体検出方法
CN112419298B (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
US7149328B2 (en) Method and apparatus for tracking moving objects in spatial differential frame pictures
JP2007235952A (ja) 車両追跡方法及び装置
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
JP3328711B2 (ja) 車輌高さ計測装置およびこの装置を用いた車輌監視システム
CN101950352B (zh) 一种去除光照影响的目标检测方法及装置
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
CN110969135B (zh) 自然场景中的车标识别方法
KR101263894B1 (ko) 수배차량의 추적장치 및 그 방법
Munajat et al. Vehicle detection and tracking based on corner and lines adjacent detection features
JP4824729B2 (ja) 物体検知の方法
JP2017058950A (ja) 認識装置、撮像システム、撮像装置並びに認識方法及び認識用プログラム
Angeline et al. Tracking and localisation of moving vehicle license plate via Signature Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant