CN108229475A - 车辆跟踪方法、系统、计算机设备及可读存储介质 - Google Patents
车辆跟踪方法、系统、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN108229475A CN108229475A CN201810005111.XA CN201810005111A CN108229475A CN 108229475 A CN108229475 A CN 108229475A CN 201810005111 A CN201810005111 A CN 201810005111A CN 108229475 A CN108229475 A CN 108229475A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- target vehicle
- tracking
- target
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种车辆跟踪方法、车辆跟踪系统、计算机设备、计算机可读存储介质。其中,车辆跟踪方法包括:读取摄像装置的任一帧图像;判断任一帧图像是否检测到目标车辆;当判断结果为检测到目标车辆时,从任一帧图像中选取预设感兴趣区域ROI,将其设定为跟踪区域;根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于跟踪状态;在目标车辆处于跟踪状态时,对目标跟踪算法DSST模型更新,以执行目标车辆的跟踪。本发明实现了在持续的视频流数据中跟踪检测车辆,跟踪检测结果准确,仅用单台设备即可支持多路摄像头,减少了不必要的计算机集群设备的使用,避免了使用机器学习算法进行前期的大量实例的学习过程。
Description
技术领域
本发明涉及空调器技术领域,具体而言,涉及一种车辆跟踪方法、车辆跟踪系统、计算机设备、计算机可读存储介质。
背景技术
图片识别:比较流行的图片识别应用如智能鉴黄、图片内容识别、人脸识别、OCR(Optical Character Recognition,光学字符识别)等,例如腾讯的“万像优图(CI,CloudImage)”,使用模式识别以及深度学习技术,其使用社交数据大平台,收集标注了千万数据,拥有海量的特征样本库,均经过大量数据的学习过程,依托腾讯云的数据计算资源,拥有千亿规模图像大数据计算能力。其需要的计算资源比较大、同时并没有提供专用于泥头车的检验,并且也不支持从视频流中直接提取泥头车图片。
车牌识别:专注于视频、图片中的车牌模式的识别。它以数字图像处理、模式识别、计算机视觉等技术为基础,对摄像机所拍摄的车辆图像或者视频序列进行分析,得到每一辆汽车唯一的车牌号码,从而完成识别过程。其专注于车牌的识别、对车辆是否为泥头车的判别不够精确,但可以判断车为大型、小型等。
因此,如何实现使用减少的资源投入进行车辆的准确识别成为亟待解决的问题。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此,本发明第一个方面在于提出一种车辆跟踪方法。
本发明的第二个方面在于提出一种车辆跟踪系统。
本发明的第三个方面在于提出一种计算机设备。
本发明的第四个方面在于提出一种计算机可读存储介质。
有鉴于此,根据本发明的一个方面,提出了一种车辆跟踪方法,包括:读取摄像装置的任一帧图像;判断任一帧图像是否检测到目标车辆;当判断结果为检测到目标车辆时,从任一帧图像中选取预设ROI(Region of interest,感兴趣区域),将其设定为跟踪区域;根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于被跟踪状态;在目标车辆处于被跟踪状态时,对DSST(Discriminative Scale Space Tracking,目标跟踪算法)模型更新,以执行目标车辆的跟踪。
本发明提供的车辆跟踪方法,读取摄像装置如摄像机的视频流,定义此时读取的视频流数据为第K帧图像,K为任一正整数,判断第K帧图像是否检测到目标车辆,当判断结果是检测到目标车辆时,从第K帧图像中截取一长方形感兴趣区域ROI,该感兴趣区域ROI用于后续处理,称其为跟踪区域,跟踪数据初始化,获取当前帧检测到的泥头车目标在原始相机像平面视图中对应的区域,完成后续跟踪算法对应目标区域的初始化,然后,对跟踪区域实时缩放处理,使得能够清楚检测目标车辆,根据目标车辆和该跟踪区域的位置关系来判断目标车辆是否处于被跟踪状态,当目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型进行更新,DSST跟踪算法为一种具备很好实时性和准确性的目标跟踪算法,以此来实现目标车辆的跟踪,本发明实现了在持续的视频流数据中跟踪检测车辆,跟踪检测结果准确,仅用单台设备即可支持多路摄像头,减少了不必要的计算机集群设备的使用,避免了使用机器学习算法进行前期的大量实例的学习过程。
根据本发明的上述车辆跟踪方法,还可以具有以下技术特征:
在上述技术方案中,优选地,在读取摄像装置的任一帧图像之前,还包括:获取预设标定点的实际测量值和设定车辆的尺寸参数;获取预设标定点和设定车辆的顶视图的图像尺寸;根据预设标定点的实际测量值、设定车辆的尺寸参数以及图像尺寸计算得出图像转换参数;其中,图像转换参数包括:由平面视图到顶视图的变换矩阵、顶视图到平面视图的单应矩阵。
在该技术方案中,在读取摄像装置的任一帧图像之前,还进行离线成像系统标定,来获取图像转化参数。具体过程为在一个长方形感兴趣区域ROI放置四个标定点,以及输入设定车辆的尺寸参数,设定车辆根据想要检测识别跟踪车辆类型进行选取,可以选取某一类型车辆的典型车辆的尺寸参数,获取四个标定点和设定车辆的尺寸参数,在提取四个标定点时,按照左上点-右上点-左下点-右下点的顺序提取,否则会导致后续图像变换出现错误,根据四点标定点组成的感兴趣区域的实际长宽测量值,以及设定车辆的实际尺寸参数,单位可以统一为米,通过自适应求取预设标定点和设定车辆的图像尺寸,最终计算得到由顶视图坐标系统到原始摄像装置平面视图坐标系统的单应矩阵及由原始摄像装置平面视图坐标系统到顶视图坐标系统的变换矩阵,将这两个矩阵作为图像转换参数保存到配置文件。如此,通过成像标定过程获取一个由摄像装置图像平面到物理世界中大地平面的投影变换。一方面获取了物理世界(地面上)的距离单位(如“米”)与图像平面上的距离单位(如“像素”)之间的对应关系;另一方面,去除由于小孔成像原理导致的图像透视形变,从而实现了图像尺度/形状规范化,简化了后续基于形状尺寸特性的车辆检测任务。
在上述任一技术方案中,优选地,在读取摄像装置的任一帧图像之后,还包括:基于图像转换参数,将任一帧图像由平面视图转换为顶视图;应用背景建模ViBe算法对顶视图进行背景建模、前景目标分割及更新;应用数学形态学对前景目标分割的结果更新,以消除疑似目标车辆。
在该技术方案中,在读取摄像装置的任一帧图像之后,基于预先进行的离线成像系统标定流程获取的图像转换参数,将任一帧图像由平面视图转换为顶视图,应用ViBe(Visual Background Extractor,视觉背景提取)算法(ViBe算法为一种背景建模算法)对顶视图实施背景建模,设置算法中背景更新因子为默认值,再进行基于背景建模ViBe算法的前景目标分割及背景模型更新,应用ViBe算法,实现高效的像素级背景减除、前景提取;然后基于数学形态学滤波的前景目标分割结果进行更新,引入数学形态学算子对由ViBe算法求取的初步前景目标分割结果做出更新,实现了在像素级背景减除中由于噪声导致的错误前景目标点,提高了跟踪的准确性。
在上述任一技术方案中,优选地,判断任一帧图像是否检测到目标车辆,具体包括:根据预设车辆尺寸参数判断任一帧图像是否检测到疑似目标车辆;在判断结果为检测到疑似目标车辆时,判断任一帧图像是否满足预设判定标准;在判断结果为满足预设判定标准,则判定检测到目标车辆;其中,预设判定标准为任一帧图像中检测到疑似目标车辆,且在任一帧图像前连续第一预设帧数的图像均检测到疑似目标车辆。
在该技术方案中,判断任一帧图像是否检测到目标车辆的过程,首先根据预先提前设定的车辆尺寸参数判断任一帧图像是否检测到疑似目标车辆,通过将任一帧图像检测的疑似目标车辆的尺寸参数与预先设定的预设车辆尺寸参数进行比较,如果两者相匹配,这里的匹配是指两者差别不大于一个设定阈值,那么判定检测到疑似目标车辆,如果不匹配则判定未检测到疑似目标车辆;在判定检测到疑似目标车辆,再判断检测到疑似目标车辆的图像的前连续第一预设帧数的图像是否也检测到该疑似目标车辆,如果也检测到,则确认该疑似目标车辆为真实目标车辆。实现了单帧车辆目标检测,且通过尺寸匹配以及多帧数图像判断,提高了判断结果的准确性。
在上述任一技术方案中,优选地,根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于被跟踪状态,具体包括:判断目标车辆是否在跟踪区域内;若判断结果为是,则判定目标车辆处于被跟踪状态;若判断结果为否,则判定目标车辆不处于被跟踪状态,则重新进行读取摄像装置的任一帧图像的步骤。
在该技术方案中,根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于跟踪状态的过程,通过判断目标车辆是否在跟踪区域内来判断目标车辆是否处于被跟踪状态,如果目标车辆在跟踪区域内,则判定目标车辆处于被跟踪状态,如果目标车辆不在跟踪区域内,则判定目标车辆不处于被跟踪状态,那么再重新读取其他帧数的图像,以进行再次车辆检测跟踪。
在上述任一技术方案中,优选地,在目标车辆处于跟踪状态时,对目标跟踪算法DSST模型更新,以执行目标车辆的跟踪之后,还包括:对目标车辆的跟踪结果进行验证;若跟踪的多个目标车辆满足合并条件时,将多个车辆合并为同一目标车辆;保存目标车辆的图像。
在该技术方案中,在目标车辆处于跟踪状态时,对目标跟踪算法DSST模型更新之后,在目标车辆的跟踪帧数超过预设帧数时,对目标车辆的跟踪结果验证,如此根据跟踪验证结果进行基于实际目标跟踪状态的ViBe算法中背景更新因子自适应调整,提高下一循环的车辆检测跟踪的准确性;在对目标车辆的跟踪结果验证之后,还判断跟踪的多个目标车辆满足合并条件,合并条件可以进行设定,比如,在视频序列中,若先后检测并跟踪到两辆车,如果这两段跟踪轨迹中跟踪丢失的图像帧数低于一个预设阈值,则确定为满足合并条件,那么将这两个车辆合并为同一目标车辆,再保存最新检测并跟踪到的目标车辆的图像。如此,实现了帧间目标跟踪与验证,以及自动保存车辆图片到文件服务器指定目录。
根据本发明的第二个方面,提出了一种车辆跟踪系统,包括:读取单元,用于读取摄像装置的任一帧图像;第一判断单元,用于判断任一帧图像是否检测到目标车辆;区域设定单元,用于当判断结果为检测到目标车辆时,从任一帧图像中选取预设感兴趣区域ROI,将其设定为跟踪区域;第二判断单元,用于根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于被跟踪状态;跟踪单元,用于在目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型更新,以执行目标车辆的跟踪。
本发明提供的车辆跟踪系统,读取单元读取摄像装置如摄像机的视频流,定义此时读取的视频流数据为第K帧图像,K为任一正整数,第一判断单元判断第K帧图像是否检测到目标车辆,当判断结果是检测到目标车辆时,区域设定单元从第K帧图像中截取一长方形感兴趣区域ROI,该感兴趣区域ROI用于后续处理,称其为跟踪区域,跟踪数据初始化,获取当前帧检测到的泥头车目标在原始相机像平面视图中对应的区域,完成后续跟踪算法对应目标区域的初始化,然后,对跟踪区域实时缩放处理,使得能够清楚检测目标车辆,第二判断单元根据目标车辆和该跟踪区域的位置关系来判断目标车辆是否处于被跟踪状态,当目标车辆处于被跟踪状态时,跟踪单元对目标跟踪算法DSST模型进行更新,DSST跟踪算法为一种具备很好实时性和准确性的目标跟踪算法,以此来实现目标车辆的跟踪,本发明实现了在持续的视频流数据中跟踪检测车辆,跟踪检测结果准确,仅用单台设备即可支持多路摄像头,减少了不必要的计算机集群设备的使用,避免了使用机器学习算法进行前期的大量实例的学习过程。
根据本发明的上述车辆跟踪系统,还可以具有以下技术特征:
在上述技术方案中,优选地,还包括:第一获取单元,用于获取预设标定点的实际测量值和设定车辆的尺寸参数;第二获取单元,用于获取预设标定点和设定车辆的顶视图的图像尺寸;参数单元,用于根据预设标定点的实际测量值、设定车辆尺寸参数以及图像尺寸计算得出图像转换参数;其中,图像转换参数包括:由平面视图到顶视图的变换矩阵、顶视图到平面视图的单应矩阵。
在该技术方案中,在读取摄像装置的任一帧图像之前,还进行离线成像系统标定,来获取图像转换参数。具体过程为在一个长方形感兴趣区域ROI放置四个标定点,以及输入设定车辆的尺寸参数,设定车辆根据想要检测识别跟踪车辆类型进行选取,可以选取某一类型车辆的典型车辆的尺寸参数,第一获取单元获取四个标定点和设定车辆的尺寸参数,在提取四个标定点时,按照左上点-右上点-左下点-右下点的顺序提取,否则会导致后续图像变换出现错误,根据四点标定点组成的感兴趣区域的实际长宽测量值,以及设定车辆的实际尺寸参数,单位可以统一为米,第二获取单元通过自适应求取预设标定点和设定车辆的图像尺寸,最终参数单元计算得到由顶视图坐标系统到原始摄像装置平面视图坐标系统的单应矩阵及由原始摄像装置平面视图坐标系统到顶视图坐标系统的变换矩阵,将这两个矩阵作为图像变换参数保存到配置文件。如此,通过成像标定过程获取一个由摄像装置图像平面到物理世界中大地平面的投影变换。一方面获取了物理世界(地面上)的距离单位(如“米”)与图像平面上的距离单位(如“像素”)之间的对应关系;另一方面,去除由于小孔成像原理导致的图像透视形变,从而实现了图像尺度/形状规范化,简化了后续基于形状尺寸特性的车辆检测任务。
在上述任一技术方案中,优选地,还包括:转换单元,用于基于图像转换参数,将任一帧图像由平面视图转换为顶视图;分割单元,用于应用背景建模ViBe算法对顶视图进行背景建模、前景目标分割及更新;更新单元,用于应用数学形态学对前景目标分割的结果更新,以消除疑似目标车辆。
在该技术方案中,在读取摄像装置的任一帧图像之后,转换单元基于预先进行的离线成像系统标定流程获取的图像转换参数,将任一帧图像由平面视图转换为顶视图,分割单元应用背景建模ViBe算法对顶视图实施背景建模,设置算法中背景更新因子为默认值,再进行基于背景建模ViBe算法的前景目标分割及背景模型更新,应用ViBe算法,实现高效的像素级背景减除、前景提取;然后更新单元基于数学形态学滤波的前景目标分割结果进行更新,引入数学形态学算子对由ViBe算法求取的初步前景目标分割结果做出更新,实现了在像素级背景减除中由于噪声导致的错误前景目标点,提高了跟踪的准确性。
在上述任一技术方案中,优选地,第一判断单元具体包括:第一判断子单元,用于根据预设车辆尺寸参数判断任一帧图像是否检测到疑似目标车辆;第二判断子单元,用于在判断结果为检测到疑似目标车辆时,判断任一帧图像是否满足预设判定标准;第一判定单元,用于在判断结果为满足预设判定标准,则判定检测到目标车辆;其中,预设判定标准为任一帧图像中检测到候选目标,且在任一帧图像前连续第一预设帧数图像均检测到候选目标。
在该技术方案中,第一判断单元判断任一帧图像是否检测到目标车辆的过程,首先第一判断子单元根据预先提前设定的车辆尺寸参数判断任一帧图像是否检测到疑似目标车辆,通过将任一帧图像检测的疑似目标车辆的尺寸参数与预先设定的预设车辆尺寸参数进行比较,如果两者相匹配,这里的匹配是指两者差别不大于一个设定阈值,那么判定检测到疑似目标车辆,如果不匹配则判定未检测到疑似目标车辆;在判定检测到疑似目标车辆,第二判断子单元再判断检测到疑似目标车辆的图像的前连续第一预设帧数的图像是否也检测到该疑似目标车辆,如果也检测到,则第一判定单元确认该疑似目标车辆为真实目标车辆。实现了单帧车辆目标检测,且通过尺寸匹配以及多帧数图像判断,提高了判断结果的准确性。
在上述任一技术方案中,优选地,第二判断单元具体包括:第三判断子单元,用于判断目标车辆是否在跟踪区域内;第二判定单元,用于若判断结果为是,则判定目标车辆处于跟踪状态;读取单元,还用于若判断结果为否,则判定目标车辆不处于跟踪状态,则重新进行读取摄像装置的任一帧图像的步骤。
在该技术方案中,第二判断单元根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于跟踪状态的过程,通过第三判断子单元判断目标车辆是否在跟踪区域内来判断目标车辆是否处于被跟踪状态,如果目标车辆在跟踪区域内,则第二判定单元判定目标车辆处于被跟踪状态,如果目标车辆不在跟踪区域内,则判定目标车辆不处于被跟踪状态,那么读取单元再重新读取其他帧数的图像,以进行再次车辆检测跟踪。
在上述任一技术方案中,优选地,还包括:验证单元,用于对目标车辆的跟踪结果进行验证;合并单元,用于若跟踪的多个目标车辆满足合并条件时,将多个车辆合并为同一目标车辆;保存单元,用于保存目标车辆的图像。
在该技术方案中,在目标车辆处于跟踪状态时,对目标跟踪算法DSST模型更新之后,在目标车辆的跟踪帧数超过预设帧数时,验证单元对目标车辆的跟踪结果验证,如此根据跟踪验证结果进行基于实际目标跟踪状态的ViBe算法中背景更新因子自适应调整,提高下一循环的车辆检测跟踪的准确性;在对目标车辆的跟踪结果验证之后,合并单元还判断跟踪的多个目标车辆满足合并条件,合并条件可以进行设定,比如,在视频序列中,若先后检测并跟踪到两辆车,如果这两段跟踪轨迹中跟踪丢失的图像帧数低于一个预设阈值,则确定为满足合并条件,那么将这两个车辆合并为同一目标车辆,保存单元再保存最新检测并跟踪到的目标车辆的图像。如此,实现了帧间目标跟踪与验证,以及自动保存车辆图片到文件服务器指定目录。
根据本发明的第三个方面,本发明提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:读取摄像装置的任一帧图像;判断任一帧图像是否检测到目标车辆;当判断结果为检测到目标车辆时,从任一帧图像中选取预设感兴趣区域ROI,将其设定为跟踪区域;根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于被跟踪状态;在目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型更新,以执行目标车辆的跟踪。
本发明提供的一种计算机设备,处理器执行计算机程序时实现:读取摄像装置如摄像机的视频流,定义此时读取的视频流数据为第K帧图像,K为任一正整数,判断第K帧图像是否检测到目标车辆,当判断结果是检测到目标车辆时,从第K帧图像中截取一长方形感兴趣区域ROI,该感兴趣区域ROI用于后续处理,称其为跟踪区域,跟踪数据初始化,获取当前帧检测到的泥头车目标在原始相机像平面视图中对应的区域,完成后续跟踪算法对应目标区域的初始化,然后,对跟踪区域实时缩放处理,使得能够清楚检测目标车辆,根据目标车辆和该跟踪区域的位置关系来判断目标车辆是否处于被跟踪状态,当目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型进行更新,DSST跟踪算法为一种具备很好实时性和准确性的目标跟踪算法,以此来实现目标车辆的跟踪,本发明实现了在持续的视频流数据中跟踪检测车辆,跟踪检测结果准确,仅用单台设备即可支持多路摄像头,减少了不必要的计算机集群设备的使用,避免了使用机器学习算法进行前期的大量实例的学习过程。
根据本发明的第四个方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:读取摄像装置的任一帧图像;判断任一帧图像是否检测到目标车辆;当判断结果为检测到目标车辆时,从任一帧图像中选取预设感兴趣区域ROI,将其设定为跟踪区域;根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于被跟踪状态;在目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型更新,以执行目标车辆的跟踪。
本发明提供的一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现:读取摄像装置如摄像机的视频流,定义此时读取的视频流数据为第K帧图像,K为任一正整数,判断第K帧图像是否检测到目标车辆,当判断结果是检测到目标车辆时,从第K帧图像中截取一长方形感兴趣区域ROI,该感兴趣区域ROI用于后续处理,称其为跟踪区域,跟踪数据初始化,获取当前帧检测到的泥头车目标在原始相机像平面视图中对应的区域,完成后续跟踪算法对应目标区域的初始化,然后,对跟踪区域实时缩放处理,使得能够清楚检测目标车辆,根据目标车辆和该跟踪区域的位置关系来判断目标车辆是否处于被跟踪状态,当目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型进行更新,DSST跟踪算法为一种具备很好实时性和准确性的目标跟踪算法,以此来实现目标车辆的跟踪,本发明实现了在持续的视频流数据中跟踪检测车辆,跟踪检测结果准确,仅用单台设备即可支持多路摄像头,减少了不必要的计算机集群设备的使用,避免了使用机器学习算法进行前期的大量实例的学习过程。
本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1示出了本发明的一个实施例的车辆跟踪方法的流程示意图;
图2示出了本发明的另一个实施例的车辆跟踪方法的流程示意图;
图3示出了本发明的再一个实施例的车辆跟踪方法的流程示意图;
图4示出了本发明的一个具体实施例的泥头车跟踪装置的示意框图;
图5示出了本发明的一个具体实施例的泥头车跟踪方法中离线成像标定的流程示意图;
图6示出了本发明的一个具体实施例的泥头车跟踪方法中在线检测跟踪的流程示意图;
图7示出了本发明的一个实施例的车辆跟踪系统的示意框图;
图8示出了本发明的另一个实施例的车辆跟踪系统的示意框图;
图9示出了本发明的一个实施例的计算机设备的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述方面、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不限于下面公开的具体实施例的限制。
本发明第一方面的实施例,提出一种车辆跟踪方法,图1示出了本发明的一个实施例的车辆跟踪方法的流程示意图:
步骤102,读取摄像装置的任一帧图像;
步骤104,判断任一帧图像是否检测到目标车辆;
步骤106,当判断结果为检测到目标车辆时,从任一帧图像中选取预设感兴趣区域ROI,将其设定为跟踪区域;
步骤108,根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于被跟踪状态;
步骤110,在目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型更新,以执行目标车辆的跟踪。
该实施例提供的车辆跟踪方法,读取摄像装置如摄像机的视频流,定义此时读取的视频流数据为第K帧图像,K为任一正整数,判断第K帧图像是否检测到目标车辆,当判断结果是检测到目标车辆时,从第K帧图像中截取一长方形感兴趣区域ROI,该感兴趣区域ROI用于后续处理,称其为跟踪区域,跟踪数据初始化,获取当前帧检测到的泥头车目标在原始相机像平面视图中对应的区域,完成后续跟踪算法对应目标区域的初始化,然后,对跟踪区域实时缩放处理,使得能够清楚检测目标车辆,根据目标车辆和该跟踪区域的位置关系来判断目标车辆是否处于被跟踪状态,当目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型进行更新,DSST跟踪算法为一种具备很好实时性和准确性的目标跟踪算法,以此来实现目标车辆的跟踪,本发明实现了在持续的视频流数据中跟踪检测车辆,跟踪检测结果准确,仅用单台设备即可支持多路摄像头,减少了不必要的计算机集群设备的使用,避免了使用机器学习算法进行前期的大量实例的学习过程。
图2示出了本发明的另一个实施例的车辆跟踪方法的流程示意图。其中,该方法包括:
步骤202,获取预设标定点的实际测量值和设定车辆的尺寸参数;
步骤204,获取预设标定点和设定车辆的顶视图的图像尺寸;
步骤206,根据预设标定点的实际测量值、设定车辆的尺寸参数以及图像尺寸计算得出图像转换参数;
步骤208,读取摄像装置的任一帧图像;
步骤210,基于图像转换参数,将任一帧图像由平面视图转换为顶视图;
步骤212,应用背景建模ViBe算法对顶视图进行背景建模、前景目标分割及更新;
步骤214,应用数学形态学对前景目标分割的结果更新,以消除疑似目标车辆;
步骤216,判断任一帧图像是否检测到目标车辆,是,则进入步骤218,否,则进入步骤208;
步骤218,从任一帧图像中选取预设感兴趣区域ROI,将其设定为跟踪区域;
步骤220,根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于被跟踪状态,是,则进入步骤222,否,则进入步骤208;
步骤222,对目标跟踪算法DSST模型更新,以执行目标车辆的跟踪。
其中,图像转换参数包括:由平面视图到顶视图的变换矩阵、顶视图到平面视图的单应矩阵。
在该实施例中,在读取摄像装置的任一帧图像之前,还进行离线成像系统标定,来获取图像转换参数。具体过程为在一个长方形感兴趣区域ROI放置四个标定点,以及输入设定车辆的尺寸参数,设定车辆根据想要检测识别跟踪车辆类型进行选取,可以选取某一类型车辆的典型车辆的尺寸参数,获取四个标定点和设定车辆的尺寸参数,在提取四个标定点时,按照左上点-右上点-左下点-右下点的顺序提取,否则会导致后续图像变换出现错误,根据四点标定点组成的感兴趣区域的实际长宽测量值,以及设定车辆的实际尺寸参数,单位可以统一为米,通过自适应求取预设标定点和设定车辆的图像尺寸,最终计算得到由顶视图坐标系统到原始摄像装置平面视图坐标系统的单应矩阵及由原始摄像装置平面视图坐标系统到顶视图坐标系统的变换矩阵,将这两个矩阵作为图像变换参数保存到配置文件。如此,通过成像标定过程获取一个由摄像装置图像平面到物理世界中大地平面的投影变换。一方面获取了物理世界(地面上)的距离单位(如“米”)与图像平面上的距离单位(如“像素”)之间的对应关系;另一方面,去除由于小孔成像原理导致的图像透视形变,从而实现了图像尺度/形状规范化,简化了后续基于形状尺寸特性的车辆检测任务。
在该实施例中,在读取摄像装置的任一帧图像之后,基于预先进行的离线成像系统标定流程获取的图像转换参数,将任一帧图像由平面视图转换为顶视图,应用背景建模ViBe算法对顶视图实施背景建模,设置算法中背景更新因子为默认值,再进行基于背景建模ViBe算法的前景目标分割及背景模型更新,应用ViBe算法,实现高效的像素级背景减除、前景提取;然后基于数学形态学滤波的前景目标分割结果进行更新,引入数学形态学算子对由ViBe算法求取的初步前景目标分割结果做出更新,实现了在像素级背景减除中由于噪声导致的错误前景目标点,提高了跟踪的准确性。
图3示出了本发明的再一个实施例的车辆跟踪方法的流程示意图。其中,该方法包括:
步骤302,获取预设标定点的实际测量值和设定车辆的尺寸参数,获取预设标定点和设定车辆的顶视图的图像尺寸;
步骤304,根据预设标定点的实际测量值、设定车辆的尺寸参数以及图像尺寸计算得出图像转换参数;
步骤306,读取摄像装置的任一帧图像;
步骤308,基于图像转换参数,将任一帧图像由平面视图转换为顶视图;
步骤310,应用背景建模ViBe算法对顶视图进行背景建模、前景目标分割及更新,应用数学形态学对前景目标分割的结果更新,以消除疑似目标车辆;
步骤312,根据预设车辆尺寸参数判断任一帧图像是否检测到疑似目标车辆,是,则进入步骤314,否,则进入步骤306;
步骤314,判断任一帧图像是否满足预设判定标准,是,则进入步骤316,否,则进入步骤306;
步骤316,判定检测到目标车辆;
步骤318,从任一帧图像中选取预设感兴趣区域ROI,将其设定为跟踪区域;
步骤320,判断目标车辆是否在跟踪区域内,是,则进入步骤322,否,则进入步骤306;
步骤322,判定目标车辆处于被跟踪状态,对目标跟踪算法DSST模型更新,以执行目标车辆的跟踪;
步骤324,对目标车辆的跟踪结果进行验证,若跟踪的多个目标车辆满足合并条件时,将多个车辆合并为同一目标车辆,保存目标车辆的图像。
其中,预设判定标准为任一帧图像中检测到疑似目标车辆,且在任一帧图像前连续第一预设帧数的图像均检测到疑似目标车辆。
在该实施例中,判断任一帧图像是否检测到目标车辆的过程,首先根据预先提前设定的车辆尺寸参数判断任一帧图像是否检测到疑似目标车辆,通过将任一帧图像检测的疑似目标车辆的尺寸参数与预先设定的预设车辆尺寸参数进行比较,如果两者相匹配,这里的匹配是指两者差别不大于一个设定阈值,那么判定检测到疑似目标车辆,如果不匹配则判定未检测到疑似目标车辆;在判定检测到疑似目标车辆,再判断检测到疑似目标车辆的图像的前连续第一预设帧数的图像是否也检测到该疑似目标车辆,如果也检测到,则确认该疑似目标车辆为真实目标车辆。实现了单帧车辆目标检测,且通过尺寸匹配以及多帧数图像判断,提高了判断结果的准确性。
在该实施例中,根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于跟踪状态的过程,通过判断目标车辆是否在跟踪区域内来判断目标车辆是否处于被跟踪状态,如果目标车辆在跟踪区域内,则判定目标车辆处于被跟踪状态,如果目标车辆不在跟踪区域内,则判定目标车辆不处于被跟踪状态,那么再重新读取其他帧数的图像,以进行再次车辆检测跟踪。
在该实施例中,在目标车辆处于跟踪状态时,对目标跟踪算法DSST模型更新之后,在目标车辆的跟踪帧数超过预设帧数时,对目标车辆的跟踪结果验证,如此根据跟踪验证结果进行基于实际目标跟踪状态的ViBe算法中背景更新因子自适应调整,提高下一循环的车辆检测跟踪的准确性;在对目标车辆的跟踪结果验证之后,还判断跟踪的多个目标车辆满足合并条件,合并条件可以进行设定,比如,在视频序列中,若先后检测并跟踪到两辆车,如果这两段跟踪轨迹中跟踪丢失的图像帧数低于一个预设阈值,则确定为满足合并条件,那么将这两个车辆合并为同一目标车辆,再保存最新检测并跟踪到的目标车辆的图像。如此,实现了帧间目标跟踪与验证,以及自动保存车辆图片到文件服务器指定目录。
下面结合图4、图5、图6说明本发明的一个具体实施例。
如图4所示,该具体实施例的泥头车跟踪装置400包括第一视频设备402、第二视频设备404、第三视频设备406、第四视频设备408、泥头车检测设备410、泥头车图片存储设备412。该具体实施例的泥头车跟踪装置400还可以支持10路视频设备,图4示出4路视频设备的示意图。该具体实施例的泥头车跟踪装置400的工作流程分为两部分:(1)离线成像标定;(2)在线检测跟踪。
图5示出了离线成像标定的流程:
步骤502,在一长方形感兴趣区域放置四个标定点:在地面上沿泥头车行进方向,放置四个标定块(这些标定块可以为任意可辨识物体,如打印的棋盘格或砖头等。后亦称“标定点”),由其组成一长方形感兴趣区域(ROI)实施标定,此区域被称为“标定区域”,其需能完全覆盖一辆典型泥头车且完全处于摄像机视场中;
步骤504,读取摄像机视频流:按键盘“Esc”键截取一关键(图像)帧用于标定:需确保步骤502放置的四个标定点在该图像帧中清晰可见;
步骤506,在关键帧中提取地面上的四个标定点:移动鼠标按一定顺序提取地面上的四个标定点:左上点→右上点→左下点→右下点,顺序不可颠倒,否则会导致后续图像变换出错;
步骤508,输入由四个标定点组成的标定区域的实际测量的长度和宽度,和输入典型泥头车的实际长度和宽度:单位为“米”;
步骤510,自适应求取顶视图变换结果图像的尺寸:根据步骤508中输入的长方形标定区域实际宽度和长度自适应求取顶视图变换结果图像的尺寸,即顶视图结果图像具有和长方形标定区域相同的长宽比,实际处理中,为了平衡算法处理精度和计算量限制,将设置顶视图结果图像中的较长边为一固定尺寸,如400像素,另一短边将按上述长方形标定区域长宽比例对应缩放;
步骤512,求取相机像平面视图到顶视图的变换矩阵;
步骤514,求取由顶视图到相机像平面视图的单应矩阵:直接求取由顶视图坐标系统到原始相机像平面视图坐标系统的单应变换,这个单应矩阵会用于后续处理中将在顶视图中检测到的泥头车目标区域投影回原始相机像平面视图中;
步骤516,将标定参数保存到配置文件。
通过上述“离线成像标定”的流程,获得了一个由摄像机图像平面到物理世界中大地平面的投影变换,亦称“顶视图变换”。这个变换的意义在于:1)获取物理世界(地面上)的距离单位(如“米”)与图像平面上的距离单位(如“像素”)之间的对应关系;2)去除由于小孔成像原理导致的图像透视形变,从而实现图像尺度/形状规范化,简化后续基于形状特性的泥头车检测任务。
泥头车跟踪装置400基于图5流程中获取的标定参数进行如图6所示的泥头车在线检测跟踪:
步骤602,读取摄像机视频流,定义此时读取的视频数据为图像的第1帧,对第1帧图像实施直方图均衡化处理及顶视图变换;
步骤604,由ViBe算法对顶视图实施背景建模,设置算法中背景更新因子为默认值;
步骤606,读取摄像机视频流,定义此时读取的视频数据为图像第K帧,对第K帧图像实施直方图均衡化处理及顶视图变换;
步骤608,基于ViBe算法的前景目标分割及背景模型更新;
步骤610,基于数学形态学滤波的前景目标分割结果更新;
步骤612,第K帧中基于形状约束的长体泥头车检测,在第K帧中检测到候选目标,并且在前面连续数帧都检测到泥头车候选目标,确认第K帧候选目标为真实泥头车;
步骤614,从第K帧图像中截取一长方形感兴趣区域用于后续处理,称其为跟踪区域;
步骤616,跟踪数据准备/初始化,对跟踪区域实施缩放处理;
步骤618,泥头车是否正处于被跟踪状态中,是,则进入步骤620,否,则进入步骤622;
步骤620,DSST跟踪器模型更新;
步骤622,第K帧候选目标是否为真实长体泥头,是,则进入步骤624;否,则进入步骤628;
步骤624,启动DSST跟踪器;
步骤626,在同一目标已跟踪数帧时,进行跟踪结果验证;
步骤628,基于实际目标跟踪状态的ViBe算法中背景更新因子自适应调整,之后再次进入步骤602;
步骤630,在视频序列中,若先后检测并跟踪到两辆泥头车,如果这两段跟踪轨迹中跟踪丢失的图像帧数低于一预设阈值,将这两辆泥头车目标合并成同一目标;
步骤632,保存一定数量最新检测并跟踪到的泥头车图片,之后再次进入步骤602。
在该上述流程中,应用ViBe算法为一种高效的像素级背景减除、前景提取方法,引入了数学形态学算子对由ViBe算法求取的初步前景目标分割结果做出更新,去实现了在像素级背景减除中由于噪声导致的错误前景目标点;跟踪数据准备/初始化,获取了当前帧检测到的泥头车目标在原始相机像平面视图中对应的区域,以此完成后续跟踪算法对应目标区域的初始化;应用DSST跟踪算法为一种具备很好实时性和准确性的目标跟踪算法。通过上述流程,实现了单帧泥头车目标检测、帧间目标跟踪与验证以及自动截取一定数量泥头车图片保存于到文件服务器指定目录中,实现了为背景模型初始化,长体泥头车检测和长体泥头车跟踪。
该具体实施例的泥头车跟踪装置400通过仅用单台设备即可支持10路摄像头,减少了不必要的计算机集群设备的使用,避免了使用机器学习算法进行前期的大量实例的学习过程。
本发明第二方面的实施例,提出一种车辆跟踪系统700,图7示出了本发明的一个实施例的车辆跟踪系统700的示意框图。如图7所示,车辆跟踪系统700包括:读取单元10、第一判断单元12、区域设定单元14、第二判断单元16、跟踪单元18。
该实施例提供的车辆跟踪系统700,读取单元10读取摄像装置如摄像机的视频流,定义此时读取的视频流数据为第K帧图像,K为任一正整数,第一判断单元12判断第K帧图像是否检测到目标车辆,当判断结果是检测到目标车辆时,区域设定单元14从第K帧图像中截取一长方形感兴趣区域ROI,该感兴趣区域ROI用于后续处理,称其为跟踪区域,跟踪数据初始化,获取当前帧检测到的泥头车目标在原始相机像平面视图中对应的区域,完成后续跟踪算法对应目标区域的初始化,然后,对跟踪区域实时缩放处理,使得能够清楚检测目标车辆,第二判断单元16根据目标车辆和该跟踪区域的位置关系来判断目标车辆是否处于被跟踪状态,当目标车辆处于被跟踪状态时,跟踪单元18对目标跟踪算法DSST模型进行更新,DSST跟踪算法为一种具备很好实时性和准确性的目标跟踪算法,以此来实现目标车辆的跟踪,本发明实现了在持续的视频流数据中跟踪检测车辆,跟踪检测结果准确,仅用单台设备即可支持多路摄像头,减少了不必要的计算机集群设备的使用,避免了使用机器学习算法进行前期的大量实例的学习过程。
图8示出了本发明的另一个实施例的车辆跟踪系统800的示意框图。如图8所示,车辆跟踪系统800包括:读取单元20、第一判断单元22、区域设定单元24、第二判断单元26、跟踪单元28、第一获取单元30、第二获取单元32、参数单元34、转换单元36、分割单元38、更新单元40、验证单元42、合并单元44、保存单元46。其中,第一判断单元22具体包括:第一判断子单元222、第二判断子单元224和第一判定单元226。第二判断单元26具体包括:第三判断子单元262和第二判定单元264。
该实施例提供的车辆跟踪系统800,在读取摄像装置的任一帧图像之前,还进行离线成像系统标定,来获取图像转换参数。具体过程为在一个长方形感兴趣区域ROI放置四个标定点,以及输入设定车辆的尺寸参数,设定车辆根据想要检测识别跟踪车辆类型进行选取,可以选取某一类型车辆的典型车辆的尺寸参数,第一获取单元30获取四个标定点和设定车辆的尺寸参数,在提取四个标定点时,按照左上点-右上点-左下点-右下点的顺序提取,否则会导致后续图像变换出现错误,根据四点标定点组成的感兴趣区域的实际长宽测量值,以及设定车辆的实际尺寸参数,单位可以统一为米,第二获取单元32通过自适应求取预设标定点和设定车辆的图像尺寸,最终参数单元34计算得到由顶视图坐标系统到原始摄像装置平面视图坐标系统的单应矩阵及由原始摄像装置平面视图坐标系统到顶视图坐标系统的变换矩阵,将这两个矩阵作为图像变换参数保存到配置文件。如此,通过成像标定过程获取一个由摄像装置图像平面到物理世界中大地平面的投影变换。一方面获取了物理世界(地面上)的距离单位(如“米”)与图像平面上的距离单位(如“像素”)之间的对应关系;另一方面,去除由于小孔成像原理导致的图像透视形变,从而实现了图像尺度/形状规范化,简化了后续基于形状尺寸特性的车辆检测任务。
在该实施例中,读取单元20读取摄像装置如摄像机的视频流,定义此时读取的视频流数据为第K帧图像,K为任一正整数,第一判断单元22判断第K帧图像是否检测到目标车辆,当判断结果是检测到目标车辆时,区域设定单元24从第K帧图像中截取一长方形感兴趣区域ROI,该感兴趣区域ROI用于后续处理,称其为跟踪区域,跟踪数据初始化,获取当前帧检测到的泥头车目标在原始相机像平面视图中对应的区域,完成后续跟踪算法对应目标区域的初始化,然后,对跟踪区域实时缩放处理,使得能够清楚检测目标车辆,第二判断单元26根据目标车辆和该跟踪区域的位置关系来判断目标车辆是否处于被跟踪状态,当目标车辆处于被跟踪状态时,跟踪单元28对目标跟踪算法DSST模型进行更新,DSST跟踪算法为一种具备很好实时性和准确性的目标跟踪算法,以此来实现目标车辆的跟踪,本发明实现了在持续的视频流数据中跟踪检测车辆,跟踪检测结果准确,仅用单台设备即可支持多路摄像头,减少了不必要的计算机集群设备的使用,避免了使用机器学习算法进行前期的大量实例的学习过程。
在该实施例中,在读取摄像装置的任一帧图像之后,转换单元36基于预先进行的离线成像系统标定流程获取的图像转换参数,将任一帧图像由平面视图转换为顶视图,分割单元38应用背景建模ViBe算法对顶视图实施背景建模,设置算法中背景更新因子为默认值,再进行基于背景建模ViBe算法的前景目标分割及背景模型更新,应用ViBe算法,实现高效的像素级背景减除、前景提取;然后更新单元40基于数学形态学滤波的前景目标分割结果进行更新,引入数学形态学算子对由ViBe算法求取的初步前景目标分割结果做出更新,实现了在像素级背景减除中由于噪声导致的错误前景目标点,提高了跟踪的准确性。
在该实施例中,预设判定标准为任一帧图像中检测到候选目标,且在任一帧图像前连续第一预设帧数图像均检测到候选目标。第一判断单元22判断任一帧图像是否检测到目标车辆的过程,首先第一判断子单元222根据预先提前设定的车辆尺寸参数判断任一帧图像是否检测到疑似目标车辆,通过将任一帧图像检测的疑似目标车辆的尺寸参数与预先设定的预设车辆尺寸参数进行比较,如果两者相匹配,这里的匹配是指两者差别不大于一个设定阈值,那么判定检测到疑似目标车辆,如果不匹配则判定未检测到疑似目标车辆;在判定检测到疑似目标车辆,第二判断子单元224再判断检测到疑似目标车辆的图像的前连续第一预设帧数的图像是否也检测到该疑似目标车辆,如果也检测到,则第一判定单元226确认该疑似目标车辆为真实目标车辆。实现了单帧车辆目标检测,且通过尺寸匹配以及多帧数图像判断,提高了判断结果的准确性。
在该实施例中,第二判断单元26根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于跟踪状态的过程,通过第三判断子单元262判断目标车辆是否在跟踪区域内来判断目标车辆是否处于被跟踪状态,如果目标车辆在跟踪区域内,则第二判定单元264判定目标车辆处于被跟踪状态,如果目标车辆不在跟踪区域内,则判定目标车辆不处于被跟踪状态,那么读取单元20再重新读取其他帧数的图像,以进行再次车辆检测跟踪。
在该实施例中,在目标车辆处于跟踪状态时,对目标跟踪算法DSST模型更新之后,在目标车辆的跟踪帧数超过预设帧数时,验证单元42对目标车辆的跟踪结果验证,如此根据跟踪验证结果进行基于实际目标跟踪状态的ViBe算法中背景更新因子自适应调整,提高下一循环的车辆检测跟踪的准确性;在对目标车辆的跟踪结果验证之后,合并单元44还判断跟踪的多个目标车辆满足合并条件,合并条件可以进行设定,比如,在视频序列中,若先后检测并跟踪到两辆车,如果这两段跟踪轨迹中跟踪丢失的图像帧数低于一个预设阈值,则确定为满足合并条件,那么将这两个车辆合并为同一目标车辆,保存单元46再保存最新检测并跟踪到的目标车辆的图像。如此,实现了帧间目标跟踪与验证,以及自动保存车辆图片到文件服务器指定目录。
本发明第三方面的实施例,提出一种计算机设备,图9示出了本发明的一个实施例的计算机设备900的示意框图。其中,该计算机设备900包括:
存储器902、处理器904及存储在存储器902上并可在处理器904上运行的计算机程序,处理器904执行计算机程序时实现以下步骤:读取摄像装置的任一帧图像;判断任一帧图像是否检测到目标车辆;当判断结果为检测到目标车辆时,从任一帧图像中选取预设感兴趣区域ROI,将其设定为跟踪区域;根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于被跟踪状态;在目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型更新,以执行目标车辆的跟踪。
本发明提供的一种计算机设备900,处理器904执行计算机程序时实现:读取摄像装置如摄像机的视频流,定义此时读取的视频流数据为第K帧图像,K为任一正整数,判断第K帧图像是否检测到目标车辆,当判断结果是检测到目标车辆时,从第K帧图像中截取一长方形感兴趣区域ROI,该感兴趣区域ROI用于后续处理,称其为跟踪区域,跟踪数据初始化,获取当前帧检测到的泥头车目标在原始相机像平面视图中对应的区域,完成后续跟踪算法对应目标区域的初始化,然后,对跟踪区域实时缩放处理,使得能够清楚检测目标车辆,根据目标车辆和该跟踪区域的位置关系来判断目标车辆是否处于被跟踪状态,当目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型进行更新,DSST跟踪算法为一种具备很好实时性和准确性的目标跟踪算法,以此来实现目标车辆的跟踪,本发明实现了在持续的视频流数据中跟踪检测车辆,跟踪检测结果准确,仅用单台设备即可支持多路摄像头,减少了不必要的计算机集群设备的使用,避免了使用机器学习算法进行前期的大量实例的学习过程。
本发明第四方面的实施例,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:读取摄像装置的任一帧图像;判断任一帧图像是否检测到目标车辆;当判断结果为检测到目标车辆时,从任一帧图像中选取预设感兴趣区域ROI,将其设定为跟踪区域;根据目标车辆和跟踪区域的位置关系,判断目标车辆是否处于被跟踪状态;在目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型更新,以执行目标车辆的跟踪。
本发明提供的一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现:读取摄像装置如摄像机的视频流,定义此时读取的视频流数据为第K帧图像,K为任一正整数,判断第K帧图像是否检测到目标车辆,当判断结果是检测到目标车辆时,从第K帧图像中截取一长方形感兴趣区域ROI,该感兴趣区域ROI用于后续处理,称其为跟踪区域,跟踪数据初始化,获取当前帧检测到的泥头车目标在原始相机像平面视图中对应的区域,完成后续跟踪算法对应目标区域的初始化,然后,对跟踪区域实时缩放处理,使得能够清楚检测目标车辆,根据目标车辆和该跟踪区域的位置关系来判断目标车辆是否处于被跟踪状态,当目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型进行更新,DSST跟踪算法为一种具备很好实时性和准确性的目标跟踪算法,以此来实现目标车辆的跟踪,本发明实现了在持续的视频流数据中跟踪检测车辆,跟踪检测结果准确,仅用单台设备即可支持多路摄像头,减少了不必要的计算机集群设备的使用,避免了使用机器学习算法进行前期的大量实例的学习过程。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种车辆跟踪方法,其特征在于,包括:
读取摄像装置的任一帧图像;
判断所述任一帧图像是否检测到目标车辆;
当判断结果为检测到所述目标车辆时,从所述任一帧图像中选取预设感兴趣区域ROI,将其设定为跟踪区域;
根据所述目标车辆和所述跟踪区域的位置关系,判断所述目标车辆是否处于被跟踪状态;
在所述目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型更新,以执行所述目标车辆的跟踪。
2.根据权利要求1所述的车辆跟踪方法,其特征在于,在读取摄像装置的任一帧图像之前,还包括:
获取预设标定点的实际测量值和设定车辆的尺寸参数;
获取所述预设标定点和所述设定车辆的顶视图的图像尺寸;
根据所述预设标定点的实际测量值、所述设定车辆的尺寸参数以及所述图像尺寸计算得出图像转换参数;
其中,所述图像转换参数包括:由所述平面视图到所述顶视图的变换矩阵、所述顶视图到所述平面视图的单应矩阵。
3.根据权利要求2所述的车辆跟踪方法,其特征在于,在读取摄像装置的任一帧图像之后,还包括:
基于所述图像转换参数,将所述任一帧图像由平面视图转换为顶视图;
应用背景建模ViBe算法对所述顶视图进行背景建模、前景目标分割及更新;
应用数学形态学对所述前景目标分割的结果更新,以消除疑似目标车辆。
4.根据权利要求1所述的车辆跟踪方法,其特征在于,判断所述任一帧图像是否检测到目标车辆,具体包括:
根据预设车辆尺寸参数判断所述任一帧图像是否检测到疑似目标车辆;
在所述判断结果为检测到所述疑似目标车辆时,判断所述任一帧图像是否满足预设判定标准;
在判断结果为满足所述预设判定标准,则判定检测到所述目标车辆;
其中,所述预设判定标准为所述任一帧图像中检测到所述疑似目标车辆,且在所述任一帧图像前连续第一预设帧数的图像均检测到所述疑似目标车辆。
5.根据权利要求1所述的车辆跟踪方法,其特征在于,根据所述目标车辆和所述跟踪区域的位置关系,判断所述目标车辆是否处于被跟踪状态,具体包括:
判断所述目标车辆是否在所述跟踪区域内;
若判断结果为是,则判定所述目标车辆处于所述被跟踪状态;
若判断结果为否,则判定所述目标车辆不处于所述被跟踪状态,则重新进行所述读取摄像装置的任一帧图像的步骤。
6.根据权利要求1至5中任一项所述的车辆跟踪方法,其特征在于,在所述目标车辆处于跟踪状态时,对目标跟踪算法DSST模型更新,以执行所述目标车辆的跟踪之后,还包括:
对所述目标车辆的跟踪结果进行验证;
若跟踪的多个所述目标车辆满足合并条件时,将多个所述车辆合并为同一目标车辆;
保存所述目标车辆的图像。
7.一种车辆跟踪系统,其特征在于,包括:
读取单元,用于读取摄像装置的任一帧图像;
第一判断单元,用于判断所述任一帧图像是否检测到目标车辆;
区域设定单元,用于当判断结果为检测到所述目标车辆时,从所述任一帧图像中选取预设感兴趣区域ROI,将其设定为跟踪区域;
第二判断单元,用于根据所述目标车辆和所述跟踪区域的位置关系,判断所述目标车辆是否处于被跟踪状态;
跟踪单元,用于在所述目标车辆处于被跟踪状态时,对目标跟踪算法DSST模型更新,以执行所述目标车辆的跟踪。
8.根据权利要求7所述的车辆跟踪系统,其特征在于,还包括:
第一获取单元,用于获取预设标定点的实际测量值和设定车辆的尺寸参数;
第二获取单元,用于获取所述预设标定点和所述设定车辆的顶视图的图像尺寸;
参数单元,用于根据所述预设标定点的实际测量值、所述设定车辆尺寸参数以及所述图像尺寸计算得出图像转换参数;
其中,所述图像转换参数包括:由所述平面视图到所述顶视图的变换矩阵、所述顶视图到所述平面视图的单应矩阵。
9.根据权利要求8所述的车辆跟踪系统,其特征在于,还包括:
转换单元,用于基于所述图像转换参数,将所述任一帧图像由平面视图转换为顶视图;
分割单元,用于应用背景建模ViBe算法对所述顶视图进行背景建模、前景目标分割及更新;
更新单元,用于应用数学形态学对所述前景目标分割的结果更新,以消除疑似目标车辆。
10.根据权利要求7所述的车辆跟踪系统,其特征在于,所述第一判断单元具体包括:
第一判断子单元,用于根据预设车辆尺寸参数判断所述任一帧图像是否检测到疑似目标车辆;
第二判断子单元,用于在所述判断结果为检测到所述疑似目标车辆时,判断所述任一帧图像是否满足预设判定标准;
第一判定单元,用于在判断结果为满足所述预设判定标准,则判定检测到所述目标车辆;
其中,所述预设判定标准为所述任一帧图像中检测到所述疑似目标车辆,且在所述任一帧图像前连续第一预设帧数图像均检测到所述疑似目标车辆。
11.根据权利要求7所述的车辆跟踪系统,其特征在于,所述第二判断单元具体包括:
第三判断子单元,用于判断所述目标车辆是否在所述跟踪区域内;
第二判定单元,用于若判断结果为是,则判定所述目标车辆处于所述被跟踪状态;
所述读取单元,还用于若判断结果为否,则判定所述目标车辆不处于所述被跟踪状态,则重新进行所述读取摄像装置的任一帧图像的步骤。
12.根据权利要求7至11中任一项所述的车辆跟踪系统,其特征在于,还包括:
验证单元,用于对所述目标车辆的跟踪结果进行验证;
合并单元,用于若跟踪的多个所述目标车辆满足合并条件时,将多个所述车辆合并为同一目标车辆;
保存单元,用于保存所述目标车辆的图像。
13.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述车辆跟踪方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述车辆跟踪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810005111.XA CN108229475B (zh) | 2018-01-03 | 2018-01-03 | 车辆跟踪方法、系统、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810005111.XA CN108229475B (zh) | 2018-01-03 | 2018-01-03 | 车辆跟踪方法、系统、计算机设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108229475A true CN108229475A (zh) | 2018-06-29 |
CN108229475B CN108229475B (zh) | 2021-08-31 |
Family
ID=62642809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810005111.XA Active CN108229475B (zh) | 2018-01-03 | 2018-01-03 | 车辆跟踪方法、系统、计算机设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108229475B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108932509A (zh) * | 2018-08-16 | 2018-12-04 | 新智数字科技有限公司 | 一种基于视频跟踪的跨场景目标检索方法及装置 |
CN109766841A (zh) * | 2019-01-10 | 2019-05-17 | 深圳大学 | 车辆检测方法、装置及计算机可读存储介质 |
CN109800696A (zh) * | 2019-01-09 | 2019-05-24 | 深圳中兴网信科技有限公司 | 目标车辆的监控方法、系统和计算机可读存储介质 |
CN109816702A (zh) * | 2019-01-18 | 2019-05-28 | 苏州矽典微智能科技有限公司 | 一种多目标跟踪装置和方法 |
CN109829935A (zh) * | 2018-12-29 | 2019-05-31 | 百度在线网络技术(北京)有限公司 | 车辆的场景序列跟踪处理方法、装置及车辆 |
CN110070566A (zh) * | 2019-04-29 | 2019-07-30 | 武汉睿智视讯科技有限公司 | 信息检测方法、装置、计算机设备及可读存储介质 |
CN110660090A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
CN111932901A (zh) * | 2019-05-13 | 2020-11-13 | 阿里巴巴集团控股有限公司 | 道路车辆跟踪检测设备、方法及存储介质 |
CN111950368A (zh) * | 2020-07-09 | 2020-11-17 | 深圳神目信息技术有限公司 | 货运车辆监控方法、装置、电子设备和介质 |
CN112307936A (zh) * | 2020-10-28 | 2021-02-02 | 江苏云从曦和人工智能有限公司 | 基于头肩检测的客流量分析方法、系统及装置 |
CN113743262A (zh) * | 2021-08-23 | 2021-12-03 | 浙江大华技术股份有限公司 | 目标区域车辆跟踪方法、装置、计算机设备和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916383A (zh) * | 2010-08-25 | 2010-12-15 | 浙江师范大学 | 基于多摄像机的车辆检测跟踪识别系统 |
KR101355976B1 (ko) * | 2012-11-13 | 2014-02-03 | 재단법인대구경북과학기술원 | 시공간 특징점 정합을 이용한 객체 추적방법 및 그 장치 |
CN103996208A (zh) * | 2014-05-21 | 2014-08-20 | 国家电网公司 | 一种在视频图像中进行ptz单个目标自动跟踪方法 |
CN104134222A (zh) * | 2014-07-09 | 2014-11-05 | 郑州大学 | 基于多特征融合的车流监控图像检测和跟踪系统及方法 |
US20150043771A1 (en) * | 2013-08-09 | 2015-02-12 | Xerox Corporation | Hybrid method and system of video and vision based access control for parking stall occupancy determination |
CN105574895A (zh) * | 2016-01-05 | 2016-05-11 | 浙江博天科技有限公司 | 一种在车辆动态行驶中的拥堵检测方法 |
CN106560861A (zh) * | 2015-09-30 | 2017-04-12 | 徐贵力 | 基于计算机视觉的智能监管方法 |
CN106611165A (zh) * | 2016-12-26 | 2017-05-03 | 广东工业大学 | 一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置 |
CN106897735A (zh) * | 2017-01-19 | 2017-06-27 | 博康智能信息技术有限公司上海分公司 | 一种快速移动目标的跟踪方法及装置 |
-
2018
- 2018-01-03 CN CN201810005111.XA patent/CN108229475B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916383A (zh) * | 2010-08-25 | 2010-12-15 | 浙江师范大学 | 基于多摄像机的车辆检测跟踪识别系统 |
KR101355976B1 (ko) * | 2012-11-13 | 2014-02-03 | 재단법인대구경북과학기술원 | 시공간 특징점 정합을 이용한 객체 추적방법 및 그 장치 |
US20150043771A1 (en) * | 2013-08-09 | 2015-02-12 | Xerox Corporation | Hybrid method and system of video and vision based access control for parking stall occupancy determination |
CN103996208A (zh) * | 2014-05-21 | 2014-08-20 | 国家电网公司 | 一种在视频图像中进行ptz单个目标自动跟踪方法 |
CN104134222A (zh) * | 2014-07-09 | 2014-11-05 | 郑州大学 | 基于多特征融合的车流监控图像检测和跟踪系统及方法 |
CN106560861A (zh) * | 2015-09-30 | 2017-04-12 | 徐贵力 | 基于计算机视觉的智能监管方法 |
CN105574895A (zh) * | 2016-01-05 | 2016-05-11 | 浙江博天科技有限公司 | 一种在车辆动态行驶中的拥堵检测方法 |
CN106611165A (zh) * | 2016-12-26 | 2017-05-03 | 广东工业大学 | 一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置 |
CN106897735A (zh) * | 2017-01-19 | 2017-06-27 | 博康智能信息技术有限公司上海分公司 | 一种快速移动目标的跟踪方法及装置 |
Non-Patent Citations (1)
Title |
---|
潘振福: "多尺度估计的核相关滤波器目标跟踪方法", 《激光与光电子学进展》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108932509A (zh) * | 2018-08-16 | 2018-12-04 | 新智数字科技有限公司 | 一种基于视频跟踪的跨场景目标检索方法及装置 |
US11062150B2 (en) | 2018-12-29 | 2021-07-13 | Baidu Online Network Technology (Beijing) Co., Ltd. | Processing method and apparatus for vehicle scene sequence tracking, and vehicle |
CN109829935A (zh) * | 2018-12-29 | 2019-05-31 | 百度在线网络技术(北京)有限公司 | 车辆的场景序列跟踪处理方法、装置及车辆 |
CN109800696A (zh) * | 2019-01-09 | 2019-05-24 | 深圳中兴网信科技有限公司 | 目标车辆的监控方法、系统和计算机可读存储介质 |
CN109766841A (zh) * | 2019-01-10 | 2019-05-17 | 深圳大学 | 车辆检测方法、装置及计算机可读存储介质 |
CN109816702A (zh) * | 2019-01-18 | 2019-05-28 | 苏州矽典微智能科技有限公司 | 一种多目标跟踪装置和方法 |
CN110070566A (zh) * | 2019-04-29 | 2019-07-30 | 武汉睿智视讯科技有限公司 | 信息检测方法、装置、计算机设备及可读存储介质 |
CN110070566B (zh) * | 2019-04-29 | 2021-07-30 | 武汉睿智视讯科技有限公司 | 信息检测方法、装置、计算机设备及可读存储介质 |
CN111932901B (zh) * | 2019-05-13 | 2022-08-09 | 斑马智行网络(香港)有限公司 | 道路车辆跟踪检测设备、方法及存储介质 |
CN111932901A (zh) * | 2019-05-13 | 2020-11-13 | 阿里巴巴集团控股有限公司 | 道路车辆跟踪检测设备、方法及存储介质 |
CN110660090A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
US11538175B2 (en) | 2019-09-29 | 2022-12-27 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and apparatus for detecting subject, electronic device, and computer readable storage medium |
CN110660090B (zh) * | 2019-09-29 | 2022-10-25 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
CN111950368A (zh) * | 2020-07-09 | 2020-11-17 | 深圳神目信息技术有限公司 | 货运车辆监控方法、装置、电子设备和介质 |
CN111950368B (zh) * | 2020-07-09 | 2024-05-28 | 深圳神目信息技术有限公司 | 货运车辆监控方法、装置、电子设备和介质 |
CN112307936A (zh) * | 2020-10-28 | 2021-02-02 | 江苏云从曦和人工智能有限公司 | 基于头肩检测的客流量分析方法、系统及装置 |
CN113743262A (zh) * | 2021-08-23 | 2021-12-03 | 浙江大华技术股份有限公司 | 目标区域车辆跟踪方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108229475B (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229475A (zh) | 车辆跟踪方法、系统、计算机设备及可读存储介质 | |
US11763485B1 (en) | Deep learning based robot target recognition and motion detection method, storage medium and apparatus | |
CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
Lai et al. | Vehicle type classification from visual-based dimension estimation | |
JP4426436B2 (ja) | 車両検知装置 | |
CN109636771B (zh) | 基于图像处理的飞行目标检测方法及系统 | |
CN108875600A (zh) | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 | |
CN108648211B (zh) | 一种基于深度学习的小目标检测方法、装置、设备和介质 | |
TWI709085B (zh) | 用於對車輛損傷影像進行損傷分割的方法、裝置、電腦可讀儲存媒體和計算設備 | |
CN108416902A (zh) | 基于差异识别的实时物体识别方法和装置 | |
CN109934847A (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
CN110276264A (zh) | 一种基于前景分割图的人群密度估计方法 | |
CN111837158A (zh) | 图像处理方法、装置、拍摄装置和可移动平台 | |
CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
CN108257125B (zh) | 一种基于自然场景统计的深度图像质量无参考评价方法 | |
CN110378254B (zh) | 车损图像修改痕迹的识别方法、系统、电子设备及存储介质 | |
CN107016348A (zh) | 结合深度信息的人脸检测方法、检测装置和电子装置 | |
CN111178170B (zh) | 一种手势识别方法和一种电子设备 | |
CN105718931A (zh) | 用于确定采集图像中的杂斑的系统和方法 | |
CN113744316A (zh) | 一种基于深度神经网络的多目标跟踪方法 | |
CN105354816B (zh) | 一种电子元件定位方法及装置 | |
CN114170565A (zh) | 一种基于无人机航拍的图像对比方法、装置及终端设备 | |
CN110288040A (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
CN112233161B (zh) | 手部图像深度确定方法、装置、电子设备及存储介质 | |
CN112115737B (zh) | 一种车辆朝向的确定方法、装置及车载终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |