CN113487650B - 一种道路拥堵检测方法、装置及检测设备 - Google Patents

一种道路拥堵检测方法、装置及检测设备 Download PDF

Info

Publication number
CN113487650B
CN113487650B CN202110634407.XA CN202110634407A CN113487650B CN 113487650 B CN113487650 B CN 113487650B CN 202110634407 A CN202110634407 A CN 202110634407A CN 113487650 B CN113487650 B CN 113487650B
Authority
CN
China
Prior art keywords
targets
frame
image
frame image
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110634407.XA
Other languages
English (en)
Other versions
CN113487650A (zh
Inventor
贺伟
李森
张尉
马坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Shanghai ICT Co Ltd, CM Intelligent Mobility Network Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110634407.XA priority Critical patent/CN113487650B/zh
Publication of CN113487650A publication Critical patent/CN113487650A/zh
Application granted granted Critical
Publication of CN113487650B publication Critical patent/CN113487650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种道路拥堵检测方法、装置及检测设备,属于图像处理技术领域,所述道路拥堵检测方法包括:从道路视频中提取若干帧图像,检测每一帧图像中的目标,得到目标检测结果;获取所述若干帧图像的前N帧图像中各目标的目标跟踪结果,其中,所述目标跟踪结果包括跟踪框和跟踪链,N为正整数;根据所述前N帧图像中各目标的跟踪链的长度以及目标的数量,对第N帧图像对应的时刻起的预设时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果。本发明实施例中,通过对前N帧图像中各目标的目标跟踪结果进行分析处理,可以实现对未来一定时间段内的道路拥堵情况作出有效的预判断。

Description

一种道路拥堵检测方法、装置及检测设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种道路拥堵检测方法、装置及检测设备。
背景技术
近年来,随着城市化发展进程的不断推进,汽车保有量不断增长,给交通带来便利的同时,也使交通拥堵、交通事故等问题日益突出。其中,交通拥堵问题不仅仅会影响人们的出行效率,甚至会导致严重的交通事故,危害人民的出行安全。因此,对已经发生或未来时刻即将发生的交通状态进行准确的预测和评估,既可以让出行者对交通状况有所了解而规划好自己的路线,对交通管理部门而言也可以提前制定相应的管控措施减少交通拥堵所带来的影响。
然而,目前的拥堵判别只对当前的道路拥堵情况进行分析,无法对道路未来一段时间内的交通拥堵情况作出有效的预测。
发明内容
有鉴于此,本发明提供一种道路拥堵检测方法、装置及检测设备,用于解决目前道路的拥堵检测中无法对道路未来一段时间内的交通拥堵情况作出有效的预测的问题。
为解决上述技术问题,第一方面,本发明提供一种道路拥堵检测方法,包括:
从道路视频中提取若干帧图像,检测每一帧图像中的目标,得到目标检测结果;
获取所述若干帧图像的前N帧图像中各目标的目标跟踪结果,其中,所述目标跟踪结果包括跟踪框和跟踪链,N为正整数;
根据所述前N帧图像中各目标的跟踪链的长度以及目标的数量,对第N帧图像对应的时刻起的预设时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果。
可选的,所述根据所述前N帧图像中每一帧图像中各目标的跟踪链的长度以及各目标的数量,对第N帧图像对应的时刻起的预设时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果包括:
计算所述前N帧图像中所有跟踪链的长度平均值以及所述前N帧图像中目标的数量平均值;
将所述前N帧图像中最新生成的跟踪链的长度与所述长度平均值进行比较,并将所述第N帧图像中检测到的目标的数量与所述数量平均值进行比较,得到第一比较结果;
根据所述第一比较结果,得到道路的拥堵预判断结果。
可选的,所述根据所述第一比较结果,得到道路的拥堵预判断结果包括:
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值大于第一阈值,则确定道路的拥堵预判断结果为发生拥堵;
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值大于第二阈值,则确定道路的拥堵预判断结果为发生拥堵;
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值小于第二阈值,则确定道路的拥堵预判断结果为不发生拥堵;
若所述第N帧图像中检测到的目标的数量小于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵;
若所述前N帧图像中最新生成的跟踪链的长度小于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵。
可选的,所述方法还包括:
根据所述第N帧图像的下一帧图像中检测到的目标的数量以及所述拥堵预判断结果,自所述第N帧图像的下一帧图像起,为检测到的新的目标分配跟踪器;
利用所述跟踪器,得到所述第N帧图像之后的下一帧图像的目标跟踪结果;
将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配,根据匹配结果计算交通参数;
根据所述交通参数,确定所述第N帧图像的下一帧图像中的道路的拥堵状态。
可选的,所述根据所述第N帧图像的下一帧图像中检测到的目标的数量以及所述拥堵预判断结果,自所述第N帧图像的下一帧图像起,为检测到的新的目标分配跟踪器包括:
若所述第N帧图像的下一帧图像中检测到的目标的数量小于第三阈值,则为检测到的新的目标分配第一跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为发生拥堵,则为检测到的新的目标分配第二跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为不发生拥堵,则为检测到的新的目标分配第一跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第四阈值,为检测到的新的目标分配第三跟踪器;
其中,所述第三阈值小于所述第四阈值。
可选的,所述目标检测结果包括检测框,所述第N帧图像之后的下一帧图像的目标跟踪结果包括跟踪框,所述将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配包括:
采用预设算法,根据所述检测框和所述跟踪框之间的位置的偏差值对所述检测框和所述跟踪框进行匹配,生成匹配结果。
可选的,所述将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配之后,还包括:
根据所述匹配结果,对所述第N帧图像之后的下一帧图像检测到的目标的数量以及目标的跟踪器和跟踪链进行更新。
可选的,所述跟踪链包括目标的预测位置信息,所述跟踪器包括跟踪算法,所述根据所述匹配结果,对所述第N帧图像之后的下一帧图像检测到的目标的数量以及目标的跟踪器和跟踪链进行更新包括:
针对未匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,则对所述第N帧图像之后的下一帧图像检测到的目标的数量进行更新;
针对未匹配上的跟踪框,若在已有的跟踪链中不存在相匹配的跟踪链,且在连续若干帧图像中匹配不到目标,则删除该跟踪框对应的跟踪器;
针对未匹配上的检测框,若在连续若干帧图像中检测到相对应的目标,则为该检测框对应的目标分配跟踪器,并在目标满足跟踪链生成条件的情况下生成对应的跟踪链;
针对已匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,根据检测框以及相应的跟踪链中的预测位置信息对跟踪器的跟踪算法进行修正。
可选的,所述交通参数包括目标的平均速度和静态目标占比,所述静态目标占比等于所述第N帧图像的下一帧图像中处于静态的目标的数量除以目标的总数量,所述根据所述交通参数,确定所述第N帧图像的下一帧图像中的道路的拥堵状态包括:
将所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值进行比较,并将目标的平均速度与预设速度阈值进行比较,以及将静态目标占比与预设占比阈值进行比较,得到第二比较结果;
根据所述第二比较结果,得到道路的拥堵状态。
可选的,所述根据所述第二比较结果,得到道路的拥堵状态包括:
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第一预设条件,则确定道路处于非拥堵状态;
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比小于第一占比阈值,则确定道路处于非拥堵状态;
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比大于或等于第一占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比小于第二占比阈值,判定道路处于非拥堵状态,
若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比大于等于第二占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第二预设条件,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比大于或等于第三占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比小于第三占比阈值,则确定道路处于非拥堵状态。
可选的,所述检测每一帧图像中的目标之前,所述方法还包括:
从道路视频中间隔抽取若干帧图像;
将抽取的若干帧图像中检测到的目标的数量小于背景提取阈值的图像进行保存,得到背景图像集合;
对于所述背景图像集合中的任意两帧图像,以其中一帧图像作为背景图像对另一帧图像的目标所在区域进行填补,直至得到一张不包含目标的背景图像;
将所述背景图像作为负样本对初始检测网络模型进行训练,得到目标检测网络模型,所述目标检测网络模型用于对图像中的目标进行检测。
第二方面,本发明还提供一种道路拥堵检测装置,包括:
检测模块,用于从道路视频中提取若干帧图像,检测每一帧图像中的目标,得到目标检测结果;
获取模块,用于获取所述若干帧图像的前N帧图像中各目标的目标跟踪结果,其中,所述目标跟踪结果包括跟踪框和跟踪链,N为正整数;
预判断模块,用于根据所述前N帧图像中各目标的跟踪链的长度以及目标的数量,对第N帧图像对应的时刻起的预设时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果。
可选的,所述预判断模块包括:
计算单元,用于计算所述前N帧图像中所有跟踪链的长度平均值以及所述前N帧图像中目标的数量平均值;
第一比较单元,用于将所述前N帧图像中最新生成的跟踪链的长度与所述长度平均值进行比较,并将所述第N帧图像中检测到的目标的数量与所述数量平均值进行比较,得到第一比较结果;
预判断单元,用于根据所述第一比较结果,得到道路的拥堵预判断结果。
可选的,所述预判断单元包括:
第一预判断子单元,用于若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值大于第一阈值,则确定道路的拥堵预判断结果为发生拥堵;
第二预判断子单元,用于若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值大于第二阈值,则确定道路的拥堵预判断结果为发生拥堵;
第三预判断子单元,用于若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值小于第二阈值,则确定道路的拥堵预判断结果为不发生拥堵;
第四预判断子单元,用于若所述第N帧图像中检测到的目标的数量小于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵;
第五预判断子单元,用于若所述前N帧图像中最新生成的跟踪链的长度小于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵。
可选的,所述装置还包括:
分配模块,用于根据所述第N帧图像的下一帧图像中检测到的目标的数量以及所述拥堵预判断结果,自所述第N帧图像的下一帧图像起,为检测到的新的目标分配跟踪器;
跟踪模块,用于利用所述跟踪器,得到所述第N帧图像之后的下一帧图像的目标跟踪结果;
匹配模块,用于将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配,根据匹配结果计算交通参数;
确定模块,用于根据所述交通参数,确定所述第N帧图像的下一帧图像中的道路的拥堵状态。
可选的,所述分配模块包括:
第一分配单元,用于若所述第N帧图像的下一帧图像中检测到的目标的数量小于第三阈值,则为检测到的新的目标分配第一跟踪器;
第二分配单元,用于若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为发生拥堵,则为检测到的新的目标分配第二跟踪器;
第三分配单元,用于若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为不发生拥堵,则为检测到的新的目标分配第一跟踪器;
第四分配单元,用于若所述第N帧图像的下一帧图像中检测到的目标的数量大于第四阈值,为检测到的新的目标分配第三跟踪器;
其中,所述第三阈值小于所述第四阈值。
可选的,所述目标检测结果包括检测框,所述匹配模块包括:
匹配单元,用于采用预设算法,根据所述检测框和所述跟踪框之间的位置的偏差值对所述检测框和所述跟踪框进行匹配,生成匹配结果。
可选的,所述装置还包括:
更新模块,用于根据所述匹配结果,对所述第N帧图像之后的下一帧图像检测到的目标的数量以及目标的跟踪器和跟踪链进行更新。
可选的,所述跟踪链包括目标的预测位置信息,所述跟踪器包括跟踪算法,所述更新模块包括:
第一更新单元,用于针对未匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,则对所述第N帧图像之后的下一帧图像检测到的目标的数量进行更新;
第二更新单元,用于针对未匹配上的跟踪框,若在已有的跟踪链中不存在相匹配的跟踪链,且在连续若干帧图像中匹配不到目标,则删除该跟踪框对应的跟踪器;
第三更新单元,用于针对未匹配上的检测框,若在连续若干帧图像中检测到相对应的目标,则为该检测框对应的目标分配跟踪器,并在目标满足跟踪链生成条件的情况下生成对应的跟踪链;
第四更新单元,用于针对已匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,根据检测框以及相应的跟踪链中的预测位置信息对跟踪器的跟踪算法进行修正。
可选的,所述交通参数包括目标的平均速度和静态目标占比,所述静态目标占比等于所述第N帧图像的下一帧图像中处于静态的目标的数量除以目标的总数量,所述确定模块包括:
第二比较单元,用于将所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值进行比较,并将目标的平均速度与预设速度阈值进行比较,以及将静态目标占比与预设占比阈值进行比较,得到第二比较结果;
确定单元,用于根据所述第二比较结果,得到道路的拥堵状态。
可选的,所述确定单元包括:
第一确定子单元,用于若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第一预设条件,则确定道路处于非拥堵状态;
第二确定子单元,用于若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比小于第一占比阈值,则确定道路处于非拥堵状态;
第三确定子单元,用于若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比大于或等于第一占比阈值,则确定道路处于拥堵状态;
第四确定子单元,用于若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比小于第二占比阈值,判定道路处于非拥堵状态,
第五确定子单元,用于若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比大于等于第二占比阈值,则确定道路处于拥堵状态;
第六确定子单元,用于若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第二预设条件,则确定道路处于拥堵状态;
第七确定子单元,用于若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比大于或等于第三占比阈值,则确定道路处于拥堵状态;
第八确定子单元,用于若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比小于第三占比阈值,则确定道路处于非拥堵状态。
可选的,所述装置还包括:
抽取模块,用于从道路视频中间隔抽取若干帧图像;
保存模块,用于将抽取的若干帧图像中检测到的目标的数量小于背景提取阈值的图像进行保存,得到背景图像集合;
填补模块,用于对于所述背景图像集合中的任意两帧图像,以其中一帧图像作为背景图像对另一帧图像的目标所在区域进行填补,直至得到一张不包含目标的背景图像;
训练模块,用于将所述背景图像作为负样本对初始检测网络模型进行训练,得到目标检测网络模型,所述目标检测网络模型用于对图像中的目标进行检测。
第三方面,本发明还提供一种检测设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述处理器执行所述计算机程序时实现上述任一种道路拥堵检测方法。
第四方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任一种道路拥堵检测方法中的步骤。
本发明的上述技术方案的有益效果如下:
本发明实施例中,通过对前N帧图像中各目标的目标跟踪结果进行分析处理,可以实现对未来一定时间段内的道路拥堵情况作出有效的预判断。
附图说明
图1为本发明实施例一中的一种道路拥堵检测方法的流程示意图;
图2为本发明实施例二中的一种道路拥堵检测装置的结构示意图;
图3为本发明实施例三中的一种检测设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,图1为本发明实施例一提供的一种道路拥堵检测方法的流程示意图,该方法包括以下步骤:
步骤11:从道路视频中提取若干帧图像,检测每一帧图像中的目标,得到目标检测结果。
本发明实施例中,道路视频中拍摄了有限距离的道路场景,通常而言,摄像道路视频的摄像头保持位置不变,以固定的角度拍摄道路。通过对道路视频进行解析,从目标道路视频中提取出帧级别的道路图像,然后检测每一帧图像中的目标,得到目标检测结果。其中,所述目标在本发明实施例中具体可以是车辆、人等,得到的目标检测结果包括目标的类型、目标检测框的位置坐标等等。
步骤12:获取所述若干帧图像的前N帧图像中各目标的目标跟踪结果,其中,所述目标跟踪结果包括跟踪框和跟踪链,N为正整数。
本步骤中,可以采用跟踪算法对所述若干帧图像的前N帧图像中的每一帧图像中的目标进行跟踪,从而得到目标跟踪结果,得到的目标跟踪结果中,包括跟踪框和跟踪链,跟踪链中包含对目标的预测位置信息。此处采用的跟踪器不做具体限定,可以采用KCF(Kernerlized Correlation Filter,高斯核相关跟踪滤波器)跟踪器,也可以采用卡尔曼滤波器,或者MOSSE (Minimum Output Sum of Squared Error filter,最小输出平方和误差滤波器)跟踪器。
步骤13:根据所述前N帧图像中各目标的跟踪链的长度以及目标的数量,对第N帧图像对应的时刻起的预设时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果。
本发明实施例中,由于所述目标跟踪结果中的目标的数量即表征了道路上的目标的数量,而跟踪链长度可以反映道路上的目标的移动速度等,因此,在得到所述若干帧图像的前N帧图像中各目标的目标跟踪结果之后,可以通过对其进行分析处理,实现对未来一段时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果。
由此,本发明实施例中,通过对前N帧图像中各目标的目标跟踪结果进行分析处理,可以实现对未来一定时间段内的道路拥堵情况作出有效的预判断,既可以让出行者对未来一定时间段内的交通状况有所了解而规划好自己的路线,对交通管理部门而言也可以提前制定相应的管控措施减少交通拥堵所带来的影响。
本发明的一些实施例中,可选的,所述根据所述前N帧图像中每一帧图像中各目标的跟踪链的长度以及各目标的数量,对第N帧图像对应的时刻起的预设时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果包括:
计算所述前N帧图像中所有跟踪链的长度平均值以及所述前N帧图像中目标的数量平均值;
将所述前N帧图像中最新生成的跟踪链的长度与所述长度平均值进行比较,并将所述第N帧图像中检测到的目标的数量与所述数量平均值进行比较,得到第一比较结果;
根据所述第一比较结果,得到道路的拥堵预判断结果。
也就是说,通过所述前N帧图像中所有跟踪链的长度平均值来表征道路中的目标在一段时间内的移动速度,而用所述前N帧图像中目标的数量平均值来表征道路中的目标在一段时间内的平均数量,再将其分别与第N帧图像中最新生成的跟踪链的长度(相当于此时的目标的移动速度)以及所述第N帧图像中检测到的目标的数量(相当于此时的目标的数量)进行比较,继而根据比较结果预测出后续道路中目标的移动速度和数量等信息,从而得到道路的拥堵预判断结果。
在一些实施例中,可选的,所述根据所述第一比较结果,得到道路的拥堵预判断结果包括:
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值大于第一阈值,则确定道路的拥堵预判断结果为发生拥堵;
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值大于第二阈值,则确定道路的拥堵预判断结果为发生拥堵;
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值小于第二阈值,则确定道路的拥堵预判断结果为不发生拥堵;
若所述第N帧图像中检测到的目标的数量小于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵;
若所述前N帧图像中最新生成的跟踪链的长度小于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵。
示例性的,可以对前N帧图像中生成的跟踪链的长度进行统计,计算其长度平均值并记为,将所述第N帧图像中最新生成的跟踪链长度与长度平均值作差比较:
再对前N帧图像中检测到的目标的数量进行统计,计算其数量平均值并记为,将所述第N帧图像中检测到的目标的数量与数量平均值进行比较:
则:若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值大于第一阈值,即此时相对较小,则认为此时如果还没有拥堵,则后续发生拥堵的可能性很大,需要从现在开始对目标的流量进行控制,也即确定道路的拥堵预判断结果为发生拥堵。
而若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值(也即)大于第二阈值,说明相对较大,即目标的增长幅度较大,未来一段时间内有可能发生拥堵,需要关注一下,也即确定道路的拥堵预判断结果为发生拥堵。
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值(也即)小于第二阈值,说明相对较小,即目标的增长幅度较小,未来较长一段时间内都不会发生拥堵,也即确定道路的拥堵预判断结果为不发生拥堵。
若所述第N帧图像中检测到的目标的数量小于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,则认为虽然目标的速度在下降,但目标的数量也在慢慢减少,也就是说,若道路已经拥堵,则后续会从全局拥堵向局部拥堵转变,若道路未拥堵,则后续一段时间也不会发生拥堵,也即确定道路的拥堵预判断结果为不发生拥堵。
若所述前N帧图像中最新生成的跟踪链的长度小于所述长度平均值,则说明目标的速度开始提升,若道路已经处于拥堵,则后续会慢慢解除,若道路畅通,则后续一段时间内也不会发生拥堵,也即确定道路的拥堵预判断结果为不发生拥堵。
由此,本发明实施例通过根据一段时间内的道路图像中的目标的数目和捕捉到的跟踪链的长度信息来对道路后续的拥堵情形进行预判断,可以高效、准确地预测未来一段时间内道路的拥堵情况。并且,在完成道路的拥堵预判断之后,相当于预测了未来时间内的目标的移动速度和数量,因此可以为后续的图像中的目标分配跟踪器时提供参考,以为目标选择更为贴合实际道路情形的跟踪器,从而提高跟踪算法的准确度,继而提高目标的跟踪准确度,降低跟踪算法的资源占用。
本发明的另一些实施例中,可选的,所述方法还包括:
根据所述第N帧图像的下一帧图像中检测到的目标的数量以及所述拥堵预判断结果,自所述第N帧图像的下一帧图像起,为检测到的新的目标分配跟踪器;
利用所述跟踪器,得到所述第N帧图像之后的下一帧图像的目标跟踪结果;
将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配,根据匹配结果计算交通参数;
根据所述交通参数,确定所述第N帧图像的下一帧图像中的道路的拥堵状态。
也就是说,在完成道路的拥堵预判断之后,相当于预测了未来时间内的目标的移动速度和数量,因此本发明实施例中,还进一步以此为后续的图像中的目标分配跟踪器时提供参考,为所述第N帧图像之后新检测到的目标选择更为贴合实际道路情形的跟踪器;之后,利用分配的跟踪器继续获取所述第N帧图像之后的下一帧图像的目标跟踪结果,然后利用匹配算法将所述第N帧图像之后的下一帧图像的目标跟踪结果和目标检测结果进行匹配,利用匹配关系算出道路的相关交通参数,从而根据这些交通参数,确定出所述第N帧图像的下一帧图像中的道路的拥堵状态。
其中,所述利用所述跟踪器,得到所述第N帧图像之后的下一帧图像的目标跟踪结果的步骤中,可以利用所述跟踪器生成并更新目标的跟踪链,从而得到目标跟踪结果。生成跟踪链时,可以先获取目标的位置,然后根据目标的位置判断是否为其生成跟踪链,例如,当目标位于目标帧图像中的有效区域内时,为其生成跟踪链,而未进入有效区域内时,则可以不为其生成跟踪链。
示例性的,假设图像的大小为M×N,对前述图像集合中所有的目标框取平均值,得到目标框的平均尺寸,为每一帧图像设定有效区域,则图像中的有效区域的位置的上限和下限为:
对目标帧图像中检测到的任意目标框,可以令目标框为,则如果目标框满足:
或者,目标框满足:
则认为目标框位于有效区域的边界附近,是刚进入图像有效区域的目标,可以对其生成跟踪链。保存目标框在以后每一帧中修正之后的跟踪框的中心位置坐标,直到目标离开图像的有效区域为止,由此生成该目标的集合,该集合反映了目标的移动轨迹。如果中途有丢失,则丢弃
在交通规则的约束下,对一个固定场景而言,最终所能获取的两两相异的跟踪链的数量是有限的,因此可以将这些相异的跟踪链保存下来,维持一个跟踪链集合,该跟踪链集合包含了所有处于跟踪状态下的目标的跟踪链。
对于新生成的跟踪链,首先,在跟踪链集合中寻找是否有和该新生成的跟踪链的初始位置相近的跟踪链(具体可以根据目标的大小设置邻域半径,落在邻域半径内即认为是同一位置),如果没有,则将该新生成的跟踪链插入到中;如果有,则对该新生成的跟踪链的集合采用霍夫变换进行曲线拟合,得到的曲线参数,将的曲线参数与和前述步骤中得到的中的跟踪链参数进行比较,如果存在形状和大小都相近的曲线,则考虑是否用当前的全程帧数n对中相似的跟踪链的时间长度参数(以帧数进行衡量)中的最大时间和最小时间进行更新,然后丢弃当前的;否则,将该新生成的跟踪链的集合插入到中。
在一些实施例中,可选的,所述根据所述第N帧图像的下一帧图像中检测到的目标的数量以及所述拥堵预判断结果,自所述第N帧图像的下一帧图像起,为检测到的新的目标分配跟踪器包括:
若所述第N帧图像的下一帧图像中检测到的目标的数量小于第三阈值,则为检测到的新的目标分配第一跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为发生拥堵,则为检测到的新的目标分配第二跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为不发生拥堵,则为检测到的新的目标分配第一跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第四阈值,为检测到的新的目标分配第三跟踪器;
其中,所述第三阈值小于所述第四阈值。
示例性的,假设所述第N帧图像的下一帧图像中检测到的目标的数量为,而前N帧图像中检测到的最大目标数量(针对单帧图像中目标而言)为,可以据此设置第三阈值和第四阈值,则:
第三阈值
第四阈值
其中,第三阈值和第四阈值的大小可以根据实际情况进行调整,也即第三阈值和第四阈值占最大目标数量的比值可以根据实际情况进行调整,1/3和4/7为示例性的占比值。
若所述第N帧图像的下一帧图像中检测到的目标的数量小于第三阈值,则认为此时道路上目标很少,道路畅通,一方面,目标的移动速度相对较快,即连续两帧之间车辆的位移可能较大,另一方面,与目标较多的情况下目标的运动被限制时相比,目标的速度有可能发生变化,因此,为检测到的目标分配KCF跟踪器。
若所述第N帧图像的下一帧图像中检测到的目标的数量位于第三阈值和第四阈值之间,并且所述拥堵预判断结果为发生拥堵,则为目标分配卡尔曼滤波器;
若所述第N帧图像的下一帧图像中检测到的目标的数量位于第三阈值和第四阈值之间,且所述拥堵预判断结果为不发生拥堵,则为检测到的新的目标分配KCF跟踪器。
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第四阈值,则认为此时道路上目标比较多,道路拥挤,目标的行动比较受限制,即连续两帧之间车辆的位移通常比较小,此时,可以为目标分配MOSSE跟踪器。
在该实施例中,所述第一跟踪器即KCF跟踪器,所述第二跟踪器即卡尔曼滤波器,所述第三跟踪器即为MOSSE跟踪器。当然,所述第一跟踪器、所述第二跟踪器以及所述第三跟踪器还可以根据上述判断情况选择其他类型的合适的跟踪器。
由此,本发明实施例根据预判断结果和所述第N帧图像的下一帧图像的目标的数量来决定为新增加的目标分配相应类型的跟踪器,可以为不同状态下的目标匹配不同跟踪算法,实现对目标更有效率的跟踪。
在本发明的另一些实施例中,可选的,所述目标检测结果包括检测框,所述第N帧图像之后的下一帧图像的目标跟踪结果包括跟踪框,所述将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配包括:
采用预设算法,根据所述检测框和所述跟踪框之间的位置的偏差值对所述检测框和所述跟踪框进行匹配,生成匹配结果。
也就是说,对于目标的检测框与跟踪框之间的匹配,可以直接采用预设算法进行匹配,即依据检测框与跟踪框之间的偏差值进行就近匹配。示例性的,所述预设算法可以是贪心算法,贪心算法是指在对问题求解时,总是做出在当前看来是最好的选择,也就是说,不从整体最优上加以考虑,算法得到的是在某种意义上的局部最优解,由此相对于现有技术而言,本发明实施例通过采用贪心算法,可以有效降低匹配的计算量,并且提高了分配到最优的可能性,即降低误匹配的概率。
示例性的,令跟踪框的中心点坐标为,检测框的中心点坐标为,则根据以下公式计算两者之间的距离:
M个跟踪框与N个检测框生成一个M×N大小的距离矩阵,继而得到匹配结果。
在一些实施例中,可选的,所述将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配之后,还包括:
根据所述匹配结果,对所述第N帧图像之后的下一帧图像检测到的目标的数量以及目标的跟踪器和跟踪链进行更新。
也就是说,在对检测框和跟踪框进行了初步匹配之后,还会进一步根据匹配的结果,对所述第N帧图像之后的下一帧图像检测到的目标的数量、目标的跟踪器和跟踪链进行更新,确保检测到的目标的数量的准确,并实现更为准确的目标跟踪。
在本发明的一些实施例中,可选的,所述跟踪链包括目标的预测位置信息,所述跟踪器包括跟踪算法,所述根据所述匹配结果,对所述第N帧图像之后的下一帧图像检测到的目标的数量以及目标的跟踪器和跟踪链进行更新包括:
针对未匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,则对所述第N帧图像之后的下一帧图像检测到的目标的数量进行更新;
针对未匹配上的跟踪框,若在已有的跟踪链中不存在相匹配的跟踪链,且在连续若干帧图像中匹配不到目标,则删除该跟踪框对应的跟踪器;
针对未匹配上的检测框,若在连续若干帧图像中检测到相对应的目标,则为该检测框对应的目标分配跟踪器,并在目标满足跟踪链生成条件的情况下生成对应的跟踪链;
针对已匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,根据检测框以及相应的跟踪链中的预测位置信息对跟踪器的跟踪算法进行修正。
具体来说,在进行上述匹配过程得到匹配结果之后,对于没有匹配上的跟踪框,可以检查其跟踪链,如果在中存在相匹配的跟踪链(例如对应曲线的形状大小相近),则认为是在目标检测时出现了漏检,则对所述第N帧图像之后的下一帧图像中检测到的目标数目进行更新;如果在中不存在相匹配的跟踪链,则令该跟踪框进入待定状态,若连续若干帧图像(例如连续三帧图像)中均匹配不到相应的检测目标,则删除该跟踪框对应的跟踪器。
对于没有匹配上的检测框,可以为其设置一个计数器,若连续若干帧图像(例如连续三帧图像)中检测到目标,则为该检测框对应的目标分配一个跟踪器,并在该目标满足跟踪链生成条件的情况下(例如目标的位置位于有效区域内)生成相应的跟踪链,以跟踪该目标的位置。
对于已经匹配上的跟踪框,可以检查其跟踪链,如果在中存在相匹配的跟踪链(例如对应曲线的形状大小相近),则根据检测框以及相应目标的跟踪链的目标预测位置信息对相应跟踪器的跟踪算法进行修正,以在跟踪过程中不断修正跟踪算法,提高跟踪的准确度。
本发明的另一些实施例中,可选的,所述交通参数包括目标的平均速度和静态目标占比,所述静态目标占比等于所述第N帧图像的下一帧图像中处于静态的目标的数量除以目标的总数量,所述根据所述交通参数,确定所述第N帧图像的下一帧图像中的道路的拥堵状态包括:
将所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值进行比较,并将目标的平均速度与预设速度阈值进行比较,以及将静态目标占比与预设占比阈值进行比较,得到第二比较结果;
根据所述第二比较结果,得到道路的拥堵状态。
也就是说,通过所述前N帧图像中检测到的目标的最大值来表征道路中一段时间内的目标的最大数量,再将其与所述第N帧图像的下一帧图像中检测到的目标的数量(相当于此时的目标的数量)进行比较,并将目标的平均速度与预设速度阈值进行比较,以及将静态目标占比与预设占比阈值进行比较,以衡量此时道路上的目标的速度快慢、道路上停止的目标的数量的多少,继而根据比较结果分析出道路的拥堵状态。
示例性的,在计算目标的平均速度时,对于成功匹配的跟踪框,可以计算前后帧图像中跟踪框的中心点的位移量,考虑到不同位置的目标像素值对应的实际距离值存在差异,可以将位移量处于跟踪框的宽度来近似实际情况。
设区分目标是静态目标还是动态目标的临界速度阈值为,当目标的速度小于时,认为该目标为静态目标,则处于静态的目标的数量加一,当目标的速度大于时,认为该目标为动态目标,可以参与到目标帧的平均速度的计算。
令目标的像素高度为,目标帧图像的宽度为N,参与目标的平均速度计算的目标速度集合为,一共有K个目标的速度,则目标的平均速度采用以下公式计算:
其中,为目标的速度,为目标的像素高度,为目标的宽度。由此,得到目标的平均速度。而至于所述静态目标占比,则由上述步骤可以得到目标帧图像中处于静态的目标的数量,而目标帧图像中的目标的数量也可统计得到,由此可以计算得到所述静态目标占比
在一些实施例中,可选的,所述根据所述第二比较结果,得到道路的拥堵状态包括:
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第一预设条件,则确定道路处于非拥堵状态;
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比小于第一占比阈值,则确定道路处于非拥堵状态;
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比大于或等于第一占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比小于第二占比阈值,判定道路处于非拥堵状态,
若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比大于等于第二占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第二预设条件,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比大于或等于第三占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比小于第三占比阈值,则确定道路处于非拥堵状态。
下面示例性地介绍上述根据所述第二比较结果,得到道路的拥堵状态的过程。
首先,在目标的平均速度大于第一速度阈值的情况下,若所述第N帧图像的下一帧图像中检测到的目标的数量小于所述前N帧图像中检测到的目标的最大值的35%(即),可以认为所述第N帧图像的下一帧图像中的目标的数量处于可控范围内,此时无论静态目标占比为多少,都判定道路没有出现拥堵,即道路处于非拥堵状态。
而在目标的平均速度大于第一速度阈值的情况下,若所述第N帧图像的下一帧图像中检测到的目标的数量不小于(即大于或等于)所述前N帧图像中检测到的目标的最大值的35%(即),并且所述静态目标占比低于第一占比阈值(假设为0.4),则判定道路为没有拥堵(此时静态目标可以解释为靠边停车的数量),即道路处于非拥堵状态。
而在目标的平均速度大于第一速度阈值的情况下,若所述第N帧图像的下一帧图像中检测到的目标的数量不小于(即大于或等于)所述前N帧图像中检测到的目标的最大值的35%(即),并且所述静态目标占比达到或超过第一占比阈值(假设为0.4),则认为道路必然存在局部拥堵的情况,即道路处于拥堵状态。
其次,在目标的平均速度小于第一速度阈值且大于第二速度阈值的情况下,若静态目标占比低于第二占比阈值(假设为0.25),则为道路没有拥堵(此时静态目标可以解释为靠边停车的数量),即道路处于非拥堵状态。
而在目标的平均速度小于第一速度阈值且大于第二速度阈值的情况下,若静态目标占比达到或超过第二占比阈值(假设为0.25),则认为必然存在局部拥堵的情况,即道路处于拥堵状态。
最后,在目标的平均速度小于第二速度阈值的情况下,只要所述第N帧图像的下一帧图像中检测到的目标的数量大于或等于所述前N帧图像中检测到的目标的最大值的10%(即),就认为道路拥堵,即道路处于拥堵状态
而在目标的平均速度小于第二速度阈值的情况下,若所述第N帧图像的下一帧图像中检测到的目标的数量小于所述前N帧图像中检测到的目标的最大值的10%(即),并且静态目标占比高于第三占比阈值(假设为0.5),则认为存在局部拥堵,即道路处于拥堵状态。
而在目标的平均速度小于第二速度阈值的情况下,若所述第N帧图像的下一帧图像中检测到的目标的数量小于所述前N帧图像中检测到的目标的最大值的10%(即),并且静态目标占比低于第三占比阈值(假设为0.5),则认为道路通畅,即道路处于非拥堵状态。
以上举例说明了所述第一预设关系和第二预设关系,其中的第一速度阈值、第二速度阈值、第一占比阈值、第二占比阈值、第三占比阈值等可以根据实际道路情况进行调整,以得到符合实际道路的拥堵状态判断结果。
本发明实施例通过结合当前时间(即所述第N帧图像的下一帧图像中)的目标数目、静态目标占比以及目标的平均速度等交通参数对当前道路的拥堵状态做出判断,有效提高了道路拥堵状态判断结果的准确度。
在本发明的另一些实施例中,可选的,所述检测每一帧图像中的目标之前,所述方法还包括:
从道路视频中间隔抽取若干帧图像;
将抽取的若干帧图像中检测到的目标的数量小于背景提取阈值的图像进行保存,得到背景图像集合;
对于所述背景图像集合中的任意两帧图像,以其中一帧图像作为背景图像对另一帧图像的目标所在区域进行填补,直至得到一张不包含目标的背景图像;
将所述背景图像作为负样本对初始检测网络模型进行训练,得到目标检测网络模型,所述目标检测网络模型用于对图像中的目标进行检测。
也就是说,可以通过目标检测网络模型对图像中的目标进行检测,目标检测网络模型即通过对深度学习网络模型进行相应的训练,使其具备可以检测图像中的目标的能力。因此,在检测每一帧图像中的目标之前,还需要先完成对目标检测网络模型的训练与加载。
具体的,在为目标检测网络模型采集训练样本时,可以从所述道路视频中间隔抽取若干帧图像,然后检测抽取出的每一帧图像中的目标的数量,将图像中检测到的目标的数量与一个预设的背景提取阈值进行比较,如果抽取出的当前帧图像中检测到的目标的数量小于该背景提取阈值,则认为该帧图像中的目标数量较少而背景所占面积较大,可以将该帧图像保存到背景图像集合中。例如,可以设置一个背景提取计数器(计数器的初始值可以设置为道路视频的帧率乘以5秒),使计数器开启倒计数,如果计数器的计数值已经减少到0,则不再减少计数器的值,而是将图像中检测到的目标的数量与背景提取阈值进行比较,如果当前帧图像中检测到的目标的数量小于背景提取阈值,则将该帧图像保存至用于进行背景提取的图像集合中,并将计数器还原为初始值,如此往复。
对于初始保存至图像集合中的两帧图像而言,假设分别为图像A和图像B,可以对图像A和图像B进行灰度化处理,然后做差,根据道路交通的一般情况而言,5s左右的时间间隔通常不会产生大的光线变化,而道路空闲状态也是以时间段来衡量的,因此,图像A和图像B的差值图像除了前景区域外,其他的区域都应该趋近于零,其中,所述前景区域通常即指目标所占区域,如车辆所占区域。故,对每一个前景区域,分别在图像A和图像B中寻找相应的目标框,如果对于某一前景区域而言,在图像A中存在目标框,而在图像B中不存在目标框,则认为图像B中的该处区域为背景,反之,则图像A上的相应区域才是背景。因此,可以选择其中一帧图像作为基准图像,考虑到时间间隔越长的两帧图像的内容之间的差距越大,两帧图像之间的差值可能就越大,因此较优的,以最接近当前时间点的图像作为基准图像,这里以选择图像B为基准图像为例,采用图像A中的背景对图像B中相应的前景区域进行填补,得到一幅新的更少前景的图像。对于该新图像上已经被填补的前景,删除图像B中检测到的目标集合中对应的目标框,即得到新图像对应的目标序列,而可以删除已经处理过的两帧图像(即图像A和图像B)及其相关信息。
在有新的图像保存至所述图像集合时,重复上述步骤,直到填补之后得到的新图像中对应的目标序列为空,也即该帧图像中不包含前景(目标),至此,得到一张完整的背景图像。
通过以上过程,即得到不包含目标的背景图像作为目标检测网络模型的训练集,也即作为目标检测网络模型的负样本集,再结合其他样本对目标检测网络模型进行训练,可以得到用于检测图像中的目标的目标检测网络模型,本发明实施例通过以上方法得到的目标检测网络模型在对图像中的目标进行检测时可更加有效、准确。
综上所述,本发明实施例通过动态分配跟踪器,并更新跟踪链和跟踪算法,可以对目标进行更有效率的跟踪,结合当前帧图像和过去一段时间内的图像中的目标等信息进行拥堵判断和拥堵预判断,可以实现更加准确的道路拥堵判断和预测。
请参阅图2,图2是本发明实施例二提供的一种道路拥堵检测装置的结构示意图,该道路拥堵检测装置20包括:
检测模块21,用于从道路视频中提取若干帧图像,检测每一帧图像中的目标,得到目标检测结果;
获取模块22,用于获取所述若干帧图像的前N帧图像中各目标的目标跟踪结果,其中,所述目标跟踪结果包括跟踪框和跟踪链,N为正整数;
预判断模块23,用于根据所述前N帧图像中各目标的跟踪链的长度以及目标的数量,对第N帧图像对应的时刻起的预设时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果。
本发明实施例中,通过对前N帧图像中各目标的目标跟踪结果进行分析处理,可以实现对未来一定时间段内的道路拥堵情况作出有效的预判断。
可选的,所述预判断模块包括:
计算单元,用于计算所述前N帧图像中所有跟踪链的长度平均值以及所述前N帧图像中目标的数量平均值;
第一比较单元,用于将所述前N帧图像中最新生成的跟踪链的长度与所述长度平均值进行比较,并将所述第N帧图像中检测到的目标的数量与所述数量平均值进行比较,得到第一比较结果;
预判断单元,用于根据所述第一比较结果,得到道路的拥堵预判断结果。
可选的,所述预判断单元包括:
第一预判断子单元,用于若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值大于第一阈值,则确定道路的拥堵预判断结果为发生拥堵;
第二预判断子单元,用于若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值大于第二阈值,则确定道路的拥堵预判断结果为发生拥堵;
第三预判断子单元,用于若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值小于第二阈值,则确定道路的拥堵预判断结果为不发生拥堵;
第四预判断子单元,用于若所述第N帧图像中检测到的目标的数量小于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵;
第五预判断子单元,用于若所述前N帧图像中最新生成的跟踪链的长度小于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵。
可选的,所述装置还包括:
分配模块,用于根据所述第N帧图像的下一帧图像中检测到的目标的数量以及所述拥堵预判断结果,自所述第N帧图像的下一帧图像起,为检测到的新的目标分配跟踪器;
跟踪模块,用于利用所述跟踪器,得到所述第N帧图像之后的下一帧图像的目标跟踪结果;
匹配模块,用于将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配,根据匹配结果计算交通参数;
确定模块,用于根据所述交通参数,确定所述第N帧图像的下一帧图像中的道路的拥堵状态。
可选的,所述分配模块包括:
第一分配单元,用于若所述第N帧图像的下一帧图像中检测到的目标的数量小于第三阈值,则为检测到的新的目标分配第一跟踪器;
第二分配单元,用于若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为发生拥堵,则为检测到的新的目标分配第二跟踪器;
第三分配单元,用于若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为不发生拥堵,则为检测到的新的目标分配第一跟踪器;
第四分配单元,用于若所述第N帧图像的下一帧图像中检测到的目标的数量大于第四阈值,为检测到的新的目标分配第三跟踪器;
其中,所述第三阈值小于所述第四阈值。
可选的,所述目标检测结果包括检测框,所述匹配模块包括:
匹配单元,用于采用预设算法,根据所述检测框和所述跟踪框之间的位置的偏差值对所述检测框和所述跟踪框进行匹配,生成匹配结果。
可选的,所述装置还包括:
更新模块,用于根据所述匹配结果,对所述第N帧图像之后的下一帧图像检测到的目标的数量以及目标的跟踪器和跟踪链进行更新。
可选的,所述跟踪链包括目标的预测位置信息,所述跟踪器包括跟踪算法,所述更新模块包括:
第一更新单元,用于针对未匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,则对所述第N帧图像之后的下一帧图像检测到的目标的数量进行更新;
第二更新单元,用于针对未匹配上的跟踪框,若在已有的跟踪链中不存在相匹配的跟踪链,且在连续若干帧图像中匹配不到目标,则删除该跟踪框对应的跟踪器;
第三更新单元,用于针对未匹配上的检测框,若在连续若干帧图像中检测到相对应的目标,则为该检测框对应的目标分配跟踪器,并在目标满足跟踪链生成条件的情况下生成对应的跟踪链;
第四更新单元,用于针对已匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,根据检测框以及相应的跟踪链中的预测位置信息对跟踪器的跟踪算法进行修正。
可选的,所述交通参数包括目标的平均速度和静态目标占比,所述静态目标占比等于所述第N帧图像的下一帧图像中处于静态的目标的数量除以目标的总数量,所述确定模块包括:
第二比较单元,用于将所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值进行比较,并将目标的平均速度与预设速度阈值进行比较,以及将静态目标占比与预设占比阈值进行比较,得到第二比较结果;
确定单元,用于根据所述第二比较结果,得到道路的拥堵状态。
可选的,所述确定单元包括:
第一确定子单元,用于若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第一预设条件,则确定道路处于非拥堵状态;
第二确定子单元,用于若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比小于第一占比阈值,则确定道路处于非拥堵状态;
第三确定子单元,用于若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比大于或等于第一占比阈值,则确定道路处于拥堵状态;
第四确定子单元,用于若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比小于第二占比阈值,判定道路处于非拥堵状态,
第五确定子单元,用于若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比大于等于第二占比阈值,则确定道路处于拥堵状态;
第六确定子单元,用于若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第二预设条件,则确定道路处于拥堵状态;
第七确定子单元,用于若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比大于或等于第三占比阈值,则确定道路处于拥堵状态;
第八确定子单元,用于若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比小于第三占比阈值,则确定道路处于非拥堵状态。
可选的,所述装置还包括:
抽取模块,用于从道路视频中间隔抽取若干帧图像;
保存模块,用于将抽取的若干帧图像中检测到的目标的数量小于背景提取阈值的图像进行保存,得到背景图像集合;
填补模块,用于对于所述背景图像集合中的任意两帧图像,以其中一帧图像作为背景图像对另一帧图像的目标所在区域进行填补,直至得到一张不包含目标的背景图像;
训练模块,用于将所述背景图像作为负样本对初始检测网络模型进行训练,得到目标检测网络模型,所述目标检测网络模型用于对图像中的目标进行检测。
本发明实施例通过动态分配跟踪器,并更新跟踪链和跟踪算法,可以对目标进行更有效率的跟踪,结合当前帧图像和过去一段时间内的图像中的目标等信息进行拥堵判断和拥堵预判断,可以实现更加准确的道路拥堵判断和预测。
本发明实施例是与上述方法实施例一对应的产品实施例,故在此不再赘述,详细请参阅上述实施例一。
请参阅图3,图3是本发明实施例三提供的一种检测设备的结构示意图,该终端30包括处理器31、存储器32及存储在所述存储器32上并可在所述处理器31上运行的计算机程序;所述处理器31执行所述计算机程序时实现如下步骤:
从道路视频中提取若干帧图像,检测每一帧图像中的目标,得到目标检测结果;
获取所述若干帧图像的前N帧图像中各目标的目标跟踪结果,其中,所述目标跟踪结果包括跟踪框和跟踪链,N为正整数;
根据所述前N帧图像中各目标的跟踪链的长度以及目标的数量,对第N帧图像对应的时刻起的预设时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果。
本发明实施例中,通过对前N帧图像中各目标的目标跟踪结果进行分析处理,可以实现对未来一定时间段内的道路拥堵情况作出有效的预判断。
本发明实施例中,可选的,所述处理器31执行所述计算机程序时还可实现如下步骤:
所述根据所述前N帧图像中每一帧图像中各目标的跟踪链的长度以及各目标的数量,对第N帧图像对应的时刻起的预设时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果包括:
计算所述前N帧图像中所有跟踪链的长度平均值以及所述前N帧图像中目标的数量平均值;
将所述前N帧图像中最新生成的跟踪链的长度与所述长度平均值进行比较,并将所述第N帧图像中检测到的目标的数量与所述数量平均值进行比较,得到第一比较结果;
根据所述第一比较结果,得到道路的拥堵预判断结果。
可选的,所述根据所述第一比较结果,得到道路的拥堵预判断结果包括:
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值大于第一阈值,则确定道路的拥堵预判断结果为发生拥堵;
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值大于第二阈值,则确定道路的拥堵预判断结果为发生拥堵;
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值小于第二阈值,则确定道路的拥堵预判断结果为不发生拥堵;
若所述第N帧图像中检测到的目标的数量小于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵;
若所述前N帧图像中最新生成的跟踪链的长度小于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵。
可选的,所述方法还包括:
根据所述第N帧图像的下一帧图像中检测到的目标的数量以及所述拥堵预判断结果,自所述第N帧图像的下一帧图像起,为检测到的新的目标分配跟踪器;
利用所述跟踪器,得到所述第N帧图像之后的下一帧图像的目标跟踪结果;
将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配,根据匹配结果计算交通参数;
根据所述交通参数,确定所述第N帧图像的下一帧图像中的道路的拥堵状态。
可选的,所述根据所述第N帧图像的下一帧图像中检测到的目标的数量以及所述拥堵预判断结果,自所述第N帧图像的下一帧图像起,为检测到的新的目标分配跟踪器包括:
若所述第N帧图像的下一帧图像中检测到的目标的数量小于第三阈值,则为检测到的新的目标分配第一跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为发生拥堵,则为检测到的新的目标分配第二跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为不发生拥堵,则为检测到的新的目标分配第一跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第四阈值,为检测到的新的目标分配第三跟踪器;
其中,所述第三阈值小于所述第四阈值。
可选的,所述目标检测结果包括检测框,所述第N帧图像之后的下一帧图像的目标跟踪结果包括跟踪框,所述将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配包括:
采用预设算法,根据所述检测框和所述跟踪框之间的位置的偏差值对所述检测框和所述跟踪框进行匹配,生成匹配结果。
可选的,所述将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配之后,还包括:
根据所述匹配结果,对所述第N帧图像之后的下一帧图像检测到的目标的数量以及目标的跟踪器和跟踪链进行更新。
可选的,所述跟踪链包括目标的预测位置信息,所述跟踪器包括跟踪算法,所述根据所述匹配结果,对所述第N帧图像之后的下一帧图像检测到的目标的数量以及目标的跟踪器和跟踪链进行更新包括:
针对未匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,则对所述第N帧图像之后的下一帧图像检测到的目标的数量进行更新;
针对未匹配上的跟踪框,若在已有的跟踪链中不存在相匹配的跟踪链,且在连续若干帧图像中匹配不到目标,则删除该跟踪框对应的跟踪器;
针对未匹配上的检测框,若在连续若干帧图像中检测到相对应的目标,则为该检测框对应的目标分配跟踪器,并在目标满足跟踪链生成条件的情况下生成对应的跟踪链;
针对已匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,根据检测框以及相应的跟踪链中的预测位置信息对跟踪器的跟踪算法进行修正。
可选的,所述交通参数包括目标的平均速度和静态目标占比,所述静态目标占比等于所述第N帧图像的下一帧图像中处于静态的目标的数量除以目标的总数量,所述根据所述交通参数,确定所述第N帧图像的下一帧图像中的道路的拥堵状态包括:
将所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值进行比较,并将目标的平均速度与预设速度阈值进行比较,以及将静态目标占比与预设占比阈值进行比较,得到第二比较结果;
根据所述第二比较结果,得到道路的拥堵状态。
可选的,所述根据所述第二比较结果,得到道路的拥堵状态包括:
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第一预设条件,则确定道路处于非拥堵状态;
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比小于第一占比阈值,则确定道路处于非拥堵状态;
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比大于或等于第一占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比小于第二占比阈值,判定道路处于非拥堵状态,
若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比大于等于第二占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第二预设条件,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比大于或等于第三占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比小于第三占比阈值,则确定道路处于非拥堵状态。
可选的,所述检测每一帧图像中的目标之前,所述方法还包括:
从道路视频中间隔抽取若干帧图像;
将抽取的若干帧图像中检测到的目标的数量小于背景提取阈值的图像进行保存,得到背景图像集合;
对于所述背景图像集合中的任意两帧图像,以其中一帧图像作为背景图像对另一帧图像的目标所在区域进行填补,直至得到一张不包含目标的背景图像;
将所述背景图像作为负样本对初始检测网络模型进行训练,得到目标检测网络模型,所述目标检测网络模型用于对图像中的目标进行检测。
本发明实施例的具体工作过程与上述方法实施例一中的一致,故在此不再赘述,详细请参阅上述实施例一中方法步骤的说明。
本发明实施例四提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例一中任一种道路拥堵检测方法中的步骤。详细请参阅以上对应实施例中方法步骤的说明。
上述计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种道路拥堵检测方法,其特征在于,包括:
从道路视频中提取若干帧图像,检测每一帧图像中的目标,得到目标检测结果;
获取所述若干帧图像的前N帧图像中各目标的目标跟踪结果,其中,所述目标跟踪结果包括跟踪框和跟踪链,N为正整数;
根据所述前N帧图像中各目标的跟踪链的长度以及目标的数量,对第N帧图像对应的时刻起的预设时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果,包括:计算所述前N帧图像中所有跟踪链的长度平均值以及所述前N帧图像中目标的数量平均值;将所述前N帧图像中最新生成的跟踪链的长度与所述长度平均值进行比较,并将所述第N帧图像中检测到的目标的数量与所述数量平均值进行比较,得到第一比较结果;根据所述第一比较结果,得到道路的拥堵预判断结果;
所述根据所述第一比较结果,得到道路的拥堵预判断结果包括:
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值大于第一阈值,则确定道路的拥堵预判断结果为发生拥堵;
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值大于第二阈值,则确定道路的拥堵预判断结果为发生拥堵;
若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值小于第二阈值,则确定道路的拥堵预判断结果为不发生拥堵;
若所述第N帧图像中检测到的目标的数量小于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵;
若所述前N帧图像中最新生成的跟踪链的长度小于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据所述第N帧图像的下一帧图像中检测到的目标的数量以及所述拥堵预判断结果,自所述第N帧图像的下一帧图像起,为检测到的新的目标分配跟踪器;
利用所述跟踪器,得到所述第N帧图像之后的下一帧图像的目标跟踪结果;
将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配,根据匹配结果计算交通参数;
根据所述交通参数,确定所述第N帧图像的下一帧图像中的道路的拥堵状态。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第N帧图像的下一帧图像中检测到的目标的数量以及所述拥堵预判断结果,自所述第N帧图像的下一帧图像起,为检测到的新的目标分配跟踪器包括:
若所述第N帧图像的下一帧图像中检测到的目标的数量小于第三阈值,则为检测到的新的目标分配第一跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为发生拥堵,则为检测到的新的目标分配第二跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第三阈值且小于第四阈值,且所述拥堵预判断结果为不发生拥堵,则为检测到的新的目标分配第一跟踪器;
若所述第N帧图像的下一帧图像中检测到的目标的数量大于第四阈值,为检测到的新的目标分配第三跟踪器;
其中,所述第三阈值小于所述第四阈值。
4.根据权利要求2所述的方法,其特征在于,所述目标检测结果包括检测框,所述第N帧图像之后的下一帧图像的目标跟踪结果包括跟踪框,所述将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配包括:
采用预设算法,根据所述检测框和所述跟踪框之间的位置的偏差值对所述检测框和所述跟踪框进行匹配,生成匹配结果。
5.根据权利要求2所述的方法,其特征在于,所述将所述第N帧图像之后的下一帧图像的目标跟踪结果与所述目标检测结果进行匹配之后,还包括:
根据所述匹配结果,对所述第N帧图像之后的下一帧图像检测到的目标的数量以及目标的跟踪器和跟踪链进行更新。
6.根据权利要求5所述的方法,其特征在于,所述跟踪链包括目标的预测位置信息,所述跟踪器包括跟踪算法,所述根据所述匹配结果,对所述第N帧图像之后的下一帧图像检测到的目标的数量以及目标的跟踪器和跟踪链进行更新包括:
针对未匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,则对所述第N帧图像之后的下一帧图像检测到的目标的数量进行更新;
针对未匹配上的跟踪框,若在已有的跟踪链中不存在相匹配的跟踪链,且在连续若干帧图像中匹配不到目标,则删除该跟踪框对应的跟踪器;
针对未匹配上的检测框,若在连续若干帧图像中检测到相对应的目标,则为该检测框对应的目标分配跟踪器,并在目标满足跟踪链生成条件的情况下生成对应的跟踪链;
针对已匹配上的跟踪框,若在已有的跟踪链中存在相匹配的跟踪链,根据检测框以及相应的跟踪链中的预测位置信息对跟踪器的跟踪算法进行修正。
7.根据权利要求2所述的方法,其特征在于,所述交通参数包括目标的平均速度和静态目标占比,所述静态目标占比等于所述第N帧图像的下一帧图像中处于静态的目标的数量除以目标的总数量,所述根据所述交通参数,确定所述第N帧图像的下一帧图像中的道路的拥堵状态包括:
将所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值进行比较,并将目标的平均速度与预设速度阈值进行比较,以及将静态目标占比与预设占比阈值进行比较,得到第二比较结果;
根据所述第二比较结果,得到道路的拥堵状态。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第二比较结果,得到道路的拥堵状态包括:
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第一预设条件,则确定道路处于非拥堵状态;
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比小于第一占比阈值,则确定道路处于非拥堵状态;
若所述第N帧图像的下一帧图像中的目标的平均速度大于第一速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第一预设条件,且所述静态目标占比大于或等于第一占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比小于第二占比阈值,判定道路处于非拥堵状态,
若目标的平均速度小于第一速度阈值且大于第二速度阈值,且所述静态目标占比大于等于第二占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值满足第二预设条件,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比大于或等于第三占比阈值,则确定道路处于拥堵状态;
若目标的平均速度小于第二速度阈值,且所述第N帧图像的下一帧图像中检测到的目标的数量与所述前N帧图像中检测到的目标的最大值不满足第二预设条件,且所述静态目标占比小于第三占比阈值,则确定道路处于非拥堵状态。
9.根据权利要求1所述的方法,其特征在于,所述检测每一帧图像中的目标之前,还包括:
从道路视频中间隔抽取若干帧图像;
将抽取的若干帧图像中检测到的目标的数量小于背景提取阈值的图像进行保存,得到背景图像集合;
对于所述背景图像集合中的任意两帧图像,以其中一帧图像作为背景图像对另一帧图像的目标所在区域进行填补,直至得到一张不包含目标的背景图像;
将所述背景图像作为负样本对初始检测网络模型进行训练,得到目标检测网络模型,所述目标检测网络模型用于对图像中的目标进行检测。
10.一种道路拥堵检测装置,其特征在于,包括:
检测模块,用于从道路视频中提取若干帧图像,检测每一帧图像中的目标,得到目标检测结果;
获取模块,用于获取所述若干帧图像的前N帧图像中各目标的目标跟踪结果,其中,所述目标跟踪结果包括跟踪框和跟踪链,N为正整数;
预判断模块,用于根据所述前N帧图像中各目标的跟踪链的长度以及目标的数量,对第N帧图像对应的时刻起的预设时间内的道路拥堵情况进行预判断,得到道路的拥堵预判断结果;
所述预判断模块包括:
计算单元,用于计算所述前N帧图像中所有跟踪链的长度平均值以及所述前N帧图像中目标的数量平均值;
第一比较单元,用于将所述前N帧图像中最新生成的跟踪链的长度与所述长度平均值进行比较,并将所述第N帧图像中检测到的目标的数量与所述数量平均值进行比较,得到第一比较结果;
预判断单元,用于根据所述第一比较结果,得到道路的拥堵预判断结果;
所述预判断单元包括:
第一预判断子单元,用于若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值大于第一阈值,则确定道路的拥堵预判断结果为发生拥堵;
第二预判断子单元,用于若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值大于第二阈值,则确定道路的拥堵预判断结果为发生拥堵;
第三预判断子单元,用于若所述第N帧图像中检测到的目标的数量大于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,且所述数量平均值小于第一阈值,且所述第N帧图像中检测到的目标的数量和所述数量平均值的差值与所述数量平均值的比值小于第二阈值,则确定道路的拥堵预判断结果为不发生拥堵;
第四预判断子单元,用于若所述第N帧图像中检测到的目标的数量小于所述数量平均值,且所述前N帧图像中最新生成的跟踪链的长度大于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵;
第五预判断子单元,用于若所述前N帧图像中最新生成的跟踪链的长度小于所述长度平均值,则确定道路的拥堵预判断结果为不发生拥堵。
11.一种检测设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至9中任一项所述的道路拥堵检测方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至9中任一项所述的道路拥堵检测方法中的步骤。
CN202110634407.XA 2021-06-08 2021-06-08 一种道路拥堵检测方法、装置及检测设备 Active CN113487650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110634407.XA CN113487650B (zh) 2021-06-08 2021-06-08 一种道路拥堵检测方法、装置及检测设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110634407.XA CN113487650B (zh) 2021-06-08 2021-06-08 一种道路拥堵检测方法、装置及检测设备

Publications (2)

Publication Number Publication Date
CN113487650A CN113487650A (zh) 2021-10-08
CN113487650B true CN113487650B (zh) 2023-09-19

Family

ID=77934436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110634407.XA Active CN113487650B (zh) 2021-06-08 2021-06-08 一种道路拥堵检测方法、装置及检测设备

Country Status (1)

Country Link
CN (1) CN113487650B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565638B (zh) * 2022-01-25 2022-10-28 上海安维尔信息科技股份有限公司 一种基于跟踪链的多目标跟踪方法及系统
CN116734883A (zh) * 2023-08-14 2023-09-12 名商科技有限公司 一种道路拥堵预测及智能领航系统
CN118135065B (zh) * 2024-05-07 2024-08-06 山东汉鑫科技股份有限公司 隧道的动态灰度图生成方法、系统、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574895A (zh) * 2016-01-05 2016-05-11 浙江博天科技有限公司 一种在车辆动态行驶中的拥堵检测方法
CN110992693A (zh) * 2019-12-04 2020-04-10 浙江工业大学 一种基于深度学习的交通拥堵程度多维度分析方法
CN112069944A (zh) * 2020-08-25 2020-12-11 青岛海信网络科技股份有限公司 一种道路拥堵等级确定方法
CN112132071A (zh) * 2020-09-27 2020-12-25 上海眼控科技股份有限公司 识别交通拥堵的处理方法、装置、设备及存储介质
CN112507844A (zh) * 2020-12-02 2021-03-16 博云视觉科技(青岛)有限公司 基于视频分析的交通拥堵检测方法
JP6859472B1 (ja) * 2020-06-16 2021-04-14 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体追跡装置、物体追跡方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7267874B2 (ja) * 2019-08-27 2023-05-02 本田技研工業株式会社 交通流推定装置、交通流推定方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574895A (zh) * 2016-01-05 2016-05-11 浙江博天科技有限公司 一种在车辆动态行驶中的拥堵检测方法
CN110992693A (zh) * 2019-12-04 2020-04-10 浙江工业大学 一种基于深度学习的交通拥堵程度多维度分析方法
JP6859472B1 (ja) * 2020-06-16 2021-04-14 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体追跡装置、物体追跡方法及びプログラム
CN112069944A (zh) * 2020-08-25 2020-12-11 青岛海信网络科技股份有限公司 一种道路拥堵等级确定方法
CN112132071A (zh) * 2020-09-27 2020-12-25 上海眼控科技股份有限公司 识别交通拥堵的处理方法、装置、设备及存储介质
CN112507844A (zh) * 2020-12-02 2021-03-16 博云视觉科技(青岛)有限公司 基于视频分析的交通拥堵检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An Edge Traffic Flow Detection Scheme Based on Deep Learning in an Intelligent Transportation System;Chen Chen et al.;《IEEE Transactions on Intelligent Transportation Systems》;1840-1852 *
基于YOLOv3的城市公路交叉口车道拥堵实时判别算法实现;刘政;李浩澜;康海洋;;电子制作(08);39+42-43 *
基于车辆轨迹分析的交通场景感知与预测;孙亚;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;C034-1426 *

Also Published As

Publication number Publication date
CN113487650A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN113487650B (zh) 一种道路拥堵检测方法、装置及检测设备
WO2020206861A1 (zh) 基于YOLO v3的针对交通枢纽关键物体的检测方法
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
CN103530893B (zh) 相机抖动场景下基于背景差和运动信息的前景检测方法
JP6420422B2 (ja) 複数の関心領域及び信頼スコアを使用する信号機検出
US20150086071A1 (en) Methods and systems for efficiently monitoring parking occupancy
CN109241938B (zh) 道路拥堵检测方法及终端
CN102073851A (zh) 一种城市交通事故自动识别方法和系统
US11275956B2 (en) Demarcation line recognition device
US20170091573A1 (en) Visual attention detector and visual attention detection method
CN111950394A (zh) 一种车辆变道的预测方法、装置及计算机存储介质
CN115546705B (zh) 目标识别方法、终端设备及存储介质
CN107945523A (zh) 一种道路车辆检测方法、交通参数检测方法及装置
US11335018B1 (en) Volumetric measuring method and apparatus based on time-of-flight depth camera
CN112508803B (zh) 一种三维点云数据的去噪方法、装置及存储介质
CN112562330A (zh) 评估道路运行指数的方法和装置、电子设备、存储介质
CN115576329B (zh) 一种基于计算机视觉的无人驾驶agv小车的避障方法
CN115249355A (zh) 目标关联方法、设备及计算机可读存储介质
CN114724063B (zh) 一种基于深度学习的公路交通事件检测方法
CN113887433A (zh) 一种障碍物的检测方法、装置、计算机设备及存储介质
CN112734810B (zh) 一种障碍物追踪方法及装置
CN106683113B (zh) 特征点跟踪方法和装置
CN111598158B (zh) 一种基于ai分析技术的仓储库存状态感知方法
CN116485837A (zh) 一种目标跟踪方法、介质以及电子设备
WO2020237501A1 (zh) 一种多源协同道路车辆监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant