CN111540217B - 基于mask矩阵的平均车速智能监测方法、系统 - Google Patents

基于mask矩阵的平均车速智能监测方法、系统 Download PDF

Info

Publication number
CN111540217B
CN111540217B CN202010300183.4A CN202010300183A CN111540217B CN 111540217 B CN111540217 B CN 111540217B CN 202010300183 A CN202010300183 A CN 202010300183A CN 111540217 B CN111540217 B CN 111540217B
Authority
CN
China
Prior art keywords
vehicle
lane
pixel point
pixel
monitoring image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010300183.4A
Other languages
English (en)
Other versions
CN111540217A (zh
Inventor
张峻领
鲍朝莉
董辉
相峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Yanggu Information Technology Co ltd
Original Assignee
Chengdu Yanggu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Yanggu Information Technology Co ltd filed Critical Chengdu Yanggu Information Technology Co ltd
Priority to CN202010300183.4A priority Critical patent/CN111540217B/zh
Publication of CN111540217A publication Critical patent/CN111540217A/zh
Application granted granted Critical
Publication of CN111540217B publication Critical patent/CN111540217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于mask矩阵的平均车速智能监测方法、系统，通过构建车辆的车辆像素点mask矩阵以及虚拟检测线的检测像素点mask矩阵，将车辆像素点mask矩阵与检测像素点mask矩阵相乘并将结果逐项累加，在计算结果第一次出现大于零时，累计一次车辆计数，利用车辆计数累计值计算预定时间区间内所有视频图像的总体平均车间距，最后计算得到平均车速，从而能够准确监测平均车速。

Description

基于mask矩阵的平均车速智能监测方法、系统
技术领域
本发明涉及图像识别技术领域，特别是涉及一种基于mask矩阵的平均车速智能监测方法、系统。
背景技术
交通流量是指在选定时间段内通过道路某一车道的车辆数，从车流量的大小可以判定交通的拥挤状况，从而决定采取何种交通管理措施，因此对交通流量的准确监测在交通工程中占有十分重要的位置。而交通流量监测要素中，平均车速监测是其中重要的一项要素。
目前，现有的平均车速监测方式简单，可靠性低，准确率低，因此，有必要对现有的平均车速监测方式进行改进。
发明内容
本发明的目的在于提供一种基于mask矩阵的平均车速智能监测方法、系统，能够准确监测平均车速。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于mask矩阵的平均车速智能监测方法，包括以下步骤：S1：实时采集监控区域的视频图像，并在所述视频图像的预定位置处设定虚拟检测线，所述监控区域的道路长度为预设长度，所述虚拟检测线与道路横向交叉；S2：获取预定时间区间内的多张视频图像作为监测图像；S3：对每一张监测图像中出现的同一车辆进行跟踪识别；S4：从第一张监测图像开始，根据监测图像中每一辆车辆的位置单独生成与监测图像的尺寸相同的每一辆车辆的车辆像素点mask矩阵，其中，车辆像素点mask矩阵的数量与监测图像中的车辆数量对应，且每一辆车辆在其对应的车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；S5：根据监测图像中虚拟检测线的位置生成与监测图像的尺寸相同的检测像素点mask矩阵，其中，所述虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；S6：对于每一张监测图像，将每一辆车辆的车辆像素点mask矩阵分别与检测像素点mask矩阵相乘得到结果矩阵，并将结果矩阵的各项元素逐项累加得到计算结果；S7：对于每一辆车辆，仅在其对应的计算结果第一次出现大于零的情形时，累计一次车辆计数；S8：根据每一张监测图像的车辆计数累计值以及预设长度计算得到每一张监测图像的瞬时平均车间距，所述瞬时平均车间距的计算公式为：
Figure GDA0003449709160000021
其中，Dn表示第n张监测图像的瞬时平均车间距，Sn表示第n张监测图像的车辆计数累计值，L表示预设长度；
S9：根据每一张监测图像的瞬时平均车间距计算总体平均车间距，所述总体平均车间距的计算公式为：
Figure GDA0003449709160000031
其中，D表示总体平均车间距；
S10：根据所述总体平均车间距、预定时间区间和最后一张监测图像的车辆计数累计值计算得到平均车速，所述平均车速的计算公式为：
Figure GDA0003449709160000032
其中，m表示最后一张监测图像，Δt表示预定时间区间。
优选的，所述道路包含多条车道，所述步骤S3还包括：对每一张监测图像中同一车辆所在的车道进行识别；所述步骤S7还包括：根据每一辆车所在的车道累计一次每条车道的车辆计数；所述步骤S8还包括：根据每一辆车所在的车道记录每一张监测图像中每条车道的瞬时平均车间距；所述步骤S9还包括：根据每一张监测图像每条车道的瞬时平均车间距计算每条车道的总体平均车间距；所述步骤S10还包括：根据所述每条车道的总体平均车间距、预定时间区间和最后一张监测图像中每条车道的车辆计数累计值计算得到每条车道的平均车速。
优选的，所述对每一张监测图像中同一车辆所在的车道进行识别的步骤具体包括：S301：识别监测图像中的目标车辆以及每条车道的车道线；S302：根据目标车辆在监测图像中的位置生成与所述监测图像尺寸相同的车辆像素点mask矩阵，其中，所述目标车辆在车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；S303：根据每条车道的车道线在监测图像中的位置生成与监测图像尺寸相同的每条车道的车道像素点mask矩阵，其中，对于当前车道，当前车道的车道线在当前车道的车道像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；S304：将所述车辆像素点mask矩阵分别与每条车道的车道像素点mask矩阵相乘得到车道识别矩阵，并将每个车道识别矩阵的各项元素逐项累加得到计算结果；S305：将计算结果最大的车道识别矩阵对应的车道识别为目标车辆所在的车道。
优选的，每一辆车辆在车辆像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0；虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0。
优选的，在所述步骤S3中，每一辆车辆通过mask-rcnn算法进行识别。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于mask矩阵的平均车速智能监测系统，所述平均车速智能监测系统包括图像采集模块、图像获取模块、图像识别模块、第一矩阵构建模块、第二矩阵构建模块、矩阵计算模块、车辆计数模块、车距计算模块和车速计算模块；所述图像采集模块用于实时采集监控区域的视频图像，并在所述视频图像的预定位置处设定虚拟检测线，所述监控区域的道路长度为预设长度，所述虚拟检测线与道路横向交叉；所述图像获取模块用于获取预定时间区间内的多张视频图像作为监测图像；所述图像识别模块用于对每一张监测图像中出现的同一车辆进行跟踪识别；从第一张监测图像开始，所述第一矩阵构建模块用于根据监测图像中每一辆车辆的位置单独生成与监测图像的尺寸相同的每一辆车辆的车辆像素点mask矩阵，其中，车辆像素点mask矩阵的数量与监测图像中的车辆数量对应，且每一辆车辆在其对应的车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；所述第二矩阵构建模块用于根据监测图像中虚拟检测线的位置生成与监测图像的尺寸相同的检测像素点mask矩阵，其中，所述虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；对于每一张监测图像，所述矩阵计算模块用于将每一辆车辆的车辆像素点mask矩阵分别与检测像素点mask矩阵相乘得到结果矩阵，并将结果矩阵的各项元素逐项累加得到计算结果；对于每一辆车辆，所述车辆计数模块用于仅在其对应的计算结果第一次出现大于零的情形时，累计一次车辆计数；所述车距计算模块用于根据每一张监测图像的车辆计数累计值以及预设长度计算得到每一张监测图像的瞬时平均车间距，以及根据每一张监测图像的瞬时平均车间距计算总体平均车间距；所述车速计算模块用于根据所述总体平均车间距、预定时间区间和最后一张监测图像的车辆计数累计值计算得到平均车速；
所述瞬时平均车间距的计算公式为：
Figure GDA0003449709160000061
其中，Dn表示第n张监测图像的瞬时平均车间距，Sn表示第n张监测图像的车辆计数累计值，L表示预设长度；
所述总体平均车间距的计算公式为：
Figure GDA0003449709160000062
其中，D表示总体平均车间距；
所述平均车速的计算公式为：
Figure GDA0003449709160000063
其中，m表示最后一张监测图像，Δt表示预定时间区间。
优选的，所述目标车辆通过mask-rcnn算法进行识别。
优选的，所述道路包含多条车道，所述图像识别模块还用于对每一张监测图像中同一车辆所在的车道进行识别；所述车辆计数模块还用于根据每一辆车所在的车道累计一次每条车道的车辆计数；所述车距计算模块还用于根据每一辆车所在的车道记录每一张监测图像中每条车道的瞬时平均车间距，以及根据每一张监测图像每条车道的瞬时平均车间距计算每条车道的总体平均车间距；所述车速计算模块还用于根据所述每条车道的总体平均车间距、预定时间区间和最后一张监测图像中每条车道的车辆计数累计值计算得到每条车道的平均车速。
优选的，所述图像识别模块具体用于识别监测图像中的目标车辆以及每条车道的车道线；根据目标车辆在监测图像中的位置生成与所述监测图像尺寸相同的车辆像素点mask矩阵，其中，所述目标车辆在车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；根据每条车道的车道线在监测图像中的位置生成与监测图像尺寸相同的每条车道的车道像素点mask矩阵，其中，对于当前车道，当前车道的车道线在当前车道的车道像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；将所述车辆像素点mask矩阵分别与每条车道的车道像素点mask矩阵相乘得到车道识别矩阵，并将每个车道识别矩阵的各项元素逐项累加得到计算结果；将计算结果最大的车道识别矩阵对应的车道识别为目标车辆所在的车道。
优选的，每一辆车辆在车辆像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0；虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0。
优选的，所述图像识别模块通过mask-rcnn算法对每一辆车辆进行识别。
区别于现有技术的情况，本发明的有益效果是：可以迅速、准确地监测平均车速。
附图说明
图1是本发明实施例提供的基于mask矩阵的平均车速智能监测方法的流程示意图；
图2是一种应用场景中的监控区域的视频图像的示意图；
图3是某一辆车辆的车辆像素点mask矩阵示意图；
图4是虚拟检测线的检测像素点mask矩阵示意图；
图5是每一张监测图像的车辆计数累计值和瞬时平均车间距的计算过程示意图；
图6是平均车速智能监测方法中对车道进行识别的具体流程示意图；
图7是本发明实施例提供的基于mask矩阵的平均车速智能监测系统的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，本发明实施例的基于mask矩阵的平均车速智能监测方法包括以下步骤：
S1：实时采集监控区域的视频图像，并在视频图像的预定位置处设定虚拟检测线，监控区域的道路长度为预设长度，虚拟检测线与道路横向交叉。
其中，视频图像的采集方式可以是直接通过摄像头采集，也可以是接收从其他设备传输的视频图像。监控区域可以根据实际需要划定，如图2所示，是一种应用场景中的监控区域的视频图像的示意图，图中，监控区域包含道路，道路长度为预设长度。通常，每一帧所采集的视频图像包括很多张，在本实施例中，每一帧视频图像仅保留一张。虚拟检测线是采集视频图像后所设定的线，其如图2中虚线所示，需要注意的是，图中以虚线表示虚拟检测线，不代表虚拟检测线对应的像素点是不连续的，实际上，虚拟检测线的所有像素点是连续的。
S2：获取预定时间区间内的多张视频图像作为监测图像。
其中，在一种应用场景中，图2所示的视频图像作为监测图像。
S3：对每一张监测图像中出现的同一车辆进行跟踪识别。
其中，在步骤S3中，每一辆车辆通过mask-rcnn算法进行识别。具体而言，通过大量的训练素材(主要是已经标记过的车辆)对mask-rcnn算法进行训练，从而使得mask-rcnn算法能够从监测图像中识别出车辆。对于车辆交通而言，每一张监测图像中会出现多辆车辆，同一辆车会出现在多张监测图像中，所以需要跟踪识别同一辆车在每一张监测图像中的位置。
S4：从第一张监测图像开始，根据监测图像中每一辆车辆的位置单独生成与监测图像的尺寸相同的每一辆车辆的车辆像素点mask矩阵，其中，车辆像素点mask矩阵的数量与监测图像中的车辆数量对应，且每一辆车辆在其对应的车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同。
其中，如果一张监测图像出现五辆车辆，那么对于五辆车辆中的当前一辆车辆，根据当前一辆车辆的位置生成与监测图像的尺寸相同的当前一辆车辆的车辆像素点mask矩阵，当前一辆车辆在车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同，其他像素点包括五辆车辆中的其他四辆车辆对应的像素点。
S5：根据监测图像中虚拟检测线的位置生成与监测图像的尺寸相同的检测像素点mask矩阵，其中，虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同。
其中，监测图像包含的像素点有多少列和多少行，则车辆像素点mask矩阵和车道像素点mask矩阵就有多少行和多少列像素点。在本实施例中，每一辆车辆在车辆像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0；虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0。如图3所示，是某一辆车辆的车辆像素点mask矩阵示意图。该辆车辆对应的是图2中虚线框所标识的车辆，车辆像素点mask矩阵中，只有该辆车辆在车辆像素点mask矩阵中对应的像素点的像素值为1，除此以外的其他像素点的像素值为0。如图4所示，是虚拟检测线的检测像素点mask矩阵示意图。虚拟检测线的检测像素点mask矩阵中，只有虚拟检测线在车辆像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0。车辆像素点mask矩阵和检测像素点mask矩阵的行的像素点长度为W，列的像素点长度为H，同样，视频图像的像素尺寸也是为W×H。
S6：对于每一张监测图像，将每一辆车辆的车辆像素点mask矩阵分别与检测像素点mask矩阵相乘得到结果矩阵，并将结果矩阵的各项元素逐项累加得到计算结果。
其中，以图2所示的监测图像为例，虚线框所标识车辆的车辆像素点mask矩阵以m车车表示，检测像素点mask矩阵以m虚拟表示，首先，将m车与m虚拟相乘得到一个结果矩阵，然后分别将结果矩阵的各项元素逐项累加得到计算结果。
S7：对于每一辆车辆，仅在其对应的计算结果第一次出现大于零的情形时，累计一次车辆计数。
其中，每一张监测图像按照顺序进行计算结果计算后，得到每一张监测图像的车辆计数累计值，并且车辆计数累计值是叠加的。以图5为例，图中，在第一张监测图像中，车辆1的车头刚好与虚拟检测线相交，那么车辆1的计算结果第一次出现大于零的情形，此时累计一次车辆计数，第一张监测图像的车辆计数累计值为1，对于之后的每一张视频图像，主要出现新的车辆1的计算结果第一次出现大于零的情形，车辆计数都累加1，图中，最后一张监测图像的车辆1、车辆2、车辆3、车辆4都经过了虚拟检测线，而车辆5没有经过虚拟检测线，也就是说，车辆1、车辆2、车辆3、车辆4都与虚拟检测线相交过了，车辆5没有与虚拟检测线相交，则最后一张监测图像的车辆计数累计值为4。
S8：根据每一张监测图像的车辆计数累计值以及预设长度计算得到每一张监测图像的瞬时平均车间距，瞬时平均车间距的计算公式为：
Figure GDA0003449709160000121
其中，Dn表示第n张监测图像的瞬时平均车间距，Sn表示第n张监测图像的车辆计数累计值，L表示预设长度。以图5中最后一张监测图像为例，最后一张监测图像的车辆计数累计值为4，则最后一张监测图像的瞬时平均车间距为L/6。
S9：根据每一张监测图像的瞬时平均车间距计算总体平均车间距，总体平均车间距的计算公式为：
Figure GDA0003449709160000122
其中，D表示总体平均车间距。
S10：根据总体平均车间距、预定时间区间和最后一张监测图像的车辆计数累计值计算得到平均车速，平均车速的计算公式为：
Figure GDA0003449709160000131
其中，m表示最后一张监测图像，Δt表示预定时间区间，Sm表示最后一张监测图像的车辆计数累计值，以图5为例，最后一张监测图像的车辆计数累计值为4。
考虑到当道路为多车道时，存在对单一车道进行平均车速监测的需求，在本实施例中，道路包含多条车道，步骤S3还包括：对每一张监测图像中同一车辆所在的车道进行识别；
步骤S7还包括：
根据每一辆车所在的车道累计一次每条车道的车辆计数；步骤S8还包括：
根据每一辆车所在的车道记录每一张监测图像中每条车道的瞬时平均车间距；
步骤S9还包括：
根据每一张监测图像每条车道的瞬时平均车间距计算每条车道的总体平均车间距；
步骤S10还包括：
根据每条车道的总体平均车间距、预定时间区间和最后一张监测图像中每条车道的车辆计数累计值计算得到每条车道的平均车速。
其中，由于虚拟检测线与道路横向相交，则会与每条车道的车道线相交，对于某条车道上的所有车辆，可以得到这些车辆的计算结果，从而完成对该条车道的车辆计数。
进一步的，参阅图6，在本实施例中，对每一张监测图像中同一车辆所在的车道进行识别的步骤具体包括：
S301：识别监测图像中的目标车辆以及每条车道的车道线。
其中，目标车辆通过mask-rcnn算法进行识别。具体而言，通过大量的训练素材(主要是已经标记过的车辆)对mask-rcnn算法进行训练，从而使得mask-rcnn算法能够从视频图像中识别出车辆。如图2所示，目标车辆为虚线框所标识的车辆。
S302：根据目标车辆在监测图像中的位置生成与监测图像尺寸相同的车辆像素点mask矩阵，其中，目标车辆在车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同。
其中，目标车辆在车辆像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0。
S303：根据每条车道的车道线在监测图像中的位置生成与监测图像尺寸相同的每条车道的车道像素点mask矩阵，其中，对于当前车道，当前车道的车道线在当前车道的车道像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同。
其中，当前车道的车道线在车道像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0。
S304：将车辆像素点mask矩阵分别与每条车道的车道像素点mask矩阵相乘得到车道识别矩阵，并将每个车道识别矩阵的各项元素逐项累加得到计算结果。
其中，以图2所示的监测图像为例，目标车辆的车辆像素点mask矩阵以m车表示，左车道的车道像素点mask矩阵以m左表示，中车道的车道像素点mask矩阵以m中表示，右车道的车道像素点mask矩阵以m右表示，首先，将m车与m左相乘得到一个车道识别矩阵、将m车与m中相乘得到一个车道识别矩阵，将m车与m右相乘得到一个车道识别矩阵，然后分别将每个车道识别矩阵的各项元素逐项累加得到计算结果。
S305：将计算结果最大的车道识别矩阵对应的车道识别为目标车辆所在的车道。
其中，经过计算得到三个计算结果，这三个计算结果分别对应左车道、中车道和右车道，以图2为例，计算结果最大的车道识别矩阵对应的车道为中车道，那么将中车道识别为目标车辆所在的车道。
参阅图7，本发明实施例的基于mask矩阵的平均车速智能监测系统包括图像采集模块10、图像获取模块20、图像识别模块30、第一矩阵构建模块40、第二矩阵构建模块50、矩阵计算模块60、车辆计数模块70、车距计算模块80和车速计算模块90。
图像采集模块10用于实时采集监控区域的视频图像，并在视频图像的预定位置处设定虚拟检测线，监控区域的道路长度为预设长度，虚拟检测线与道路横向交叉。其中，视频图像的采集方式可以是直接通过摄像头采集，也可以是接收从其他设备传输的视频图像。监控区域可以根据实际需要划定，如图2所示，是一种应用场景中的监控区域的视频图像的示意图，图中，监控区域包含道路，道路长度为预设长度。通常，每一帧所采集的视频图像包括很多张，在本实施例中，每一帧视频图像仅保留一张。虚拟检测线是采集视频图像后所设定的线，其如图2中虚线所示，需要注意的是，图中以虚线表示虚拟检测线，不代表虚拟检测线对应的像素点是不连续的，实际上，虚拟检测线的所有像素点是连续的。
图像获取模块20用于获取预定时间区间内的多张视频图像作为监测图像。
图像识别模块30用于对每一张监测图像中出现的同一车辆进行跟踪识别。其中，图像识别模块30通过mask-rcnn算法对每一辆车辆进行识别。具体而言，通过大量的训练素材(主要是已经标记过的车辆)对mask-rcnn算法进行训练，从而使得mask-rcnn算法能够从监测图像中识别出车辆。对于车辆交通而言，每一张监测图像中会出现多辆车辆，同一辆车会出现在多张监测图像中，所以需要跟踪识别同一辆车在每一张监测图像中的位置。
从第一张监测图像开始，第一矩阵构建模块40用于根据监测图像中每一辆车辆的位置单独生成与监测图像的尺寸相同的每一辆车辆的车辆像素点mask矩阵，其中，车辆像素点mask矩阵的数量与监测图像中的车辆数量对应，且每一辆车辆在其对应的车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同。其中，如果一张监测图像出现五辆车辆，那么对于五辆车辆中的当前一辆车辆，根据当前一辆车辆的位置生成与监测图像的尺寸相同的当前一辆车辆的车辆像素点mask矩阵，当前一辆车辆在车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同，其他像素点包括五辆车辆中的其他四辆车辆对应的像素点。
第二矩阵构建模块50用于根据监测图像中虚拟检测线的位置生成与监测图像的尺寸相同的检测像素点mask矩阵，其中，虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同。其中，监测图像包含的像素点有多少列和多少行，则车辆像素点mask矩阵和车道像素点mask矩阵就有多少行和多少列像素点。在本实施例中，每一辆车辆在车辆像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0；虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0。
对于每一张监测图像，矩阵计算模块60用于将每一辆车辆的车辆像素点mask矩阵分别与检测像素点mask矩阵相乘得到结果矩阵，并将结果矩阵的各项元素逐项累加得到计算结果。其中，某一辆车辆的车辆像素点mask矩阵以M车表示，检测像素点mask矩阵以M虚拟表示，首先，将M车与M虚拟相乘得到一个结果矩阵，然后分别将结果矩阵的各项元素逐项累加得到计算结果。
对于每一辆车辆，车辆计数模块70用于仅在其对应的计算结果第一次出现大于零的情形时，累计一次车辆计数。其中，每一张监测图像按照顺序进行计算结果计算后，得到每一张监测图像的车辆计数累计值，并且车辆计数累计值是叠加的。如果一张监测图像中某一辆车辆的车头刚好与虚拟检测线相交，那么该辆车辆的计算结果第一次出现大于零的情形，此时这张监测图像的车辆计数累计值累加1，对于之后的每一张监测图像，该辆车辆的任一位置只要与虚拟检测线相交，其对应的计算结果都大于零，直到该辆车辆车辆的车尾不与虚拟检测线相交。对于其他车辆，同样的，如果其对应的计算结果第一次出现大于零的情形，车辆计数累计值累加1。
车距计算模块80用于根据每一张监测图像的车辆计数累计值以及预设长度计算得到每一张监测图像的瞬时平均车间距，以及根据每一张监测图像的瞬时平均车间距计算总体平均车间距。
车速计算模块90用于根据总体平均车间距、预定时间区间和最后一张监测图像的车辆计数累计值计算得到平均车速。
瞬时平均车间距的计算公式为：
Figure GDA0003449709160000181
其中，Dn表示第n张监测图像的瞬时平均车间距，Sn表示第n张监测图像的车辆计数累计值，L表示预设长度；
总体平均车间距的计算公式为：
Figure GDA0003449709160000191
其中，D表示总体平均车间距；
平均车速的计算公式为：
Figure GDA0003449709160000192
其中，m表示最后一张监测图像，Δt表示预定时间区间。
考虑到当道路为多车道时，存在对单一车道进行平均车速监测的需求，在本实施例中，道路包含多条车道，图像识别模块30还用于对每一张监测图像中同一车辆所在的车道进行识别；车辆计数模块70还用于根据每一辆车所在的车道累计一次每条车道的车辆计数；车距计算模块80还用于根据每一辆车所在的车道记录每一张监测图像中每条车道的瞬时平均车间距，以及根据每一张监测图像每条车道的瞬时平均车间距计算每条车道的总体平均车间距；车速计算模块90还用于根据所述每条车道的总体平均车间距、预定时间区间和最后一张监测图像中每条车道的车辆计数累计值计算得到每条车道的平均车速。其中，由于虚拟检测线与道路横向相交，则会与每条车道的车道线相交，对于某条车道上的所有车辆，可以得到这些车辆的计算结果，从而完成对该条车道的车辆计数。
进一步的，图像识别模块30具体用于识别监测图像中的目标车辆以及每条车道的车道线；根据目标车辆在监测图像中的位置生成与所述监测图像尺寸相同的车辆像素点mask矩阵，其中，目标车辆在车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；根据每条车道的车道线在监测图像中的位置生成与监测图像尺寸相同的每条车道的车道像素点mask矩阵，其中，对于当前车道，当前车道的车道线在当前车道的车道像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；将车辆像素点mask矩阵分别与每条车道的车道像素点mask矩阵相乘得到车道识别矩阵，并将每个车道识别矩阵的各项元素逐项累加得到计算结果；将计算结果最大的车道识别矩阵对应的车道识别为目标车辆所在的车道。其中，目标车辆通过mask-rcnn算法进行识别。具体而言，通过大量的训练素材(主要是已经标记过的车辆)对mask-rcnn算法进行训练，从而使得mask-rcnn算法能够从监测图像中识别出车辆。
通过上述方式，本发明的基于mask矩阵的平均车速智能监测方法、系统通过构建车辆的车辆像素点mask矩阵以及虚拟检测线的检测像素点mask矩阵，将车辆像素点mask矩阵与检测像素点mask矩阵相乘并将结果逐项累加，在计算结果第一次出现大于零时，累计一次车辆计数，利用车辆计数累计值计算预定时间区间内所有视频图像的总体平均车间距，最后计算得到平均车速，从而能够准确监测平均车速。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于mask矩阵的平均车速智能监测方法，其特征在于，包括以下步骤：
S1：实时采集监控区域的视频图像，并在所述视频图像的预定位置处设定虚拟检测线，所述监控区域的道路长度为预设长度，所述虚拟检测线与道路横向交叉；
S2：获取预定时间区间内的多张视频图像作为监测图像；
S3：对每一张监测图像中出现的同一车辆进行跟踪识别；
S4：从第一张监测图像开始，根据监测图像中每一辆车辆的位置单独生成与监测图像的尺寸相同的每一辆车辆的车辆像素点mask矩阵，其中，车辆像素点mask矩阵的数量与监测图像中的车辆数量对应，且每一辆车辆在其对应的车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；
S5：根据监测图像中虚拟检测线的位置生成与监测图像的尺寸相同的检测像素点mask矩阵，其中，所述虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；
S6：对于每一张监测图像，将每一辆车辆的车辆像素点mask矩阵分别与检测像素点mask矩阵相乘得到结果矩阵，并将结果矩阵的各项元素逐项累加得到计算结果；
S7：对于每一辆车辆，仅在其对应的计算结果第一次出现大于零的情形时，累计一次车辆计数；
S8：根据每一张监测图像的车辆计数累计值以及预设长度计算得到每一张监测图像的瞬时平均车间距，所述瞬时平均车间距的计算公式为：
Figure FDA0003467689430000011
其中，Dn表示第n张监测图像的瞬时平均车间距，Sn表示第n张监测图像的车辆计数累计值，L表示预设长度；
S9：根据每一张监测图像的瞬时平均车间距计算总体平均车间距，所述总体平均车间距的计算公式为：
Figure FDA0003467689430000012
其中，D表示总体平均车间距；
S10：根据所述总体平均车间距、预定时间区间和最后一张监测图像的车辆计数累计值计算得到平均车速，所述平均车速的计算公式为：
Figure FDA0003467689430000013
其中，m表示最后一张监测图像，Δt表示预定时间区间；
每一辆车辆在车辆像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0；虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0。
2.根据权利要求1所述的平均车速智能监测方法，其特征在于，所述道路包含多条车道，所述步骤S3还包括：对每一张监测图像中同一车辆所在的车道进行识别；
所述步骤S7还包括：
根据每一辆车所在的车道累计一次每条车道的车辆计数；
所述步骤S8还包括：
根据每一辆车所在的车道记录每一张监测图像中每条车道的瞬时平均车间距；
所述步骤S9还包括：
根据每一张监测图像每条车道的瞬时平均车间距计算每条车道的总体平均车间距；
所述步骤S10还包括：
根据所述每条车道的总体平均车间距、预定时间区间和最后一张监测图像中每条车道的车辆计数累计值计算得到每条车道的平均车速。
3.根据权利要求2所述的平均车速智能监测方法，其特征在于，所述对每一张监测图像中同一车辆所在的车道进行识别的步骤具体包括：
S301：识别监测图像中的目标车辆以及每条车道的车道线；
S302：根据目标车辆在监测图像中的位置生成与所述监测图像尺寸相同的车辆像素点mask矩阵，其中，所述目标车辆在车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；其中，目标车辆在车辆像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0；
S303：根据每条车道的车道线在监测图像中的位置生成与监测图像尺寸相同的每条车道的车道像素点mask矩阵，其中，对于当前车道，当前车道的车道线在当前车道的车道像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；其中，当前车道的车道线在车道像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0；
S304：将所述车辆像素点mask矩阵分别与每条车道的车道像素点mask矩阵相乘得到车道识别矩阵，并将每个车道识别矩阵的各项元素逐项累加得到计算结果；
S305：将计算结果最大的车道识别矩阵对应的车道识别为目标车辆所在的车道。
4.根据权利要求1所述的平均车速智能监测方法，其特征在于，在所述步骤S3中，每一辆车辆通过mask-rcnn算法进行识别。
5.一种基于mask矩阵的平均车速智能监测系统，其特征在于，所述平均车速智能监测系统包括图像采集模块、图像获取模块、图像识别模块、第一矩阵构建模块、第二矩阵构建模块、矩阵计算模块、车辆计数模块、车距计算模块和车速计算模块；
所述图像采集模块用于实时采集监控区域的视频图像，并在所述视频图像的预定位置处设定虚拟检测线，所述监控区域的道路长度为预设长度，所述虚拟检测线与道路横向交叉；
所述图像获取模块用于获取预定时间区间内的多张视频图像作为监测图像；
所述图像识别模块用于对每一张监测图像中出现的同一车辆进行跟踪识别；
从第一张监测图像开始，所述第一矩阵构建模块用于根据监测图像中每一辆车辆的位置单独生成与监测图像的尺寸相同的每一辆车辆的车辆像素点mask矩阵，其中，车辆像素点mask矩阵的数量与监测图像中的车辆数量对应，且每一辆车辆在其对应的车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；
所述第二矩阵构建模块用于根据监测图像中虚拟检测线的位置生成与监测图像的尺寸相同的检测像素点mask矩阵，其中，所述虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；
对于每一张监测图像，所述矩阵计算模块用于将每一辆车辆的车辆像素点mask矩阵分别与检测像素点mask矩阵相乘得到结果矩阵，并将结果矩阵的各项元素逐项累加得到计算结果；
对于每一辆车辆，所述车辆计数模块用于仅在其对应的计算结果第一次出现大于零的情形时，累计一次车辆计数；
所述车距计算模块用于根据每一张监测图像的车辆计数累计值以及预设长度计算得到每一张监测图像的瞬时平均车间距，以及根据每一张监测图像的瞬时平均车间距计算总体平均车间距；
所述车速计算模块用于根据所述总体平均车间距、预定时间区间和最后一张监测图像的车辆计数累计值计算得到平均车速；
所述瞬时平均车间距的计算公式为：
Figure FDA0003467689430000031
其中，Dn表示第n张监测图像的瞬时平均车间距，Sn表示第n张监测图像的车辆计数累计值，L表示预设长度；
所述总体平均车间距的计算公式为：
Figure FDA0003467689430000041
其中，D表示总体平均车间距；
所述平均车速的计算公式为：
Figure FDA0003467689430000042
其中，m表示最后一张监测图像，Δt表示预定时间区间；
每一辆车辆在车辆像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0；虚拟检测线在检测像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0。
6.根据权利要求5所述的平均车速智能监测系统，其特征在于，所述道路包含多条车道，所述图像识别模块还用于对每一张监测图像中同一车辆所在的车道进行识别；
所述车辆计数模块还用于根据每一辆车所在的车道累计一次每条车道的车辆计数；
所述车距计算模块还用于根据每一辆车所在的车道记录每一张监测图像中每条车道的瞬时平均车间距，以及根据每一张监测图像每条车道的瞬时平均车间距计算每条车道的总体平均车间距；
所述车速计算模块还用于根据所述每条车道的总体平均车间距、预定时间区间和最后一张监测图像中每条车道的车辆计数累计值计算得到每条车道的平均车速。
7.根据权利要求6所述的平均车速智能监测系统，其特征在于，所述图像识别模块具体用于识别监测图像中的目标车辆以及每条车道的车道线；根据目标车辆在监测图像中的位置生成与所述监测图像尺寸相同的车辆像素点mask矩阵，其中，所述目标车辆在车辆像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；根据每条车道的车道线在监测图像中的位置生成与监测图像尺寸相同的每条车道的车道像素点mask矩阵，其中，对于当前车道，当前车道的车道线在当前车道的车道像素点mask矩阵中对应的像素点的像素值与其他像素点的像素值不同；将所述车辆像素点mask矩阵分别与每条车道的车道像素点mask矩阵相乘得到车道识别矩阵，并将每个车道识别矩阵的各项元素逐项累加得到计算结果；将计算结果最大的车道识别矩阵对应的车道识别为目标车辆所在的车道；其中，目标车辆在车辆像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0；其中，当前车道的车道线在车道像素点mask矩阵中对应的像素点的像素值为1，其他像素点的像素值为0。
8.根据权利要求5所述的平均车速智能监测系统，其特征在于，所述图像识别模块通过mask-rcnn算法对每一辆车辆进行识别。
CN202010300183.4A 2020-04-16 2020-04-16 基于mask矩阵的平均车速智能监测方法、系统 Active CN111540217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010300183.4A CN111540217B (zh) 2020-04-16 2020-04-16 基于mask矩阵的平均车速智能监测方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010300183.4A CN111540217B (zh) 2020-04-16 2020-04-16 基于mask矩阵的平均车速智能监测方法、系统

Publications (2)

Publication Number Publication Date
CN111540217A CN111540217A (zh) 2020-08-14
CN111540217B true CN111540217B (zh) 2022-03-01

Family

ID=71978594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010300183.4A Active CN111540217B (zh) 2020-04-16 2020-04-16 基于mask矩阵的平均车速智能监测方法、系统

Country Status (1)

Country Link
CN (1) CN111540217B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344068B (zh) * 2021-05-31 2023-10-17 北京达佳互联信息技术有限公司 素材处理方法、装置、电子设备及计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646886B2 (en) * 2005-05-11 2010-01-12 Lockheed Martin Corporation Closely-spaced multiple targets detection using a regional window as a discriminant function
CN102495998B (zh) * 2011-11-10 2013-11-06 西安电子科技大学 基于视觉选择性注意计算模型的静态目标检测方法
CN102663743B (zh) * 2012-03-23 2016-06-08 西安电子科技大学 一种复杂场景中多摄影机协同的人物追踪方法
CN104282020B (zh) * 2014-09-22 2017-11-17 中海网络科技股份有限公司 一种基于目标运动轨迹的车辆速度检测方法
DE102016215144A1 (de) * 2016-08-15 2018-02-15 Ifm Electronic Gmbh Verfahren zur Vollständigkeitsprüfung
WO2018035531A1 (en) * 2016-08-19 2018-02-22 Massachusetts Intitute Of Technology Systems and methods for providing visual allocation management
CN106355903B (zh) * 2016-09-13 2019-03-15 枣庄学院 基于视频分析的多车道车流量检测方法
WO2018226437A1 (en) * 2017-06-05 2018-12-13 Adasky, Ltd. Shutterless far infrared (fir) camera for automotive safety and driving systems
CN110363211B (zh) * 2018-04-10 2022-05-03 北京四维图新科技股份有限公司 检测网络模型和目标检测方法
CN109190513A (zh) * 2018-08-14 2019-01-11 中山大学 结合图像显著性检测和神经网络的车辆重识别方法与系统
CN110222587A (zh) * 2019-05-13 2019-09-10 杭州电子科技大学 一种基于特征图的商品定位检测重识别方法
CN110379168B (zh) * 2019-06-24 2021-09-24 东南大学 一种基于Mask R-CNN的交通车辆信息获取方法
CN110781956A (zh) * 2019-10-24 2020-02-11 精硕科技（北京）股份有限公司 一种目标检测的方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111540217A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
KR102197946B1 (ko) 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법
CN113139482A (zh) 交通异常检测的方法和装置
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
CN112017437B (zh) 路口交通信息感知控制系统和方法
CN110889328B (zh) 检测道路交通状况的方法、装置、电子设备和存储介质
CN110032947B (zh) 一种监控事件发生的方法及装置
CN112349087B (zh) 一种基于路口信息全息感知的可视化数据输入方法
CN111325048B (zh) 一种人员聚集检测方法和装置
CN111383460B (zh) 一种车辆状态判别方法、装置以及计算机存储介质
CN111626275B (zh) 一种基于智能视频分析的异常停车检测方法
US20220237919A1 (en) Method, Apparatus, and Computing Device for Lane Recognition
CN104658008A (zh) 一种基于视频图像的人员聚集检测方法
CN111540217B (zh) 基于mask矩阵的平均车速智能监测方法、系统
CN111489380B (zh) 一种目标物体轨迹分析方法
CN115909240A (zh) 一种基于车道线和车辆识别的道路拥堵检测方法
CN112560546B (zh) 抛洒行为检测方法、装置及存储介质
CN111508239B (zh) 基于mask矩阵的车流量智能识别方法、系统
CN112906428B (zh) 影像侦测区域取得方法及空间使用情况的判定方法
CN111325178A (zh) 警示物检测结果获取方法、装置、计算机设备和存储介质
CN111627224A (zh) 车辆速度异常检测方法、装置、设备及存储介质
Tsai et al. Multi-lane detection and road traffic congestion classification for intelligent transportation system
CN111428688B (zh) 基于mask矩阵的车辆的行驶车道智能识别方法、系统
CN112907978A (zh) 基于监控视频的交通流量监控方法
CN114241373A (zh) 一种端到端的车辆行为检测方法、系统、设备及存储介质
CN117315574B (zh) 一种盲区轨迹补全的方法、系统、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant