CN113470374A - 车辆超速监测方法、装置、计算机设备及存储介质 - Google Patents
车辆超速监测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113470374A CN113470374A CN202110744922.3A CN202110744922A CN113470374A CN 113470374 A CN113470374 A CN 113470374A CN 202110744922 A CN202110744922 A CN 202110744922A CN 113470374 A CN113470374 A CN 113470374A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- frame image
- pixel point
- coordinates
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
- G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及图像检测领域,具体公开了一种车辆超速监测方法、装置、计算机设备及存储介质,其方法包括:通过抽取车辆行驶的视频流中的第一和第二帧图像,提取出第一帧图像中的若干第一车辆像素点坐标,以及第二帧图像中的若干第二车辆像素点坐标,分别计算每个第一车辆像素点坐标与各个第二车辆像素点坐标之间的距离值,构建距离矩阵,根据该距离矩阵确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标,再根据第一像素点坐标和第二像素点坐标,计算出目标车辆的实际移动距离;进一步计算出目标车辆的当前车速。本发明无需增加额外的测距设备,即可利用现有的交通监控摄像装置实现车辆的超速监控,成本低且可靠性高。
Description
技术领域
本发明涉及图像检测领域,尤其涉及一种车辆超速监测方法、装置、计算机设备及存储介质。
背景技术
超速行驶是引起交通事故的主要因素之一,因此,对车辆速度进行实时监控对于减少交通事故有着重要的意义。
目前,国内应用最广泛的车速检测技术主要有雷达测速、激光测速和红外测速。这些测速技术虽然测量精度较高,但是测速设备昂贵,难以大量普及。
因此,寻找一种安全可靠,同时又经济实惠的测速方式显得尤为重要。
发明内容
基于此,有必要针对上述技术问题,提供一种安全可靠同时又经济实惠的车辆超速监测方法、装置、计算机设备及存储介质。
一种车辆超速监测方法,包括:
采集车辆在道路上行驶的视频流,按照预设的时间间隔从所述视频流中抽取出第一帧图像和第二帧图像;
提取出所述第一帧图像中的若干第一车辆像素点坐标,以及所述第二帧图像中的若干第二车辆像素点坐标,分别计算每个所述第一车辆像素点坐标与各个所述第二车辆像素点坐标之间的距离值,并根据所述距离值构建距离矩阵;
从所述距离矩阵中找出其中的最优分配距离值,根据所述最优匹配距离值确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标;
根据所述第一像素点坐标和第二像素点坐标,计算所述目标车辆的实际移动距离;
根据所述实际移动距离和所述时间间隔,计算出所述目标车辆的当前车速,当所述目标车辆的当前车速超过预设车速阈值时,发出超速预警。
一种车辆超速监测装置,包括:
图像采集模块,用于采集车辆在道路上行驶的视频流,按照预设的时间间隔从所述视频流中抽取出第一帧图像和第二帧图像;
距离矩阵构建模块,用于提取出所述第一帧图像中的若干第一车辆像素点坐标,以及所述第二帧图像中的若干第二车辆像素点坐标,分别计算每个所述第一车辆像素点坐标与各个所述第二车辆像素点坐标之间的距离值,并根据所述距离值构建距离矩阵;
目标车辆像素点坐标确定模块,用于从所述距离矩阵中找出其中的最优分配距离值,根据所述最优匹配距离值确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标;
目标车辆实际移动距离计算模块,用于根据所述第一像素点坐标和第二像素点坐标,计算所述目标车辆的实际移动距离;
车辆超速预警模块,用于根据所述实际移动距离和所述时间间隔,计算出所述目标车辆的当前车速,当所述目标车辆的当前车速超过预设车速阈值时,发出超速预警。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述车辆超速监测方法。
一个或多个存储有计算机可读指令的可读存储介质,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行如上述车辆超速监测方法。
上述车辆超速监测方法、装置、计算机设备及存储介质,可先通过采集通监控摄像装置(如,单个交通监控摄像头)拍摄到的车辆在道路上行驶的视频流,再从视频流中抽取出第一帧图像和第二帧图像,并提取出第一帧图像中的若干第一车辆像素点坐标,以及第二帧图像中的若干第二车辆像素点坐标,分别计算每个第一车辆像素点坐标与各个第二车辆像素点坐标之间的距离值,并根据距离值构建距离矩阵,接着,从距离矩阵中找出其中的最优分配距离值,根据最优匹配距离值确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标,再根据第一像素点坐标和第二像素点坐标,计算出目标车辆的实际移动距离;最后,根据实际移动距离和第一帧图像和第二帧图像的时间间隔,计算出目标车辆的当前车速,当目标车辆的当前车速超过预设车速阈值时,发出超速预警。该方法可充分利用交通监控摄像实现对车辆的超速监控,无需增加额外的测距设备,可降低车辆超速监测的成本,且监测方法简单、可靠性高,同时,该监测方法能够实时监测车辆的行驶速度,并在发现超速行驶时立刻发出警报,有利于维持良好的道路交通安全与秩序,且可减少大量的人力监控成本。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中车辆超速监测方法的应用环境示意图;
图2是本发明一实施例中车辆超速监测方法的流程示意图;
图3是本发明一实施例中车辆超速监测方法中的坐标系转换示意图;
图4是本发明一实施例中车辆超速监测装置的结构示意图;
图5是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一帧图像称为第二帧图像,且类似地,可将第二帧图像称为第一帧图像。
本实施例提供的车辆超速监测方法,可应用在如图1的应用环境中。具体地,该车辆超速监测方法可应用在车辆超速监测系统中,该车辆超速监测系统包括如图1所示的摄像装置和监控平台,摄像装置与监控平台通过网络进行通信,用于实时监控道路上行驶的车辆的车速。其中,摄像装置可以是安装在车辆行驶道路上的单个/多个交通监控摄像头,也可以是含有摄像功能的其他设备(如,相机、扫描仪等)。监控平台可以是各种个人计算机、笔记本电脑、智能手机、平板电脑,也可以是独立的服务器或者是多个服务器组成的服务器集群。
在一实施例中,如图2所示,提供一种车辆超速监测方法,以该方法应用在图1中的监控平台为例进行说明,包括如下步骤:
步骤S10,采集车辆在道路上行驶的视频流,按照预设的时间间隔从所述视频流中抽取出第一帧图像和第二帧图像。
在本发明实施例中,可从安装于车辆行驶道路上的交通监控摄像头实时采集车辆在道路上行驶的视频流。
在采集到上述视频流后,对该视频流进行抽帧和图像压缩处理,获得按抽帧时间顺序依次排序的若干帧待检测图像,从若干帧待检测图像中抽取出抽帧时间相邻的第一帧图像和第二帧图像。
其中,预设的时间间隔指的是抽帧时间,例如,1秒,2秒等,具体的时间间隔可根据实际情况灵活设置。
抽帧处理,具体是指在一段视频中,按照预设的时间间隔从该段视频中依次抽取出若干帧图像。例如,一段视频的时长为10秒,预设的间隔时间为1秒,可以按照1秒抽取一帧的方式抽取得到10帧按抽帧时间顺序依次排序待检测图像,再从这10帧待检测图像中抽取出抽帧时间相邻的第一帧图像和第二帧图像。比如,抽取出第1秒时的图像(即第一帧图像),以及播放到第2秒时的图像(即第二帧图像)。
图像压缩处理,是指将从视频流中抽出的每帧原始图像转化成具有统一像素大小(比如,416像素*416像素)的转化图像(即上述待检测图像)。
在本发明实施例中,为了便于后续可依次从若干帧待检测图像中抽取出抽帧时间相邻的第一帧图像和第二帧图像,可先按抽帧时间顺序对从视频流中抽取出来并经图像压缩处理后的待检测图像进行标记,比如,将在第1秒时抽取到的图像标记为图像1,在第2秒时抽取到的图像标记为图像2,在第3秒时抽取到的图像标记为图像3……以此类推,在第10秒时抽取到的图像标记为图像10;再从这10帧图像中抽取出抽帧时间相邻的图像1(即第一帧图像)和图像2(即第二帧图像),或者图像2(即第一帧图像)和图像3(即第二帧图像)。
步骤S20,提取出所述第一帧图像中的若干第一车辆像素点坐标,以及所述第二帧图像中的若干第二车辆像素点坐标,分别计算每个所述第一车辆像素点坐标与各个所述第二车辆像素点坐标之间的距离值,并根据所述距离值构建距离矩阵。
图像都是由像素组成的,像素坐标是像素在图像中的位置。其中,第一车辆像素点坐标是指在第一帧图像中的车辆在该第一帧图像中的位置。第二车辆像素点坐标是指在第二帧图像中的车辆在该第二帧图像中的位置。
在本发明实施例中,分别计算每个所述第一车辆像素点坐标与各个所述第二车辆像素点坐标之间的距离值。示例性地,假设在第一帧图像中的第一车辆像素点坐标有2个,分别为A(x1,y1)和B(x2,y2),在第二帧图像中的第二车辆像素点坐标有2个,分别为C(x3,y3)和D(x4,y4),则分别计算A与C之间的距离值dAC、A与D之间的距离值dAD;B与C之间的距离值dBC、B与D之间的距离值dBD,再根据计算所得的距离值dAC、dAD、dBC和dBD构建成距离矩阵。
步骤S30,从所述距离矩阵中找出其中的最优分配距离值,根据所述最优匹配距离值确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标。
在本发明实施例中,最优分配距离值指的是同一车辆在第一帧图像中的第一像素点坐标和在第二帧图像中的第二像素点坐标之间的距离值,即该距离值是根据同一车辆在第一帧图像的第一像素点坐标和在第二帧图像的第二像素点坐标计算得到的。
目标车辆指示的是最优分配距离值所对应的在第一帧图像和第二帧图像中的同一车辆。示例性的,若从距离矩阵中找出的最优分配距离值为dab,而dab为根据第一像素点坐标a(xa,ya)和第二像素点坐标b(xb,yb)计算得到的距离值,其中,第一像素点坐标a(xa,ya)为车辆K在第一帧图像中的第一像素点坐标,第二像素点坐标b(xb,yb)为车辆K在第二帧图像中的第二像素点坐标,则可由此可确定车辆K(即目标车辆)在第一帧图像的第一像素点坐标为a(xa,ya)和在第二帧图像中的第二像素点坐标为b(xb,yb)。
步骤S40,根据所述第一像素点坐标和第二像素点坐标,计算所述目标车辆的实际移动距离。
在本发明实施例中,首先利用相似三角形定理、射影定理,将目标车辆的第一像素点坐标以及第二像素点坐标转换成对应的世界坐标系坐标,再根据转换后的世界坐标系坐标,计算出目标车辆的实际移动距离。
步骤S50,根据所述实际移动距离和所述时间间隔,计算出所述目标车辆的当前车速,当所述目标车辆的当前车速超过预设车速阈值时,发出超速预警。
在本发明实施例中,根据上述计算得到的实际移动距离以及第一帧图像和第二帧图像的时间间隔,可计算出目标车辆的当前车速。
预设的车速阈值可以根据实际情况进行灵活设置,比如,对在限速为50km/h的道路上行驶的监控路段,预设的车速阈值可为50km/h。
其中,当所述目标车辆的当前车速超过预设车速阈值时,发出超速预警,具体地,可以是在监控平台监测到目标车辆的当前车速超过预设车速阈值时,向安装在目标车辆内部、且监控平台通过网络进行通信的报警器发送超速预警指令,使得该报警器在接收到该超速预警指令后,可根据该超速预警指令发出预警信号(例如,蜂鸣、超速提示语音等),以提示车主当前车速已超过预设车速阈值,使车主能够及时调整车速,保障安全行车。
本发明实施例提供的车辆超速监测方法,通过先采集通监控摄像装置(如,单个交通监控摄像头)拍摄到的车辆在道路上行驶的视频流,再从视频流中抽取出第一帧图像和第二帧图像,并提取出第一帧图像中的若干第一车辆像素点坐标,以及第二帧图像中的若干第二车辆像素点坐标,分别计算每个第一车辆像素点坐标与各个第二车辆像素点坐标之间的距离值,并根据距离值构建距离矩阵,接着,从距离矩阵中找出其中的最优分配距离值,根据最优匹配距离值确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标,再根据第一像素点坐标和第二像素点坐标,计算出目标车辆的实际移动距离;最后,根据实际移动距离和第一帧图像和第二帧图像的时间间隔,计算出目标车辆的当前车速,当目标车辆的当前车速超过预设车速阈值时,发出超速预警。可充分利用交通监控摄像实现对车辆的超速监控,无需增加额外的测距设备,可降低车辆超速监测的成本,且监测方法简单、可靠性高,同时,该监测方法能够实时监测车辆的行驶速度,并在发现超速行驶时立刻发出警报,有利于维持良好的道路交通安全与秩序,且可减少大量的人力监控成本。
在一实施例中,上述步骤S20包括:
当根据预设的目标检测模型确定所述第一帧图像存在车辆时,划分出所述第一帧图像中的第一车辆图像区域,所述第一车辆图像区域包括至少一辆车,提取出所述第一车辆图像区域中的各车辆的第一中心点像素坐标。
当根据预设的目标检测模型确定所述第二帧图像存在车辆时,划分出所述第二帧图像中的第二车辆图像区域,所述第二车辆图像区域包括至少一辆车,提取出所述第二车辆图像区域中的各车辆的第二中心点像素坐标。
分别计算每个所述第一中心点像素坐标与各个所述第二中心点像素坐标之间的距离值,并根据所述距离值构建距离矩阵。
在本发明实施例中,预设的目标检测模型可以是现有的基于候选区域的目标检测器,例如,Fast R-CNN、Faster R-CNN和FPN等。具体的目标检测实现过程可参考现有的算法模型,在此不做赘述。
第一车辆图像区域是指在第一帧图像中的车辆的所在区域。第二车辆图像区域是指在第二帧图像中的车辆的所在区域。
为了提高车辆超速监测的效率和效果,可先根据预设的目标检测模型判断当前抽取出来的第一帧图像和第二帧图像中是否均存在车辆,若不存在,则重新抽取时间间隔相邻的两帧图像进行检测,直至抽取到时间间隔相邻且均存在车辆的两帧图像,再进行后续的检测流程,这样可保证只对有车辆存在的图像进行检测,减少了计算机的计算能耗,有利于提高监测的效率和效果。
若根据预设的目标检测模型判断当前抽取出来的第一帧图像和第二帧图像中均存在车辆,则划分出第一帧图像中的第一车辆图像区域,并提取出第一车辆图像区域中的各车辆的第一中心点像素坐标。划分出第二帧图像中的第二车辆图像区域,并提取出第二车辆图像区域中的各车辆的第二中心点像素坐标。
在一帧图像中,一辆车通常是由多个像素点组成的,为了便于计算和识别,在本发明中,从在一帧图像中构成同一辆车的所有像素点所在区域中选取出该区域的中心点像素,并将该中心点处的像素点坐标确定为该车辆在该帧图像中的位置。
可以理解的,一个第一中心点像素坐标对应代表第一车辆图像区域中的一辆车在第一帧图像中的位置。一个第二中心点像素坐标对应代表第二车辆图像区域中的二辆车在第二帧图像中的位置。
在本发明实施例中,分别计算每个所述第一中心点像素坐标与各个所述第二中心点像素坐标之间的距离值,并根据所述距离值构建距离矩阵,包括:
计算第一车辆图像区域中的第i个第一中心点像素坐标,与第二车辆图像区域中的第j个第二中心点像素坐标的距离,获得距离值dij。
将所述距离值dij设置为所述距离矩阵的第i行第j列的元素。
示例性的,当前识别到在第一帧图像中的第一车辆图像区域中的第一中心点像素坐标有i个,第1个第一中心点像素坐标为(x1,y1),第2个第一中心点像素坐标为(x2,y2),第3个第一中心点像素坐标为(x3,y3)……以此类推,第i个第一中心点像素坐标为(xi,yi);在第二帧图像中的第二车辆图像区域中的第二中心点像素坐标有j个,其中,第1个第二中心点像素坐标为(X1,Y1),第2个第二中心点像素坐标为(X2,Y2)……以此类推,第j个第二中心点像素坐标为(Xj,Yj)。
根据公式计算第一车辆图像区域中的第i个第一中心点像素坐标,与第二车辆图像区域中的第j个第二中心点像素坐标的距离,获得距离值dij。假设当前识别到第一车辆图像区域中有2个第一中心点像素坐标,分别为A(x1,y1)和B(x2,y2);第二车辆图像区域中有2个第二中心点像素坐标,分别为C(X1,Y1)和D(X2,Y2),则根据上述公式分别计算出A与C之间的距离值d11、A与D之间的距离值d12、B与C之间的距离值d21、B与D之间的距离值d22,并根据上述计算得到的距离值构建得到距离矩阵
在一实施例中,上述步骤S30,包括:
根据匈牙利算法模型从所述距离矩阵中找出其中的最优分配距离值;
将与所述最优匹配距离值对应的第一车辆像素点坐标确定为目标车辆在第一帧图像中的第一像素点坐标,第二车辆像素点坐标确定为目标车辆在第二帧图像中的第二像素点坐标。
在本发明实施例中,利用匈牙利算法模型从上述距离矩阵中找出最优分配距离值的思路是不停地寻找增广路径,增加匹配的个数,当不能再找到增广路径时,算法就结束了,得到的匹配就是最大匹配(即最优分配)。
其中,匈牙利算法的步骤如下:
步骤一、将原始矩阵每一行减去本行的最小值,进入步骤二。
步骤二、将新的矩阵每一列减去本列的最小值,进入步骤三。
步骤三、用最少的行线和列线将新矩阵中的零全部穿起来,检查目前是否为最优分配。如果行线和列线没有将矩阵所有元素都穿起来,进入第四步,否则则进入步骤五。
步骤四、将行线和列线没有穿起来的元素中找到最小元素,将剩余元素减去最小元素,对应行线和列线的交叉点的元素加上最小元素。
步骤五、找出每一行对应的0元素和列对应的0元素,根据0元素找到最优分配。
示例性地,假设利用匈牙利算法模型从上述例子中的距离矩阵中找出的0元素的位置是d11,那么d11即为最优匹配距离值,将d11对应的在第一帧图像中的第一像素点坐标A(x1,y1)确定为目标车辆在第一帧图像的第一像素点坐标,将d11对应的在第二帧图像中的第二像素点坐标B(x2,y2)确定为目标车辆在第二帧图像的第二像素点坐标。
在一实施例中,上述步骤S40,包括:
将所述第一像素点坐标转换成第一目标世界坐标,将所述第二像素点坐标转换成第二目标世界坐标;
根据所述第一目标世界坐标和第二目标世界坐标,计算所述目标车辆的实际移动距离。
结合上述例子,将第一像素点坐标A(x1,y1)转换成第一目标世界坐标,将第二像素点坐标B(x2,y2)转换成第二目标世界坐标。
下面以将第一像素点坐标A(x1,y1)转换成第一目标世界坐标为例进行详细说明。
结合图3,若要求得像素坐标系中点A在世界坐标系中的投影点Q的坐标,只需求得Q点水平分量PQ和垂直分量O3P的距离,计算方法如下:
根据下列公式(1)、(2)和(3)可以计算得到投影点Q在世界坐标系的垂直方向的坐标Y=O3P。
β=α-γ (2);
其中,测量点P1和点A的像素坐标系坐标分别为P1(0,v)、A(u,v),h为摄像机高度,α为摄像机水平倾角,f为摄像机焦距,img_l为摄像机感光元件长度,pix_l为图像像素长度,O3为物理坐标系的原点(即相机在地面水平面的投影点),γ为P1O2和AO2夹角(即选定的两点P1、A和镜头中心点夹角),β为PQ2(即P点与镜头中心点连线)与水平面夹角。
根据下列公式(4)、(5)、(6)可以计算得到图像坐标系像素距离P1A、镜头中心点到图像中P1点的距离O2P1和镜头中心点到物理坐标系中点P的距离O2P。
其中,式中的pix_w为图像像素宽度,img_w为摄像机感光元件宽度,O1是图像坐标系(即图像中心点),O2是相机坐标系的原点(即相机镜头中心点)。
由此可得,点A在世界坐标系中的投影点Q的坐标为(PQ,O3P),记为(xA,yA)。
类似地,可以参照上述方法将第二像素点坐标B(x2,y2)转换成第二目标世界坐标(xB,yB),在此不再赘述。
在一实施例中,在上述步骤S50中,当所述目标车辆的车速超过预设车速阈值时,识别所述目标车辆的车牌信息,发出超速预警并将所述目标车辆的车牌信息和当前车速进行上报。
其中,车牌信息包括车牌号码。
在本发明的示例性实施例中,若预设车速阈值为90km/h,而根据上述监测流程监测到目标车辆的当前车速大于90km/h时,则进一步识别目标车辆的车牌号码,并将识别到的目标车辆的车牌信息及其当前车速上报至监控平台的控制中心,以使控制中心的工作人员可及时知晓超速车辆的车牌号码,并可根据车牌号码找到对应的车主,从而可对超速违规行驶车辆的车主进行相应的处罚。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种车辆超速监测装置,该车辆超速监测装置与上述实施例中车辆超速监测方法一一对应。如图4所示,该车辆超速监测装置包括图像采集模块11、距离矩阵构建模块12、目标车辆像素点坐标确定模块13、目标车辆实际移动距离计算模块14和车辆超速预警模块15。各功能模块详细说明如下:
图像采集模块11,用于采集车辆在道路上行驶的视频流,按照预设的时间间隔从所述视频流中抽取出第一帧图像和第二帧图像。
距离矩阵构建模块12,用于提取出所述第一帧图像中的若干第一车辆像素点坐标,以及所述第二帧图像中的若干第二车辆像素点坐标,分别计算每个所述第一车辆像素点坐标与各个所述第二车辆像素点坐标之间的距离值,并根据所述距离值构建距离矩阵。
目标车辆像素点坐标确定模块13,用于从所述距离矩阵中找出其中的最优分配距离值,根据所述最优匹配距离值确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标。
目标车辆实际移动距离计算模块14,用于根据所述第一像素点坐标和第二像素点坐标,计算所述目标车辆的实际移动距离。
车辆超速预警模块15,用于根据所述实际移动距离和所述时间间隔,计算出所述目标车辆的当前车速,当所述目标车辆的当前车速超过预设车速阈值时,发出超速预警。
在一实施例中,上述图像采集模块11,用于对所述视频流进行抽帧和图像压缩处理,获得按抽帧时间顺序依次排序的若干帧待检测图像;从所述若干帧待检测图像中抽取出抽帧时间相邻的第一帧图像和第二帧图像。
在一实施例中,上述距离矩阵构建模块12,包括:
第一中心点像素坐标提取单元,用于当根据预设的目标检测模型确定所述第一帧图像存在车辆时,划分出所述第一帧图像中的第一车辆图像区域,所述第一车辆图像区域包括至少一辆车,提取出所述第一车辆图像区域中的各车辆的第一中心点像素坐标。
第二中心点像素坐标提取单元,用于当根据预设的目标检测模型确定所述第二帧图像存在车辆时,划分出所述第二帧图像中的第二车辆图像区域,所述第二车辆图像区域包括至少一辆车,提取出所述第二车辆图像区域中的各车辆的第二中心点像素坐标。
距离矩阵构建单元,用于分别计算每个所述第一中心点像素坐标与各个所述第二中心点像素坐标之间的距离值,并根据所述距离值构建距离矩阵。具体地,计算第一车辆图像区域中的第i个第一中心点像素坐标,与第二车辆图像区域中的第j个第二中心点像素坐标的距离,获得距离值dij;将所述距离值dij设置为所述距离矩阵的第i行第j列的元素。
在一实施例中,上述目标车辆像素点坐标确定模块13,用于根据匈牙利算法模型从所述距离矩阵中找出其中的最优分配距离值;将与所述最优匹配距离值对应的第一车辆像素点坐标确定为目标车辆在第一帧图像中的第一像素点坐标,第二车辆像素点坐标确定为目标车辆在第二帧图像中的第二像素点坐标。
在一实施例中,上述目标车辆实际移动距离计算模块14,包括:
像素点坐标转换单元,用于将所述第一像素点坐标转换成第一目标世界坐标,将所述第二像素点坐标转换成第二目标世界坐标。
实际移动距离计算单元,用于根据所述第一目标世界坐标和第二目标世界坐标,计算所述目标车辆的实际移动距离。
在一实施例中,上述车辆超速预警模块15,用于当所述目标车辆的车速超过预设车速阈值时,识别所述目标车辆的车牌信息,发出超速预警并将所述目标车辆的车牌信息和当前车速进行上报。
关于车辆超速监测装置的具体限定可以参见上文中对于车辆超速监测方法的限定,在此不再赘述。上述车辆超速监测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储车辆超速监测方法所涉及的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种车辆超速监测方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令,处理器执行计算机可读指令时实现以下步骤:
采集车辆在道路上行驶的视频流,按照预设的时间间隔从所述视频流中抽取出第一帧图像和第二帧图像;
提取出所述第一帧图像中的若干第一车辆像素点坐标,以及所述第二帧图像中的若干第二车辆像素点坐标,分别计算每个所述第一车辆像素点坐标与各个所述第二车辆像素点坐标之间的距离值,并根据所述距离值构建距离矩阵;
从所述距离矩阵中找出其中的最优分配距离值,根据所述最优匹配距离值确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标;
根据所述第一像素点坐标和第二像素点坐标,计算所述目标车辆的实际移动距离;
根据所述实际移动距离和所述时间间隔,计算出所述目标车辆的当前车速,当所述目标车辆的当前车速超过预设车速阈值时,发出超速预警。
在一个实施例中,提供了一个或多个存储有计算机可读指令的计算机可读存储介质,本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机可读指令,计算机可读指令被一个或多个处理器执行时实现以下步骤:
采集车辆在道路上行驶的视频流,按照预设的时间间隔从所述视频流中抽取出第一帧图像和第二帧图像;
提取出所述第一帧图像中的若干第一车辆像素点坐标,以及所述第二帧图像中的若干第二车辆像素点坐标,分别计算每个所述第一车辆像素点坐标与各个所述第二车辆像素点坐标之间的距离值,并根据所述距离值构建距离矩阵;
从所述距离矩阵中找出其中的最优分配距离值,根据所述最优匹配距离值确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标;
根据所述第一像素点坐标和第二像素点坐标,计算所述目标车辆的实际移动距离;
根据所述实际移动距离和所述时间间隔,计算出所述目标车辆的当前车速,当所述目标车辆的当前车速超过预设车速阈值时,发出超速预警。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中,该计算机可读指令在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种车辆超速监测方法,其特征在于,包括:
采集车辆在道路上行驶的视频流,按照预设的时间间隔从所述视频流中抽取出第一帧图像和第二帧图像;
提取出所述第一帧图像中的若干第一车辆像素点坐标,以及所述第二帧图像中的若干第二车辆像素点坐标,分别计算每个所述第一车辆像素点坐标与各个所述第二车辆像素点坐标之间的距离值,并根据所述距离值构建距离矩阵;
从所述距离矩阵中找出其中的最优分配距离值,根据所述最优匹配距离值确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标;
根据所述第一像素点坐标和第二像素点坐标,计算所述目标车辆的实际移动距离;
根据所述实际移动距离和所述时间间隔,计算出所述目标车辆的当前车速,当所述目标车辆的当前车速超过预设车速阈值时,发出超速预警。
2.如权利要求1所述的车辆超速监测方法,其特征在于,所述按照预设的时间间隔从所述视频流中抽取出第一帧图像和第二帧图像,包括:
对所述视频流进行抽帧和图像压缩处理,获得按抽帧时间顺序依次排序的若干帧待检测图像;
从所述若干帧待检测图像中抽取出抽帧时间相邻的第一帧图像和第二帧图像。
3.如权利要求1所述的车辆超速监测方法,其特征在于,所述提取出所述第一帧图像中的若干第一车辆像素点坐标,以及所述第二帧图像中的若干第二车辆像素点坐标,分别计算每个所述第一车辆像素点坐标与各个所述第二车辆像素点坐标之间的距离值,并根据所述距离值构建距离矩阵,包括:
当根据预设的目标检测模型确定所述第一帧图像存在车辆时,划分出所述第一帧图像中的第一车辆图像区域,所述第一车辆图像区域包括至少一辆车,提取出所述第一车辆图像区域中的各车辆的第一中心点像素坐标;
当根据预设的目标检测模型确定所述第二帧图像存在车辆时,划分出所述第二帧图像中的第二车辆图像区域,所述第二车辆图像区域包括至少一辆车,提取出所述第二车辆图像区域中的各车辆的第二中心点像素坐标;
分别计算每个所述第一中心点像素坐标与各个所述第二中心点像素坐标之间的距离值,并根据所述距离值构建距离矩阵。
4.如权利要求3所述的车辆超速监测方法,其特征在于,所述分别计算每个所述第一中心点像素坐标与各个所述第二中心点像素坐标之间的距离值,并根据所述距离值构建距离矩阵,包括:
计算第一车辆图像区域中的第i个第一中心点像素坐标,与第二车辆图像区域中的第j个第二中心点像素坐标的距离,获得距离值dij;
将所述距离值dij设置为所述距离矩阵的第i行第j列的元素。
5.如权利要求1所述的车辆超速监测方法,其特征在于,所述从所述距离矩阵中找出其中的最优分配距离值,根据所述最优匹配距离值确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标,包括:
根据匈牙利算法模型从所述距离矩阵中找出其中的最优分配距离值;
将与所述最优匹配距离值对应的第一车辆像素点坐标确定为目标车辆在第一帧图像中的第一像素点坐标,第二车辆像素点坐标确定为目标车辆在第二帧图像中的第二像素点坐标。
6.如权利要求1所述的车辆超速监测方法,其特征在于,所述根据所述第一像素点坐标和第二像素点坐标,计算所述目标车辆的实际移动距离,包括:
将所述第一像素点坐标转换成第一目标世界坐标,将所述第二像素点坐标转换成第二目标世界坐标;
根据所述第一目标世界坐标和第二目标世界坐标,计算所述目标车辆的实际移动距离。
7.如权利要求1所述的车辆超速监测方法,其特征在于,所述当所述目标车辆的当前车速超过预设车速阈值时,发出超速预警,包括:
当所述目标车辆的车速超过预设车速阈值时,识别所述目标车辆的车牌信息,发出超速预警并将所述目标车辆的车牌信息和当前车速进行上报。
8.一种车辆超速监测装置,其特征在于,包括:
图像采集模块,用于采集车辆在道路上行驶的视频流,按照预设的时间间隔从所述视频流中抽取出第一帧图像和第二帧图像;
距离矩阵构建模块,用于提取出所述第一帧图像中的若干第一车辆像素点坐标,以及所述第二帧图像中的若干第二车辆像素点坐标,分别计算每个所述第一车辆像素点坐标与各个所述第二车辆像素点坐标之间的距离值,并根据所述距离值构建距离矩阵;
目标车辆像素点坐标确定模块,用于从所述距离矩阵中找出其中的最优分配距离值,根据所述最优匹配距离值确定目标车辆在第一帧图像的第一像素点坐标和在第二帧图像中的第二像素点坐标;
目标车辆实际移动距离计算模块,用于根据所述第一像素点坐标和第二像素点坐标,计算所述目标车辆的实际移动距离;
车辆超速预警模块,用于根据所述实际移动距离和所述时间间隔,计算出所述目标车辆的当前车速,当所述目标车辆的当前车速超过预设车速阈值时,发出超速预警。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述车辆超速监测方法。
10.一个或多个存储有计算机可读指令的可读存储介质,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1至7中任一项所述车辆超速监测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110744922.3A CN113470374B (zh) | 2021-06-30 | 2021-06-30 | 车辆超速监测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110744922.3A CN113470374B (zh) | 2021-06-30 | 2021-06-30 | 车辆超速监测方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113470374A true CN113470374A (zh) | 2021-10-01 |
CN113470374B CN113470374B (zh) | 2022-09-16 |
Family
ID=77877178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110744922.3A Active CN113470374B (zh) | 2021-06-30 | 2021-06-30 | 车辆超速监测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113470374B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114005285A (zh) * | 2021-10-21 | 2022-02-01 | 淮阴工学院 | 基于视频检测的车辆速度异常检测及车辆速度异常预警方法 |
CN114018589A (zh) * | 2021-10-25 | 2022-02-08 | 中汽研汽车检验中心(天津)有限公司 | 气囊弹出速度的确定方法、装置、电子设备及介质 |
CN114323143A (zh) * | 2021-12-30 | 2022-04-12 | 上海商汤临港智能科技有限公司 | 一种车辆数据检测方法、装置、计算机设备及存储介质 |
CN116152301A (zh) * | 2023-04-24 | 2023-05-23 | 知行汽车科技(苏州)股份有限公司 | 一种目标的速度估计方法、装置、设备及介质 |
CN116884235A (zh) * | 2023-08-09 | 2023-10-13 | 广东省交通运输规划研究中心 | 基于撞线的视频车速检测方法、装置、设备以及存储介质 |
CN116958707A (zh) * | 2023-08-18 | 2023-10-27 | 武汉市万睿数字运营有限公司 | 一种基于球机监控设备的图像分类方法、装置及相关介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013152219A (ja) * | 2011-12-26 | 2013-08-08 | Japan Traffic Management Technology Association | 速度計測システム、速度計測方法及びプログラム |
CN109686088A (zh) * | 2018-12-29 | 2019-04-26 | 重庆同济同枥信息技术有限公司 | 一种交通视频告警方法、设备及系统 |
CN111833598A (zh) * | 2020-05-14 | 2020-10-27 | 山东科技大学 | 一种高速公路无人机交通事件自动监测方法及系统 |
CN112037536A (zh) * | 2020-07-08 | 2020-12-04 | 北京英泰智科技股份有限公司 | 一种基于视频特征识别的车辆测速方法及装置 |
CN112634628A (zh) * | 2020-12-08 | 2021-04-09 | 鹏城实验室 | 一种车辆速度确定方法、终端及存储介质 |
CN112798811A (zh) * | 2020-12-30 | 2021-05-14 | 杭州海康威视数字技术股份有限公司 | 速度测量方法、装置和设备 |
-
2021
- 2021-06-30 CN CN202110744922.3A patent/CN113470374B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013152219A (ja) * | 2011-12-26 | 2013-08-08 | Japan Traffic Management Technology Association | 速度計測システム、速度計測方法及びプログラム |
CN109686088A (zh) * | 2018-12-29 | 2019-04-26 | 重庆同济同枥信息技术有限公司 | 一种交通视频告警方法、设备及系统 |
CN111833598A (zh) * | 2020-05-14 | 2020-10-27 | 山东科技大学 | 一种高速公路无人机交通事件自动监测方法及系统 |
CN112037536A (zh) * | 2020-07-08 | 2020-12-04 | 北京英泰智科技股份有限公司 | 一种基于视频特征识别的车辆测速方法及装置 |
CN112634628A (zh) * | 2020-12-08 | 2021-04-09 | 鹏城实验室 | 一种车辆速度确定方法、终端及存储介质 |
CN112798811A (zh) * | 2020-12-30 | 2021-05-14 | 杭州海康威视数字技术股份有限公司 | 速度测量方法、装置和设备 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114005285A (zh) * | 2021-10-21 | 2022-02-01 | 淮阴工学院 | 基于视频检测的车辆速度异常检测及车辆速度异常预警方法 |
CN114005285B (zh) * | 2021-10-21 | 2023-02-28 | 淮阴工学院 | 基于视频检测的车辆速度异常检测及车辆速度异常预警方法 |
CN114018589A (zh) * | 2021-10-25 | 2022-02-08 | 中汽研汽车检验中心(天津)有限公司 | 气囊弹出速度的确定方法、装置、电子设备及介质 |
CN114018589B (zh) * | 2021-10-25 | 2024-03-15 | 中汽研汽车检验中心(天津)有限公司 | 气囊弹出速度的确定方法、装置、电子设备及介质 |
CN114323143A (zh) * | 2021-12-30 | 2022-04-12 | 上海商汤临港智能科技有限公司 | 一种车辆数据检测方法、装置、计算机设备及存储介质 |
WO2023123854A1 (zh) * | 2021-12-30 | 2023-07-06 | 上海商汤智能科技有限公司 | 车辆数据检测方法、装置、设备、介质及程序 |
CN116152301A (zh) * | 2023-04-24 | 2023-05-23 | 知行汽车科技(苏州)股份有限公司 | 一种目标的速度估计方法、装置、设备及介质 |
CN116884235A (zh) * | 2023-08-09 | 2023-10-13 | 广东省交通运输规划研究中心 | 基于撞线的视频车速检测方法、装置、设备以及存储介质 |
CN116884235B (zh) * | 2023-08-09 | 2024-01-30 | 广东省交通运输规划研究中心 | 基于撞线的视频车速检测方法、装置、设备以及存储介质 |
CN116958707A (zh) * | 2023-08-18 | 2023-10-27 | 武汉市万睿数字运营有限公司 | 一种基于球机监控设备的图像分类方法、装置及相关介质 |
CN116958707B (zh) * | 2023-08-18 | 2024-04-23 | 武汉市万睿数字运营有限公司 | 一种基于球机监控设备的图像分类方法、装置及相关介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113470374B (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113470374B (zh) | 车辆超速监测方法、装置、计算机设备及存储介质 | |
CN110533923B (zh) | 停车管理方法、装置、计算机设备及存储介质 | |
US10930151B2 (en) | Roadside parking management method, device, and system based on multiple cameras | |
CN112509364B (zh) | 车辆停车状态的确定方法、装置、计算机设备及存储介质 | |
CN110738150B (zh) | 相机联动抓拍方法、装置以及计算机存储介质 | |
CN110706261A (zh) | 车辆违章检测方法、装置、计算机设备和存储介质 | |
CN109614948B (zh) | 异常行为的检测方法、装置、设备和存储介质 | |
CN110796819A (zh) | 一种针对站台黄线入侵越界人员的检测方法及系统 | |
CN111368615A (zh) | 一种违章建筑预警方法、装置及电子设备 | |
CN113469115B (zh) | 用于输出信息的方法和装置 | |
CN112733598A (zh) | 车辆违法判别方法、装置、计算机设备和存储介质 | |
CN115546628A (zh) | 一种水利工程堤坝裂缝监测方法、装置、设备及介质 | |
CN112598925A (zh) | 停车管理方法、装置、计算机设备及存储介质 | |
Dong et al. | Large field monitoring system of vehicle load on long-span bridge based on the fusion of multiple vision and wim data | |
Kim et al. | Small object detection (SOD) system for comprehensive construction site safety monitoring | |
CN116912517B (zh) | 相机视野边界的检测方法及装置 | |
CN114170498A (zh) | 遗洒物检测方法、装置、计算机设备和存储介质 | |
CN115116033A (zh) | 车位范围的处理方法及计算设备 | |
CN111767904B (zh) | 一种交通事件检测方法、装置、终端及存储介质 | |
CN114640841A (zh) | 一种异常确定方法、装置、电子设备及存储介质 | |
CN113807125A (zh) | 应急车道占用检测方法、装置、计算机设备和存储介质 | |
CN112818847A (zh) | 车辆检测方法、装置、计算机设备和存储介质 | |
CN114093155A (zh) | 交通事故责任溯源方法、装置、计算机设备和存储介质 | |
CN111222406A (zh) | 酒后驾驶检测方法、装置、计算机设备和存储介质 | |
CN110581979A (zh) | 一种图像采集系统、方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |